Mir fällt in Gesprächen über KI immer wieder etwas auf. Menschen erzählen begeistert von ihren Geschäftsideen, Websites oder ihrer Software. Das Ergebnis sei richtig gut geworden, vieles hätten sie ohne KI gar nicht umsetzen können. Bei Nachfragen gibt es gelegentlich eine bemerkenswerte Ausnahme: Anzeigenmanagement würden sie der KI nicht mehr überlassen. Dort hätten sie Geld verloren.
Eine erfolglose Werbekampagne beweist natürlich nicht, dass dieselbe KI schlechte Websites baut. Geschäftliche Ergebnisse haben viele Ursachen. Mich interessiert an diesen Gesprächen etwas anderes. Wo ein Verlust sichtbar wird, beginnt die Prüfung. Wo das Ergebnis professionell aussieht und keine eindeutige Rückmeldung kommt, bleibt das Qualitätsurteil häufig erstaunlich großzügig.
Für Führungskräfte steckt darin eine wichtigere Frage als die nach dem nächsten KI-Tool: Woran erkennen wir eigentlich, dass die Arbeit besser geworden ist?
Eine fertige Präsentation ist sichtbar. Eine ungeprüfte Marktannahme ist es oft nicht. Eine neue Website lässt sich vorführen. Ob sie das richtige Problem für die richtigen Kunden löst, zeigt sich später. Unternehmen können deshalb mit KI erheblich produktiver werden und gleichzeitig schlechter erkennen, welche ihrer Entscheidungen tragfähig sind.
Ich halte das für eines der unterschätzten Führungsprobleme dieser Entwicklung. Die Kosten überzeugender Ausarbeitungen sinken. Die Arbeit, ihre Bedeutung und Qualität zu beurteilen, verschwindet dadurch nicht.
Der Produktivitätsgewinn ist real
Die Begeisterung für KI lässt sich nicht einfach als Leichtgläubigkeit abtun. Wer unter Zeitdruck arbeitet, hat gute Gründe, Hilfe anzunehmen. Und es gibt belastbare Belege dafür, dass diese Hilfe etwas bringt.
In einem Experiment mit 758 BCG-Beratern erledigten Teilnehmer mit GPT-4 bei geeigneten Aufgaben 12,2 Prozent mehr Aufgaben und waren 25,1 Prozent schneller. Bei einer gezielt außerhalb der untersuchten KI-Fähigkeiten liegenden Aufgabe sank dagegen der Anteil korrekter Lösungen. Das Experiment zeigt beides, erhebliche Vorteile und aufgabenabhängige Grenzen. Die bewerteten Arbeitsergebnisse sind allerdings noch kein Nachweis späterer Geschäftserfolge.
Für ein Unternehmen ist der Anreiz offensichtlich. Wenn Angebote, Analysen und Konzepte schneller entstehen, lassen sich mehr Vorhaben bearbeiten. Mitarbeiter und Mitarbeiterinnen erleben Entlastung, Führungskräfte sehen Fortschritt. Unter Wettbewerbsdruck wirkt es vernünftig, diese Möglichkeiten auszuschöpfen.
Problematisch wird es, wenn die eingesparte Produktionszeit stillschweigend auch aus der Prüfung herausgerechnet wird. Aus einer Aufgabe, für die vorher zwei Tage vorgesehen waren, wird eine Aufgabe für zwei Stunden. Der Entwurf steht nach zwanzig Minuten. Die restliche Zeit muss für Abstimmung, Anpassung und Freigabe reichen. Wer jetzt gründlich recherchiert, wirkt womöglich langsam.
Für mich liegt darin eine organisatorische Gefahr, die wir durch unsere eigenen Anreize verstärken können. Wenn nur Durchsatz belohnt wird, gerät die Prüfung unter Rechtfertigungsdruck. Das Unternehmen bekommt mehr Ergebnisse, aber nicht zwangsläufig mehr Gewissheit darüber, was diese Ergebnisse wert sind.
Prüfung kostet mehr als Zustimmung
Nehmen zum Beispiel ein Unternehmen, das ein neues digitales Angebot für kleine Handwerksbetriebe entwickeln möchte. Eine Führungskraft lässt mit KI eine Produktidee, eine Marktanalyse und eine Website ausarbeiten. Das Ergebnis beschreibt klar die Zielgruppe, formuliert überzeugende Vorteile und schlägt einen plausiblen Preis vor.
Jetzt sind zwei sehr unterschiedliche Arbeiten möglich. Man kann prüfen, ob die Darstellung verständlich und in sich schlüssig ist. Oder man kann prüfen, ob Handwerksbetriebe das beschriebene Problem tatsächlich häufig genug haben, ob sie für dessen Lösung bezahlen würden und ob das Unternehmen diese Lösung wirtschaftlich liefern kann.
Die erste Prüfung lässt sich am Bildschirm erledigen.
Die zweite braucht Zugang zur Wirklichkeit.
Wie viel Aufwand eine Prüfung verlangt, beeinflusst unser Verhalten. In fünf Studien mit insgesamt 731 Teilnehmern untersuchten Vasconcelos und Kollegen Entscheidungen mit simulierter KI anhand von Labyrinthaufgaben.
Zentrale Erkenntnis: Schwierigkeit, Prüfaufwand und finanzielle Anreize beeinflussten die Übernahme falscher Empfehlungen. Gut überprüfbare Erklärungen konnten Übervertrauen verringern. Strategische Unternehmensentscheidungen sind komplexer, aber der untersuchte Mechanismus ist relevant. Prüfen muss sich unter den gegebenen Bedingungen lohnen.
Der pauschale Appell, Mitarbeiter müssten „kritischer denken“, greift deshalb zu kurz. Wer Prüfung verlangt, muss dafür Zeit und Zugang zu Belegen schaffen.Wenn eine Marktbehauptung entscheidend ist, braucht der Prüfer die zugrunde liegenden Daten und ihre Herkunft. Eine weitere Seite wohlklingender Begründungen hilft wenig.
Fok und Weld schlagen in ihrer Forschungssynthese vor, Erklärungen danach zu beurteilen, ob sie die Überprüfung einer Antwort ermöglichen oder erleichtern. Dass wir einen Gedankengang verstehen, sagt für sich genommen wenig darüber aus, ob seine Annahmen stimmen.
Eine richtige Analyse kann fremde Maßstäbe enthalten
Bei unserem digitalen Angebot geht es außerdem um Entscheidungen, für die es keine eindeutig richtige Antwort gibt. Soll das Produkt möglichst vielen Betrieben helfen oder zunächst ein enges, zahlungskräftiges Segment bedienen? Ist schnelles Wachstum wichtiger als geringe Supportkosten? Wie viel Einführungsaufwand dürfen wir Kunden zumuten?
Eine KI kann hierzu vernünftig argumentieren. Sie kann aber auch den Maßstab setzen, nach dem wir die Optionen beurteilen, bevor wir selbst bewusst darüber entschieden haben.
Ein Forschungsbericht von Anthropic über ein Experiment mit 50 Fachleuten für kausale Inferenz macht diesen Einfluss sichtbar: Verdeckte, zufällig zugewiesene Agentenpräferenzen verschoben analytische Entscheidungen deutlich in Richtung des jeweiligen Agenten. Zur Wahl standen vertretbare Alternativen, keine absichtlich falschen Antworten. Das kleine Experiment in einem synthetischen Landwirtschaftsfall belegt weder schädliche Entscheidungen noch eine generelle Manipulierbarkeit aller Experten. Es zeigt, dass auch fachlich akzeptable Unterstützung Urteile prägen kann.
Für Führungskräfte folgt daraus eine Unterscheidung, die in vielen Freigabeprozessen fehlt. Faktenkontrolle beantwortet, ob eine Aussage stimmt. Sie beantwortet nicht, ob wir die Ziele, Prioritäten und Abwägungen hinter einer Empfehlung bewusst gewählt haben.
Wenn die KI das Kundensegment auswählt, Wachstum zum wichtigsten Kriterium erklärt und danach den Business Case optimiert, kann die Rechnung vollständig korrekt sein. Trotzdem hat das System bereits einen erheblichen Teil der Entscheidung vorbereitet.
Organisatorische Verantwortung und faktische Entscheidungsmacht können so auseinanderfallen. Auf dem Papier entscheidet ein Mensch. Im Arbeitsablauf übernimmt er möglicherweise einen bereits fertig eingerichteten Entscheidungsrahmen.
Wenn Geschäftsergebnisse kaum Rückmeldung geben
Bei einem Rechenfehler lässt sich oft zeitnah feststellen, was falsch war. Bei einer Produktstrategie ist das schwieriger. Verkäufe hängen auch von Vertrieb, Zeitpunkt, Wettbewerb und Umsetzung ab. Ein Misserfolg beweist nicht automatisch, dass die ursprüngliche Idee schlecht war. Umgekehrt bestätigt ein einzelner Erfolg nicht jede Annahme dahinter.
Die Forschung zu günstigen und ungünstigen Lernumgebungen beschreibt, wie sehr Lernen von der Qualität der Rückmeldung abhängt. Wenn Erfahrungen die spätere Entscheidungssituation verzerrt abbilden, kann sich falsche Sicherheit verfestigen. Übertrage ich diesen Gedanken auf die Arbeit mit KI, sollten Unternehmen besonders vorsichtig werden, wenn überzeugende Ausarbeitungen auf verspätete oder mehrdeutige Geschäftsergebnisse treffen.
Hier liegt für mich der Kern von „The Age of Bullshit“:
Wir können die professionelle Form einer Leistung immer günstiger erzeugen. Ob hinter dieser Form eine tragfähige Erkenntnis steckt, bleibt eine eigene Frage. Dazu braucht niemand absichtlich zu täuschen. Es genügt, wenn alle Beteiligten das fertige Dokument als Fortschritt behandeln und die offene Annahme darin übersehen.
Führung muss die Prüfung organisieren
Für die Gestaltung von Arbeit schlage ich deshalb einige Änderungen vor. Welche davon tatsächlich helfen, sollte jedes Unternehmen an der Qualität seiner Ergebnisse und dem entstehenden Aufwand prüfen.
Am Anfang steht ein kurzer Entscheidungsauftrag, bevor die KI einen überzeugenden Vorschlag liefert. Für unser Beispiel könnte darin stehen, welches Kundenproblem wir lösen wollen, welchen Nutzen wir erwarten und welche Zielkonflikte die Geschäftsführung entscheiden muss. Auch offene Fragen gehören hinein. Entscheidend ist, dass die Erfolgskriterien nicht erst aus dem fertigen Entwurf abgeleitet werden.
Dafür braucht es keine umfassende Bürokratie. Eine halbe Seite kann genügen. Sie sollte festhalten, welche Annahme das Vorhaben tragen muss und welche Beobachtung uns umstimmen würde. Etwa, ob Betriebe für die vorgeschlagene Entlastung einen bezahlten Pilotversuch eingehen. Gespräche und Pilotversuche liefern unterschiedliche Arten von Evidenz. Freundliches Interesse an einer Idee ist noch keine Zahlungsbereitschaft.
An wenigen folgenreichen Stellen lohnt sich ein eigenes Ersturteil vor dem KI-Vorschlag. Die verantwortliche Person hält ihre wichtigsten Kriterien und eine vorläufige Einschätzung fest.
Danach sollte der Prüfaufwand der Tragweite folgen. Ein interner Formulierungsvorschlag braucht eine andere Kontrolle als die Annahme, auf der ein sechsstelliger Produktetat beruht.
Für wiederkehrende Arbeiten können Stichproben sinnvoll sein. Bei schwer rückgängig zu machenden Entscheidungen müssen die tragenden Annahmen vor der Freigabe geprüft werden. Der Umfang der Kontrolle sollte also am möglichen Schaden und an der Unsicherheit hängen.
Menschliche Kontrolle braucht dafür vier Voraussetzungen zugleich:
- Jemand muss fachlich in der Lage sein, das Ergebnis zu beurteilen,
- genügend Zeit erhalten,
- die relevanten Belege einsehen können und
- die Befugnis haben, dem Vorschlag zu widersprechen.
Fehlt eine dieser Voraussetzungen, kann die Freigabe zur bloßen Formalität werden. Ein zweites KI-System kann bei der Fehlersuche helfen.
Besonders schwierig wird es, wenn wir auch die Qualitätsprüfung an KI delegieren: Dann kann eine weitere plausible Begründung wie eine unabhängige Bestätigung wirken. Entscheidend bleibt, welche Annahmen tatsächlich anhand belastbarer Belege geprüft wurden.
Ebenso wichtig ist, was Führungskräfte anschließend messen. Bei unserem Beispiel wäre die Zahl produzierter Seiten ein Produktionsmaß. Für die Produktentscheidung zählt stärker, ob passende Kunden einen Pilotversuch beginnen, das Angebot tatsächlich nutzen und wirtschaftlich betreut werden können. Nicht jede Wirkung lässt sich sofort sauber quantifizieren. Trotzdem sollte klar sein, welche Beobachtung für die Entscheidung relevant ist und wann wir darauf zurückkommen.
Schließlich gehört der Aufwand für Nacharbeit in die Produktivitätsrechnung. Ein in Minuten erzeugtes Konzept ist kein Zeitgewinn, wenn andere es stundenlang entwirren müssen. Wer eine problematische Annahme früh entdeckt oder einen unbrauchbaren Vorschlag zurückweist, muss damit sichtbar zum Erfolg beitragen können. Sonst belohnt die Organisation die Lieferung und bestraft ihre eigene Qualitätskontrolle.
KI kann uns sehr viel Arbeit abnehmen. Gerade deshalb sollten Führungskräfte präziser festlegen, welche Arbeit sie weiterhin selbst verantworten und tatsächlich leisten müssen. Dazu gehört, Ziele zu legitimieren, entscheidende Annahmen zu prüfen und aus den Folgen zu lernen.
Die wichtigste Frage nach einer beeindruckenden KI-Präsentation ist für mich deshalb nicht, wie lange ihre Erstellung gedauert hat. Ich möchte wissen, welche Annahme wir nun besser belegen können, welche offen geblieben ist und wer darüber entscheidet, ob das für den nächsten Schritt reicht.
In meiner Rolle als Head of AI bei REACHX arbeite ich derzeit an einer KI-Mensch-Prozesslandschaft. Es soll die hier beschriebenen Probleme bei der Delegation von Aufgaben, Entscheidungen und ihrer Bewertung an KI adressieren.
Die psychologischen und organisatorischen Mechanismen dahinter erkläre ich im vertiefenden Beitrag „Warum wir der KI unser Urteil überlassen“.
Abonniere das AFAIK-Update
KI verstehen. Fundiert entscheiden. Wirksam umsetzen.
Im AFAIK-Update teile ich meine Einordnungen und Erfahrungen zu KI im Unternehmen: von Strategie und sinnvollen Anwendungsfällen über die Auswahl passender Lösungen bis zur praktischen Umsetzung. Kostenlos, persönlich und mit einem klaren Blick auf Chancen und Grenzen.
Keine Sorge, ich mag Spam genauso wenig wie Du und gebe Deine Daten niemals weiter! Du bekommst höchstens einmal pro Monat eine E-Mail von mir. Versprochen.
