0,22 gegen 0,06: Warum KI-Agenten viel schneller klug werden als verlässlich

Zwei Zahlen aus derselben Messreihe, 24 Monate Modellgeschichte, drei Frontier-Labore: Die Treffgenauigkeit von KI-Agenten stieg um 0,22 Punkte pro Jahr. Ihre Verlässlichkeit um 0,06.

Das ist die empirische Mitte einer Keynote, die Arvind Narayanan am 9. Juli 2026 auf der ICML in Seoul gehalten hat. Der Princeton-Professor, Mitautor von „AI as Normal Technology“, hat Folien und redigiertes Transkript inzwischen klickgenau online gestellt – 57 Folien, jede Einblendung dokumentiert. Ich habe den kompletten Vortrag durchgearbeitet, weil er eine Frage beantwortet, die in Agenturen und Marketing-Abteilungen gerade jeden Quartalsplan verunsichert: Was bleibt eigentlich für uns zu tun?

Narayanans Antwort ist unbequem für beide Lager. Sie widerspricht der Erzählung, dass in zwei Jahren niemand mehr Content, Kampagnen oder Analysen selbst verantwortet. Und sie widerspricht der bequemen Gegenerzählung, dass alles bleibt, wie es ist. Was sich verschiebt, verschiebt sich nur an einer anderen Stelle, als die meisten Roadmaps annehmen.

Der Engpass liegt nicht im Labor

Der Kern des Frameworks ist eine Kette aus vier Stufen: Methoden und Fähigkeiten, dann Produkte und Anwendungen, dann frühe Adoption, dann strukturelle Anpassung. Modelle sind Stufe eins. Was wir in Marketing-Teams tatsächlich benutzen, sind Stufe zwei – und der Nutzen entsteht erst auf Stufe drei und vier.

Narayanans historische Referenz ist die Elektrifizierung der Fabriken. Als Strom verfügbar wurde, tauschten Fabrikbesitzer zuerst die Dampfmaschine gegen einen Elektromotor – Drop-in-Replacement, gleiche Halle, gleiche Transmissionswellen, gleicher Ablauf. Der Produktivitätssprung blieb aus. Er kam erst rund vier Jahrzehnte später, als klar war, dass Strom transportierbar ist: Man konnte die Halle um die Logik des Fließbands neu bauen, statt um die Logik einer zentralen Kraftquelle. Das erforderte neue Layouts, neue Qualifikationen, neue Verträge, neue Gesetze.

Genau dieses Muster erkenne ich in der aktuellen KI-Adoption im Marketing. Wir stecken Agenten in Prozesse, die für menschliche Arbeitsteilung gebaut wurden: Briefing an Text, Text an Korrektur, Korrektur an Freigabe. Dann messen wir, dass es kaum schneller wird, und schließen daraus, die Modelle seien noch nicht gut genug. Narayanans These: Die Modelle sind längst nicht das Problem. Das Problem ist die Halle, in der wir sie betreiben.

Dazu passt eine Beobachtung, die ich in der Gegenüberstellung von Googles ATLAS-Report und Anthropics Economic Index schon einmal ausführlich zerlegt habe: Was wir heute an KI-Nutzung messen, ist überwiegend oberflächliche Nutzung. Das Anthropic-Radardiagramm, das Narayanan zeigt, macht die Lücke sichtbar – in vielen Wissensberufen liegt die theoretisch erreichbare Abdeckung bei 0,8 bis 1,0, die beobachtete fast überall unter 0,4. Diese Lücke ist keine Trägheit der Anwender. Sie ist die Stufe, auf der wir gerade stehen.

Was Benchmarks verschweigen: Verlässlichkeit hat vier Dimensionen

Der interessanteste Teil des Vortrags ist die Unterscheidung zwischen Fähigkeit und Verlässlichkeit. Narayanans Team hat aus zehn bis zwölf Metriken vier Dimensionen destilliert:

Konsistenz – gelingt eine Aufgabe zuverlässig oder nur manchmal?
Robustheit – funktioniert es auch, wenn die Bedingungen nicht perfekt sind?
Kalibrierung – erkennt das System selbst, ob es die Aufgabe gelöst hat?
Betriebssicherheit – ist ein Fehler reparabel oder katastrophal?

Das entscheidende Argument steckt in der Konsistenz. Wenn ein Agent mit „70 % Genauigkeit“ ausgewiesen wird, kann das zwei völlig verschiedene Dinge bedeuten. Entweder er löst 70 % der Aufgabentypen, diese aber jedes Mal – dann ist er produktiv einsetzbar, weil man genau diese 70 % automatisieren und den Rest an Menschen geben kann. Oder er scheitert an jeder beliebigen Aufgabe mit 30 % Wahrscheinlichkeit – dann ist er für unbeaufsichtigten Betrieb praktisch unbrauchbar. Narayanans Befund: Keiner der untersuchten Agenten-Benchmarks unterscheidet diese beiden Fälle. Beide erscheinen als „70 %“.

Wer schon einmal einen Content- oder Reporting-Agenten in Produktion gebracht hat, kennt den Unterschied aus dem Bauch. Die Frage ist nie, ob das Ding gute Ergebnisse liefern kann. Die Frage ist, ob ich weiß, wann es das nicht getan hat. Genau das ist Kalibrierung – und es ist die Dimension, an der die meisten Automatisierungsversuche im Marketing scheitern, nicht an mangelnder Sprachqualität.

Dass Unverlässlichkeit auch das dominierende Nutzerthema ist, stützt eine Anthropic-Befragung von rund 80.000 Claude-Nutzenden, die Narayanan zitiert: Unreliability liegt mit 26,7 % auf Platz eins der genannten Sorgen, vor Jobs und Wirtschaft (22,3 %) sowie Autonomie (21,9 %).

Das Agenten-Trilemma sortiert, was zuerst automatisiert wird

Aus der Verlässlichkeitslücke leitet Narayanan eine Prognose ab, die ich für den praktisch nützlichsten Satz des Vortrags halte: Von drei Eigenschaften sind derzeit nur zwei gleichzeitig zu haben.

General purpose – ein sprachmodellbasierter Agent, der per Anweisung verschiedene Aufgaben übernimmt, statt für eine Aufgabe gebaut zu sein.
High stakes – Einsatz dort, wo Fehler teuer, rechtlich relevant oder öffentlich sichtbar sind.
Automatisiert – Betrieb ohne Menschen in der Schleife.

Dieses Trilemma ist ein besseres Planungsinstrument als jede Reifegrad-Matrix, weil es erklärt, warum manche KI-Projekte im Marketing seit zwei Jahren durchlaufen und andere nach dem Pilotprojekt sterben. Wer automatisieren will, muss eine der beiden anderen Eigenschaften opfern: entweder die Allgemeinheit – dann baue ich ein spezialisiertes, eng gefasstes, deterministisch eingerahmtes System – oder die Einsatzhöhe, also die Konsequenzen eines Fehlers.

Damit lässt sich die eigene Aufgabenlandkarte sortieren. Interne Recherche, Rohentwürfe, Clustering von Keywords und Suchanfragen, Zusammenfassungen von Wettbewerbsinhalten, Datenaufbereitung: niedrige Fehlerkosten, allgemeine Aufgaben – das ist der Bereich, in dem Automatisierung heute wirklich trägt. Aussagen zu Preisen und Verfügbarkeit, Rechts- und Gesundheitsthemen, Krisenkommunikation, alles mit Kundenfreigabe und Markenhaftung: hohe Fehlerkosten – hier bleibt der Mensch nicht aus Nostalgie in der Schleife, sondern weil die dritte Eigenschaft nicht zu haben ist.

Nebenbei erklärt das Trilemma auch die unangenehme Wahrheit für den unteren Rand des Content-Markts: Massenware mit geringen Fehlerkosten erfüllt genau zwei der drei Bedingungen. Dass dieses Segment automatisiert wird, ist keine Prognose mehr. Es ist Beobachtung. Und die Konsequenz ist nicht, dass Content-Arbeit verschwindet, sondern dass ihr Wert dorthin wandert, wo Fehler wehtun.

Decide, Execute, Deliver: KI komprimiert die Mitte

Für den Arbeitsmarkt argumentiert Narayanan am Beispiel Softwareentwicklung, weil dort früh und breit adoptiert wurde – ein Frühindikator also. Sein Bild ist ein Sandwich aus drei Schichten: Decide (verstehen, was gebraucht wird, spezifizieren, planen), Execute (bauen, schreiben, debuggen), Deliver (Verantwortung übernehmen, integrieren, testen, betreiben).

KI komprimiert die Mitte. Aber die Mitte war immer nur etwa ein Drittel der Arbeit. Und – das ist der eigentliche Punkt – die beiden äußeren Schichten wachsen, weil mehr Output mehr Entscheidungen davor und mehr Verantwortung danach erzeugt. Dazu zitiert der Vortrag eine ganze Serie von Blogbeiträgen aus 2025 und 2026 mit derselben Erkenntnis („Writing code was never the bottleneck“) sowie eine Microsoft-Research-Studie von 2019, die schon damals zeigte, dass Entwickler:innen wenig Zeit mit Entwicklung verbringen.

Übersetzt auf Marketing-Arbeit: Texten war nie der Engpass. Der Engpass war zu wissen, was gesagt werden muss, für wen, mit welcher Behauptung, auf welche Evidenz gestützt – und danach: das Ergebnis verantworten, in Systeme bringen, messen, nachziehen. Wer sein Angebot pro Output-Einheit kalkuliert, verkauft genau die Schicht, die schrumpft. Wer Decide und Deliver verkauft, verkauft die Schichten, die wachsen.

Das ist übrigens die inhaltliche Brücke zu meiner Position, dass Agenten keine Kolleg:innen sind: Nicht der Jobtitel wandert an die Maschine, sondern ein Arbeitsschritt. Verantwortung lässt sich nicht mitdelegieren.

Der Aufwand verschiebt sich vom Erstellen zum Bewerten

Wenn Narayanan seinen Vortrag auf eine Folie reduzieren müsste, wäre es diese: Weil überprüfbare Aufgaben zunehmend von KI übernommen werden, verschiebt sich Aufwand vom Bauen zum Bewerten. Seine Metapher dafür ist der Wechsel vom Ruderboot zum Schiff. Im Ruderboot ist Vortrieb die Arbeit, und wer rudert, entscheidet nebenbei die Richtung. Sobald Maschinen den Vortrieb übernehmen, verschwindet die menschliche Arbeit nicht – sie spezialisiert sich. Ein großes Schiff hat eine Kommandozentrale mit Dutzenden spezialisierter Rollen, die nur eine Frage bearbeiten: wohin und wie.

Drei Gründe nennt er, warum Evaluation der Automatisierung besonders widersteht: Sie erfordert Urteil darüber, was überhaupt geprüft werden soll. Sie ist domänenspezifisch – man baut einmal, aber muss überall neu bewerten. Und sie verlangt ein Modell der Nutzenden, kein Modell der Aufgabe.

Für Marketing-Teams ist das die konkreteste Konsequenz des ganzen Vortrags. Das verteidigungsfähige Kapital ist nicht die Prompt-Sammlung und nicht der Zugang zum besten Modell – beides ist gekauft und in Wochen kopiert. Es ist die markenspezifische Prüfmechanik: Testfälle, an denen ich einen neuen Agenten oder ein neues Modell gegen meine Qualitätsdefinition messe. Golden Sets aus Anfragen, die im eigenen Markt wirklich vorkommen. Kriterien für Belegpflicht und Quellenqualität. Abbruchregeln. Dokumentierte Fehlerklassen aus zwei Jahren Betrieb. In Unternehmen läuft dafür gerade der Satz „Evals sind das neue IP“ um – Narayanan nennt es dasselbe Phänomen, nur in der Wissenschaft.

Wie ernst es ihm damit ist, zeigt sein Vorschlag an die eigene Community: Vielleicht die Hälfte einer Konferenz wie der ICML sollte sich mit Evaluation befassen, mindestens brauche es einen eigenen Track. Und: Peer Review zu automatisieren, hält er für eine Falle, weil man damit die Richtungsentscheidung an die Systeme abgibt, die man beurteilen will. Wer im Marketing seine Qualitätssicherung vollständig an ein Modell delegiert, tut strukturell genau dasselbe.

Warum Effizienzgewinne nicht automatisch Stellen kosten

Die naheliegende Gegenrechnung lautet: Wenn ein Mensch mit KI das Fünffache schafft, braucht es ein Fünftel der Menschen. Narayanan hält dagegen, was Ökonomen als Lump-of-Labor-Fehlschluss kennen – die Annahme, die Menge zu erledigender Arbeit sei fix.

Seine Belege: Mit der Einführung von Geldautomaten stieg die Zahl der Bankangestellten am Schalter, weil Filialen billiger zu betreiben und deshalb häufiger zu öffnen waren. Radiologie-Beschäftigung ist gewachsen, obwohl Geoffrey Hinton vor gut einem Jahrzehnt das Gegenteil prognostizierte – und obwohl Radiolog:innen KI begeistert einsetzen. Maschinelle Übersetzung erreichte vor fast zehn Jahren nahezu menschliches Niveau, die Beschäftigung menschlicher Übersetzer:innen ist seither stabil. Bei den prominenten „KI-Kündigungen“ (Block, Snap, Intuit) sieht er im Kern AI-Washing finanziell begründeter Entlassungen; Analysen von Ökonom:innen der US-Notenbank zeigten Softwarejobs weiter im Wachstum.

Für unsere Branche ist das plausibel, weil die Nachfrage nach Kommunikation kaum eine Obergrenze hat: mehr Kanäle, mehr Sprachen, mehr Varianten, mehr Personalisierung – und, das ist der Preis, dramatisch mehr Prüfaufwand. Aber ich würde die Analogie nicht überdehnen. Diese Beispiele zeigen, dass Beschäftigung wachsen kann, nicht dass sie es muss. Und sie sagen nichts darüber, ob die neuen Aufgaben denselben Menschen zufallen wie die alten.

Vier Dimensionen, die nichts miteinander zu tun haben

Das Mittelstück des Vortrags räumt in einer Begriffskette auf, die auch in Marketing-Präsentationen ständig als Kausalkette auftritt: rekursive Selbstverbesserung führe zu AGI, AGI führe zu Superintelligenz. Narayanan behandelt das als vier unabhängige Dimensionen – rekursive Selbstverbesserung, menschenähnliche KI, wirtschaftlich transformative KI, Superintelligenz – von denen keine die andere impliziert.

Zwei Argumente daraus sind auch ohne KI-Forschungsinteresse brauchbar. Erstens: Die Engpässe vieler großer Versprechen liegen außerhalb des Labors. Krebs zu „heilen“ scheitert nicht an Denkleistung, sondern an klinischen Studien mit Tausenden von Teilnehmenden über zehn bis fünfzehn Jahre. Zweitens: Manche Aufgaben haben inhärente Grenzen – Wetter ein Jahr im Voraus präzise vorherzusagen ist mathematisch unmöglich, nicht schwer.

Daraus folgt seine für Strategiedebatten wichtigste Ableitung: Ein „Wettlauf“ zu wirtschaftlich transformativer KI ist unsinnig, weil es keinen Fähigkeits-Meilenstein gibt, der den wirtschaftlichen Nutzen freischaltet. Das Potenzial liegt längst vor uns; was fehlt, sind Integration, Verlässlichkeit, implizites Fachwissen und Regulierung – alles Dinge, die nicht im Labor gelöst werden und nicht mit dem nächsten Modell-Release am Dienstag ankommen. Wer Budgets an Modell-Launches koppelt, plant an der falschen Stufe der Kette.

Wo der Vortrag dünn wird

Ich halte die Argumentation für stark, aber sie hat Stellen, an denen man nicht einfach mitnicken sollte.

Der Vergleich „0,22 gegen 0,06“ stammt aus zwei verschiedenen Benchmarks mit zwei verschiedenen, jeweils auf 0 bis 1 normierten Skalen. Der Faktor zwischen den Steigungen ist damit ein Indiz, keine Messung einer gemeinsamen Größe. Dass Verlässlichkeit deutlich langsamer wächst als Treffgenauigkeit, halte ich für belastbar; die genaue Kennzahl würde ich nicht in einer Präsentation zitieren, ohne die Methodik gelesen zu haben. Dazu kommt: Die Reliabilitätsstudie ist die Arbeit seiner eigenen Gruppe, das Ergebnis stützt seine These, und die Datenbasis umfasst Modelle dreier Anbieter über 24 Monate. Das ist saubere, aber junge Forschung.

„Anpassung dauert Jahrzehnte“ ist eine historische Analogie, keine gemessene Größe. Die Elektrifizierung ist eine starke Referenz – aber die Diffusionsgeschwindigkeit heutiger Software ist eine andere, und ein Teil der organisatorischen Reibung von 1900 existiert nicht mehr. Ich würde die Richtung übernehmen, nicht die Zeitangabe.

Und die Übertragung von Softwareentwicklung auf Marketing hat eine Bruchstelle. Software ist ein Frühindikator, aber ein Frühindikator mit hohen Fehlerkosten pro Einheit: Kaputter Code fällt auf, gelöschte Produktionsdaten sind ein Vorfall. Große Teile der Content-Produktion haben pro Einheit niedrige Fehlerkosten und keine funktionierende Qualitätsmessung – genau die Konstellation, in der das Trilemma Automatisierung erlaubt. Für den Kern professioneller Marketing-Arbeit teile ich Narayanans Prognose. Für die Ränder rechne ich mit deutlich härteren Verschiebungen, als der Vortrag nahelegt.

Bleibt der optimistische Schluss: Der „Boden“ – was KI allein kann – steigt ohnehin, die „Decke“ – was Menschen mit KI können – steigt nur, wenn wir sie hochschieben. Das ist keine Trendaussage, sondern eine Bedingung. Narayanan sagt das selbst deutlich; in der Rezeption geht es leicht verloren.

Was ich für die eigene Arbeit mitnehme

Der persönlichste Teil des Vortrags ist auch der übertragbarste. Narayanan investiert nach eigener Aussage rund zehn Stunden pro Woche in Lernen und Experimentieren mit neuen Workflows – er reinvestiert den Produktivitätsgewinn in Wachstum, statt ihn als Marge zu vereinnahmen. Sein Prüfsatz dafür ist unangenehm konkret: Wenn er abends nicht erschöpft ist, hat er zu viel abgegeben.

Dazu zwei Heuristiken, die ich fast wörtlich in meine eigene Praxis übernehmen würde. Erstens: der Black-Box-Versuchung widerstehen. Anbieter haben ein Interesse daran, dass wir Agenten als geschlossene Kästen benutzen – Prompt rein, Ergebnis raus. Wer so arbeitet, gibt schrittweise die Kontrolle über den Prozess ab, den er verantwortet. Zweitens: die Abhängigkeitsspirale vermeiden. Es ist besonders verführerisch, KI für genau die Aufgaben zu nutzen, die man selbst nicht beherrscht – und genau dort verhindert sie, dass man sie je beherrscht. Erst Kompetenz aufbauen, dann verstärken.

Für Teams heißt das: Weiterbildung ist in dieser Phase keine Sozialleistung, sondern Kapazitätsaufbau an der Stelle, die knapp wird – Urteil, Domänenwissen, Prüfmechanik. Und es heißt, Produktivität, Wachstum und Kontrolle als drei Größen zu behandeln, die man ausbalancieren muss, statt zwei davon stillschweigend gegen die dritte zu tauschen.

Fazit

Narayanans Antwort auf die Titelfrage lautet nicht „alles bleibt“ und nicht „nichts bleibt“, sondern: Was bleibt, ist die Arbeit, die sich nicht verifizieren lässt – entscheiden, urteilen, bewerten, verantworten. Und die wächst gerade, weil die überprüfbare Arbeit billiger wird.

Für Marketing-Teams ergibt das eine unspektakuläre, aber ziemlich klare Agenda: Aufgaben nach Fehlerkosten sortieren statt nach Modellfähigkeit. Automatisieren, wo Fehler billig sind, und dort ernsthaft. Prüfmechanik aufbauen, wo sie teuer sind, und diese Mechanik als Kapital behandeln. Leistungen entlang von Decide und Deliver verkaufen, nicht pro Output-Einheit. Und den Produktivitätsgewinn wenigstens teilweise in eigene Fähigkeiten zurückstecken.

Fähigkeit kann man kaufen. Verlässlichkeit muss man bauen. Urteil bleibt unsere Aufgabe.

Quellen

Arvind Narayanan: What will be left for us to work on? — ICML 2026 Invited Keynote, Seoul, 9. Juli 2026. Folien und redigiertes Transkript: https://www.cs.princeton.edu/~arvindn/talks/icml-2026-annotated-slides/
Arvind Narayanan, Sayash Kapoor: AI as Normal Technology, Knight First Amendment Institute, 15. April 2025: https://knightcolumbia.org/content/ai-as-normal-technology
Stephan Rabanser et al.: Towards a Science of AI Agent Reliability, ICML 2026: https://arxiv.org/abs/2602.16666
Why AI hasn’t replaced software engineers (Decide-Execute-Deliver): https://www.normaltech.ai/p/why-ai-hasnt-replaced-software-engineers
AGI is not a milestone: https://www.normaltech.ai/p/agi-is-not-a-milestone
Anthropic: Labor market impacts (März 2026): https://www.anthropic.com/research/labor-market-impacts
Deena Mousa: The algorithm will see you now, Works in Progress 2025: https://worksinprogress.co/issue/the-algorithm-will-see-you-now/
Curl, Kapoor, Narayanan: Why AI Won’t Automatically Make Legal Services Cheaper, Lawfare 2026: https://www.lawfaremedia.org/article/ai-won-t-automatically-make-legal-services-cheaper
Tim Harford für den BBC World Service über die Arbeit des Wirtschaftshistorikers Paul A. David zur Elektrifizierung: https://www.bbc.com/news/business-40673694