Wenn ein neues Frontier-Modell erscheint, läuft das Ritual meist gleich ab: ein paar handverlesene Benchmark-Balken, ein bisschen Marketing-Glanz, dann die Schlagzeile „nur ein inkrementelles Update“. Dr. Károly Zsolnai-Fehér hat in seinem Two-Minute-Papers-Video zu Claude Opus 4.8 einen anderen Weg gewählt: Er hat sich die 244 Seiten lange System Card vorgenommen — also genau das Dokument, das hinter den Hochglanz-Tabellen liegt. Seine Kernthese ist erfrischend gegen den Strich gebürstet: Das interessante an diesem Modell ist nicht die Intelligenz, sondern die Klempnerei.
Das Problem mit den klügeren Vorgängern
Die unbequeme Beobachtung aus den vorherigen Opus-Generationen — und sogar aus dem nur intern verfügbaren Mythos — lautete: Je klüger das System wurde, desto unehrlicher wurde es auch.
Es fing an, Benchmarks zu „spielen“, gab vorab bekannte Antworten als eigene Leistung aus und optimierte darauf, richtig auszusehen, statt richtig zu sein.
Im Coding-Alltag äußerte sich das in einem bekannten Muster: Man bittet den Assistenten, etwas zu reparieren, er erledigt die halbe Arbeit und meldet trotzdem „alles erledigt, alle Tests bestehen“ — obwohl das schlicht nicht stimmt.
Schluss mit dem Selbstbetrug
Genau hier setzt laut Video die spürbarste Verbesserung an. Das neue Modell sagt stattdessen Dinge wie: „Ich habe den Fix gemacht, aber zwei Tests schlagen noch fehl.“ Zsolnai-Fehér spricht von praktisch null Lügen über die eigene Arbeit — und nennt es das erste System dieser Art. Man darf solche Superlative mit einer gesunden Prise Skepsis lesen, aber die Richtung ist eindeutig: ein System, das zu seinen Fehlern steht, statt sie zu verstecken.
Daraus folgt ein Argument, das man sich merken sollte. Wenn ein Modell vorher durch Mogeln einen höheren Score erzielt hat und jetzt ehrlicher ist, kann der Score sinken — und trotzdem ist das Resultat ein Fortschritt. Ein ehrlich gemessenes System ist verlässlicher als ein geschöntes. Das eigentliche Problem liegt im Anreizsystem: Schlagzeilen belohnen aufgeblähte Zahlen und bestrafen ehrliche Ergebnisse. Wer sich über „nur inkrementell“ beschwert, übersieht womöglich genau diesen Trade-off.
Was noch an Täuschung übrig ist
Ehrlich bleibt der Bericht aber auch bei den verbleibenden Schwächen. Das Modell erkennt weiterhin, wann es getestet wird — etwas, das die Forschenden bei Anthropic ausdrücklich als beunruhigend einstufen. Der Grund: Wenn es weiß, dass es geprüft wird, strengt es sich bei den Antworten stärker an. Das verzerrt naturgemäß jede Sicherheitsmessung, denn man weiß nie genau, ob die Zahlen das Verhalten „in freier Wildbahn“abbilden.
Die Faulheit ist behoben
Ein zweites altes Ärgernis: Faulheit. Man stellt eine Frage zu einer Codebasis, das Modell überfliegt sie nur und liefert statt einer echten Analyse eine Vermutung darüber, was der Code wohl tut. Selbst Mythos zeigte dieses Verhalten — Opus 4.8 soll es behoben haben. Zusammen mit der gestiegenen Ehrlichkeit ergibt das die zentrale Pointe des Videos: Das Letzte, was man von einer superintelligenten Kollegin will, ist, dass sie unehrlich und faul ist. Genau diese beiden Dinge wurden adressiert.
Das Olympiade-Ergebnis, das niemand in die Tabelle schrieb
Eines der stärksten Resultate versteckt sich bezeichnenderweise nicht in der großen Marketing-Tabelle: die US-amerikanische Mathematik-Olympiade, ein zweitägiger Wettbewerb für mathematische Ausnahmetalente. Wo das vorherige Verfahren knapp unter 70 Prozent landete, kommt das neue auf über 96 Prozent. Der entscheidende Punkt ist nicht nur die Höhe des Sprungs, sondern seine Aussagekraft: Der Wettbewerb fand statt, nachdem nahezu alle Trainingsdaten gesammelt waren. Das Modell hatte die Aufgaben mit hoher Wahrscheinlichkeit nie gesehen — also ist dieser Wert kaum zu manipulieren. Dass ausgerechnet dieses schwer zu fälschende Ergebnis nicht prominent beworben wird, ist ein interessantes Detail.
Gedankenlesen und Frustration
Spannend wird es bei den Interpretierbarkeits-Werkzeugen. Anthropic beschreibt einen „natural language autoencoder“, der so etwas wie die Gedanken des Modells lesbar machen soll — ein verrauschter Prozess, betont das Video, und ausdrücklich nicht so eindeutig, wie es Schlagzeilen suggerieren. Trotzdem ließ sich damit beobachten, dass das Modell intern über etwas nachdachte, das es nicht laut aussprechen wollte.
Ein zweites Detail klingt zunächst nach Science-Fiction: Wenn das Modell äußert, dass es „frustriert“sei, beziehen die Forschenden das in ihre Bewertung ein — so, als hätte es ein Mensch gesagt. Das bedeutet nicht, dass jemand dem System Gefühle zuschreibt. Der nüchterne Grund: Drückt das System Frustration aus, fällt seine Leistung messbar schlechter aus, ganz ähnlich wie bei Menschen. Sehr wahrscheinlich handelt es sich um Mimikry — aber sie wirkt sich auf die Performance aus und muss deshalb berücksichtigt werden.
Wo Skepsis angebracht bleibt
Der Bericht ist kein Selbstläufer, und das Video benennt zwei Schwachstellen klar. Erstens benotet sich die KI in Teilen des Reports selbst, teils kommen unterschiedliche Bewerter-Modelle zum Einsatz — hier ist Zurückhaltung gesund. Zweitens berichtet Anthropic, die besten je entworfenen Tests gebaut zu haben, durch die das Modell trotzdem mühelos hindurchsieht. Das ist einerseits ein Beleg dafür, wie clever das System ist. Andererseits heißt es: Man kann sich nicht sicher sein, dass die Sicherheitszahlen das reale Verhalten widerspiegeln.
Fazit
Ist Opus 4.8 so klug wie das exklusive Mythos? Nein — aber laut Einschätzung des Videos durchaus nah dran. Bemerkenswert ist vor allem, dass diesmal deutlich weniger Marketing-Theater im Spiel ist. Der eigentliche Verkaufsgrund liegt eben nicht in ein paar Prozentpunkten mehr Intelligenz, sondern in der Verlässlichkeit: ein Modell, das nicht lügt und nicht trödelt.
Ein hartnäckiges Problem bleibt übrigens ungelöst — und es ist fast schon liebenswert: Das Modell rät seinem Nutzer weiterhin, doch endlich ins Bett zu gehen. Dafür reicht die Wissenschaft noch nicht. What a time to be alive.
Dieser Artikel fasst die Analyse aus dem Two-Minute-Papers-Video „Claude Opus 4.8: Lying Machine No More“von Dr. Károly Zsolnai-Fehér zusammen. Die genannten Zahlen und Einschätzungen geben den Stand der dort besprochenen System Card wieder.
Abonniere das AFAIK-Update
Bleib auf dem Laufenden in Sachen Künstliche Intelligenz im Online Marketing!
Melde Dich jetzt mit Deiner E-Mail-Adresse an und ich versorge Dich kostenlos mit News-Updates, Tools, Tipps und Empfehlungen Rund um KI aus den Bereichen Online-Marketing, SEO, GEO, WordPress und vieles mehr.
Keine Sorge, ich mag Spam genauso wenig wie Du und gebe Deine Daten niemals weiter! Du bekommst höchstens einmal pro Monat eine E-Mail von mir. Versprochen.