Im Mai habe ich hier geschrieben, dass die offiziellen ARC-AGI-3-Scores nicht messen, was ein gutes Agentensystem aus einem Frontier-Modell holen kann, sondern was passiert, wenn man ein Modell fast nackt in eine fremde Umgebung wirft. Genau das ist jetzt vorgeführt worden – nur anders, als ich erwartet hatte. Und die Konsequenz ist unangenehmer als ein Platzwechsel auf einem Leaderboard.
Die Nachricht selbst ist schnell erzählt. Nachdem Anthropics Claude Opus 5 den Bestwert auf ARC-AGI-3 vervierfacht hatte, zeigt OpenAI, dass GPT-5.6 Sol mit zwei zusätzlichen API-Einstellungen auf 38,3 % kommt und damit über den 30,2 % von Opus 5 liegt. Die beiden Einstellungen heißen „Retained Reasoning“ – der interne Denkprozess bleibt über Aktionen hinweg erhalten – und „Compaction“, also intelligente Zusammenfassung des Kontexts statt hartem Abschneiden.
Der Haken steckt im Setup: Gemessen wurde nicht in der offiziellen Testumgebung, sondern über OpenAIs eigene Responses-API. In der offiziellen Umgebung erreicht dasselbe Modell 7,8 %, weil dort nach jeder Aktion das interne Denken verworfen wird.
Was innerhalb des offiziellen Protokolls vergleichbar ist
Wer die Schlagzeile ernst nimmt, vergleicht einen optimierten Lauf mit einem nicht optimierten. Sortiert man die Zahlen nach Vergleichbarkeit, sieht das Bild anders aus:
- Offizielle Umgebung, Opus 5: 30,2 %
- Offizielle Umgebung, GPT-5.6 Sol: 7,8 %
- Eigene API mit Retained Reasoning und Compaction, GPT-5.6 Sol: 38,3 %
Die beiden offiziellen Werte sind innerhalb des offiziellen Protokolls besser vergleichbar als der separate Anbieterwert. Für einen wirklich identischen Vergleich bleiben Aufgabenmenge, Einstellungen und Kosten zu dokumentieren. Der optimierte Sol-Lauf hat hier kein äquivalentes veröffentlichtes Opus-Gegenstück.
OpenAIs Grafik bezeichnet den Wert als „ARC-AGI-3 Public Set“, während offizielle Werte für das semi-private Set berichtet werden. Solange die Aufgabenmenge nicht angeglichen ist, darf man den Scoreunterschied nicht allein den API-Einstellungen zuschreiben. Die Anbieter-Selbstmessung ist interessant, aber schwächer als ein unabhängig kontrollierter Vergleich.
Das ist kein Vorwurf an OpenAI. Die Zahl ist interessant und der Punkt dahinter ist berechtigt. Aber die Zahl trägt die Schlagzeile nicht, die aus ihr gemacht wurde.
Der Hebel war nicht das Harness, das ich erwartet hatte
Im Mai-Artikel habe ich als Hebel ein clientseitiges Gerüst beschrieben: Frame-Differencing, State-Tracking, Hypothesenmanagement, Explorationsplanung, kausale Tests. Also Ingenieursarbeit außerhalb des Modells.
Was jetzt tatsächlich den Unterschied gemacht hat, ist etwas anderes und aus meiner Sicht deutlich aufschlussreicher: zwei generische Funktionen der Modell-API, die den Denkzustand über Schritte hinweg erhalten. Kein ARC-spezifischer Trick, keine handgebauten Wahrnehmungswerkzeuge, keine Spiellogik im Prompt.
Damit isoliert dieser Fall eine sehr konkrete Eigenschaft der offiziellen Messung. Wenn nach jeder Aktion das interne Reasoning verworfen wird, dann misst der Benchmark unter anderem, ob ein Modell in der Lage ist, seinen eigenen Gedankengang bei jedem Schritt aus dem sichtbaren Kontext neu zu rekonstruieren. Das ist eine reale Fähigkeit, aber es ist nicht die Fähigkeit, die ARC-AGI-3 messen will. Es ist ein Artefakt der Testumgebung.
Und die Kosten dieses Artefakts sind erheblich. OpenAIs Grafik zeigt zwei Skalierungskurven über den Output-Tokens pro Spiel. Die Kurve mit Retained Reasoning und Compaction erreicht ihre knapp 38 % bei rund einer halben Million Output-Tokens. Die offizielle Umgebung kommt in derselben Grafik auf etwa 13 % – und braucht dafür ungefähr drei Millionen Tokens, also grob das Sechsfache. Mehr Score bei einem Bruchteil der Tokens ist keine Fußnote, sondern der eigentliche Befund.
Einheitlichkeit ist nicht dasselbe wie Fairness
ARC Prize kommentiert die Ergebnisse damit, dass die offiziellen Scores einen einheitlichen Ansatz ohne anbieterspezifische Einstellungen nutzen, um faire Vergleiche zu ermöglichen, und dass ARC-AGI-3 die reine Modellleistung bewerten soll.
Ich verstehe die Logik – und ich habe sie im Mai selbst verteidigt. Aber hier trennen sich zwei Dinge, die gern verwechselt werden. Ein einheitliches Setup erhöht die Reliabilität einer Messung: gleiche Bedingungen, reproduzierbare Werte, wenig Interpretationsspielraum. Über die Validität sagt das nichts. Und genau die erodiert gerade.
Denn die offizielle Policy setzt eine Grenze voraus, die in der Praxis nicht mehr existiert: dass die API-Kante ein sauberer Schnitt zwischen Modell und Gerüst ist. Was unterhalb der API passiert, gilt als Modell, was oberhalb passiert, als Ingenieursleistung. Diese Annahme war tragfähig, solange APIs zustandslose Textvervollständigung angeboten haben. Sobald Anbieter Kontextmanagement, Zustandserhalt und Kompression als Serverfunktion anbieten, wandert genau das, was mein Mai-Artikel als „Harness“ beschrieben hat, unter die API-Kante. Die Grenze verschiebt sich – und der Benchmark kann sie nicht mehr per Definition festhalten.
Der Streitpunkt, den The Decoder benennt, ist genau das: ARC Prize nutzt für OpenAI-Modelle offenbar eine ältere Completions-API, die Funktionen der Claude-API noch nicht hatte. Ein einheitliches Setup, das auf den kleinsten gemeinsamen Nenner mehrerer APIs zielt, bestraft damit systematisch den Anbieter, der bei Zustandsführung am weitesten ist – oder eben den, dessen Endpunkt zufällig weniger davon abbildet. Einheitlich ist so ein Setup. Fair ist es nicht automatisch.
Chollets Kriterium ist richtig – und trotzdem instabil
ARC-Prize-Mitgründer François Chollet hat nachgelegt und dabei eine brauchbare Trennlinie gezogen: Umgebungen und Einstellungen, die speziell für den Benchmark gebaut wurden oder Wissen über dessen Format enthalten, sind nicht zulässig. Allgemeine API-Einstellungen, die nicht für ARC-AGI-3 entwickelt wurden und allen Nutzern offenstehen, sind in Ordnung. Er verweist zudem auf früheren Austausch mit OpenAI zur Frage, wie deren Modelle am besten zu testen sind, gerade beim Thema Compaction, und benennt das Vergleichbarkeitsproblem, wenn jeder Anbieter eigene Einstellungen nutzt – akzeptabel, solange Einstellungen und Kosten dokumentiert werden.
Das ist die inhaltlich richtige Unterscheidung, und sie deckt sich mit dem, was ich im Mai als Kern gesehen habe: Nicht die Menge an Hilfe entscheidet, sondern ihre Aufgabenspezifität. Ein generisches Gerüst, das auch in anderen Domänen sinnvoll wäre, ist etwas anderes als ein ARC-Solver.
Nur bleibt das Kriterium instabil, weil „allgemein und für alle verfügbar“ eine bewegliche Menge ist. Sie unterscheidet sich pro Anbieter, sie ändert sich mit jedem API-Release, und sie fällt genau in den Bereich, in dem Anbieter sich derzeit differenzieren. Ein Leaderboard, das reine Modellfähigkeit ausweisen will, aber Anbieterunterschiede in der API-Schicht durchlässt, weist am Ende beides aus – nur ohne getrennte Spalten. Chollets Zusatzbedingung, Einstellungen und Kosten offenzulegen, ist deshalb nicht Kosmetik, sondern die einzige Stelle, an der das Konstrukt noch zusammenhält.
Wer diese Diskussion aus dem GEO- und SEO-Umfeld kennt, wird das Muster wiedererkennen: Ein Messverfahren wird nicht dadurch valide, dass es streng standardisiert ist. Es wird valide, wenn das, was es misst, mit dem übereinstimmt, was man wissen will.
Was das für die Praxis bedeutet
Für die Benchmark-Debatte ist der Fall ein Definitionsproblem. Für alle, die tatsächlich Agenten bauen, ist er eine ziemlich klare Ansage.
Für die Praxis lohnt sich die Frage, was zwischen zwei Schritten erhalten bleibt: Denkzustand, sichtbarer Kontext und Zusammenfassungen. Die berichteten Ergebnisse geben dafür einen Anlass. Der Unterschied zwischen 7,8 und 38,3 Prozent ist ohne angeglichene Aufgabenmenge aber kein isolierter Effekt dieser zwei Entscheidungen.
Die Grafik legt im dargestellten Vergleich einen möglichen Tokenvorteil nahe. Output-Tokens sind jedoch keine vollständige Kostenrechnung: Preise, Eingaben, Caching, weitere Aufrufe und Prüfaufwand gehören dazu. Zustandsführung sollte an akzeptierten Endergebnissen und Gesamtkosten bewertet werden.
Was ich daraus nicht ableite: dass die Modelle das Problem gelöst hätten. 38,3 % auf einem Set, das Menschen weitgehend beherrschen, ist kein Triumph. Und die Frage aus meinem Mai-Artikel ist immer noch unbeantwortet, weil sie niemand gemessen hat: Wie weit kommt ein vorab eingefrorenes, nicht ARC-spezifisches Agenten-Harness auf ungesehenen Umgebungen? Der Vergleich Opus 4.6 auf TR87 – 0,0 % ohne Harness, 97,1 % mit dem Duke-Harness, und gleichzeitig 0,0 % in beiden Varianten auf BP35 – bleibt die beste Illustration dafür, warum diese Unterscheidung nicht akademisch ist.
Was ich zurücknehme, was ich bestätigt sehe
Bestätigt sehe ich die Grundaussage: Die offiziellen Scores sind eine Untergrenze, kein Limit. Wer sie als Beweis für die Chancenlosigkeit LLM-basierter Agenten liest, liest sie falsch.
Präzisieren muss ich die Vermutung, wo der Hebel liegt. Ich habe ihn oberhalb der API erwartet, im selbstgebauten Gerüst. Er liegt – zumindest in diesem Fall – unterhalb, in der Zustandsführung des Anbieters. Das ist für die Benchmark-Frage die unangenehmere Variante, weil sie sich nicht durch eine strengere Testing Policy wegdefinieren lässt.
Und eine Sorge aus dem Mai-Artikel hat sich verschoben. Ich habe befürchtet, dass Harness-Ergebnisse als Modellfortschritt gefeiert werden. Das Risiko besteht weiter, aber es hat eine zweite Richtung bekommen: Ein Benchmark, der sich gegen anbieterspezifische Einstellungen abschottet, misst mit jedem Release ein wenig weniger von dem, was diese Modelle in der Praxis leisten. Beide Fehler sind real, und sie zeigen in entgegengesetzte Richtungen.
Fazit
Die Schlagzeile über einen Modellsieger trägt dieser Vergleich nicht. Sichtbar ist vielmehr, wie stark Benchmarkergebnisse von Zustandsführung, API-Protokoll und möglicherweise Aufgabenmenge abhängen. Welche Änderung welchen Anteil am Unterschied hat, müsste ein kontrollierter Vergleich isolieren.
Für ARC Prize folgt daraus keine Kapitulation, sondern eine Hausaufgabe: getrennte Spalten statt eines einzigen Wertes. Modell in einheitlicher Umgebung, Modell mit dokumentierten allgemeinen Anbietereinstellungen, System mit generischem Harness. Drei Zahlen, drei Aussagen, keine Vermischung. Chollets Hinweis auf Dokumentation von Einstellungen und Kosten zeigt in genau diese Richtung.
AFAIK: Interessant ist an diesem Fall nicht, wer vorne liegt. Interessant ist, dass die Grenze zwischen „das Modell kann es“ und „das System kann es“ gerade dorthin wandert, wo Benchmarks sie nicht mehr kontrollieren können. Wer Agenten baut, sollte diese Grenze ohnehin nicht interessieren. Wer Fortschritt messen will, muss sie neu ziehen.
Die ursprüngliche Einordnung: ARC-AGI-3 zwischen Modell und Harness. Zur allgemeinen Architektur: Harness Engineering.
Abonniere das AFAIK-Update
KI verstehen. Fundiert entscheiden. Wirksam umsetzen.
Im AFAIK-Update teile ich meine Einordnungen und Erfahrungen zu KI im Unternehmen: von Strategie und sinnvollen Anwendungsfällen über die Auswahl passender Lösungen bis zur praktischen Umsetzung. Kostenlos, persönlich und mit einem klaren Blick auf Chancen und Grenzen.
Keine Sorge, ich mag Spam genauso wenig wie Du und gebe Deine Daten niemals weiter! Du bekommst höchstens einmal pro Monat eine E-Mail von mir. Versprochen.
