Forschungseinordnung vom November 2024. Die genannten Werte gelten für den beschriebenen ARC-Versuchsaufbau, nicht für beliebige Denkaufgaben oder eine medizinisch validierte Anwendung.
Eine neue Forschungsarbeit des MIT hat kürzlich demonstriert, wie große Sprachmodelle durch eine besondere Trainingsmethode deutlich bessere Ergebnisse bei komplexen Denkaufgaben erzielen können. Die Methode nennt sich „Test-Time Training“ (TTT) und funktioniert ähnlich wie ein Mensch, der sich kurz vor einer Aufgabe nochmal intensiv mit ähnlichen Beispielen beschäftigt. Das Besondere dabei: Für jede neue Aufgabe wird ein spezieller „Adapter“ trainiert, der das Grundmodell temporär erweitert und optimiert.
Für viele KI-Enthusiasten dürfte die Verwendung von LoRA-Adaptern nicht ganz neu sein: Die Technik hat sich in der Bild-KI-Community bereits als leistungsfähige Methode etabliert, um bestehende Bildgenerierungsmodelle wie Stable Diffusion an spezifische Stile oder Personen anzupassen. Mit nur etwa 10 bis 15 Fotos einer Person lässt sich beispielsweise ein personalisierter LoRA-Adapter trainieren, der dann in der Lage ist, neue, künstliche Bilder dieser Person in verschiedensten Situationen und Stilen zu generieren. Der Adapter speichert dabei die charakteristischen Merkmale der Person, während das Grundmodell sein allgemeines „Verständnis“ von Menschen, Posen und Umgebungen beisteuert.
Was die MIT-Forscher nun zeigen, ist quasi eine Übertragung dieses Prinzips auf abstrakte Denk- und Mustererkennung: Statt visueller Merkmale einer Person lernt der Adapter hier die spezifischen Transformationsregeln einer Aufgabe. Diese Parallele macht deutlich, wie vielseitig einsetzbar das Konzept der adaptiven Feinabstimmung in verschiedenen Bereichen der KI ist.
Die Forscher testeten ihren Ansatz am „Abstraction and Reasoning Corpus“ (ARC), einer Sammlung besonders kniffliger visueller Rätsel. Bei diesen Aufgaben müssen aus wenigen Beispielen komplexe Muster erkannt und auf neue Situationen übertragen werden – eine Fähigkeit, die bisherigen KI-Systemen oft schwerfällt. Durch die Kombination von initialem Training, aufgabenspezifischen Lora-Adaptern und cleverer Erweiterung der Trainingsdaten durch geometrische Transformationen (wie Drehungen und Spiegelungen der Aufgaben) verbesserte sich die Genauigkeit insgesamt um das Sechsfache. Das verwendete 8-Milliarden-Parameter-Modell erreichte eine Genauigkeit von 53% und in Kombination mit programmatischen Ansätzen sogar 61,9% – vergleichbar mit durchschnittlicher menschlicher Leistung.
Was bedeutet das nun für die Praxis?
Die Methode eröffnet Forschungsfragen für spezialisierte Anwendungen. In der wissenschaftlichen Forschung könnten komplexe Messdaten analysiert werden, in der medizinischen Diagnostik könnten seltene Krankheitsmuster erkannt werden, und in der industriellen Qualitätskontrolle könnten subtile Abweichungen aufgespürt werden. Ob der Ansatz in diesen Bereichen einen Vorteil bietet, müsste mit geeigneten Daten, Vergleichsmethoden und fachlicher Validierung untersucht werden. Die Studie belegt diese Übertragung nicht.
Allerdings gibt es auch deutliche praktische Einschränkungen: Die Methode benötigt erhebliche Rechenleistung – für 100 Aufgaben waren zwölf Stunden auf einer NVIDIA A100, einem Hochleistungs-GPU, nötig. Dieser Versuchsaufbau war damit nicht für unmittelbare Echtzeitantworten ausgelegt; andere Implementierungen und Hardware müssen gesondert bewertet werden. Für jeden Task muss ein eigener Adapter trainiert werden, was sowohl zeit- als auch ressourcenintensiv ist. Die Forscher verwendeten dabei zwar bereits eine relativ effiziente Technik (Low-Rank Adaptation) mit einem Rang von 128, insgesamt benötigt dies aber immer noch erhebliche Ressourcen.
Der Wert dieser Forschung liegt ganz klar in Anwendungen, wo Genauigkeit wichtiger ist als Geschwindigkeit.
Ein Beispiel: Bei der Analyse wissenschaftlicher Experimente könnte das System zunächst anhand weniger bekannter Beispiele lernen, welche spezifischen Muster relevant sind, und dann diese Erkenntnisse auf neue Daten übertragen – auch wenn dieser Prozess einige Stunden dauert. Das System ist dabei flexibler als fest trainierte Modelle, da es sich durch das Test-Time Training an neue Varianten einer Aufgabe anpassen kann.
Bemerkenswert ist auch, dass die Forscher zeigen konnten, dass rein neuronale Ansätze mit TTT ähnlich gut funktionieren können wie Systeme mit expliziten symbolischen Komponenten. Das widerspricht der häufigen Annahme, dass für abstraktes Denken unbedingt symbolische Verarbeitung zwingen nötig sei.
Die Arbeit zeigt damit einen wichtigen Trend in der KI-Entwicklung: die Möglichkeit, bestehende Modelle durch clevere Anpassungsmechanismen zu verbessern, statt immer größere Modelle zu entwickeln. Sie macht aber auch deutlich, dass der Einsatz solcher Technologien sorgfältig abgewogen werden muss – zwischen dem Gewinn an Genauigkeit und dem erheblichen Ressourcenaufwand.
Abonniere das AFAIK-Update
KI verstehen. Fundiert entscheiden. Wirksam umsetzen.
Im AFAIK-Update teile ich meine Einordnungen und Erfahrungen zu KI im Unternehmen: von Strategie und sinnvollen Anwendungsfällen über die Auswahl passender Lösungen bis zur praktischen Umsetzung. Kostenlos, persönlich und mit einem klaren Blick auf Chancen und Grenzen.
Keine Sorge, ich mag Spam genauso wenig wie Du und gebe Deine Daten niemals weiter! Du bekommst höchstens einmal pro Monat eine E-Mail von mir. Versprochen.
