Woran man KI-Geschichten erkennt – und warum das weniger bedeutet, als es klingt

Es gibt einen Reflex, der bei jeder neuen Detektor-Studie zuverlässig auftritt: Endlich ein Beweis, dass sich KI-Texte erkennen lassen. Eine aktuelle Arbeit rund um ein Verfahren namens STORYSCOPE liefert dafür auf den ersten Blick reichlich Munition – und ist gerade deshalb ein gutes Beispiel dafür, warum man solche Ergebnisse vorsichtig lesen sollte. Denn was die Studie tatsächlich zeigt, ist deutlich interessanter und deutlich enger, als die Schlagzeile „KI-Texte sind erkennbar“ vermuten lässt.

Nicht der Stil, sondern der Bauplan

Die üblichen Verdächtigen, an denen man KI-Text zu erkennen glaubt, sind stilistischer Natur: bestimmte Lieblingswörter, Floskeln, ein Hang zu Aufzählungen, dieser eigentümlich glatte Ton. All das lässt sich in Sekunden umschreiben. Die spannende Frage der Studie war eine andere: Unterscheiden sich menschliche und KI-generierte Erzählungen nicht nur an der Oberfläche, sondern in ihrer erzählerischen Konstruktion? Also darin, wie Figuren handeln, wie Konflikte gelöst werden, wie Informationen enthüllt werden, wie Zeit strukturiert ist und wie ein Text seine Bedeutung transportiert.

Genau hier setzt STORYSCOPE an. Das Verfahren übersetzt lange Geschichten in Hunderte interpretierbare Erzählmerkmale: Wird die Moral ausdrücklich erklärt oder muss man sie erschließen? Löst eine Entscheidung der Hauptfigur den Konflikt? Gibt es Nebenhandlungen? Verläuft die Geschichte chronologisch oder mit Rückblenden? Bleibt das Ende ambivalent? Wie werden Emotionen dargestellt? „Originalität“ wird dabei bewusst nicht ästhetisch oder juristisch verstanden, sondern rein statistisch – als Seltenheit einer bestimmten Merkmalskombination.

Wie die Forschenden vorgegangen sind

Die Grundlage bildet ein paralleler Geschichtenkorpus. Aus dem Datensatz Books3 wurden 10 272 menschlich geschriebene Kurzgeschichten entnommen. Zu jeder dieser Geschichten ließ das Team von Gemini 2.5 Flash nachträglich einen Schreibprompt rekonstruieren, der Figuren, Ausgangslage und thematische Richtung zusammenfasst. Diesen Prompt erhielten anschließend fünf Modelle – Claude Sonnet 4.6, DeepSeek V3.2, Gemini 3 Flash, GPT-5.4 und Kimi K2.5 –, die daraus jeweils eine eigene Version schrieben. So entstanden zu jedem Ausgangstext sechs Varianten: eine menschliche und fünf maschinelle, insgesamt 61 608 Geschichten mit im Mittel rund 4 750 Wörtern.

An dieser Stelle lohnt sich ein Merkzettel für später: Die menschliche Geschichte ist das Original, der Prompt wurde aus ihr abgeleitet, und die KI-Versionen sind daraus rekonstruierte Spiegeltexte. Das ist eine kontrollierte Annäherung, kein symmetrisches Experiment.

Der eigentliche Trick liegt in der Abstraktion: Jede Geschichte wurde von GPT-5.1 in ein umfangreiches JSON-Schema übertragen, das Figuren, Kausalität, Plot, Schauplätze, Zeitstruktur, Enthüllungen und Erzählperspektive erfasst. Aus der Prosa wird also zunächst eine strukturierte Erzählbeschreibung – damit spätere Vergleiche eben nicht mehr an einzelnen Formulierungen hängen. Aus dem Vergleich von 600 Geschichten formulierte ein Modell mögliche Unterscheidungsmerkmale; nach Bereinigung blieben 304 übrig, davon 257 rein narrative, nachdem alle stilnahen Merkmale entfernt worden waren. Gemini 3 Flash bewertete anschließend sämtliche Geschichten auf allen Merkmalen, und auf diesen Vektoren wurden zwei Klassifikatoren trainiert: einer für Mensch gegen KI, einer für die genaue Zuordnung zu einem von sechs Urhebern.

Was sie gefunden haben

Die Kennzahl, die für Aufsehen sorgt: Allein mit narrativen Merkmalen – also ohne jeden Stilhinweis – trennte das Modell Mensch und KI mit 93,2 % Macro-F1. Das sind rund 97 % der Leistung des kombinierten Modells aus Struktur und Stil. Bemerkenswert ist allerdings, dass raw-text-basierte Vergleichsmodelle mit 99,7–99,9 % noch deutlich besser abschnitten. STORYSCOPE ist also gar nicht der beste Detektor in diesem Datensatz. Sein Wert liegt woanders: Es liefert interpretierbare, strukturelle Gründe statt eines Blackbox-Urteils.

Und diese Gründe sind aufschlussreich. KI-Geschichten erklären ihre Bedeutung häufiger selbst: In 77 % der Fälle kommentierte der Erzähler das zentrale Thema, gegenüber 52 % bei den Menschen; philosophische Dialoge dominierten in 59 % der KI-Texte, aber nur in 34 % der menschlichen. Die Plots waren linearer und aufgeräumter – in 79 % der KI-Geschichten fand das Verfahren gar keine Nebenhandlung (Mensch: 57 %), und in 69 % löste eine bewusste Entscheidung der Hauptfigur den Konflikt (Mensch: 46 %). Besonders deutlich war der Umgang mit Gefühlen: KI inszenierte Emotionen zu 81 % über Körperempfindungen oder Metaphern (Mensch: 38 %), während Menschen Gefühle überraschend oft schlicht beim Namen nannten (29 % gegenüber 8 %). Menschliche Texte waren dafür intertextuell konkreter, durchbrachen häufiger die vierte Wand und stellten ihre Figuren öfter moralisch ambivalent dar (59 % gegenüber 38 %).

In der Gesamtschau bilden die fünf Modelle einen relativ dichten gemeinsamen Bereich, während die menschlichen Geschichten abgesetzt und breiter gestreut liegen – die Modelle ähneln einander narrativ also stärker als den Menschen. Für die Zuordnung zu einem konkreten der sechs Urheber reichte es narrativ nur für 68,4 % Macro-F1, und die Verwechslungen fanden fast ausschließlich zwischen KI-Modellen statt. Trotzdem zeigten sich Eigenheiten: Claude mit flacher Ereigniseskalation, gleichmäßiger Erzählstimme und ruhigen Enden; GPT mit Klatsch als Plotmotor und sozial ausgerichteten Figuren; Gemini mit besonders „sauberen“ Abschlüssen und auffällig düsteren Schauplätzen; DeepSeek mit früh gelieferten Hintergründen; Kimi mit den wenigsten klaren Fingerabdrücken. Und der vielleicht robusteste Befund: Eine gezielte stilistische Überarbeitung, die typische KI-Marotten entfernt, senkte die Erkennung nur von 95,5 auf 93,9 %. Klischees kann man umschreiben – den Bauplan einer Geschichte nicht so einfach.

Warum das nicht heißt, dass man KI-Texte „erkennt“

Und hier kommt der Teil, den man beim Zitieren dieser Studie gern unterschlägt. So sauber die Methode ist – die Ergebnisse tragen nicht die Last, menschliche und maschinelle Texte seien generell zuverlässig unterscheidbar. Dagegen sprechen mehrere Dinge zugleich.

Erstens misst die Studie Defaults, nicht Wesenszüge. Was hier sichtbar wird, sind die Pfade des geringsten Widerstands, die aktuelle Modelle unter einem Prompting-Regime einschlagen. Ändert man Prompt, Instruktion oder Modell, kann sich das Signal verschieben. „KI erzählt aufgeräumt“ ist keine Eigenschaft von KI, sondern eine Voreinstellung – und Voreinstellungen lassen sich steuern.

Zweitens ist der Vergleich strukturell asymmetrisch. Die menschliche Klasse bündelt Tausende verschiedener Autor:innen, jede KI-Klasse dagegen genau ein Modell. Dass die menschliche Seite vielfältiger wirkt, ist damit teils schon ins Studiendesign eingebaut und keine tiefe Wahrheit über Mensch und Maschine. Hinzu kommt: Die menschliche Version ist das Original, die KI-Texte sind daraus abgeleitete Spiegel eines rekonstruierten Prompts.

Drittens handelt es sich um ein In-Sample-Ergebnis. Trainiert und getestet wurde mit denselben fünf Modellfamilien unter denselben Bedingungen. Nichts daran belegt, dass sich das auf ein neues Modell oder auf Texte übertragen lässt, die unter anderen Bedingungen entstanden sind. Fairerweise: Die naheliegenden Störgrößen haben die Forschenden geprüft. Dass KI-Texte im Schnitt kürzer ausfielen, erklärt den Befund nicht – auf einer längennormierten Stichprobe bleibt die narrative Erkennung bei 93,2 %, und das Genre verschiebt die Werte nur geringfügig. Das Problem liegt also nicht in einem trivialen Artefakt, sondern in der Reichweite der Aussage. Denn das Messinstrument selbst ist ein Sprachmodell: Merkmale wurden von LLMs entdeckt und annotiert, die menschliche Validierung umfasste zwölf Geschichten. Für die Kernaussage der Arbeit reicht das – als neutrales Orakel taugt es nicht.

Viertens ist der Gegenstand eng: lange, englischsprachige Belletristik. Kurze Texte, andere Sprachen, Sachtexte und – praktisch am wichtigsten – gemischte Mensch-KI-Arbeit sind nicht abgedeckt. Genau diese Mischung ist aber der Normalfall in fast jedem realen Schreibprozess. Und schließlich: Die Verteilungen überlappen erheblich. Es gibt sehr konventionelle menschliche und sehr ungewöhnliche maschinelle Geschichten. Eine statistische Trennung zweier großer Punktwolken ist etwas völlig anderes, als einen einzelnen Text in die Hand zu nehmen und zu sagen, wer ihn geschrieben hat. Das zeigt sich schön am „seltensten“ Zehntel des Korpus: Pro Modell sind menschliche Geschichten dort zwar überrepräsentiert (24,7 % gegenüber 7,1 %), in absoluten Zahlen enthält dieses originellste Zehntel aber mehr KI- als menschliche Texte – schlicht, weil fünfmal so viele KI-Geschichten im Datensatz stecken. „Selten“ ist eben nicht dasselbe wie „menschlich“. Dass menschliche Texte im Mittel im 71. Seltenheitsperzentil lagen und KI-Texte im 49., ist ohnehin ein technischer Proxy – er misst weder literarische Qualität noch Kreativität und schon gar keine urheberrechtliche Schutzfähigkeit.

Was bleibt

Der eigentliche Beitrag dieser Arbeit ist kein neuer Detektor, sondern eine Methode, Erzählentscheidungen quantitativ sichtbar zu machen. Ihre stärkste, belastbare Aussage lautet: Heutige Modelle teilen erkennbare narrative Voreinstellungen – explizite Themen, körperlich inszenierte Emotionen, klare Kausalketten, protagonistengesteuerte Auflösungen, wenige lose Enden. Ihre schwächste, oft überstrapazierte Aussage wäre: Man könne beliebige Texte zuverlässig Mensch oder KI zuordnen. Das gibt der Datensatz nicht her.

Für alle, die praktisch mit KI-Text arbeiten, sind das zwei nützliche Erkenntnisse in einem. Zum einen sitzen die verräterischen Muster in der Struktur, nicht nur im Vokabular – und Struktur ist genau das, was man über Prompt und Überarbeitung beeinflussen kann. Wer will, kann gegen die Defaults anschreiben. Zum anderen sollte man dem umgekehrten Reflex ebenso misstrauen wie dem ersten: Weder ist KI-Schreiben zuverlässig „erkennbar“, noch sind Menschen per se die originelleren Erzähler. Die Studie zeigt Tendenzen unter Laborbedingungen. Sie zeigt keinen Beweis für Autorschaft.