Wir bauen Atomkraftwerke. Denken wir auch wie ihre Betreiber?

Ich arbeite daran, dass Menschen KI sinnvoll einsetzen können: um besser zu recherchieren, Wissen zugänglich zu machen und lästige Arbeitsschritte zu vereinfachen. Das sind gute Gründe, leistungsfähige Systeme zu entwickeln. Gerade deshalb beschäftigt mich ein unbequemer Vergleich: Wir reden gern darüber, was die neuen Modelle können. Reden wir genug darüber, unter welchen Bedingungen wir sie betreiben wollen?

Eine Folge des Podcasts „I’M SORRY, DAVE“ über das Atomzeitalter stellt die Frage, wie Regeln, Inspektionen und Kommunikation zwischen Rivalen entstanden sind. Mich bringt das zu einer näheren, praktischen Frage: Wenn wir mit KI nützliche, aber schwer vollständig vorhersehbare Fähigkeiten erschließen, denken wir dann auch wie Betreiber einer Anlage – oder vor allem wie ihre Erfinder?

Die Überschrift ist eine Analogie, keine Gleichsetzung. Ein Rechercheassistent ist kein Kernreaktor. Ein Reaktorunfall ist keine Kernwaffenexplosion. KI lässt sich zudem kopieren und in ganz anderen Maßstäben einsetzen als nukleares Material. Der Vergleich hilft mir an einer bestimmten Stelle: Ein ziviler Zweck allein macht ein leistungsfähiges System noch nicht verantwortbar. Die Bedingungen seines Betriebs gehören zur Entwicklung dazu.

„Zivil“ ist eine Aufgabe, kein Gütesiegel

Dass ich ein System für einen guten Zweck einsetze, sagt noch wenig darüber, was es im konkreten Betrieb anrichten kann. Ein Modell kann eine Antwort formulieren. Es kann aber auch Zugriff auf Kundendaten erhalten, E-Mails versenden, Software ändern oder Zahlungen anstoßen. Zwischen diesen Anwendungen liegen Welten, obwohl im Kern dasselbe Modell arbeiten kann.

Deshalb würde ich bei einem KI-Projekt zuerst drei Fragen trennen:

1. Was kann bei normaler Nutzung schiefgehen?
2. Wie könnte jemand das System gezielt missbrauchen oder manipulieren?
3. Und welche Fähigkeiten oder Zugänge lassen sich außerhalb des vorgesehenen Rahmens weiterverwenden?

Eine falsche Auskunft, ein unberechtigter Datenzugriff und die Verbreitung eines gefährlichen Werkzeugs sind unterschiedliche Probleme. Sie brauchen unterschiedliche Antworten.

In der nuklearen Welt werden Betriebssicherheit, Schutz gegen vorsätzliche Angriffe und die Überprüfung friedlicher Nutzung ebenfalls unterschieden. Die IAEA beschreibt ihre Safeguards als Verifikation von Verpflichtungen zur friedlichen Nutzung. Diese Zuständigkeiten sind keine fertige Blaupause für KI. Die Unterscheidung bewahrt uns aber vor dem bequemen Satz, eine einzige Sicherheitsmaßnahme werde schon alles abdecken.

Das Modell ist nur ein Teil der Anlage

Beim Bewerten von KI schauen wir oft auf das Modell: seine Fähigkeiten, Benchmarks und eingebauten Ablehnungen. Für den Betrieb ist ebenso wichtig, was wir darum herum bauen. Welche Daten sieht das System? Welche Werkzeuge darf es nutzen? Wer gibt eine Handlung frei? Wie werden Fehler sichtbar? Wer kann den Prozess stoppen?

Ein Assistent, der einen Antwortentwurf erstellt, hat einen anderen Handlungsspielraum als ein Agent, der dieselbe Antwort selbst verschickt. Erhält er zusätzlich Schreibzugriff auf CRM und Buchhaltung, wächst die mögliche Wirkung noch einmal. Daraus folgt nicht, dass leistungsfähigere Modelle automatisch gefährlicher sind. Ein besseres Modell kann Fehler vermeiden. Riskant wird vor allem die Kombination aus großer Wirkung, hoher Geschwindigkeit und schwacher Kontrolle.

Die Frage ist deshalb nicht nur, ob die KI einen Test besteht. Sie lautet: Wie viel Wirkung erlauben wir ihr, bevor wir Fehler erkennen und begrenzen können? Das ist eine Entscheidung über Architektur und Organisation, nicht bloß über den Prompt.

Eine menschliche Freigabe muss etwas bewirken können

„Ein Mensch schaut noch einmal drauf“ klingt beruhigend. Im Kontrollraum einer technischen Anlage würden wir genauer fragen: Ist diese Person ausgebildet? Sieht sie die relevanten Informationen? Hat sie Zeit zum Prüfen? Kann sie eingreifen? Darf sie widersprechen, auch wenn das ein Automatisierungsziel verzögert?

Bei KI gilt dasselbe. Wer hunderte flüssig formulierte Ergebnisse unter Zeitdruck bestätigt, ist womöglich nur noch der letzte Klick im Ablauf. Das NIST beschreibt Prozesse für menschliche Aufsicht als etwas, das definiert, bewertet und dokumentiert werden muss. In seinem Profil für generative KI nennt es außerdem Automation Bias: Menschen können automatisierten Ausgaben zu viel Gewicht geben.

Für mich ergibt sich daraus eine einfache Anforderung: Eine Freigabe ist nur dann eine Sicherheitsbarriere, wenn die Person einen Fehler erkennen, den Vorgang stoppen und dem System widersprechen kann. Wo das fachlich oder zeitlich nicht möglich ist, müssen wir den Ablauf ändern – etwa den Handlungsspielraum verkleinern, bessere Prüfinformationen liefern oder auf automatische Ausführung verzichten.

Schutz braucht mehrere, möglichst unabhängige Ebenen

Aus der nuklearen Sicherheit stammt das Prinzip Defence in Depth. Die IAEA beschreibt dafür mehrere voneinander unabhängige Schutzebenen, damit ein einzelner Fehler nicht unmittelbar zum Schaden führt. Für KI ist das keine technische 1:1-Anleitung, aber ein nützlicher Denkrahmen.

Ein KI-Workflow könnte nur die benötigten Berechtigungen bekommen, zunächst in einer begrenzten Umgebung laufen und kritische Aktionen erst nach einer gesonderten Prüfung ausführen. Eine Regel außerhalb des Modells kann verbieten, dass es auf bestimmte Daten zugreift – selbst wenn ein Prompt oder eine manipulierte Eingabe es dazu drängt. Protokolle können Auffälligkeiten sichtbar machen; ein Abschaltweg kann weitere Aktionen unterbrechen.

Dabei reicht es nicht, dieselbe Unsicherheit zweimal prüfen zu lassen. Ein zweites Modell kann hilfreich sein, aber ähnliche blinde Flecken haben wie das erste. Zwei zustimmende Antworten sind noch kein Nachweis unabhängiger Kontrolle. Und ein guter Prompt ersetzt keine tatsächlich durchgesetzte Berechtigungsgrenze.

Die Verantwortung endet nicht mit dem Start

Viele KI-Projekte werden bis zum Pilot geplant. Danach beginnen die weniger glamourösen Fragen: Wer überprüft die Qualität nach einem Modellwechsel? Wer bearbeitet Vorfälle? Welche Kosten entstehen durch Kontrolle, Korrektur und Wartung? Wer kennt den Ablauf noch, wenn die Automatisierung ausfällt?

Ein System abschalten zu können bedeutet nicht, dass die Organisation ohne es weiterarbeiten kann. Wenn Wissen verschwunden ist oder niemand mehr den alten Prozess beherrscht, ist der Ausschalter nur ein Teil des Notfallplans. Zu verantwortlichem Betrieb gehört eine realistische Ausweichmöglichkeit. Auch die Wirtschaftlichkeit sollte diese Bedingungen enthalten. Rechnet sich ein Workflow nur, solange niemand gründlich prüft und Fehler nichts kosten, ist seine Wirtschaftlichkeit nicht belegt.

Der Maßstab muss zum Risiko passen. Ein kleiner Schreibassistent braucht keine Kraftwerksbürokratie. Je größer aber Handlungsspielraum, Reichweite und möglicher Schaden werden, desto belastbarer müssen Prüfungen und Schutzmaßnahmen sein. Der EU AI Act arbeitet bereits mit einem risikobasierten Ansatz; meine Analogie ist ein zusätzlicher Prüfstein, kein Ersatz für geltende Regeln.

Auch unsere Nachfrage verändert das Rennen

Wer zivile KI nutzt, steht nicht vollständig außerhalb ihrer Entwicklung. Wir kaufen Fähigkeiten, bauen Anwendungen darauf und prägen mit, welche Eigenschaften sich am Markt lohnen. Daraus folgt keine pauschale Mitschuld an militärischer Entwicklung. Auch trainiert nicht jede Nutzung automatisch ein Modell. Aber unsere Entscheidungen können Nachfrage nach immer mehr Autonomie erzeugen – oder nach Systemen, deren Grenzen überprüfbar sind.

„Die anderen machen es trotzdem“ beschreibt den Druck eines Wettrennens. Es beantwortet nicht, welche Risiken wir selbst übernehmen wollen. Unternehmen können von Anbietern nachvollziehbare Änderungen, sinnvolle Prüfungen, begrenzbare Zugriffe, dokumentierte Vorfälle und praktikable Wechselmöglichkeiten verlangen. Konkurrenz könnte dann stärker darum gehen, wer nützliche Systeme beherrschbar betreibt.

Die Geschichte nuklearer Rüstungskontrolle beweist nicht, dass internationale KI-Abkommen gelingen werden. Sie zeigt aber, dass überprüfbare Verpflichtungen auch zwischen Akteuren entstehen können, die einander nicht einfach vertrauen. Für ein einzelnes Unternehmen beginnt dieselbe Haltung kleiner: Welche Aussage des Anbieters können wir prüfen? Welche Kontrolle behalten wir selbst? Was passiert, wenn etwas schiefgeht?

Ich möchte weiter an ziviler, nützlicher KI arbeiten. Gerade dafür muss ich die Kraftwerksfrage ernst nehmen. Wer Fähigkeiten erschließt, sollte die Bedingungen ihrer verantwortbaren Nutzung mitbauen: Grenzen, Prüfungen, Eingriffsmöglichkeiten und einen Plan für den Betrieb danach. Wer diese Arbeit als lästigen Zusatz behandelt, hat sein KI-Projekt noch nicht zu Ende gedacht.