Aktualisierte Einordnung der Anleitung von 2024. Zugriff, Training und KI-Suche brauchen unterschiedliche Entscheidungen. Die folgenden Regeln gelten für kooperierende Anbieter; bereits verwendete Daten lassen sich damit nicht rückwirkend aus Modellen entfernen. Dokumentationsstand: September 2026.
Sprachmodelle wie GPT-4 und Google Gemini müssen mit großen Mengen an Text gefüttert werden, um daraus Muster zu lernen, die dann erstaunliche Fähigkeiten aufweisen. Für das Training komplexer Sprachverarbeitungsmodelle greift man im wissenschaftlichen Umfeld gerne auf bekannte und öffentlich verfügbare Datensätze zurück. Dies ist insbesondere in der Forschung sinnvoll, denn so lassen sich Algorithmen besser mit deren Vorgängern und Konkurrenten vergleichen, die schließlich mit den selben Daten trainiert wurden. Da es sich in der Regel um nicht-kommerzielle Nutzung handelt, sehe ich hier auch keinerlei Probleme. Doch bei OpenAIs ChatGPT, GPT-3, GPT-3.5 und GPT-4 sowie Googles Gemini ist das längst nicht mehr der Fall.
Auch wenn ein Forschungspaper die grundlegenden Mechanismen hinter GPT-3 beschreibt, sind daraus mit der API und ChatGPT längst kommerzielle Produkte entstanden, die weder frei noch kostenlos zugänglich sind.
§ 44b UrhG erlaubt unter bestimmten Voraussetzungen Vervielfältigungen rechtmäßig zugänglicher Werke für Text und Data Mining. Ein wirksamer Nutzungsvorbehalt schließt diese Erlaubnis aus; bei online zugänglichen Werken muss er maschinenlesbar sein. Das Gesetz nennt robots.txt nicht als einzige Form. Daraus folgt keine pauschale Erlaubnis jeder kommerziellen Nutzung oder jedes KI-Trainings.
§ 44b UrhG regelt Text und Data Mining bei rechtmäßig zugänglichen Werken und einem gegebenenfalls wirksamen Nutzungsvorbehalt. § 60d enthält besondere Regeln für wissenschaftliche Forschung. Öffentliche Abrufbarkeit allein begründet keine pauschale Erlaubnis zur kommerziellen Verwertung; robots.txt ist zudem nicht die einzig denkbare Form eines maschinenlesbaren Nutzungsvorbehalts.
Text und Data Mining ist künftig vergütungsfrei gestattet, beispielsweise um künstliche Intelligenz für kommerzielle Anwendungen zu trainieren (§ 44b UrhG). Ein Nutzungsvorbehalt des Urhebers bei online zugänglichen Werken ist nur dann wirksam, wenn er in maschinenlesbarer Form erfolgt. Die Vervielfältigungen sind zu löschen, wenn sie für das Text und Data Mining nicht mehr erforderlich sind.
Haufe
Auch andere Fachanwälte sehen das so:
„Rechtmäßig zugänglich″ sind Werke, deren Zugriff dem Nutzer, also demjenigen, der das Mining durchführt, rechtlich erlaubt ist. Das trifft z.B. auf frei im Internet zugängliche Werke wie öffentliche Websites zu.
Robin Schmitt
Praktisch sind drei Fragen zu trennen: Welche Crawler dürfen Inhalte abrufen, welche Anbieter sollen sie für Training verwenden dürfen und wo sollen sie in KI-Suchantworten erscheinen? Eine fehlende robots.txt-Regel ist keine ausdrückliche Zustimmung zu jeder Verwertung. robots.txt ist zudem eine Anweisung an kooperierende Bots und keine technische Zugriffssperre.
Gezielte Regeln für Training und KI-Suche
Mit einer robots.txt-Datei kannst du festlegen, welche Crawler auf welche Dateien auf deiner Website zugreifen können. Die robots.txt-Datei muss dabei stets im Stammverzeichnis deiner Website liegen und exakt „robots.txt“ genannt werden.
Eine pauschale Sperre aller Bots kann auch gewünschte Such- und Vorschaufunktionen treffen. Häufig ist eine gezielte Regel die passendere Entscheidung: GPTBot betrifft bei OpenAI Training, OAI-SearchBot die ChatGPT-Suche. ChatGPT-User steht für nutzerinitiierte Abrufe; dafür können robots.txt-Regeln laut OpenAI nicht greifen. Google-Extended steuert Training und bestimmte Grounding-Nutzungen für Gemini, ohne die Aufnahme in die Google-Suche zu ändern.
Ein gezieltes Beispiel, das Training und die von Google-Extended erfassten Nutzungen begrenzt, die ChatGPT-Suche aber zulässt:
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: Google-Extended
Disallow: /Leerzeilen machen die Gruppen übersichtlich. Entscheidend ist die korrekte Zuordnung von User-agent und Regeln; eine Leerzeile ist nicht zwingend nach jeder Allow- oder Disallow-Anweisung erforderlich.
Welche Werbe- oder Vorschau-Bots Zugriff benötigen, hängt von den verwendeten Diensten ab. Die folgenden Beispiele aus dem ursprünglichen Beitrag sind keine vollständige aktuelle Allowlist; vor dem Einsatz muss der jeweilige Token anhand der Anbieterdokumentation geprüft werden.
# Allow everything for Google Ads Bots
User-agent: AdsBot-Google
Allow: /
# Allow everything for Bing Ads Bot
User-agent: AdIdxBot
Allow: /
# Allow everything for Social Media Bots to generate Previews
User-agent: facebot
Allow: /
User-agent: Twitterbot
Allow: /
User-agent: LinkedInBot
Allow: /Der folgende historische Eintrag mit ia_archiver ist keine verlässliche Zusicherung, dass damit die heutige Archivierung im Internet Archive gesteuert wird. Die Regeln des jeweiligen Archivdienstes sind separat zu prüfen.
# Allow everything for Internet Archive
User-agent: ia_archiver
Allow: /Quellen: OpenAI-Crawler, Google-Extended und § 44b UrhG.
Abonniere das AFAIK-Update
KI verstehen. Fundiert entscheiden. Wirksam umsetzen.
Im AFAIK-Update teile ich meine Einordnungen und Erfahrungen zu KI im Unternehmen: von Strategie und sinnvollen Anwendungsfällen über die Auswahl passender Lösungen bis zur praktischen Umsetzung. Kostenlos, persönlich und mit einem klaren Blick auf Chancen und Grenzen.
Keine Sorge, ich mag Spam genauso wenig wie Du und gebe Deine Daten niemals weiter! Du bekommst höchstens einmal pro Monat eine E-Mail von mir. Versprochen.
