KI-Training per robots.txt verbieten: Ein Signal für alle Anbieter

Ein Eintrag statt einer Liste von Crawlern

Am 30. Oktober 2026 hat OpenAI angekündigt, ein gemeinsames Signal zu beachten, mit dem Websites ihre Haltung zum KI-Training mitteilen. Das Signal steht in der robots.txt und gilt für alle Anbieter, die mitmachen. Bisher musste jeder Betreiber die Crawler einzeln kennen und für jeden eine eigene Regel pflegen: GPTBot bei OpenAI, Google-Extended bei Google, ClaudeBot bei Anthropic und so weiter.

Was bisher bekannt ist:

• Das Signal betrifft das Training generativer KI-Modelle, nicht jede Nutzung von Website-Inhalten.
• Es ist freiwillig. Es wirkt nur bei Anbietern, die es beachten.
• Die bestehenden robots.txt-Regeln für die Crawler von OpenAI bleiben gültig. Das neue Signal ersetzt sie nicht, es kommt dazu.
• OpenAI will es „in den kommenden Monaten“ umsetzen, ein Datum nennt das Unternehmen nicht.
• Grundlage ist die Arbeit der IETF-Arbeitsgruppe AI Preferences (aipref).

Laut Berichten von Thurrott und TechXplore haben sich auch Anthropic, Google und Microsoft verpflichtet. Anthropic beachte das Signal bereits, die anderen drei folgen demnach 2027. Meta begrüßte den Standard, eine eigene Umsetzung hat Meta bisher nicht angekündigt.

So sieht der Eintrag in der robots.txt aus

Wie der Eintrag aussehen könnte, zeigt ein Einzelentwurf, der am selben Tag erschienen ist und in der aipref-Arbeitsgruppe zur Diskussion steht (draft-kelley-aipref-training-preference-signal-00, Autor von Anthropic). Ob OpenAI genau dieses Kennwort umsetzt, hat das Unternehmen noch nicht bestätigt. Der Entwurf führt keinen neuen Befehl ein, sondern ein gemeinsames Kennwort in der User-Agent-Zeile:

User-Agent: __usage_ai-training
Disallow: /
Allow: /presse/

Dieses Beispiel lehnt KI-Training für die ganze Website ab, nur für den Pressebereich nicht. Die Pfadregeln funktionieren wie gewohnt.

Drei Details, die oft falsch verstanden werden:

• Der Platzhalter zählt nicht: Eine Regel für User-Agent: * gilt laut Entwurf ausdrücklich nicht als Präferenz zum Training. Wer nichts zu __usage_ai-training schreibt, hat keine Präferenz geäußert.
• Kein Crawling-Verbot: Das Kennwort sagt nur, wie Inhalte genutzt werden dürfen. Ob ein Bot die Seite abruft, regeln weiter die Gruppen für die einzelnen Crawler.
• Spezifisch schlägt allgemein: Anbieter dürfen ihre eigenen Kennwörter, etwa Google-Extended, als vorrangig behandeln. Widersprüchliche Regeln solltest du deshalb vermeiden.

Wichtig: Es handelt sich um eine erste Fassung (-00) eines Einzelentwurfs, keinen von der IETF angenommenen Standard. OpenAI hat die genaue Umsetzung noch nicht veröffentlicht. Bevor du dich darauf verlässt, lohnt ein Blick in die Crawler-Dokumentation der Anbieter, sobald sie aktualisiert ist.

Training ablehnen, in der Suche bleiben

Der Kern der Neuerung ist die Trennung von Suche und Training. Microsoft schreibt dazu, Verlage sollten nicht wählen müssen, ob sie in Bing auffindbar sind oder wie generative Modelle ihre Inhalte nutzen. Bing bietet deshalb getrennte Einstellungen für Training, Grounding (das Nachschlagen für KI-Antworten) oder beides.

Das ist dieselbe Richtung, die Cloudflare im September mit der Einstellung KI-Training abwählen, Suche behalten eingeschlagen hat. Über Bot Preference Sync schreibt Cloudflare die Regeln bereits automatisch in die robots.txt. Ob dort künftig auch das neue Kennwort landet, hat Cloudflare noch nicht angekündigt.

Eine Abwägung bleibt: Microsoft und Google weisen laut Berichten darauf hin, dass ein Training-Opt-out die Chance verringern kann, in KI-Anwendungen aufzutauchen. Wer auf Sichtbarkeit in KI-Antworten setzt, sollte das bewusst entscheiden und nicht pauschal sperren.

Was das Signal nicht leistet

• Keine Durchsetzung: Ein Bot, der die robots.txt ignoriert, ignoriert auch dieses Signal. Gegen solche Crawler hilft nur Bot-Management auf Netzwerkebene.
• Nur für die Zukunft: Laut Microsoft gilt die Einstellung für künftiges Training. Bereits trainierte Modelle bleiben, wie sie sind.
• Private Absprachen gehen vor: Lizenzverträge mit einem KI-Anbieter dürfen laut Entwurf vom Signal abweichen.

Rechtlich ist der Eintrag trotzdem interessant. Wer Text- und Data-Mining an online verfügbaren Werken ausschließen will, muss den Vorbehalt in Deutschland maschinenlesbar erklären (§ 44b Abs. 3 UrhG). Was genau als maschinenlesbar gilt, ist umstritten, Details im Guide Fremde Dokumente in KI-Tools hochladen. Ein standardisierter Eintrag, den mehrere große Anbieter auswerten, stärkt die Position von Website-Betreibern zumindest praktisch.

Fazit

Für Unternehmen mit eigener Website heißt das: Jetzt eine Haltung festlegen, wie die eigenen Inhalte für KI-Training genutzt werden dürfen, getrennt nach Bereichen wie Blog, Produktseiten und Presse. Die bestehenden Crawler-Regeln bleiben stehen. Den neuen Eintrag __usage_ai-training kannst du ergänzen, er schadet Parsern ohne Unterstützung nicht. Verbindlich wird es aber erst, wenn OpenAI, Google und Microsoft ihre Umsetzung dokumentiert haben. Bis dahin ist es eine Absichtserklärung, keine Garantie.