Das Problem: ein Crawler, zwei Zwecke
Große Anbieter nutzen häufig denselben Crawler für die Suche und für das Training ihrer Modelle. Wer ihn aussperrte, verlor damit auch die Auffindbarkeit. Wer ihn zuließ, lieferte seine Inhalte automatisch als Trainingsmaterial mit. Diese Entweder-oder-Entscheidung löst Cloudflare seit dem 15. September 2026 auf.
Die neue Einstellung heißt Disallow AI Training. Sie veröffentlicht die Präferenz maschinenlesbar in der robots.txt und ist für alle Cloudflare-Kunden verfügbar, kostenlos in jedem Tarif.
Was sich technisch ändert
- Crawler werden in drei Zwecke unterteilt: Suche, Training und Agent.
- Cloudflare erkennt Crawler, ordnet sie diesen Zwecken zu und blockiert Betreiber, die sich nicht an die veröffentlichte Präferenz halten.
- Wer als Accountable gelten will, muss vier Bedingungen erfüllen: ein Opt-out für Training, ein Opt-out für KI-Zusammenfassungen, Transparenz auf URL-Ebene samt Kennzahlen und die Zusage, dass ein Opt-out die Platzierung in der Suche nicht verschlechtert.
- Apple, Google und Microsoft erfüllen diese Kriterien laut Cloudflare bereits oder haben sie verbindlich zugesagt.
- Über Cloudflare Radar lässt sich öffentlich nachvollziehen, wer sich tatsächlich daran hält.
Die Abwägung bleibt
Die Technik nimmt dir die Entscheidung nicht ab, sie macht sie nur erstmals sauber möglich. Dabei lohnt eine Unterscheidung, die leicht untergeht: Training ist nicht dasselbe wie das Abrufen im Moment einer Frage. Wer alles blockiert, taucht in KI-Antworten seltener auf, und für viele Unternehmen ist genau das inzwischen ein Vertriebskanal.
Sinnvoll ist deshalb meist eine gemischte Haltung: Inhalte, die Reichweite bringen sollen, bleiben für Suche und Abruf offen, während das Training abgewählt wird. Bei Inhalten, die den Kern des eigenen Angebots ausmachen, etwa Datenbanken, Berechnungen oder Kursmaterial, kann die Sperre dagegen richtig sein.
Fazit
Eine kleine Einstellung mit großer Wirkung, und sie kostet nichts. Prüfe, welche deiner Inhalte Reichweite bringen sollen und welche dein Kapital sind, und setze die Einstellung entsprechend. Danach lohnt der Blick in die Auswertung: Wer sich nicht an die Präferenz hält, wird jetzt sichtbar.