Eine Einstellung, zwei Durchsetzungswege
Wer heute steuern will, welche KI-Crawler die eigene Website lesen dürfen, pflegt zwei Dinge parallel: die technische Sperre auf Netzwerkebene und die robots.txt als höfliche Bitte an alle Bots, die sich an Konventionen halten. Beide sagen dasselbe, beide driften mit der Zeit auseinander. Genau diese Doppelpflege nimmt Cloudflare mit Bot Preference Sync ab, vorgestellt am 21. August 2026.
Die Idee ist unspektakulär und deshalb nützlich: Du legst deine Bot-Regeln an einer Stelle im Dashboard fest, und Cloudflare überträgt sie in die robots.txt deiner Domain. Was du blockierst, steht künftig auch dort, ohne dass jemand die Datei von Hand nachzieht.
Drei Kategorien statt einer Bot-Liste
Cloudflare sortiert KI-Bots nicht nach Anbieter, sondern nach Zweck. Das ist der eigentlich interessante Teil, weil sich daran auch die geschäftliche Abwägung aufhängt:
- Search: Crawler, die Inhalte für Suchergebnisse indexieren. Optionen: erlauben, nur auf Werbeseiten blockieren, überall blockieren
- Agent: Bots, die im Auftrag eines Nutzers eine Seite abrufen, etwa während einer Chat-Anfrage. Gleiche Optionen
- Training: Crawler, die Material für das Training von Modellen sammeln. Hier gibt es die Disallow-Option
Die Trennung ist praktisch, weil die meisten Betreiber unterschiedlich darüber denken. Aus Suchergebnissen und aus Antworten von Assistenten will kaum jemand verschwinden, das bringt Sichtbarkeit. Beim Training sieht die Rechnung für viele anders aus.
Was technisch passiert
Ist die Synchronisierung aktiv, erzeugt Cloudflare eine robots.txt oder ergänzt eine vorhandene. Für blockierte Kategorien entstehen Blöcke nach dem Muster mehrerer User-agent-Zeilen gefolgt von Disallow: /.
Was du vorher wissen solltest:
- Die generierten Regeln werden vor den bestehenden Inhalt gesetzt, eigene Disallow-Einträge bleiben erhalten
- Die Bot-Liste pflegt Cloudflare selbst nach und aktualisiert sie periodisch über den Dienst BotBase, du musst keine User-Agent-Namen recherchieren
- Welche Bots als verifiziert gelten, lässt sich über das öffentliche Bot-Verzeichnis von Cloudflare Radar nachvollziehen
- Das Feature steht allen Kunden offen, vom Free-Tarif bis Enterprise
Wichtig bleibt die Einordnung: robots.txt ist keine Zugriffskontrolle. Sie erklärt eine Absicht, an die sich seriöse Crawler halten. Die tatsächliche Durchsetzung leistet weiterhin die Bot-Erkennung davor. Bot Preference Sync sorgt dafür, dass beide dieselbe Sprache sprechen.
Warum das Signal an Bedeutung gewinnt
Die robots.txt wird gerade von einer SEO-Randnotiz zu einem Dokument mit rechtlicher Anmutung. Wer dokumentieren will, dass er dem Training auf eigenen Inhalten widersprochen hat, braucht einen maschinenlesbaren, datierbaren Nachweis. Eine automatisch gepflegte Datei, die zur tatsächlichen technischen Konfiguration passt, ist dafür deutlich belastbarer als eine handgeschriebene, die seit zwei Jahren niemand angefasst hat.
Für Redaktionen, Verlage und alle mit substanziellem eigenem Content ist das der eigentliche Wert. Für Seiten, die vor allem gefunden werden wollen, gilt die umgekehrte Vorsicht: Wer Training pauschal sperrt, sollte prüfen, ob er damit versehentlich auch Antwort-Bots aussperrt, über die inzwischen ein wachsender Teil des Traffics läuft.
Fazit
Bot Preference Sync löst kein großes Problem, aber ein lästiges: die Lücke zwischen dem, was deine Infrastruktur blockiert, und dem, was deine robots.txt behauptet. Wenn du Cloudflare ohnehin einsetzt, ist der sinnvolle nächste Schritt überschaubar: einmal festlegen, wie du zu Search, Agent und Training stehst, die Synchronisierung aktivieren und danach kontrollieren, ob die erzeugte Datei zu deinen bestehenden Regeln passt. Danach ist das Thema wartungsfrei.