Das Bot-Verzeichnis bekommt eine zweite Seite
BotBase ist Cloudflares durchsuchbares Verzeichnis bekannter Bots, eingebaut ins Dashboard. Bisher war es vor allem ein Werkzeug für Website-Betreiber: nachschlagen, welcher User-Agent zu wem gehört, und entscheiden, was durchdarf. Am 28. August 2026 hat Cloudflare die andere Seite nachgerüstet. Mit BotBase for Operators bekommen die Betreiber von Crawlern und Agenten einen eigenen Bereich, in dem sie ihre Bots anmelden, pflegen und den Prüfstatus verfolgen.
Der Anlass ist schlicht Volumen. Die Zahl der eingereichten Bots ist laut Cloudflare seit 2023 um etwa das Siebenfache gestiegen. Ein Prüfprozess, der auf Formular und Postfach beruht, skaliert so nicht mehr. Für das Bot Management auf der Website-Seite heißt das: Je mehr Betreiber sich sauber registrieren, desto weniger landet in der grauen Masse „unbekannter Automatisierung“.
Was Betreiber jetzt sehen und tun können
Neu im Dashboard unter Protect & Connect → Application Security → BotBase:
- Statusanzeige pro Einreichung: Waiting for review, Accepted oder Rejected
- Bei Ablehnung eine Begründung mit konkreten Schritten zur Nachbesserung
- Eine Historie aller bisherigen Einreichungen
- Bearbeiten bestehender Einträge, etwa bei neuen IP-Bereichen oder einem geänderten Authentifizierungsverfahren
- Zurückziehen von Einreichungen, die noch in der Prüfung sind
- Ein Filter „My bots“, der die eigenen Einträge im Gesamtverzeichnis hervorhebt
Das klingt nach Verwaltungskram, war aber bisher die eigentliche Hürde. Wer nicht wusste, warum sein Bot nicht angenommen wurde, hat es meist einfach gelassen. Und ein Bot, der nirgends verzeichnet ist, wird von Regeln getroffen, die für Scraper gedacht waren.
Drei Angaben, die jeder Bot machen muss
Das Einreichungsformular folgt einem Verhaltensmodell mit drei Bausteinen:
- Aktivitäten: Suchindexierung, Datensammlung, Modelltraining, SEO-Unterstützung oder Agenten, die im Auftrag eines Nutzers handeln. Mehrfachauswahl möglich
- Content-Nutzung: deklariert im Format der Content Signals, zum Beispiel search=yes, ai-train=no, use=reference
- Betreibertyp: direkt (eigene Infrastruktur) oder intermediär (eine Plattform, die Anfragen Dritter ausführt)
Damit schließt sich ein Kreis zu Bot Preference Sync von vergangener Woche. Dort legen Website-Betreiber fest, was Search, Agent und Training auf ihrer Seite dürfen. Hier erklären die Bots, in welche dieser Kategorien sie gehören. Erst wenn beide Seiten dieselben Begriffe verwenden, wird die Steuerung belastbar.
Automatisierte Prüfung statt Postfach
Ein Teil der Prüfung läuft jetzt maschinell: Duplikaterkennung, Test auf ein ausreichend spezifisches User-Agent-Muster, automatischer Abruf und Abgleich der angegebenen IP-Listen, Reverse-DNS-Prüfung und Validierung von Web Bot Auth-Signaturen. Menschliche Prüfer kommen nur noch dort ins Spiel, wo die Automatik nicht reicht. Das beschleunigt die Annahme und macht Ablehnungen nachvollziehbar, weil sie an einer konkreten Prüfung scheitern.
Was das für Unternehmen bedeutet
Zwei Perspektiven. Wer selbst Crawler oder Agenten betreibt, etwa für Preisbeobachtung, Monitoring oder einen internen KI-Agenten, der Partnerseiten liest, sollte den Eintrag jetzt vornehmen. Ohne Registrierung fällt der Bot in eine generische Kategorie und wird auf vielen Cloudflare-Seiten schlicht geblockt. Mit Web Bot Auth als kryptografischem Nachweis lässt sich die Identität dabei auch technisch belegen.
Wer Websites betreibt, bekommt ein dichteres Verzeichnis mit lesbaren Content-Signals-Deklarationen. Eine Einschränkung bleibt: Cloudflare verifiziert die Identität eines Bots über IP, DNS und Signatur. Ob sich ein Bot dann an sein eigenes ai-train=no hält, prüft niemand technisch. Die Deklaration ist eine Selbstauskunft mit Dokumentationswert, keine Garantie.
Fazit
BotBase for Operators ist der fehlende Gegenpart zu den Bot-Regeln auf Website-Seite. Betreiber bekommen einen transparenten, korrigierbaren Prozess, Website-Betreiber ein Verzeichnis, das mit der Realität Schritt hält. Wenn du eigene Automatisierung gegen fremde Websites laufen lässt, lohnt sich die Registrierung sofort. Wenn du Cloudflare vor deiner Seite hast, schau dir an, was die neu deklarierten Bots über ihre Content-Nutzung sagen, bevor du pauschal sperrst.