4 Updates gefunden
Hier sammeln sich alle Beiträge, in denen Robots-Txt eine Rolle spielt, aus den Rubriken Feature Release, Analyse, Tool Update. Jeder Eintrag ordnet ein, was sich konkret geändert hat und für wen das relevant ist.
Bisher hieß Crawler blockieren oft auch: aus der Suche verschwinden. Cloudflare führt am 15. September 2026 eine Einstellung ein, mit der sich KI-Training abwählen lässt, ohne die Sichtbarkeit in der Suche zu verlieren. Kostenlos in allen Tarifen.
WeiterlesenSemrush hat am 2. September 2026 einen Leitfaden veröffentlicht, wie Websites für KI-Agenten und KI-Suche lesbar werden. Vieles ist solides technisches SEO, einige Punkte sind neu: getrennte Regeln für Such- und Trainings-Crawler, extrahierbare Textbausteine und belegbare Aussagen.
WeiterlesenCloudflare hat am 28. August 2026 BotBase for Operators vorgestellt. Wer einen Crawler oder Agenten betreibt, reicht ihn jetzt im Dashboard ein, sieht den Prüfstatus und kann Einträge nachträglich ändern. Für Website-Betreiber wird das Bot-Verzeichnis dadurch vollständiger und verlässlicher.
WeiterlesenCloudflare hat am 21. August 2026 Bot Preference Sync vorgestellt. Wer im Dashboard festlegt, welche KI-Bots auf die eigene Website dürfen, bekommt die passenden Regeln automatisch in die robots.txt geschrieben. Verfügbar für alle Tarife, von Free bis Enterprise.
WeiterlesenDie Infrastruktur-Basis für schnelle, sichere und zuverlässige Websites.
Die All-in-One-Plattform für SEO, Content und Wettbewerbsanalyse.
Misst, wie sichtbar deine Marke in ChatGPT, Perplexity und Google AI Overviews ist.
Enterprise-Plattform für Answer Engine Optimization: Sichtbarkeit in ChatGPT, Perplexity & Co.