Cloudflare synchronisiert KI-Bot-Regeln mit der robots.txt

Cloudflare stellte am 21. August 2026 laut eigenem Blog Bot Preference Sync vor: Die Funktion überträgt Dashboard-Präferenzen für Search-, Agent- und Training-Bots in die robots.txt, ohne bestehende Disallow-Direktiven zu überschreiben. Eine technische Sperre entsteht dadurch nicht.

Der Hintergrund reicht zurück. Am 1. Juli 2026 hatte Cloudflare nach eigenen Angaben vereinfachte Optionen gestartet, mit denen Website-Betreiber getrennt festlegen können, wie sie mit Search-, Agent- und Training-Traffic umgehen wollen. Ein unabhängiger Bericht vom 18. August 2026 bestätigt diese Einteilung: Sortiert wird nach Funktion des Bots, nicht nach dem Unternehmen dahinter. Die neue Sync-Funktion schließt die Lücke zwischen dieser Konfiguration und der Datei, die Crawler tatsächlich abrufen.

Zwei Ebenen, die auseinanderlaufen können

Cloudflare zieht eine klare Trennlinie zwischen den Mechanismen: Manche Verfahren äußern nur eine Präferenz und setzen auf den guten Willen der Crawler, andere sperren Inhalte über eine Bot-Management-Lösung tatsächlich. Die robots.txt äußert eine Präferenz. Sie bittet, sie blockiert nicht.

Daraus entsteht das Risiko, das der Anbieter beschreibt: Fallen erklärte Präferenz und durchgesetzte Regel auseinander, könne das manche Crawler dazu bringen, Präferenzen zu ignorieren oder durchgesetzte Sperren zu umgehen — so die Darstellung im Cloudflare-Blog. Ein Dashboard, das Training-Traffic ablehnt, und eine robots.txt, die davon nichts erwähnt, senden widersprüchliche Signale.

Voranstellen statt überschreiben

Die technische Umsetzung ist zurückhaltender, als man erwarten würde. Existiert bereits eine robots.txt, werden die erzeugten Inhalte laut Cloudflare der vorhandenen Datei vorangestellt; bestehende Disallow-Direktiven bleiben erhalten. Niemand verliert handgepflegte Regeln, weil eine Automatik sie für redundant hält.

Bemerkenswerter ist die zweite Entscheidung: Bei allen neuen Kunden ist die Funktion standardmäßig aktiv, der Abgleich muss also nicht erst eingeschaltet werden. Verfügbar sein soll Bot Preference Sync nach der Ankündigung vom 21. August innerhalb der darauffolgenden Woche für alle Tarife, vom Free-Angebot bis Enterprise.

Was der Abgleich leistet — und was nicht

Policy-Drift ist ein reales Problem, und dagegen hilft der automatische Abgleich. Wer seine Präferenzen an einer Stelle ändert und die robots.txt vergisst, produziert über Monate hinweg Signale, die niemand mehr überprüft. Genau dieses Auseinanderlaufen fängt die Funktion ab.

Was sie nicht leistet: Ein Bot, der robots.txt ohnehin ignoriert, befolgt auch die neuen Zeilen nicht. Wer Trainingszugriffe wirklich verhindern will, braucht weiterhin eine technische Sperre; die synchronisierte Datei dokumentiert dann die dazu passende Präferenz. Der Gewinn liegt in Konsistenz und Nachweisbarkeit — schmal, aber konkret.

Die Prüfszene nach der Aktivierung ist entsprechend kurz: bestehende robots.txt vorher sichern, danach die Datei einmal abrufen und Zeile für Zeile gegen das Dashboard halten. Steht dort ein Disallow für Training-Bots, während das Dashboard Training erlaubt — oder umgekehrt —, ist der Abgleich nicht das Ergebnis, das gemeint war. Erst wenn vorangestellte und eigene Direktiven zusammen dieselbe Aussage ergeben wie die durchgesetzte Konfiguration, ist die Sache erledigt.