Blockieren Cloudflare oder Ihre Firewall KI-Bots?

Warum es wichtig ist

Ihre Datei robots.txt bittet Crawler höflich, nur bestimmte Seiten zu lesen. Leitfaden 02 zeigt, wie Sie sie einstellen. Aber eine Bitte ist kein Schloss. Eine Firewall schon: Wenn ein Sicherheitsdienst vor Ihrer Website einen Crawler abweist, erreicht er Ihre Seiten nie, egal was in der robots.txt steht.

Das passiert, ohne dass es jemand entschieden hat. Cloudflare, der verbreitetste dieser Dienste, hat Einstellungen, die KI-Bots blockieren, und seit dem 15. September 2026 blockieren neue Cloudflare-Domains standardmäßig einige KI-Bots auf Seiten mit Werbung. Auch Hoster und WordPress-Sicherheitsplugins können „schlechte Bots“ blockieren. Dieser Leitfaden prüft, ob etwas davon auf Sie zutrifft.

Illustration mit einem fiktiven Unternehmen.

Übersicht

Welche Bots Sie durchlassen sollten

Jedes KI-Unternehmen betreibt getrennte Bots für die Suche und für das Training. Damit Ihr Unternehmen gelesen wird, wenn jemand fragt, müssen die Such-Bots durchkommen. Ob Sie Trainings-Bots blockieren, entscheiden Sie; Leitfaden 13 hilft dabei.

Die KI-Antworten von Google und Microsoft Copilot nutzen die normalen Crawler Googlebot und Bingbot, die Firewalls selten blockieren. Sind sie blockiert, fehlt Ihre Website ganz in Google und Bing, und Leitfaden 03 zeigt Ihnen das.

Bevor Sie beginnen

Halten Sie das bereit

• Ihren Domainnamen, zum Beispiel ihrefirma.lu.
• Wenn Sie Cloudflare nutzen, einen Zugang mit Rechten für die Domain.
• Sonst einen Zugang zum Kundenbereich Ihres Hosters oder den Kontakt Ihres Webentwicklers.

Schritte

Finden und beheben Sie die Sperre

1. Finden Sie heraus, ob Sie Cloudflare nutzen

   Schauen Sie die Nameserver Ihrer Domain nach, also die Server, die festlegen, wo Ihre Website liegt. Jede kostenlose „NS-Lookup“- oder „WHOIS“-Website zeigt sie an. Auf einem Mac oder unter Linux geben Sie im Terminal ein:

   TerminalKopieren

   dig ns ihrefirma.lu @1.1.1.1

   Unter Windows: nslookup -type=ns ihrefirma.lu 1.1.1.1.

   • Namen, die auf .ns.cloudflare.com enden (oder foundationdns.com): Sie nutzen Cloudflare. Weiter mit Schritt 2.
   • Etwas anderes (die Namen Ihres Hosters oder Registrars): Cloudflare steht wahrscheinlich nicht vor Ihrer Website. Weiter mit Schritt 4. Manche größeren Setups nutzen Cloudflare ohne dessen Nameserver; fragen Sie im Zweifel Ihren Entwickler.

2. Prüfen Sie die KI-Bot-Richtlinie in Cloudflare

   Diese Einstellung blockiert KI-Bots nach Kategorie. Öffnen Sie im Cloudflare-Dashboard Ihre Domain, dann Sicherheitseinstellungen (Security Settings) → KI-Bot-Richtlinien konfigurieren (Configure AI bot policies). Jede Kategorie hat drei Optionen: auf allen Seiten blockieren („Block (on all pages)“), auf Seiten mit Werbung blockieren („Block on pages with ads“) und zulassen („Allow (do not block)“).

   • Search (Suche): auf Allow (do not block) stellen. Das sind die Crawler, die Ihre Inhalte lesen, um später Fragen dazu zu beantworten.
   • Training: Ihre Wahl. Wenn Sie es blockieren, bleiben die Such-Crawler davon unberührt.
   • Agent: Bots, die in Echtzeit für eine Person handeln, zum Beispiel Ihre Seite abrufen, wenn jemand nach Ihnen fragt. Die meisten Unternehmen sollten sie zulassen.

   Cloudflare weist darauf hin, dass Crawler, die sowohl Suche als auch Training betreiben, blockiert werden, sobald Sie Training blockieren. Wenn Sie noch die ältere Option Block AI bots sehen: Cloudflare ersetzt sie schrittweise durch diese Richtlinien.

3. Prüfen Sie jeden Crawler in AI Crawl Control

   Die Seite AI Crawl Control von Cloudflare, in allen Tarifen verfügbar, listet die KI-Crawler, die Ihre Domain besuchen, und lässt Sie jeden einzeln zulassen oder blockieren. Öffnen Sie Ihre Domain, gehen Sie zu AI Crawl Control und dort auf den Tab Crawlers. In der Spalte Action:

   • Stellen Sie OAI-SearchBot, Claude-SearchBot und PerplexityBot auf Allow.
   • Lassen Sie GPTBot und ClaudeBot blockiert, wenn Sie sich gegen KI-Training entschieden haben.

   Wenn Sie hier einen Crawler blockieren, entsteht eine Firewall-Regel (WAF) für Ihre Domain. Sehen Sie deshalb auch Ihre eigenen WAF-Regeln (custom rules) durch, ob jemand von Hand eine strengere Regel angelegt hat. Im kostenlosen Tarif erkennt Cloudflare Crawler an dem Namen, den sie angeben; nur bekannte Bots erscheinen in der Liste.

   Prüfen Sie auch den Bot Fight Mode

   Der Bot Fight Mode von Cloudflare stellt Datenverkehr, der wie ein Bot aussieht, auf die Probe, und laut Cloudflare lässt er sich nicht mit eigenen Firewall-Regeln umgehen. Sie finden ihn unter Sicherheitseinstellungen (Security Settings) mit dem Filter Bot traffic. Wenn KI-Crawler blockiert sind und keine Regel das erklärt, ist das die nächste Einstellung, die Sie prüfen sollten.

4. Kein Cloudflare: Prüfen Sie Hoster und Plugins

   Auch andere Dienste blockieren Bots: manche Hoster, andere CDNs und WordPress-Sicherheitsplugins mit Optionen wie „schlechte Bots blockieren“ oder Ratenbegrenzung. Am schnellsten sehen Sie es daran, was Ihr Server geantwortet hat.

   Hosting-Kundenbereich

   Öffnen Sie das Zugriffsprotokoll (oft unter Statistiken, Logs oder Metriken). Suchen Sie nach OAI-SearchBot, Claude-SearchBot und PerplexityBot.

   WordPress-Plugin

   Öffnen Sie die Einstellungen des Sicherheitsplugins und suchen Sie nach Bot-Sperren, Ratenbegrenzung oder einem Protokoll der Sperren. Suchen Sie dort nach denselben Namen.

   Entwickler

   Schicken Sie Ihrem Entwickler diesen Leitfaden und fragen Sie: „Blockieren oder begrenzen wir OAI-SearchBot, Claude-SearchBot oder PerplexityBot irgendwo?“

   In einer Protokollzeile ist die dreistellige Zahl nach der Anfrage die Antwort Ihres Servers. 200 heißt: Die Seite wurde gesendet. 403 heißt „verboten“: Der Bot wurde abgewiesen. 429 heißt „zu viele Anfragen“: Er wurde gebremst oder abgeschnitten. Leitfaden 16 zeigt, wie Sie Protokolle genauer lesen.

   Beispielzeile, in der ein Such-Crawler abgewiesen wird (gekürzt)

   "GET /services HTTP/1.1" 403 ... "compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"

5. Für Entwickler: nach IP-Liste zulassen, nicht nur nach Namen

   Jeder kann „OAI-SearchBot“ in eine Anfrage schreiben. Eine Regel, die nur auf den Namen schaut, lässt also auch Betrüger herein. OpenAI und Perplexity veröffentlichen die IP-Adressen ihrer Bots, und Perplexity empfiehlt, Namen und IP-Adresse zu prüfen. Wenn Sie eine eigene Zulassungsregel schreiben:

   • Prüfen Sie den Namen des Bots und eine Adresse aus seiner offiziellen Liste: https://openai.com/searchbot.json, https://openai.com/chatgpt-user.json, https://www.perplexity.com/perplexitybot.json, https://www.perplexity.com/perplexity-user.json.
   • Laden Sie die Listen automatisch und regelmäßig neu: Die Anbieter ändern sie.

   Anthropic veröffentlicht die IP-Adressen seiner Crawler ebenfalls, unter claude.com/crawling/bots.json, rät aber davon ab, nach IP zu blockieren, weil seine Bots dann Ihre robots.txt womöglich nicht lesen können. Verlassen Sie sich für Claude auf die robots.txt und die Cloudflare-Einstellung.

Prüfen Sie das Ergebnis

Bestätigen Sie, dass die Bots durchkommen

• Bei Cloudflare öffnen Sie AI Crawl Control nach ein, zwei Tagen erneut. Die Such-Crawler sollten als zugelassen erscheinen, mit durchgehenden Anfragen.
• Anderswo durchsuchen Sie Ihr Zugriffsprotokoll erneut: Neue Zeilen von OAI-SearchBot, Claude-SearchBot und PerplexityBot sollten mit 200 enden, nicht mit 403 oder 429.

Geben Sie dem Ganzen Zeit. Laut OpenAI können seine Suchsysteme etwa 24 Stunden brauchen, um eine Änderung der robots.txt zu übernehmen, und Crawler kommen nur in ihrem eigenen Rhythmus wieder.

Häufige Fehler

Was meistens schiefgeht

• Die robots.txt korrigieren und dann aufhören. Wenn die Firewall einen Bot blockiert, wird die Datei nicht einmal gelesen.
• Alle KI-Bots blockieren, um Training zu verhindern. Ein einziger Schalter für „KI“ weist auch die Such-Crawler ab, mit denen Assistenten Sie lesen. Blockieren Sie nur das Training.
• Nur nach Namen zulassen. Eine Regel, die jeder Anfrage vertraut, die sich OAI-SearchBot nennt, lässt auch falsche Bots herein. Prüfen Sie die offiziellen IP-Listen.
• Die Standardeinstellungen vergessen. Eine Domain, die nach dem 15. September 2026 zu Cloudflare hinzugefügt wurde, startet mit einigen blockierten KI-Bots auf Seiten mit Werbung. Prüfen Sie die Einstellungen, auch wenn niemand sie geändert hat.
• Nur Cloudflare prüfen. Auch ein WordPress-Plugin oder der Schutz des Hosters kann Bots hinter Cloudflare blockieren.