GPTBot und KI-Crawler in Server-Logs erkennen

Warum es wichtig ist

Leitfaden 02 öffnet Ihre robots.txt für KI-Crawler, und Leitfaden 11 sorgt dafür, dass Ihre Firewall sie durchlässt. Beides sind Einstellungen. Ihre Logs sind der Beweis: Sie zeigen, ob die Crawler tatsächlich gekommen sind, welche Seiten sie abgerufen haben und was Ihre Website geantwortet hat.

Jedes Mal, wenn ein Mensch oder ein Bot eine Seite Ihrer Website abruft, schreibt der Server eine Zeile in sein Zugriffs-Log. Jede Zeile enthält den Namen, den sich der Besucher selbst gibt, zum Beispiel OAI-SearchBot für die ChatGPT-Suche, und einen dreistelligen Antwortcode. Filtern Sie das Log nach den Namen der KI-Crawler, und Sie sehen Seite für Seite, ob sie hereingelassen wurden.

Eine Grenze sollten Sie kennen: Ein Log zeigt, dass ein Crawler eine Seite gelesen hat. Es zeigt nicht, ob ein Assistent diese Seite später in einer Antwort verwendet hat.

Übersicht

So lesen Sie eine Log-Zeile

Die meisten Webserver schreiben ihre Zeilen im selben „combined“-Format: Es ist der Standard bei nginx und ein gängiges Format bei Apache. Hier eine Zeile, in ihre Teile zerlegt:

192.0.2.14 - - [23/Oct/2026:06:12:41 +0200] "GET /services HTTP/1.1" 200 18342 "-" "... compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"

Was die Statuscodes bedeuten

Übersicht

Nach diesen Namen suchen Sie

Diese Namen tragen KI-Assistenten und Suchmaschinen in ihre Anfragen ein, und so lässt jedes Unternehmen Sie prüfen, ob ein Besuch wirklich von ihm stammt.

Zwei Namen finden Sie nie in einem Log: Google-Extended und Applebot-Extended. Das sind Schalter in der robots.txt, keine Crawler. Google crawlt mit seinen normalen User-Agents, und Apple schreibt, dass Applebot-Extended keine Webseiten crawlt.

Bevor Sie beginnen

Halten Sie das bereit

• Ihren Domainnamen und die Information, ob Ihre Website über Cloudflare läuft (Leitfaden 11, Schritt 1, zeigt, wie Sie das prüfen).
• Einen Zugang zu Cloudflare oder zu Ihrem Hosting-Panel, oder einen Entwickler mit Zugriff auf den Server.
• Für die Schritte 3 und 5: ein Terminal auf dem Server (Befehle für Linux oder macOS unten).

Schritte

Besuche finden, filtern und prüfen

1. Wählen Sie, wo Sie nachsehen

   Ihre Logs liegen je nach Hosting an einem dieser drei Orte. Nehmen Sie den ersten, der auf Sie zutrifft.

   Mit Cloudflare

   AI Crawl Control zählt die Besuche der KI-Crawler bereits für Sie, in allen Tarifen. Weiter mit Schritt 2.

   Hosting-Panel

   Bei vielen Hostern können Sie das Roh-Log herunterladen. In cPanel finden Sie es unter Metrics (Metriken) → Raw Access. Andere Panels nennen es Logs oder Statistiken. Weiter mit Schritt 3.

   Eigener Server

   Ihr Entwickler liest das nginx- oder Apache-Log direkt auf dem Server. Weiter mit Schritt 3.

2. Mit Cloudflare: AI Crawl Control lesen

   Öffnen Sie im Cloudflare-Dashboard Ihre Domain und dann AI Crawl Control.

   • Tab Overview: Anfragen insgesamt, erlaubte und erfolglose Anfragen im Zeitverlauf, der häufigste Statuscode und die meistabgerufene Seite.
   • Tab Crawlers: eine Zeile pro Crawler mit seinen Requests (Anfragen) und seiner Action (Allow oder Block). Das Menü jeder Zeile enthält View Metrics.
   • Tab Metrics: Das Diagramm Status code distribution teilt die Antworten in 2xx, 3xx, 4xx (einschließlich 403 blockiert) und 5xx auf. Mit dem Filter Crawler sehen Sie einen Bot nach dem anderen, unter Most popular paths die Seiten, die er gelesen hat.

   Sehen Sie sich zuerst OAI-SearchBot, Claude-SearchBot und PerplexityBot an. Sie wollen überwiegend 2xx sehen. Jedes Diagramm lässt sich mit Download CSV exportieren.

   Im kostenlosen Tarif erkennt Cloudflare Crawler an dem Namen, den sie angeben. Sie sehen also bekannte Bots, die sich zu erkennen geben. Verweis-Zahlen (Besucher, die aus KI-Antworten kommen) gibt es nur in kostenpflichtigen Tarifen.

3. Für Entwickler: das Roh-Log nach KI-Crawlern filtern

   Finden Sie zuerst die Datei. Bei nginx nennt sie die Zeile access_log in der Konfiguration; dieser Befehl gibt die ganze Konfiguration aus, damit Sie darin suchen können:

   Terminal · nginx-Zugriffs-Log findenKopieren

   sudo nginx -T | grep access_log

   Bei Apache suchen Sie die Zeile CustomLog in der Konfiguration. Ein relativer Pfad bezieht sich auf das ServerRoot. Über Raw Access in cPanel laden Sie pro Domain eine komprimierte .gz-Datei herunter.

   Behalten Sie dann nur die Zeilen der KI-Crawler und Suchmaschinen. Ersetzen Sie access.log durch Ihren Pfad. Das -i ist wichtig: Bing schreibt seinen Namen klein (bingbot).

   Terminal · nur Zeilen von KI-CrawlernKopieren

   grep -iE 'OAI-SearchBot|ChatGPT-User|GPTBot|Claude-SearchBot|Claude-User|ClaudeBot|PerplexityBot|Perplexity-User|bingbot|Googlebot|Applebot' access.log

   Frühere Tage liegen oft in eigenen Dateien, manche komprimiert. zgrep nimmt dieselben Optionen und liest auch .gz-Dateien, also durchsucht zgrep -iE '...' access.log* alle.

   Das Ergebnis sieht so aus:

   Gefiltertes Log für kastell-conseil.example (User-Agents gekürzt)

   192.0.2.14 - - [23/Oct/2026:06:12:41 +0200] "GET /services HTTP/1.1" 200 18342 "-" "... compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
   192.0.2.31 - - [23/Oct/2026:07:40:03 +0200] "GET /fr/services HTTP/1.1" 429 162 "-" "... Claude-SearchBot ..."
   192.0.2.58 - - [23/Oct/2026:09:02:17 +0200] "GET /contact HTTP/1.1" 200 9120 "-" "... compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
   192.0.2.77 - - [23/Oct/2026:10:15:52 +0200] "GET / HTTP/1.1" 403 153 "-" "... compatible; GPTBot/1.4; +https://openai.com/gptbot"
   192.0.2.90 - - [23/Oct/2026:11:28:09 +0200] "GET /equipe HTTP/1.1" 200 14877 "-" "... bingbot ..."
   198.51.100.23 - - [23/Oct/2026:12:01:44 +0200] "GET /services HTTP/1.1" 200 18342 "-" "... compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"

   Illustration mit einem fiktiven Unternehmen. Die IP-Adressen sind für Beispiele reservierte Adressen.

   Für eine schnelle Zählung der Antworten pro Crawler nehmen Sie die Statusspalte dazu. Im combined-Format ist es das neunte Feld:

   Terminal · Statuscodes für einen CrawlerKopieren

   grep -i 'OAI-SearchBot' access.log | awk '{print $9}' | sort | uniq -c

4. Lesen Sie, was Ihr Server geantwortet hat

   Gehen Sie die gefilterten Zeilen mit der Statuscode-Tabelle oben durch. Im Beispiel von Kastell Conseil:

   • OAI-SearchBot, PerplexityBot und bingbot bekamen 200. Die ChatGPT-Suche, Perplexity und Bing konnten diese Seiten lesen.
   • Claude-SearchBot bekam 429. Eine Ratenbegrenzung hat ihn auf der französischen Leistungsseite abgeschnitten. Das muss behoben werden: siehe Leitfaden 11, Schritt 4.
   • GPTBot bekam 403. Das ist in Ordnung, wenn Sie Trainings-Crawler bewusst blockieren (Leitfaden 13). Die ChatGPT-Suche ist davon nicht betroffen, sie nutzt OAI-SearchBot.

   Gar keine Zeilen von einem Crawler können bedeuten, dass er noch nicht da war oder dass ihn etwas abgewiesen hat, bevor er Ihren Server erreichte. Erwarten Sie ChatGPT-User, Claude-User oder Perplexity-User nicht regelmäßig: Sie kommen nur, wenn jemand den Assistenten nach einer Seite fragt.

5. Für Entwickler: prüfen, ob der Bot echt ist

   Die letzte Zeile im Beispiel nennt sich OAI-SearchBot, aber das kann jeder. Google warnt, dass sein eigener User-Agent oft von anderen Crawlern kopiert wird. Jedes Unternehmen bietet eine Prüfmöglichkeit.

   OpenAI, Anthropic, Perplexity (und Bing, Apple, Google): veröffentlichte IP-Listen. Prüfen Sie, ob die Adresse aus dem Log in der Liste des Anbieters steht. Perplexity empfiehlt, sowohl den Namen als auch die IP-Adresse zu prüfen. Dieser Befehl lädt eine Liste und antwortet mit True (ja) oder False (nein):

   Terminal · Steht diese IP auf der Liste des OpenAI-Such-Crawlers?Kopieren

   curl -sL https://openai.com/searchbot.json | python3 -c 'import ipaddress,json,sys; ip=ipaddress.ip_address(sys.argv[1]); print(any(ip in ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in json.load(sys.stdin)["prefixes"]))' 198.51.100.23

   Tauschen Sie die Liste je nach Crawler aus: https://openai.com/chatgpt-user.json, https://openai.com/gptbot.json, https://claude.com/crawling/bots.json, https://www.perplexity.com/perplexitybot.json, https://www.perplexity.com/perplexity-user.json, https://www.bing.com/toolbox/bingbot.json, http://search.developer.apple.com/applebot.json oder die von Google, https://developers.google.com/static/crawling/ipranges/common-crawlers.json. Die Listen ändern sich, laden Sie also immer die aktuelle. Im Beispiel von Kastell Conseil steht die Adresse des letzten Besuchers nicht auf der OpenAI-Liste, die Antwort ist also False.

   Google, Bing und Apple: Reverse DNS. Fragen Sie den Namen hinter der IP-Adresse ab, fragen Sie dann diesen Namen ab und prüfen Sie, ob er auf dieselbe Adresse zurückführt:

   Terminal · Rückwärts-, dann VorwärtsabfrageKopieren

   host 66.249.66.1
   # dann host erneut mit dem zurückgegebenen Namen ausführen

   • Googlebot: Der Name muss auf googlebot.com, google.com oder googleusercontent.com enden.
   • bingbot: Der Name muss auf search.msn.com enden. Bing bietet außerdem die Seite Verify Bingbot (Bingbot überprüfen), auf der Sie eine IP-Adresse eingeben.
   • Applebot: Der Name muss auf applebot.apple.com enden.

   Bei beiden Methoden muss die zweite Abfrage die Ausgangsadresse zurückgeben. Ist das nicht so, oder steht die IP nicht auf der Liste, ist der Besucher nicht der Crawler, als der er sich ausgibt. Zählen Sie ihn nicht mit; Sie können ihn blockieren, wie Leitfaden 11 erklärt.

   Hinter Cloudflare? Ihr Server sieht die Adressen von Cloudflare

   Wenn Cloudflare vor Ihrer Website sitzt, protokolliert Ihr Server die IP-Adresse von Cloudflare, nicht die des Crawlers. Cloudflare gibt die ursprüngliche Adresse im Header CF-Connecting-IP weiter, und Ihr Entwickler kann den Server so einstellen, dass er sie protokolliert. Bis dahin nutzen Sie AI Crawl Control (Schritt 2) statt der IP-Prüfung.

Prüfen Sie das Ergebnis

Bestätigen Sie, dass die Crawler hereinkommen

Sehen Sie nach einer Änderung aus Leitfaden 02 oder 11 einige Tage später erneut nach. Crawler kommen in ihrem eigenen Rhythmus wieder, und OpenAI schreibt, dass seine Suchsysteme etwa 24 Stunden brauchen können, um eine Änderung der robots.txt zu übernehmen.

Häufige Fehler

Was meistens schiefgeht

• Ohne -i suchen. Der Crawler von Bing heißt bingbot, kleingeschrieben. Eine Suche nach „Bingbot“, die Groß- und Kleinschreibung beachtet, findet nichts.
• Nur die Datei von heute lesen. Viele Server beginnen jeden Tag oder jede Woche eine neue Log-Datei und komprimieren die alten. Durchsuchen Sie alle, sonst glauben Sie, ein Crawler sei nie gekommen.
• Dem Namen vertrauen. Eine Zeile mit OAI-SearchBot ist kein Beweis. Prüfen Sie die IP-Adresse, bevor Sie sie mitzählen.
• IP-Adressen hinter Cloudflare prüfen. Ohne Protokollierung von CF-Connecting-IP zeigt jeder Besuch eine Cloudflare-Adresse, und kein Crawler besteht die IP-Prüfung.
• Nach Google-Extended oder Applebot-Extended suchen. Sie erscheinen nie in Logs. Google und Apple nutzen, was ihre normalen Crawler Googlebot und Applebot abrufen.
• Einen Besuch für eine Empfehlung halten. Ein 200 bedeutet, dass der Crawler die Seite gelesen hat. Nicht, dass der Assistent sie verwenden oder Sie empfehlen wird.