Voir les visites de GPTBot et des robots IA dans vos logs

Pourquoi c'est important

Le Guide 02 ouvre votre robots.txt aux robots IA et le Guide 11 vérifie que votre pare-feu les laisse passer. Ce sont des réglages. Vos logs en sont la preuve : ils montrent si les robots sont réellement venus, quelles pages ils ont demandées et ce que votre site leur a répondu.

Chaque fois qu'un visiteur, humain ou robot, demande une page à votre site, le serveur écrit une ligne dans son log d'accès. Chaque ligne contient le nom que le visiteur se donne, par exemple OAI-SearchBot pour la recherche de ChatGPT, et un code de réponse à trois chiffres. Filtrez le log sur les noms des robots IA et vous voyez, page par page, s'ils ont pu entrer.

Une limite à garder en tête : un log montre qu'un robot a lu une page. Il ne dit pas si un assistant a ensuite utilisé cette page dans une réponse.

Référence

Lire une ligne de log

La plupart des serveurs web écrivent leurs lignes dans le même format « combined » : c'est le format par défaut de nginx et un format standard d'Apache. Voici une ligne, découpée en parties :

192.0.2.14 - - [23/Oct/2026:06:12:41 +0200] "GET /services HTTP/1.1" 200 18342 "-" "... compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"

Ce que signifient les codes de statut

Référence

Les noms à chercher

Voici les noms que les assistants IA et les moteurs de recherche mettent dans leurs requêtes, et comment chaque entreprise vous permet de vérifier qu'une visite vient bien d'elle.

Deux noms que vous ne trouverez jamais dans un log : Google-Extended et Applebot-Extended. Ce sont des interrupteurs dans le robots.txt, pas des robots. Google explore avec ses user agents habituels, et Apple indique qu'Applebot-Extended n'explore pas les pages web.

Avant de commencer

Préparez ceci

• Votre nom de domaine, et si votre site passe par Cloudflare (le Guide 11, étape 1, explique comment le vérifier).
• Un accès à Cloudflare ou à votre panneau d'hébergement, ou un développeur qui a accès au serveur.
• Pour les étapes 3 et 5 : un terminal sur le serveur (commandes Linux ou macOS ci-dessous).

Étapes

Trouvez, filtrez et vérifiez les visites

1. Choisissez où regarder

   Vos logs se trouvent à l'un de ces trois endroits, selon l'hébergement de votre site. Prenez le premier qui s'applique.

   Sur Cloudflare

   AI Crawl Control compte déjà pour vous les visites des robots IA, sur toutes les offres. Passez à l'étape 2.

   Panneau d'hébergement

   Beaucoup d'hébergeurs permettent de télécharger le log brut. Dans cPanel, c'est Metrics (Statistiques) → Raw Access. D'autres panneaux l'appellent Logs ou Statistiques. Passez à l'étape 3.

   Votre propre serveur

   Votre développeur lit le log nginx ou Apache directement sur le serveur. Passez à l'étape 3.

2. Sur Cloudflare : lisez AI Crawl Control

   Dans le tableau de bord Cloudflare, ouvrez votre domaine, puis AI Crawl Control.

   • Onglet Overview : total des requêtes, requêtes autorisées et en échec dans le temps, code de statut le plus fréquent et page la plus demandée.
   • Onglet Crawlers : une ligne par robot avec ses Requests (requêtes) et son Action (Allow ou Block). Le menu de chaque ligne propose View Metrics.
   • Onglet Metrics : le graphique Status code distribution répartit les réponses en 2xx, 3xx, 4xx (dont 403 bloqué) et 5xx. Utilisez le filtre Crawler pour voir un robot à la fois, et Most popular paths pour voir quelles pages il a lues.

   Regardez d'abord OAI-SearchBot, Claude-SearchBot et PerplexityBot. Vous voulez surtout des 2xx. Chaque graphique s'exporte avec Download CSV.

   Sur l'offre gratuite, Cloudflare reconnaît les robots au nom qu'ils annoncent : vous voyez donc les robots connus qui s'identifient. Les chiffres de référence (visiteurs arrivant depuis des réponses IA) demandent une offre payante.

3. Développeurs : filtrez le log brut sur les robots IA

   Trouvez d'abord le fichier. Dans nginx, la ligne access_log de la configuration l'indique ; cette commande affiche toute la configuration pour la parcourir :

   Terminal · trouver le log d'accès nginxCopier

   sudo nginx -T | grep access_log

   Dans Apache, cherchez la ligne CustomLog dans la configuration. Un chemin relatif part du ServerRoot. Depuis Raw Access dans cPanel, vous téléchargez un fichier compressé .gz par domaine.

   Gardez ensuite uniquement les lignes des robots IA et des moteurs de recherche. Remplacez access.log par votre chemin. Le -i compte : Bing écrit son nom en minuscules (bingbot).

   Terminal · uniquement les lignes des robots IACopier

   grep -iE 'OAI-SearchBot|ChatGPT-User|GPTBot|Claude-SearchBot|Claude-User|ClaudeBot|PerplexityBot|Perplexity-User|bingbot|Googlebot|Applebot' access.log

   Les jours précédents sont souvent dans des fichiers séparés, parfois compressés. zgrep accepte les mêmes options et lit aussi les fichiers .gz : zgrep -iE '...' access.log* les parcourt tous.

   Le résultat ressemble à ceci :

   Log filtré pour kastell-conseil.example (user agents raccourcis)

   192.0.2.14 - - [23/Oct/2026:06:12:41 +0200] "GET /services HTTP/1.1" 200 18342 "-" "... compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
   192.0.2.31 - - [23/Oct/2026:07:40:03 +0200] "GET /fr/services HTTP/1.1" 429 162 "-" "... Claude-SearchBot ..."
   192.0.2.58 - - [23/Oct/2026:09:02:17 +0200] "GET /contact HTTP/1.1" 200 9120 "-" "... compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
   192.0.2.77 - - [23/Oct/2026:10:15:52 +0200] "GET / HTTP/1.1" 403 153 "-" "... compatible; GPTBot/1.4; +https://openai.com/gptbot"
   192.0.2.90 - - [23/Oct/2026:11:28:09 +0200] "GET /equipe HTTP/1.1" 200 14877 "-" "... bingbot ..."
   198.51.100.23 - - [23/Oct/2026:12:01:44 +0200] "GET /services HTTP/1.1" 200 18342 "-" "... compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"

   Illustration avec une entreprise fictive. Les adresses IP sont des adresses réservées aux exemples.

   Pour compter rapidement les réponses par robot, ajoutez la colonne du statut. Dans le format combined, c'est le neuvième champ :

   Terminal · codes de statut pour un robotCopier

   grep -i 'OAI-SearchBot' access.log | awk '{print $9}' | sort | uniq -c

4. Lisez ce que votre serveur a répondu

   Parcourez les lignes filtrées avec le tableau des codes de statut ci-dessus. Dans l'exemple de Kastell Conseil :

   • OAI-SearchBot, PerplexityBot et bingbot ont reçu 200. La recherche de ChatGPT, Perplexity et Bing ont pu lire ces pages.
   • Claude-SearchBot a reçu 429. Une limitation de débit l'a coupé sur la page des services en français. À corriger : voir le Guide 11, étape 4.
   • GPTBot a reçu 403. C'est normal si vous avez choisi de bloquer les robots d'entraînement (Guide 13). Cela n'affecte pas la recherche de ChatGPT, qui utilise OAI-SearchBot.

   Aucune ligne pour un robot peut vouloir dire qu'il n'est pas encore venu, ou que quelque chose l'a refoulé avant votre serveur. N'attendez pas ChatGPT-User, Claude-User ou Perplexity-User à intervalles réguliers : ils ne viennent que lorsque quelqu'un interroge l'assistant sur une page.

5. Développeurs : vérifiez que le robot est authentique

   La dernière ligne de l'exemple se présente comme OAI-SearchBot, mais n'importe qui peut le faire. Google prévient que son propre user agent est souvent copié par d'autres robots. Chaque entreprise vous donne un moyen de vérifier.

   OpenAI, Anthropic, Perplexity (et Bing, Apple, Google) : listes d'IP publiées. Vérifiez si l'adresse du log figure dans la liste du fournisseur. Perplexity recommande de vérifier à la fois le nom et l'adresse IP. Cette commande télécharge une liste et répond True (oui) ou False (non) :

   Terminal · cette IP est-elle sur la liste du robot de recherche d'OpenAI ?Copier

   curl -sL https://openai.com/searchbot.json | python3 -c 'import ipaddress,json,sys; ip=ipaddress.ip_address(sys.argv[1]); print(any(ip in ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in json.load(sys.stdin)["prefixes"]))' 198.51.100.23

   Changez de liste selon le robot à vérifier : https://openai.com/chatgpt-user.json, https://openai.com/gptbot.json, https://claude.com/crawling/bots.json, https://www.perplexity.com/perplexitybot.json, https://www.perplexity.com/perplexity-user.json, https://www.bing.com/toolbox/bingbot.json, http://search.developer.apple.com/applebot.json, ou celle de Google, https://developers.google.com/static/crawling/ipranges/common-crawlers.json. Les listes changent : téléchargez toujours la version actuelle. Dans l'exemple de Kastell Conseil, l'adresse du dernier visiteur ne figure pas sur la liste d'OpenAI, la réponse est donc False.

   Google, Bing et Apple : DNS inverse. Cherchez le nom associé à l'adresse IP, puis cherchez ce nom et vérifiez qu'il renvoie à la même adresse :

   Terminal · recherche inverse, puis directeCopier

   host 66.249.66.1
   # puis relancez host sur le nom obtenu

   • Googlebot : le nom doit se terminer par googlebot.com, google.com ou googleusercontent.com.
   • bingbot : le nom doit se terminer par search.msn.com. Bing propose aussi une page Verify Bingbot (Vérifier Bingbot) où vous collez une adresse IP.
   • Applebot : le nom doit se terminer par applebot.apple.com.

   Dans les deux méthodes, la seconde recherche doit redonner l'adresse de départ. Si ce n'est pas le cas, ou si l'IP n'est pas sur la liste, le visiteur n'est pas le robot qu'il prétend être. Ne le comptez pas ; vous pouvez le bloquer, comme l'explique le Guide 11.

   Derrière Cloudflare ? Votre serveur voit les adresses de Cloudflare

   Quand Cloudflare est placé devant votre site, votre serveur enregistre l'adresse IP de Cloudflare, pas celle du robot. Cloudflare transmet l'adresse d'origine dans un en-tête appelé CF-Connecting-IP, et votre développeur peut configurer le serveur pour l'enregistrer. En attendant, utilisez AI Crawl Control (étape 2) plutôt que la vérification des IP.

Vérifiez le résultat

Confirmez que les robots entrent

Après une modification des Guides 02 ou 11, regardez à nouveau quelques jours plus tard. Les robots reviennent à leur propre rythme, et OpenAI indique que ses systèmes de recherche peuvent mettre environ 24 heures à prendre en compte un changement du robots.txt.

Erreurs fréquentes

Ce qui coince le plus souvent

• Chercher sans -i. Le robot de Bing s'écrit bingbot, en minuscules. Une recherche sensible à la casse sur « Bingbot » ne trouve rien.
• Ne lire que le fichier du jour. Beaucoup de serveurs commencent un nouveau fichier chaque jour ou chaque semaine et compressent les anciens. Parcourez-les tous, sinon vous croirez qu'un robot n'est jamais venu.
• Se fier au nom. Une ligne qui dit OAI-SearchBot n'est pas une preuve. Vérifiez l'adresse IP avant de la compter.
• Vérifier les IP derrière Cloudflare. Sans enregistrement de CF-Connecting-IP, chaque visite affiche une adresse Cloudflare et aucun robot ne passera la vérification.
• Chercher Google-Extended ou Applebot-Extended. Ils n'apparaissent jamais dans les logs. Google et Apple utilisent ce que récupèrent leurs robots habituels, Googlebot et Applebot.
• Prendre une visite pour une recommandation. Un 200 veut dire que le robot a lu la page. Pas que l'assistant l'utilisera ou vous recommandera.