Cloudflare bloque les robots IA ? Vérifiez votre pare-feu

Pourquoi c'est important

Votre fichier robots.txt demande poliment aux robots quelles pages ils peuvent lire. Le Guide 02 explique comment le régler. Mais une demande n'est pas un verrou. Un pare-feu, si : quand un service de sécurité placé devant votre site refuse un robot, celui-ci n'atteint jamais vos pages, quoi que dise le robots.txt.

Cela arrive sans que personne ne l'ait décidé. Cloudflare, le plus répandu de ces services, a des réglages qui bloquent les robots IA, et depuis le 15 septembre 2026, les nouveaux domaines Cloudflare bloquent par défaut certains robots IA sur les pages avec publicité. Les hébergeurs et les plugins de sécurité WordPress peuvent aussi bloquer les « mauvais robots ». Ce guide vérifie si l'un de ces cas vous concerne.

Illustration avec une entreprise fictive.

Référence

Quels robots laisser passer

Chaque entreprise d'IA utilise des robots distincts pour la recherche et pour l'entraînement. Pour que votre entreprise soit lue quand quelqu'un pose une question, les robots de recherche doivent passer. Bloquer les robots d'entraînement est votre choix ; le Guide 13 vous aide à décider.

Les réponses IA de Google et Microsoft Copilot utilisent les robots habituels Googlebot et Bingbot, que les pare-feu bloquent rarement. S'ils sont bloqués, votre site est absent de Google et de Bing, et le Guide 03 vous le montrera.

Avant de commencer

Préparez ceci

• Votre nom de domaine, par exemple votreentreprise.lu.
• Si vous utilisez Cloudflare, un accès avec des droits sur le domaine.
• Sinon, un accès au panneau de votre hébergeur, ou le contact de votre développeur.

Étapes

Trouvez et levez le blocage

1. Vérifiez si vous utilisez Cloudflare

   Regardez les serveurs de noms (nameservers) de votre domaine, ceux qui indiquent où se trouve votre site. N'importe quel site gratuit de « NS lookup » ou « WHOIS » les affiche. Sur Mac ou Linux, vous pouvez aussi taper ceci dans le Terminal :

   TerminalCopier

   dig ns votreentreprise.lu @1.1.1.1

   Sous Windows : nslookup -type=ns votreentreprise.lu 1.1.1.1.

   • Des noms qui se terminent par .ns.cloudflare.com (ou foundationdns.com) : vous utilisez Cloudflare. Passez à l'étape 2.
   • Autre chose (les noms de votre hébergeur ou bureau d'enregistrement) : Cloudflare n'est probablement pas devant votre site. Passez à l'étape 4. Certaines installations plus complexes utilisent Cloudflare sans ses serveurs de noms ; en cas de doute, demandez à votre développeur.

2. Vérifiez la politique des robots IA dans Cloudflare

   C'est le réglage qui bloque les robots IA par catégorie. Dans le tableau de bord Cloudflare, ouvrez votre domaine, puis Paramètres de sécurité (Security Settings) → Configurer les politiques des robots IA (Configure AI bot policies). Chaque catégorie propose trois options : bloquer sur toutes les pages (« Block (on all pages) »), bloquer sur les pages avec publicité (« Block on pages with ads ») et autoriser (« Allow (do not block) »).

   • Search (recherche) : réglez sur Allow (do not block). Ce sont les robots qui lisent votre contenu pour répondre plus tard à des questions à son sujet.
   • Training (entraînement) : à vous de choisir. Le bloquer n'arrête pas les robots de recherche.
   • Agent : des robots qui agissent en temps réel pour une personne, par exemple en ouvrant votre page quand quelqu'un pose une question sur vous. La plupart des entreprises devraient les autoriser.

   Cloudflare précise que les robots qui font à la fois de la recherche et de l'entraînement sont bloqués dès que vous bloquez l'entraînement. Si vous voyez encore l'ancienne option Block AI bots, Cloudflare la remplace progressivement par ces politiques.

3. Vérifiez chaque robot dans AI Crawl Control

   La page AI Crawl Control de Cloudflare, disponible sur toutes les offres, liste les robots IA qui visitent votre domaine et permet d'autoriser ou de bloquer chacun d'eux. Ouvrez votre domaine, allez dans AI Crawl Control, puis dans l'onglet Crawlers. Dans la colonne Action :

   • Réglez OAI-SearchBot, Claude-SearchBot et PerplexityBot sur Allow.
   • Laissez GPTBot et ClaudeBot bloqués si vous avez décidé de ne pas participer à l'entraînement des IA.

   Bloquer un robot ici crée une règle de pare-feu (WAF) sur votre domaine ; parcourez donc aussi vos règles WAF personnalisées pour repérer une règle plus stricte ajoutée à la main. Avec l'offre gratuite, Cloudflare reconnaît les robots au nom qu'ils annoncent : seuls les robots connus apparaissent dans la liste.

   Vérifiez aussi le Bot Fight Mode

   Le Bot Fight Mode de Cloudflare met à l'épreuve le trafic qui ressemble à un robot, et Cloudflare indique qu'il ne peut pas être contourné par vos propres règles de pare-feu. Vous le trouvez dans Paramètres de sécurité (Security Settings), avec le filtre Bot traffic. Si les robots IA sont bloqués et qu'aucune règle ne l'explique, c'est le réglage suivant à regarder.

4. Pas sur Cloudflare : vérifiez votre hébergeur et vos plugins

   D'autres services bloquent aussi les robots : certains hébergeurs, d'autres CDN et les plugins de sécurité WordPress qui proposent de « bloquer les mauvais robots » ou de limiter le nombre de requêtes. Le plus rapide est de regarder ce que votre serveur a répondu.

   Panneau d'hébergement

   Ouvrez le journal d'accès (souvent sous Statistiques, Logs ou Métriques). Cherchez OAI-SearchBot, Claude-SearchBot et PerplexityBot.

   Plugin WordPress

   Ouvrez les réglages du plugin de sécurité et cherchez le blocage de robots, la limitation de requêtes ou un journal des blocages. Cherchez-y les mêmes noms.

   Développeur

   Envoyez ce guide à votre développeur et demandez : « Est-ce qu'on bloque ou limite OAI-SearchBot, Claude-SearchBot ou PerplexityBot quelque part ? »

   Dans une ligne de journal, le nombre à trois chiffres après la requête est la réponse de votre serveur. 200 signifie que la page a été envoyée. 403 signifie « interdit » : le robot a été refusé. 429 signifie « trop de requêtes » : il a été ralenti ou coupé. Le Guide 16 explique comment lire les journaux plus en détail.

   Exemple de ligne où un robot de recherche est refusé (raccourcie)

   "GET /services HTTP/1.1" 403 ... "compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"

5. Développeurs : autorisez par liste d'adresses IP, pas seulement par nom

   N'importe qui peut écrire « OAI-SearchBot » dans une requête : une règle qui se fie au seul nom laisse aussi entrer des imposteurs. OpenAI et Perplexity publient les adresses IP de leurs robots, et Perplexity recommande de vérifier à la fois le nom et l'adresse IP. Si vous écrivez votre propre règle d'autorisation :

   • Vérifiez le nom du robot et une adresse de sa liste officielle : https://openai.com/searchbot.json, https://openai.com/chatgpt-user.json, https://www.perplexity.com/perplexitybot.json, https://www.perplexity.com/perplexity-user.json.
   • Récupérez ces listes automatiquement et souvent : les fournisseurs les modifient.

   Anthropic publie aussi les adresses IP de ses robots, sur claude.com/crawling/bots.json, mais déconseille de bloquer par adresse IP, car cela peut empêcher ses robots de lire votre robots.txt. Pour Claude, comptez sur le robots.txt et le réglage Cloudflare.

Vérifiez le résultat

Confirmez que les robots passent

• Sur Cloudflare, rouvrez AI Crawl Control après un jour ou deux. Les robots de recherche doivent apparaître comme autorisés, avec des requêtes qui passent.
• Ailleurs, cherchez à nouveau dans votre journal d'accès : les nouvelles lignes de OAI-SearchBot, Claude-SearchBot et PerplexityBot doivent se terminer par 200, pas par 403 ou 429.

Laissez du temps. Selon OpenAI, ses systèmes de recherche peuvent mettre environ 24 heures à prendre en compte un changement du robots.txt, et les robots ne repassent qu'à leur propre rythme.

Erreurs fréquentes

Ce qui coince le plus souvent

• Corriger le robots.txt et s'arrêter là. Si le pare-feu bloque un robot, le fichier n'est même jamais lu.
• Bloquer tous les robots IA pour éviter l'entraînement. Un seul interrupteur « IA » refuse aussi les robots de recherche qui permettent aux assistants de vous lire. Ne bloquez que l'entraînement.
• Autoriser par le nom seul. Une règle qui fait confiance à toute requête se présentant comme OAI-SearchBot laisse aussi entrer de faux robots. Vérifiez les listes d'adresses IP officielles.
• Oublier les réglages par défaut. Un domaine ajouté à Cloudflare après le 15 septembre 2026 démarre avec certains robots IA bloqués sur les pages avec publicité. Vérifiez les réglages même si personne ne les a modifiés.
• Ne regarder que Cloudflare. Un plugin WordPress ou la protection de l'hébergeur peut aussi bloquer les robots derrière Cloudflare.