Laissez ChatGPT lire votre site

Pourquoi c'est important

Chaque site peut avoir un petit fichier texte appelé robots.txt. Il indique aux visiteurs automatiques, appelés robots d'exploration (crawlers), quelles pages ils peuvent lire. S'il refuse l'accès au robot de ChatGPT, ChatGPT ne peut pas lire vos pages. Il se fie alors à ce que d'autres sites disent de vous, ou ne dit rien du tout.

Souvent, un site bloque les robots IA sans que personne ne l'ait décidé : une règle copiée d'un modèle, un réglage oublié après une refonte, ou un service de sécurité qui bloque les robots par défaut. Ce guide vous aide à trouver lequel s'applique à vous.

Illustration avec une entreprise fictive.

T2Vous avez reçu votre audit Starter ? Ce guide corrige le point T2, « Accès des robots IA », en page 07 (Technique et préparation aux agents IA). Dans un Snapshot gratuit, il figure parmi vos corrections prioritaires en page 06.

Référence

Quels robots laisser entrer

Chaque assistant IA utilise ses propres robots. Certains consultent des pages pour répondre aux questions des gens. D'autres collectent du texte pour entraîner de futurs modèles d'IA. Pour être cité dans les réponses, il faut autoriser les premiers. Autoriser les robots d'entraînement, c'est votre choix.

Avant de commencer

Préparez ceci

• L'adresse exacte de votre site, y compris si elle commence par www.
• Un accès à l'éditeur de votre site (WordPress, Webflow, Wix) ou, pour un site sur mesure, le contact de votre développeur.
• Si votre site passe par Cloudflare, un accès à votre compte Cloudflare. Vous ne savez pas ? Votre développeur ou votre prestataire informatique le saura.

Étapes

Vérifiez et corrigez votre robots.txt

1. Ouvrez votre fichier robots.txt

   Dans n'importe quel navigateur, tapez votre adresse suivie de /robots.txt, par exemple yourcompany.lu/robots.txt. Vous verrez l'un de ces trois cas :

   • Quelques lignes de texte. Très bien, passez à l'étape 2.
   • Une erreur « page introuvable ». Vous n'avez pas de fichier, donc tous les robots sont autorisés. Vous pouvez vous arrêter ici, ou en créer un à l'étape 4 pour ajouter votre plan du site.
   • Une autre erreur, ou une page de connexion. Envoyez l'adresse à votre développeur : les robots ne peuvent peut-être pas lire le fichier du tout.

   letzscale.com/robots.txt · notre propre fichier, octobre 2026Copier

   User-Agent: GPTBot
   User-Agent: OAI-SearchBot
   User-Agent: ChatGPT-User
   User-Agent: ClaudeBot
   User-Agent: Claude-User
   User-Agent: Claude-SearchBot
   User-Agent: PerplexityBot
   User-Agent: Perplexity-User
   User-Agent: Googlebot
   User-Agent: Google-Extended
   User-Agent: Bingbot
   User-Agent: Applebot
   User-Agent: Applebot-Extended
   Allow: /
   
   User-Agent: *
   Allow: /
   
   Host: https://letzscale.com
   Sitemap: https://letzscale.com/sitemap.xml

   Notre fichier nomme chaque robot IA et l'autorise à lire toutes les pages, puis autorise aussi tous les autres robots. La dernière ligne indique aux robots notre plan du site (sitemap), la liste de nos pages. La ligne Host est une ancienne instruction que Google ignore : vous n'en avez pas besoin.

2. Cherchez les lignes qui bloquent l'IA

   Le fichier est composé de groupes. Chaque groupe commence par User-agent: et le robot concerné. Un * signifie « tous les robots qui ne sont pas nommés ailleurs ». En dessous, Disallow: / signifie « rien sur ce site » et Allow: / signifie « tout ».

   Un robot obéit uniquement au groupe qui le nomme de la façon la plus précise. Donc si un groupe nomme OAI-SearchBot avec Disallow: /, un Allow: / général pour tous les autres n'y change rien. Cherchez ce schéma :

   Exemple de fichier qui bloque l'IA (lignes en rouge)

   # Tout le monde peut lire le site...
   User-agent: *
   Allow: /
   # ...sauf ceux-ci, qui sont entièrement bloqués
   User-agent: GPTBot
   User-agent: OAI-SearchBot
   User-agent: ClaudeBot
   User-agent: PerplexityBot
   Disallow: /

   Dans cet exemple, la recherche ChatGPT et Perplexity ne peuvent pas lire le site, ils ont donc peu de chances de le citer. Vérifiez aussi s'il y a Disallow: / juste sous User-agent: *. Cela bloque tout le monde, y compris Google et Bing, et c'est un reste fréquent d'un site construit sur un serveur de test.

3. Vérifiez les réglages qui modifient le fichier à votre place

   Sur la plupart des plateformes, vous ne modifiez pas le fichier directement : c'est un réglage qui l'écrit. Vérifiez celui qui vous concerne :

   WordPress

   Settings → Reading (Réglages → Lecture) → Search engine visibility (Visibilité pour les moteurs de recherche) doit être décoché. Si vous utilisez une extension SEO (Yoast, Rank Math), sa section outils contient un éditeur de robots.txt.

   Webflow

   Site settings → SEO → Indexing. Modifiez les règles, enregistrez, puis publiez le site. Aide Webflow

   Wix

   Dashboard → SEO & GEO → Tools and settings → Robots.txt Editor → View File. Aide Wix

   Vous utilisez Cloudflare ?

   Cloudflare est un service que beaucoup de sites utilisent pour la vitesse et la sécurité. Il peut bloquer les robots IA à l'entrée, même si robots.txt les autorise. Dans votre tableau de bord Cloudflare, ouvrez Security Settings, puis Configure AI bot policies. Laissez la catégorie Search sur « Allow ». Depuis le 15 septembre 2026, les nouveaux domaines Cloudflare bloquent par défaut les robots d'entraînement et les agents sur les pages avec publicité. Documentation Cloudflare

4. Rédigez ou mettez à jour le fichier

   Si vous modifiez le fichier vous-même, voici la version que nous recommandons. Remplacez l'adresse du plan du site par la vôtre. La plupart des outils de création de sites génèrent le plan du site pour vous à l'adresse /sitemap.xml. Les lignes qui commencent par # sont des commentaires. Retirez le # des lignes d'entraînement uniquement si vous voulez refuser l'entraînement des IA.

   robots.txtCopier

   # Les moteurs de recherche et les assistants IA peuvent lire toutes les pages
   User-agent: *
   Allow: /
   
   # Facultatif : refuser uniquement l'entraînement des modèles d'IA
   # User-agent: GPTBot
   # User-agent: ClaudeBot
   # User-agent: Applebot-Extended
   # Disallow: /
   
   Sitemap: https://www.yourcompany.lu/sitemap.xml

   • Enregistrez-le en texte brut sous le nom exact robots.txt, jamais depuis Word, qui peut ajouter des caractères qui le cassent.
   • Il doit se trouver à la racine de votre site : yourcompany.lu/robots.txt, pas dans un dossier.
   • Chaque adresse a besoin de son propre fichier : shop.yourcompany.lu est distinct de yourcompany.lu.

Vérifiez le résultat

Confirmez ce que les robots voient maintenant

Rouvrez yourcompany.lu/robots.txt dans une fenêtre de navigation privée, pour voir la version en ligne et non une copie enregistrée. Puis confirmez auprès des moteurs de recherche eux-mêmes :

• Google Search Console → Settings → robots.txt (Paramètres → robots.txt) affiche la dernière version récupérée par Google et les problèmes détectés. Pas encore de Search Console ? Le Guide 03 vous aide à la configurer.
• Bing Webmaster Tools propose un testeur de robots.txt qui indique si une page est autorisée pour Bingbot, dont dépend Copilot.

search.google.com/search-console · Settings · robots.txt

Laissez passer une journée. Selon OpenAI, ses systèmes de recherche peuvent mettre environ 24 heures à prendre en compte un changement ; les autres robots suivent leur propre rythme.

Erreurs fréquentes

Ce qui coince le plus souvent

• Un blocage du site de test resté en ligne. Disallow: / sous User-agent: * bloque tout le monde, Google compris.
• Corriger la mauvaise adresse. Le site tourne sur www.yourcompany.lu mais le fichier a été modifié sur yourcompany.lu, ou l'inverse.
• Bloquer Google-Extended pour protéger votre classement Google. Cela n'a aucun effet sur la recherche Google. Cela détermine seulement la façon dont Google utilise votre contenu pour Gemini.
• Prendre robots.txt pour un verrou. C'est une demande publique : les robots sérieux la respectent, les autres non. Ne l'utilisez jamais pour cacher des pages privées.
• Oublier le pare-feu. Un service de sécurité peut bloquer un robot que robots.txt autorise. Si le fichier semble correct et que ChatGPT ne peut toujours pas vous lire, vérifiez Cloudflare ou demandez à votre hébergeur.