Verifique se a Cloudflare ou a sua firewall bloqueia os bots de IA

Porque é importante

O seu ficheiro robots.txt pede com educação aos crawlers que páginas podem ler. O Guia 02 mostra como o definir. Mas um pedido não é uma fechadura. Uma firewall é: se um serviço de segurança à frente do seu site recusar um crawler, este nunca chega às suas páginas, diga o que disser o robots.txt.

Isto acontece sem que ninguém o decida. A Cloudflare, o mais comum destes serviços, tem definições que bloqueiam bots de IA e, desde 15 de setembro de 2026, os novos domínios da Cloudflare bloqueiam por defeito alguns bots de IA nas páginas com anúncios. As empresas de alojamento e os plugins de segurança do WordPress também podem bloquear "bots maus". Este guia verifica se algo disto se aplica a si.

Ilustração com um negócio fictício.

Referência

Que bots deixar passar

Cada empresa de IA tem bots separados para pesquisa e para treino. Para que o seu negócio seja lido quando alguém pergunta, os bots de pesquisa têm de passar. Bloquear os bots de treino é uma escolha sua; o Guia 13 ajuda-o a decidir.

As respostas de IA da Google e o Bing usam o Googlebot e o Bingbot normais, que as firewalls raramente bloqueiam. Se estiverem bloqueados, o seu site falta por completo na Google e no Bing, e o Guia 03 mostrá-lo-á.

Antes de começar

Tenha isto à mão

• O nome do seu domínio, por exemplo asuaempresa.pt.
• Se usa a Cloudflare, um acesso com permissão para o domínio.
• Caso contrário, um acesso ao painel de controlo do seu alojamento, ou o contacto do seu programador web.

Passos

Encontre e corrija o bloqueio

1. Descubra se usa a Cloudflare

   Consulte os nameservers do seu domínio, os servidores que dizem onde vive o seu site. Qualquer site gratuito de "NS lookup" ou "WHOIS" os mostra, ou num Mac ou computador Linux escreva isto no Terminal:

   TerminalCopiar

   dig ns asuaempresa.pt @1.1.1.1

   No Windows, use nslookup -type=ns asuaempresa.pt 1.1.1.1.

   • Nomes que terminam em .ns.cloudflare.com (ou foundationdns.com): usa a Cloudflare. Vá para o passo 2.
   • Qualquer outra coisa (nomes do seu alojamento ou do seu registador): a Cloudflare provavelmente não está à frente do seu site. Vá para o passo 4. Algumas configurações maiores usam a Cloudflare sem os seus nameservers; em caso de dúvida, pergunte ao seu programador.

2. Verifique a política de bots de IA na Cloudflare

   Esta é a definição que bloqueia bots de IA por categoria. No painel da Cloudflare, abra o seu domínio e depois Security Settings → Configure AI bot policies. Cada categoria tem três opções: "Block (on all pages)", "Block on pages with ads" e "Allow (do not block)".

   • Search: defina como Allow (do not block). São os crawlers que leem o seu conteúdo para responder mais tarde a perguntas sobre ele.
   • Training: a sua escolha. Bloqueá-lo não trava os crawlers de pesquisa.
   • Agent: bots que agem em tempo real para uma pessoa, por exemplo a obter a sua página quando alguém pergunta sobre ela. A maioria das empresas deve permiti-los.

   A Cloudflare nota que os crawlers que fazem pesquisa e treino são bloqueados sempre que bloqueia o treino. Se vir uma opção mais antiga chamada Block AI bots, a Cloudflare está a abandoná-la em favor destas políticas.

3. Verifique cada crawler no AI Crawl Control

   A página AI Crawl Control da Cloudflare, disponível em todos os planos, lista os crawlers de IA que visitam o seu domínio e permite autorizar ou bloquear cada um. Abra o seu domínio, vá a AI Crawl Control e depois ao separador Crawlers. Na coluna Action:

   • Defina OAI-SearchBot, Claude-SearchBot e PerplexityBot como Allow.
   • Deixe o GPTBot e o ClaudeBot bloqueados se decidiu não participar no treino de IA.

   Bloquear um crawler aqui cria uma regra de firewall (WAF) no seu domínio, por isso procure também nas suas regras personalizadas de WAF uma regra mais rígida que alguém tenha acrescentado à mão. No plano gratuito, a Cloudflare reconhece os crawlers pelo nome que anunciam, por isso só os bots bem conhecidos aparecem na lista.

   Verifique também o Bot Fight Mode

   O Bot Fight Mode da Cloudflare desafia o tráfego que parece de um bot, e a Cloudflare diz que não pode ser contornado com as suas próprias regras de firewall. Encontra-o em Security Settings, filtrado por Bot traffic. Se os crawlers de IA estiverem bloqueados e não encontrar nenhuma regra que o explique, esta é a definição seguinte a ver.

4. Não está na Cloudflare: verifique o seu alojamento e os plugins

   Outros serviços também bloqueiam bots: algumas empresas de alojamento, outras CDN e plugins de segurança do WordPress com opções como "bloquear bots maus" ou limitação de pedidos. A forma mais rápida de descobrir é ver o que o seu servidor respondeu.

   Painel de alojamento

   Abra o registo de acessos (muitas vezes em Estatísticas, Registos ou Métricas). Procure OAI-SearchBot, Claude-SearchBot e PerplexityBot.

   Plugin do WordPress

   Abra as definições do plugin de segurança e procure o bloqueio de bots, a limitação de pedidos ou um registo de "bloqueados". Procure lá os mesmos nomes.

   Programador

   Envie este guia ao seu programador e pergunte: "Bloqueamos ou limitamos os pedidos do OAI-SearchBot, do Claude-SearchBot ou do PerplexityBot em algum lado?"

   Numa linha de registo, o número de três algarismos a seguir ao pedido é a resposta que o seu servidor deu. 200 significa que a página foi enviada. 403 significa "proibido": o bot foi recusado. 429 significa "demasiados pedidos": foi abrandado ou cortado. O Guia 16 mostra com mais pormenor como ler registos.

   Exemplo de linha de registo em que um crawler de pesquisa é recusado (abreviada)

   "GET /services HTTP/1.1" 403 ... "compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"

5. Programadores: permitam por lista de IP, não só pelo nome

   Qualquer pessoa pode escrever "OAI-SearchBot" num pedido, por isso uma regra de permissão baseada só no nome deixa também entrar impostores. A OpenAI e o Perplexity publicam os endereços IP que os seus bots usam, e o Perplexity recomenda verificar tanto o nome como o endereço IP. Se escrever a sua própria regra de permissão:

   • Associe o nome do bot e um endereço da sua lista oficial: https://openai.com/searchbot.json, https://openai.com/chatgpt-user.json, https://www.perplexity.com/perplexitybot.json, https://www.perplexity.com/perplexity-user.json.
   • Obtenha as listas automaticamente e com frequência: os fornecedores alteram-nas.

   A Anthropic também publica os endereços IP dos seus crawlers, em claude.com/crawling/bots.json, mas desaconselha o bloqueio por IP, porque pode impedir os seus bots de lerem o seu robots.txt. Para o Claude, confie no robots.txt e na definição da Cloudflare.

Verifique se funcionou

Confirme que os bots passam

• Na Cloudflare, abra novamente o AI Crawl Control passado um ou dois dias. Os crawlers de pesquisa devem aparecer como permitidos, com pedidos a passar.
• Noutro sítio, procure outra vez no seu registo de acessos: as novas linhas do OAI-SearchBot, do Claude-SearchBot e do PerplexityBot devem terminar em 200, não em 403 ou 429.

Dê-lhe tempo. A OpenAI diz que os seus sistemas de pesquisa podem demorar cerca de 24 horas a apanhar uma alteração do robots.txt, e os crawlers só voltam ao seu próprio ritmo.

Erros comuns

O que costuma correr mal

• Corrigir o robots.txt e ficar por aí. Se a firewall bloqueia um bot, o ficheiro nem sequer chega a ser lido.
• Bloquear todos os bots de IA para impedir o treino. Um só interruptor para "IA" também recusa os crawlers de pesquisa que permitem aos assistentes lê-lo. Bloqueie apenas o treino.
• Permitir só pelo nome. Uma regra que confia em qualquer pedido que se diga OAI-SearchBot deixa entrar também bots falsos. Verifique as listas de IP oficiais.
• Esquecer as predefinições. Um domínio acrescentado à Cloudflare depois de 15 de setembro de 2026 começa com alguns bots de IA bloqueados nas páginas com anúncios. Verifique as definições mesmo que ninguém as tenha alterado.
• Olhar só para a Cloudflare. Um plugin do WordPress ou a própria proteção do alojamento também podem bloquear bots por trás da Cloudflare.