Veja as visitas de crawlers de IA nos registos do seu servidor

Porque é importante

O Guia 02 abre o seu robots.txt aos crawlers de IA e o Guia 11 garante que a sua firewall os deixa passar. Ambos são definições. Os seus registos são a prova: mostram se os crawlers vieram mesmo, que páginas pediram e o que o seu site respondeu.

Sempre que alguma coisa pede uma página ao seu site, uma pessoa ou um bot, o servidor escreve uma linha no seu registo de acesso. Cada linha inclui o nome que o visitante dá a si próprio, como OAI-SearchBot para a pesquisa do ChatGPT, e um código de resposta de três dígitos. Filtre o registo pelos nomes dos crawlers de IA e consegue ver, página a página, se foram deixados entrar.

Um limite a ter em conta: um registo mostra que um crawler leu uma página. Não mostra se um assistente usou mais tarde essa página numa resposta.

Referência

Como ler uma linha de registo

A maioria dos servidores web escreve as linhas no mesmo formato "combined": é o predefinido no nginx e um formato padrão no Apache. Aqui está uma linha, dividida nas suas partes:

192.0.2.14 - - [23/Oct/2026:06:12:41 +0100] "GET /services HTTP/1.1" 200 18342 "-" "... compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"

O que significam os códigos de estado

Referência

Os nomes a procurar

Estes são os nomes que os assistentes de IA e os motores de pesquisa põem nos seus pedidos, e a forma como cada empresa lhe permite confirmar que uma visita é mesmo sua.

Dois nomes que nunca vai encontrar num registo: Google-Extended e Applebot-Extended. São interruptores no robots.txt, não crawlers. A Google recolhe com os seus user agents normais, e a Apple diz que o Applebot-Extended não recolhe páginas web.

Antes de começar

Tenha isto à mão

• O nome do seu domínio, e se passa pela Cloudflare (o Guia 11, passo 1, mostra como verificar).
• Um início de sessão na Cloudflare ou no painel de controlo do seu alojamento, ou um programador com acesso ao servidor.
• Para os passos 3 e 5: um terminal no servidor (comandos Linux ou macOS abaixo).

Passos

Encontre, filtre e verifique as visitas

1. Escolha onde procurar

   Os seus registos estão num de três sítios, consoante a forma como o seu site está alojado. Use o primeiro que se aplicar.

   Na Cloudflare

   O AI Crawl Control da Cloudflare já conta por si as visitas de crawlers de IA, em todos os planos. Vá para o passo 2.

   Painel do alojamento

   Muitos alojamentos deixam-no transferir o registo em bruto. No cPanel é Metrics → Raw Access. Outros painéis chamam-lhe Registos ou Estatísticas. Vá para o passo 3.

   O seu próprio servidor

   O seu programador lê o registo do nginx ou do Apache diretamente no servidor. Vá para o passo 3.

2. Na Cloudflare: leia o AI Crawl Control

   No painel da Cloudflare, abra o seu domínio e depois AI Crawl Control.

   • Separador Overview: total de pedidos, pedidos permitidos e sem êxito ao longo do tempo, o código de estado mais comum e o caminho mais popular.
   • Separador Crawlers: uma linha por crawler com os seus Requests e a sua Action (Allow ou Block). O menu de cada linha tem View Metrics.
   • Separador Metrics: o gráfico Status code distribution divide as respostas em 2xx, 3xx e 4xx (incluindo 403 bloqueado) e 5xx. Use o filtro Crawler para ver um bot de cada vez, e Most popular paths para ver que páginas leu.

   Olhe primeiro para o OAI-SearchBot, o Claude-SearchBot e o PerplexityBot. Quer sobretudo 2xx. Pode exportar qualquer gráfico com Download CSV.

   No plano gratuito, a Cloudflare reconhece os crawlers pelo nome que anunciam, por isso a vista mostra os bots conhecidos que se identificam. Os números de referências (visitantes que chegam a partir de respostas de IA) precisam de um plano pago.

3. Programadores: filtre o registo em bruto por crawlers de IA

   Primeiro encontre o ficheiro. No nginx, a linha access_log da configuração indica-o; isto imprime a configuração toda para a poder pesquisar:

   Terminal · encontrar o registo de acesso do nginxCopiar

   sudo nginx -T | grep access_log

   No Apache, procure a linha CustomLog na configuração. Um caminho relativo é relativo ao ServerRoot. No Raw Access do cPanel, transfere um ficheiro comprimido .gz por domínio.

   Depois guarde apenas as linhas dos crawlers de IA e dos motores de pesquisa. Substitua access.log pelo seu caminho. O -i é importante: o Bing escreve o seu nome em minúsculas (bingbot).

   Terminal · só as linhas de crawlers de IACopiar

   grep -iE 'OAI-SearchBot|ChatGPT-User|GPTBot|Claude-SearchBot|Claude-User|ClaudeBot|PerplexityBot|Perplexity-User|bingbot|Googlebot|Applebot' access.log

   Os dias mais antigos ficam muitas vezes em ficheiros separados, alguns comprimidos. O zgrep aceita as mesmas opções e lê também ficheiros .gz, por isso zgrep -iE '...' access.log* pesquisa todos.

   O resultado é assim:

   Registo filtrado para kastell-consultores.example (user agents encurtados)

   192.0.2.14 - - [23/Oct/2026:06:12:41 +0100] "GET /services HTTP/1.1" 200 18342 "-" "... compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
   192.0.2.31 - - [23/Oct/2026:07:40:03 +0100] "GET /en/services HTTP/1.1" 429 162 "-" "... Claude-SearchBot ..."
   192.0.2.58 - - [23/Oct/2026:09:02:17 +0100] "GET /contact HTTP/1.1" 200 9120 "-" "... compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
   192.0.2.77 - - [23/Oct/2026:10:15:52 +0100] "GET / HTTP/1.1" 403 153 "-" "... compatible; GPTBot/1.4; +https://openai.com/gptbot"
   192.0.2.90 - - [23/Oct/2026:11:28:09 +0100] "GET /equipa HTTP/1.1" 200 14877 "-" "... bingbot ..."
   198.51.100.23 - - [23/Oct/2026:12:01:44 +0100] "GET /services HTTP/1.1" 200 18342 "-" "... compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"

   Ilustração com uma empresa fictícia. Os endereços IP são endereços de exemplo reservados.

   Para uma contagem rápida de respostas por crawler, acrescente a coluna do estado. No formato combined é o nono campo:

   Terminal · códigos de estado de um crawlerCopiar

   grep -i 'OAI-SearchBot' access.log | awk '{print $9}' | sort | uniq -c

4. Leia o que o seu servidor respondeu

   Percorra as linhas filtradas com a tabela de códigos de estado acima. No exemplo da Kastell Consultores:

   • O OAI-SearchBot, o PerplexityBot e o bingbot receberam 200. A pesquisa do ChatGPT, o Perplexity e o Bing conseguiram ler essas páginas.
   • O Claude-SearchBot recebeu 429. Um limite de pedidos cortou-o na página de serviços em inglês. Isso precisa de ser corrigido: veja o Guia 11, passo 4.
   • O GPTBot recebeu 403. Está bem se escolheu bloquear os crawlers de treino (Guia 13). Não afeta a pesquisa do ChatGPT, que usa o OAI-SearchBot.

   Nenhuma linha de um crawler pode significar que ainda não veio, ou que algo o recusou antes de chegar ao seu servidor. Não espere o ChatGPT-User, o Claude-User ou o Perplexity-User com horário certo: só visitam quando alguém pergunta ao assistente sobre uma página.

5. Programadores: confirme que o bot é real

   A última linha do exemplo diz ser o OAI-SearchBot, mas qualquer pessoa pode dizê-lo. A Google avisa que o seu próprio user agent é muitas vezes copiado por outros crawlers. Cada empresa dá-lhe uma forma de confirmar.

   OpenAI, Anthropic, Perplexity (e Bing, Apple, Google): listas de IP publicadas. Verifique se o endereço do registo está dentro da lista do fornecedor. O Perplexity recomenda verificar o nome e o endereço IP. Este comando transfere uma lista e responde True ou False:

   Terminal · este IP está na lista do crawler de pesquisa da OpenAI?Copiar

   curl -sL https://openai.com/searchbot.json | python3 -c 'import ipaddress,json,sys; ip=ipaddress.ip_address(sys.argv[1]); print(any(ip in ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in json.load(sys.stdin)["prefixes"]))' 198.51.100.23

   Troque a lista pelo crawler que está a verificar: https://openai.com/chatgpt-user.json, https://openai.com/gptbot.json, https://claude.com/crawling/bots.json, https://www.perplexity.com/perplexitybot.json, https://www.perplexity.com/perplexity-user.json, https://www.bing.com/toolbox/bingbot.json, http://search.developer.apple.com/applebot.json, ou a da Google https://developers.google.com/static/crawling/ipranges/common-crawlers.json. As listas mudam, por isso transfira sempre a atual. No exemplo da Kastell Consultores, o endereço do último visitante não está na lista da OpenAI, por isso a resposta é False.

   Google, Bing e Apple: DNS inverso. Procure o nome por trás do endereço IP, depois procure esse nome e confirme que aponta de volta para o mesmo endereço:

   Terminal · pesquisa inversa e depois diretaCopiar

   host 66.249.66.1
   # then run host again on the name it returns

   • Googlebot: o nome tem de terminar em googlebot.com, google.com ou googleusercontent.com.
   • bingbot: o nome tem de terminar em search.msn.com. O Bing tem também uma página Verify Bingbot onde cola um endereço IP.
   • Applebot: o nome tem de terminar em applebot.apple.com.

   Nos dois métodos, a segunda pesquisa tem de devolver o endereço com que começou. Se não devolver, ou se o IP não estiver na lista, o visitante não é o crawler que diz ser. Deixe-o fora das suas contagens; pode bloqueá-lo, como o Guia 11 explica.

   Atrás da Cloudflare? O seu servidor vê os endereços da Cloudflare

   Quando a Cloudflare está à frente do seu site, o seu servidor regista o endereço IP da Cloudflare, não o do crawler. A Cloudflare passa o endereço original num cabeçalho chamado CF-Connecting-IP, e o seu programador pode configurar o servidor para o registar. Até lá, use o AI Crawl Control (passo 2) em vez de verificações de IP.

Verificar que funcionou

Confirme que os crawlers entram

Depois de qualquer alteração do Guia 02 ou do Guia 11, volte a olhar alguns dias depois. Os crawlers voltam ao seu ritmo, e a OpenAI diz que os seus sistemas de pesquisa podem demorar cerca de 24 horas a registar uma alteração do robots.txt.

Erros comuns

O que costuma correr mal

• Pesquisar sem -i. O crawler do Bing escreve-se bingbot, em minúsculas. Uma pesquisa sensível a maiúsculas por "Bingbot" não encontra nada.
• Ler só o ficheiro de hoje. Muitos servidores começam um novo ficheiro de registo todos os dias ou semanas e comprimem os mais antigos. Pesquise todos, ou pode pensar que um crawler nunca veio.
• Confiar no nome. Uma linha que diz OAI-SearchBot não é prova. Verifique o endereço IP antes de a contar.
• Verificar IP atrás da Cloudflare. Sem registar o CF-Connecting-IP, cada visita mostra um endereço da Cloudflare e nenhum crawler passa a verificação de IP.
• Procurar o Google-Extended ou o Applebot-Extended. Nunca aparecem nos registos. A Google e a Apple usam o que os seus crawlers normais, o Googlebot e o Applebot, recolhem.
• Ler uma visita como uma recomendação. Um 200 significa que o crawler leu a página. Não significa que o assistente a vá usar ou recomendar.