Seu Cloudflare pode estar bloqueando os robôs que você quer que encontrem seu site

Ironia comum em 2026: a empresa investe em site, conteúdo e tráfego — e o firewall barra o robô do ChatGPT na porta. A proteção anti-bot que salva o servidor de scraper abusivo também pode estar tratando OAI-SearchBot e Claude-SearchBot como ameaça.

Quem é quem no tráfego de robôs

Não são todos iguais. Vale separar em três grupos:

Busca que cita e linka: Googlebot, Bingbot, OAI-SearchBot (busca do ChatGPT), Claude-SearchBot, PerplexityBot. Bloquear esses = sumir das respostas.
Acesso a pedido do usuário: ChatGPT-User, Claude-User, Perplexity-User — agem quando alguém pede “resume esse site”. Bloquear = seu site falha na frente do seu possível cliente.
Treinamento: GPTBot, ClaudeBot, Google-Extended, Meta-ExternalAgent. Permitir é decisão estratégica: conteúdo pode ser aprendido pelo modelo (visibilidade de longo prazo), sem clique direto. Para negócio local que quer ser conhecido, eu permito.

Onde as coisas quebram

Regra genérica de firewall: “Block AI bots” ligado no painel bloqueia inclusive os bots de busca por IA. No Cloudflare, revisa Security → Bots e as regras de WAF: bots verificados não deveriam cair em challenge.
CAPTCHA/JS challenge para tudo: crawler não resolve desafio. Página nunca é lida.
robots.txt herdado: Disallow amplo copiado de outro projeto.
Rate limit agressivo: devolve 429/403 pro crawler e ele desiste.

Como auditar (o processo que eu uso)

robots.txt lido por bot: parse das regras por User-agent — o que cada um pode acessar.
Fetch real com o UA de cada crawler: requisição à home fingindo ser Googlebot, GPTBot, ClaudeBot, PerplexityBot — conferindo status HTTP, se o H1 vem no HTML e quantas palavras o robô recebe sem executar JavaScript.
Logs do servidor: grep pelos UAs para ver quem visita de verdade e que resposta recebeu.
Validação de dados estruturados depois de cada mudança.

Esse processo virou ferramenta: o Centro de Crawlers roda os testes 1, 2 e a auditoria on-page ao vivo, neste próprio site. No próximo episódio da série: os dados estruturados que fazem uma IA entender “empresa de tecnologia em Anápolis que atende o Brasil”.