Os crawlers que importam em 2026
- GPTBot (OpenAI/ChatGPT)
- ChatGPT-User (browsing em tempo real)
- PerplexityBot e Perplexity-User
- ClaudeBot (Anthropic)
- Google-Extended (Gemini)
- CCBot (Common Crawl, usado por muitos LLMs)
Bloquear ou permitir?
Permita todos os bots éticos se sua estratégia inclui aparecer em respostas de IA. Bloqueie apenas rotas sensíveis (admin, checkout, áreas logadas). Sites que bloqueiam GPTBot somem progressivamente das respostas do ChatGPT — uma decisão que deve ser comercial, não inercial.
Exemplo de robots.txt moderno
- User-agent: * | Allow: /
- Disallow: /admin/
- Disallow: /checkout/
- Sitemap: https://seudominio.com/sitemap.xml
Erros comuns
O erro mais comum é manter Disallow: / herdado de ambientes de staging. Outro é confundir robots.txt com noindex — bloquear no robots não remove URLs já indexadas, só impede crawl novo.
Perguntas frequentes
Bloquear GPTBot protege meu conteúdo?+
Não totalmente. Outros bots e o navegador do ChatGPT-User continuam acessando.
Devo bloquear CCBot?+
Se você quer treinar modelos com seu conteúdo, libere. Se não, bloqueie.
Robots.txt vale para subdomínios?+
Cada subdomínio precisa do seu próprio robots.txt.
Posso testar antes de subir?+
Sim, no robots.txt Tester do Search Console.
Quanto tempo para o Google reler?+
De 24 a 72 horas em geral.
Conclusão
Robots.txt em 2026 é uma declaração estratégica: quais inteligências você quer que falem sobre você. Trate-o como ativo de marketing, não como detalhe técnico.