Robots.txt e bots de IA: como decidir o que permitir no site

O que é robots.txt

Robots.txt é um arquivo de texto publicado na raiz do domínio, normalmente em endereço como exemplo.com/robots.txt. Ele informa aos rastreadores quais caminhos podem ou não ser solicitados. As regras são organizadas por user-agent, o nome usado pelo robô.

O Google explica que esse arquivo serve principalmente para gerenciar tráfego de rastreamento. Ele não é um mecanismo confiável para retirar uma página dos resultados nem uma barreira de segurança. Robôs respeitáveis leem as instruções; agentes maliciosos podem ignorá-las.

Rastreamento, indexação e treinamento são coisas diferentes

Rastreamento é a visita automatizada a uma URL. Indexação é a inclusão ou análise do conteúdo para um mecanismo de busca. Recuperação ocorre quando um sistema acessa a página para responder a uma solicitação. Treinamento é o uso potencial de materiais na preparação de modelos.

Bloquear uma dessas atividades não bloqueia automaticamente as outras. Uma URL pode aparecer sem descrição em uma busca mesmo quando o rastreamento foi impedido, caso outros sites apontem para ela. Da mesma forma, um fornecedor de IA pode oferecer agentes separados para busca e desenvolvimento de modelos.

Por que os bots de IA precisam ser avaliados separadamente

Os fornecedores publicam nomes de agentes e finalidades distintas. A OpenAI documenta OAI-SearchBot para recursos de busca, GPTBot para conteúdo que pode contribuir com treinamento e ChatGPT-User para acessos iniciados por usuários. As configurações de OAI-SearchBot e GPTBot são independentes.

A Anthropic também informa agentes diferentes: ClaudeBot para materiais que podem contribuir com treinamento, Claude-SearchBot para busca e Claude-User para solicitações iniciadas por usuários. Essa separação permite definir escolhas mais específicas do que bloquear qualquer nome relacionado a IA.

A primeira decisão: qual é o objetivo do site

Um site de serviços geralmente quer ser encontrado, explicar soluções e gerar contatos. Para ele, bloquear agentes de busca pode reduzir oportunidades de descoberta. Um acervo licenciado, uma área exclusiva ou um conteúdo com restrições contratuais pode ter prioridades diferentes.

Registre os objetivos antes de editar regras: aparecer em mecanismos tradicionais, ser citado em respostas com links, impedir uso para treinamento, limitar carga no servidor ou proteger material privado. Cada objetivo exige uma medida diferente.

• Quais páginas são públicas e foram criadas para divulgação?
• Há material pago, confidencial ou protegido por login?
• A empresa aceita descoberta por buscadores e respostas de IA?
• Existe restrição contratual sobre treinamento ou reutilização?
• O servidor apresenta carga causada por rastreadores?

Permitir busca não significa autorizar treinamento

A documentação da OpenAI afirma que o site pode permitir OAI-SearchBot para participação em recursos de busca e bloquear GPTBot para sinalizar que o conteúdo não deve ser usado no treinamento de modelos generativos. Essa distinção é importante para empresas que desejam visibilidade sem conceder a mesma preferência para todas as finalidades.

A Anthropic descreve divisão semelhante entre Claude-SearchBot e ClaudeBot. Antes de copiar uma regra pronta, confira a documentação atual do fornecedor. Nomes, comportamentos e endereços podem mudar, e listas antigas de blogs podem ficar desatualizadas.

Acesso iniciado por usuário é outra categoria

ChatGPT-User e Claude-User podem acessar páginas quando alguém pede que o sistema consulte um endereço ou responda usando conteúdo da web. Segundo a OpenAI, ChatGPT-User não é utilizado para rastreamento automático e regras de robots.txt podem não se aplicar da mesma forma a ações iniciadas pelo usuário.

A Anthropic permite controlar Claude-User e alerta que o bloqueio pode impedir recuperação do conteúdo em perguntas dos usuários. A decisão precisa considerar se a empresa quer que clientes usem assistentes para consultar páginas públicas.

Google Search e recursos de IA do Google

O Google informa que as práticas tradicionais de SEO continuam relevantes para recursos como AI Overviews e AI Mode. Não há uma otimização adicional obrigatória para participar. O conteúdo precisa estar acessível, indexável e atender às políticas da Busca.

Bloquear Googlebot afeta a Busca e seus recursos. Por isso, não use uma regra ampla contra todos os robôs tentando bloquear apenas treinamento de terceiros. Revise cada user-agent e confirme as consequências na documentação oficial.

Robots.txt não protege conteúdo privado

Como o arquivo é público, qualquer pessoa pode ler os caminhos bloqueados. Colocar /clientes/, /contratos/ ou /admin/ no robots.txt pode até revelar que esses endereços existem. Se o material não pode ser visto, use autenticação, autorização e controles no servidor.

Também não publique chaves, dados pessoais, arquivos de configuração ou backups em diretórios públicos. Segurança precisa impedir o acesso, não apenas solicitar que um robô bem-comportado não visite.

Robots.txt não é a mesma coisa que noindex

Disallow impede que um agente compatível rastreie um caminho. Noindex informa a mecanismos compatíveis que a página não deve permanecer no índice. Para o Google enxergar um noindex, ele precisa conseguir acessar a página; bloquear a URL no robots.txt pode impedir a leitura da diretiva.

Use noindex para páginas públicas que não devem aparecer na busca, quando apropriado. Use senha ou login para conteúdo privado. Use robots.txt para gerenciar rastreamento. Misturar as funções produz resultados inesperados.

Como montar uma política de acesso

Crie uma tabela com agente, finalidade, decisão, motivo e data de revisão. Comece pelos robôs documentados pelos serviços relevantes para o negócio. Evite listas gigantes copiadas sem análise, pois um bloqueio amplo pode afetar ferramentas úteis, prévias de links ou integrações.

A decisão pode variar por caminho. Artigos e páginas de serviço podem ser liberados para busca, enquanto áreas técnicas ou resultados internos são bloqueados. Ainda assim, conteúdo sensível deve estar protegido por acesso real.

Exemplo de estratégia para um site de serviços

Um negócio que publica artigos para atrair clientes pode permitir Googlebot, OAI-SearchBot e Claude-SearchBot. Se não quiser sinalizar autorização para treinamento futuro, pode bloquear GPTBot e ClaudeBot separadamente. Isso é uma decisão empresarial, não uma garantia de tráfego ou citação.

As páginas públicas precisam continuar úteis, originais e bem conectadas. Liberar um bot não obriga o sistema a exibir o site. Qualidade, relevância, disponibilidade, reputação e contexto continuam importantes.

Exemplo de regras e leitura correta

Uma seção com User-agent: GPTBot seguida de Disallow: / sinaliza bloqueio total a esse agente. Uma seção com User-agent: OAI-SearchBot e Disallow vazio permite rastreamento, desde que não exista outra barreira. Para Claude, use os nomes oficiais publicados pela Anthropic.

A ordem e a correspondência das regras podem variar conforme o padrão aceito pelo rastreador. Teste o arquivo final e evite caracteres invisíveis, caminhos incorretos ou regras contraditórias. O arquivo deve responder com sucesso na raiz de cada host ou subdomínio que você deseja controlar.

Não bloqueie recursos necessários para renderização

CSS, JavaScript e imagens podem ser necessários para um mecanismo entender e renderizar a página. Regras antigas que bloqueiam pastas técnicas inteiras podem prejudicar a interpretação do conteúdo. O Google recomenda permitir acesso aos recursos usados na experiência da página.

Antes de bloquear um diretório, verifique o que ele contém. Uma regra pensada para uma área administrativa pode atingir arquivos compartilhados pelo site público. Use caminhos precisos e valide páginas importantes.

Sitemap e robots.txt trabalham juntos, mas têm funções distintas

O sitemap lista URLs preferenciais para rastreamento; robots.txt controla acessos permitidos para agentes compatíveis. É possível declarar a localização do sitemap no robots.txt, mas isso não substitui o envio pelo Search Console.

Incluir uma URL no sitemap não garante indexação. Bloquear a mesma URL no robots.txt cria sinais conflitantes para a operação desejada. Revise sitemap, canonical, noindex e regras de rastreamento como um conjunto.

Como testar depois de alterar

Abra o endereço /robots.txt em uma janela anônima e confirme que o conteúdo publicado é o esperado. Verifique o Search Console para páginas do Google, acompanhe logs do servidor quando disponíveis e teste URLs estratégicas.

A OpenAI informa que ajustes de robots.txt podem levar cerca de 24 horas para refletir em seus sistemas de busca. Outros serviços possuem tempos diferentes. Evite fazer várias mudanças seguidas sem registro, pois ficará difícil saber qual regra causou um efeito.

• Salvar uma cópia do arquivo anterior
• Validar sintaxe e caminhos
• Testar homepage, serviços, artigos e recursos
• Registrar data e motivo da mudança
• Acompanhar logs, rastreamento e indexação
• Revisar a política periodicamente

Como verificar se o acesso é realmente do fornecedor

O texto do user-agent pode ser imitado. Quando for necessário confirmar um robô, consulte os intervalos de IP ou o método de verificação publicado pelo fornecedor. A OpenAI disponibiliza faixas para seus agentes, e o Google orienta validação por DNS reverso ou intervalos oficiais.

Não bloqueie endereços em massa apenas porque um log mostra um nome conhecido. Investigue frequência, IP, caminhos e impacto. Firewalls e limites de taxa podem complementar a política quando existe abuso, sem transformar robots.txt em ferramenta de segurança.

Erros comuns com bots de IA

O primeiro erro é usar User-agent: * e Disallow: / para resolver uma preocupação específica. Isso pode bloquear mecanismos de busca e reduzir a descoberta do site. Outro erro é acreditar que permitir todos os bots fará o conteúdo aparecer automaticamente em respostas.

Também é comum copiar regras antigas, bloquear apenas por IP, confundir treinamento com busca ou publicar conteúdo sigiloso esperando que robots.txt o proteja. A solução é uma política por finalidade, baseada em documentação atual.

Quando procurar ajuda técnica ou jurídica

Procure suporte técnico quando o site usa proxy, CDN, vários subdomínios, firewall ou geração dinâmica de robots.txt. Um erro de configuração pode afetar todo o domínio. Se houver licenciamento, direitos autorais, contratos ou dados pessoais, obtenha orientação jurídica adequada.

Pequenos negócios também se beneficiam de documentação simples: quem decidiu, quais bots foram avaliados e quando revisar. Essa memória evita que uma futura atualização desfaça escolhas importantes.

Conclusão: escolha por finalidade, não por medo

A decisão sobre bots de IA precisa separar busca, treinamento, acesso iniciado pelo usuário, indexação e segurança. Robots.txt é uma ferramenta de preferência de rastreamento, não um cadeado. Use agentes oficiais, caminhos precisos e testes após cada mudança.

A Exponha pode revisar rastreamento, sitemap, Search Console e estrutura técnica para negócios de Betim, Grande BH e projetos atendidos online em todo o Brasil. O objetivo é alinhar encontrabilidade e controle à estratégia real da empresa, sem prometer presença automática em buscadores ou IAs.