Robots.txt ganha sinal único contra treino de IA: bloquear ou não?

Uma linha no robots.txt passa a valer para quatro empresas ao mesmo tempo. Em 30 de outubro de 2026, OpenAI, Google, Microsoft e Anthropic anunciaram que vão respeitar um sinal comum, o user-agent __usage_ai-training, para quem não quer ver o conteúdo do próprio site usado no treino de modelos de IA. Até aqui era preciso bloquear robô por robô: GPTBot, Google-Extended, ClaudeBot.

A novidade resolve uma parte do problema e deixa outra em aberto. O sinal trata de treino, não de busca por IA. E é justamente aí que mora a decisão que interessa a uma empresa brasileira: proteger o conteúdo ou continuar aparecendo quando alguém pergunta algo ao ChatGPT, ao Gemini, ao Copilot ou ao Claude.

O que foi anunciado e quem escreveu a regra

A proposta tem nome técnico: draft-kelley-aipref-training-preference-signal-00. Foi escrita por Kevin Kelley, líder técnico de padrões da Anthropic, e publicada como rascunho no IETF, a entidade que define padrões da internet, com data de 30 de outubro de 2026. O próprio documento avisa que é um trabalho em andamento, sem status formal, e que expira em 3 de maio de 2027 se não for atualizado.

Ou seja: ainda não é um padrão oficial, e sim um rascunho dentro do esforço AIPREF do IETF. A Meta ficou de fora do compromisso: o porta-voz Andy Stone disse que a empresa apoia a ideia de um sinal comum, mas não afirmou que vai respeitar o token.

Nem todo mundo gostou do formato. Ao Digiday, Alex Springer, líder técnico da coalizão de editores SPUR, criticou o fato de as plataformas anunciarem apoio unilateral a um rascunho que ainda não passou por revisão.

Como funciona na prática

O sinal usa a sintaxe que o robots.txt já tem há décadas. Em vez do nome de um robô, o site declara um grupo com o token de política e diz o que não pode ser usado para treino. O exemplo do próprio rascunho é este:

• User-Agent: __usage_ai-training
• Disallow: /
• Allow: /press-kit/

Lido em português: nada do site pode ser usado para treinar modelos, exceto o que estiver em /press-kit/.

Três detalhes do rascunho evitam confusão:

• Um grupo User-Agent: * não conta como preferência de treino. Quem já tem regras genéricas precisa declarar o token de forma explícita.
• Se o arquivo não menciona o token, o site não expressou preferência nenhuma, e o padrão das empresas continua sendo permitir.
• O token não controla o rastreamento. O texto diz que ele "não é uma diretiva de comportamento de rastreamento".

Há ainda a questão de quem vence quando as regras se contradizem. A página de ajuda da Anthropic diz que uma regra que cita o ClaudeBot pelo nome tem prioridade sobre o sinal geral, avaliada caminho a caminho. No Google, se o site recusa treino pelo token e não menciona o Google-Extended, a empresa vai tratar como se o Google-Extended estivesse bloqueado. As regras específicas de cada empresa continuam valendo em paralelo.

Prazos diferentes, e fontes que não batem

O anúncio foi conjunto, mas a entrada em vigor não, e as fontes divergem:

• Anthropic: a página de suporte diz que a empresa começou a reconhecer o sinal em 30 de outubro de 2026, com implantação "ao longo do tempo e globalmente" em todos os serviços. O Techzine escreveu que a Anthropic "já suporta" o padrão, o que é mais otimista do que o texto da própria empresa.
• OpenAI: promete honrar o token "nos próximos meses", sem data. Segundo o Digiday, os controles atuais, como o GPTBot, não serão substituídos.
• Google: o post de John Mueller fala em suportar o controle "em 2027". Segundo o Search Engine Roundtable, a documentação de rastreadores do Google é mais específica e fala em "início de 2027".
• Microsoft: o blog do Bing, assinado por Krishna Madhavan, marca 1º de fevereiro de 2027 para as novas preferências começarem a valer conforme as páginas forem rastreadas.

Na prática, hoje quase nada está ligado por completo. Quem quer bloquear treino agora ainda precisa das regras por robô.

A Microsoft separou treino de "grounding"

A parte mais útil do anúncio, para quem depende de ser encontrado, veio da Microsoft. O Bing passou a tratar duas coisas de forma independente. Treino é usar o conteúdo para ajustar o modelo. Grounding é o modelo consultar uma página em tempo real para embasar uma resposta, geralmente com link para a fonte. É ele que gera citação e clique.

O treino pode ser recusado pelo robots.txt, no site todo ou por pasta, ou por página com a meta tag ai-training:disallow. O grounding só pode ser configurado página a página, sem opção no robots.txt, com três níveis: permitir (o padrão), ai-grounding:disallowextended, que limita o uso às experiências da própria Microsoft e exclui serviços de terceiros, e ai-grounding:disallow, que tira a página das respostas geradas.

A Microsoft avisa que as duas opções restritivas de grounding "vão reduzir significativamente a visibilidade do seu conteúdo em experiências geradas por IA". E garante que nenhuma dessas escolhas muda a elegibilidade nos resultados tradicionais do Bing. Depois de 1º de março de 2027, as antigas tags NoArchive e NoCache deixam de valer como preferência de IA.

No Google, a lógica parece parecida, mas menos explícita. O post diz que sites que permitem o Google-Extended continuam "elegíveis para aparecer em respostas e receber cliques via grounding no Gemini".

O que muda para o site de uma empresa brasileira

Para a maioria das pequenas e médias empresas do Brasil, o site existe para ser encontrado: catálogo, página de serviço, endereço, horário, perguntas frequentes. Recusar treino tem pouco ganho, e o risco real está em errar a mão e bloquear também a busca por IA, que vem virando porta de entrada de cliente.

A conta muda para quem vive de conteúdo: portais regionais, escritórios que publicam análises, escolas e cursos com material próprio, produtores de guias técnicos. Aqui faz sentido recusar treino, com uma pasta liberada para o que você quer que circule, como página institucional e press kit. O token permite exatamente esse recorte.

Sobre a LGPD, vale ser honesto: o robots.txt não é instrumento de proteção de dados pessoais. Se o site expõe dados de clientes, depoimentos com nome completo ou documentos que não deveriam estar públicos, o caminho é tirar do ar ou pôr atrás de login, não pedir educadamente aos robôs. O token ajuda a expressar uma preferência sobre direito autoral e uso comercial do conteúdo.

Implantar custa quase nada: é editar um arquivo de texto na raiz do site. O risco está em não entender o efeito:

• Bloquear treino não deve, pelo que as empresas dizem, tirar o site do Google Search nem do Bing tradicional.
• Bloquear robôs de busca e consulta, como Claude-SearchBot, Claude-User ou o grounding da Microsoft, reduz a presença nas respostas de IA.
• Regras antigas por robô continuam valendo e, em alguns casos, têm prioridade. Vale revisar o arquivo inteiro, não só acrescentar o token.

Os limites do sinal, e o que acompanhar

O robots.txt é um pedido, não uma trava. Nada obriga um robô a obedecer. O Digiday cita dados da ScalePost, em mais de 50 sites de editores: os robôs das quatro empresas fizeram cerca de 1 bilhão de requisições em 30 dias, e só 0,15% foram ao arquivo robots.txt. Paul Bannister, da Raptive, lembrou que o conteúdo ainda pode chegar aos modelos por raspadores de terceiros ou bases abertas como o Common Crawl, e chamou o token de "fachada".

Três coisas merecem atenção. Primeiro, se o rascunho avança no IETF ou é substituído antes de maio de 2027. Segundo, as datas concretas: 1º de fevereiro de 2027 na Microsoft, o "início de 2027" do Google e o dia em que a OpenAI publicar detalhes de implantação. Terceiro, se Google e OpenAI vão oferecer, como a Microsoft, um controle de grounding separado do treino. É esse controle que permite a uma empresa dizer "não treine com meu conteúdo, mas me cite quando alguém perguntar", a combinação que a maioria dos negócios provavelmente vai querer.