Karine Sales
Atualizado em 05/11/2026
4 min de leitura
O Google muda mais rápido do que você consegue acompanhar? Não se preocupe, isso é comum pra muita gente.
Se inscreva na nossa Newsletter e fique por dentro das novidades de SEO.
Inscreva-se
Google, Microsoft e OpenAI anunciaram iniciativas para padronizar a forma como sites comunicam suas preferências sobre o uso de conteúdo no treinamento de modelos de inteligência artificial.
A proposta utiliza um sinal compartilhado no arquivo robots.txt, permitindo que donos de site indiquem suas escolhas a diferentes provedores sem precisar configurar regras individuais para cada empresa.
A ideia é simplificar a rotina de quem tem um site. Até agora, era preciso identificar cada rastreador e manter regras separadas para cada um deles.
Com o sinal compartilhado, uma única instrução no robots.txt passa a valer para todos os provedores participantes. Os controles próprios de cada empresa continuam existindo, e a Microsoft foi além, criando uma preferência independente para o grounding.
A seguir eu te conto mais sobre a novidade.
O mecanismo é um “token de política” compartilhado dentro do robots.txt. Em vez de listar cada rastreador de cada empresa, o site declara uma vez, para o site inteiro ou para um caminho específico, se permite ou não o uso do conteúdo para treinar modelos de IA generativa.
Na definição adotada pela IETF, treinamento é usar um conteúdo para modificar os parâmetros aprendidos de um modelo. Modelos usados exclusivamente em tarefas não generativas ficam de fora.
A Microsoft mostrou um exemplo de como será a sintaxe. Para bloquear o site inteiro, o robots.txt traz:
User-Agent: __usage_ai-training
Disallow: /
Para bloquear só um caminho você deve acrescentar a URL do caminho na linha de disallow.
Se o site não tiver nenhuma regra no robots.txt, o padrão será permitir o uso do conteúdo para treinamento. Mas, também é possível declarar, usando o Allow: / explicitamente.
O sinal tem limites. Ele cobre apenas treinamento, não o acesso de rastreamento nem o uso do conteúdo para responder perguntas. Não cria licenciamento ou pagamento e não garante inclusão ou tráfego. A adesão é voluntária e os controles que cada empresa já oferece não são substituídos, apenas complementados.
O Google prevê suporte para essa funcionalidade apenas em 2027. Além disso, o sinal vai fazer parte do Google-Extended, controle de treinamento oferecido desde 2023. No entanto, se o site bloquear o treinamento pelo token e não mencionar o Google-Extended, o Google pretende tratar isso como se ele tivesse sido bloqueado.
A Microsoft também anunciou apoio ao sinal compartilhado, mas apresentou uma novidade adicional: a possibilidade de controlar separadamente o uso de conteúdo para treinamento de modelos e para grounding. Para essa função serão três opções:
A OpenAI diz que pretende implementar o sinal “nos próximos meses” e que publicará uma atualização quando isso acontecer. Os controles de rastreadores atuais continuam válidos e serão respeitados.
O apoio das big techs representa um passo em direção à padronização dos controles sobre o uso de conteúdo por plataformas de IA. Isso facilita a vida dos donos de site que não querem seu conteúdo sendo usado para treinamento ou respostas de IA.
E, curiosamente, essa movimentação nos relembra a origem do próprio robots.txt. O arquivo surgiu justamente da necessidade de criar um padrão para que os sites pudessem comunicar suas preferências aos rastreadores.
Na época, o acesso indiscriminado dos crawlers já incomodava profissionais da web, que se organizaram para estabelecer um protocolo comum, aceito por diferentes mecanismos de busca e outros agentes que rastreiam a internet.
Acompanhar essas mudanças será importante na gestão dos rastreadores e das permissões de conteúdo. Afinal, as decisões sobre como as páginas podem ser utilizadas por sistemas de IA também estão relacionadas à presença dos sites nesse novo ambiente de descoberta de informações.
___
E aí, o que você achou da novidade? Conta pra gente! Continue acompanhando nossos perfis no Linkedin, YouTube e nossa newsletter para ficar por dentro de todas as novidades do universo do SEO, IA e do Google.
Jornalista e criadora de conteúdo digital, atua há mais de 8 anos desenvolvendo estratégias e textos otimizados para blogs, sites e redes sociais.
Comentários