Cloudflare anuncia novos controles para rastreadores de IA, com mudanças em 15 de setembro

A Cloudflare, uma das principais provedoras de serviços de rede e segurança online, está introduzindo novos métodos para identificar e bloquear rastreadores de IA

Os controles agora se baseiam em diferentes comportamentos, como Pesquisa, Agentes e Treinamento. Donos de sites poderão definir controles para cada modalidade, em vez de liberar ou bloquear tudo, sem diferenciação.

As mudanças serão implementadas em 15 de setembro de 2026. Se você usa a Cloudflare, deve se atentar a elas para evitar o bloqueio de rastreadores importantes, como o Googlebot.

Gerenciamento baseado em três comportamentos de bots 

A Cloudflare está diferenciando os bots com base no seu comportamento e função. Há três usos de caso principais: 

  • Pesquisa: rastreadores que coletam e indexam o seu conteúdo. É o caso dos buscadores tradicionais;
  • Agentes: tráfego de bots para realizar alguma tarefa em tempo real; 
  • Treinamento: rastreadores que coletam o seu conteúdo para treinar um Modelo de Linguagem de Larga Escala (LLM).

Também há rastreadores que realizam mais de uma tarefa. O Googlebot é um exemplo: o conteúdo rastreado alimenta o índice do buscador e é usado para treinar o Gemini.

A Cloudflare permitirá aplicar controles separados para cada comportamento:

  • Bloquear totalmente;
  • Bloquear em páginas com anúncios;
  • Não bloquear.
Captura de tela do painel AI Bot Controls da Cloudflare, mostrando as configurações para controlar o acesso de bots de inteligência artificial ao site. A tela exibe opções para Search, Training e Agent, com o menu de Training aberto e a opção "Block on pages with ads" selecionada para impedir o treinamento de modelos de IA em páginas com anúncios.

Essas opções já estavam disponíveis na Cloudflare. Mas, antes, os sistemas tratavam todos os bots como uma coisa só:

Captura de tela da configuração Control AI crawlers da Cloudflare, exibindo o menu Block AI training bots para controlar o acesso de rastreadores usados no treinamento de modelos de inteligência artificial. O menu suspenso apresenta as opções Block on all pages, Block only on hostnames with ads e Do not block (allow crawlers), que está selecionada. Também há uma configuração para instruir bots de IA por meio do arquivo robots.txt.

Mudanças importantes na Cloudflare em 15 de setembro de 2026

A Cloudflare anunciou duas mudanças importantes para o dia 15 de setembro:

  • Rastreadores de treinamento e agentes serão bloqueados por padrão em páginas que contêm anúncios. Vale para clientes atuais e novos;
  • Rastreadores com múltiplos propósitos serão tratados com as regras mais rigorosas. Por exemplo, se você bloquear acesso a bots de treinamento, um bot que realiza pesquisa + treinamento será automaticamente bloqueado também. Sites que já estão na Cloudflare e bloqueiam crawlers de IA serão movidos para essa nova regra. 

Esse segundo caso pode ter bastante impacto em SEO, já que os principais rastreadores do mercado são considerados multitarefa. É o caso de Googlebot, Applebot e Bingbot, por exemplo.

Sites que querem ficar de fora dessas novas regras precisam fazer o opt-out antes do dia 15, nas configurações de Segurança da Cloudflare.

Restrições de uso de conteúdo por bots no robots.txt

A Cloudflare também está testando sinais que indicam como rastreadores podem armazenar, usar e replicar o conteúdo acessado.

São diretivas que vão para o arquivo robots.txt, junto com instruções sobre o comportamento dos bots. 

As instruções de uso podem ser immediate (para usar em tempo real, sem armazenar nada), reference (permite a indexação) ou full (permite uso total, inclusive para resumo e reprodução). Fica assim:

# Cloudflare Managed content with the new content-use signal

User-agent: *

Content-Signal: search=yes,ai-train=no,use=reference

Allow: /

No entanto, nada garante que as LLMs respeitarão essas diretrizes. Inclusive, poucos dias depois do anúncio, John Mueller, porta-voz do Google, já confirmou que as diretivas praticamente sempre são ignoradas:

“Pelo que sei, nenhum dos rastreadores ou LLMs usa as diretivas ‘content-signal’ no arquivo robots.txt. Isso foi inventado por uma CDN; pelo que sei, não tem efeito algum sobre nenhum rastreador ou LLM. Usá-las apenas aumenta o tamanho e a manutenção futura do seu arquivo robots.txt. Você também pode adicionar outras coisas arbitrárias ao seu arquivo robots.txt; os rastreadores simplesmente usam as diretivas que suportam e ignoram o restante”.

Qual o contexto dessas mudanças?

No ano passado, a Cloudflare já havia mudado a forma como lida com tráfego de IA. 

Primeiro, anunciaram a possibilidade de bloquear todos os rastreadores. Em seguida, liberaram um sistema chamado pay per crawl, na qual as big techs deveriam se identificar e pagar por cada rastreio. O evento foi chamado pela própria empresa de “Dia da Independência do Conteúdo”. 

Naquela época, o discurso era de “remunerar quem fornece os dados usados para treinar modelos ou impedir o acesso”. Um ano depois, percebemos que o mercado se moveu em outra direção.

Essa preocupação ainda existe, mas a maioria dos sites não pode simplesmente bloquear totalmente os rastreadores. Fazer isso é o mesmo que sumir do Google e dos assistentes de IA, o que traz imensos prejuízos financeiros.

Por isso, um ano depois, o posicionamento da Cloudflare é outro:

“[Desde Julho de 2026] surgiu um desejo por mais nuances: os proprietários de conteúdo ainda querem poder proteger seu conteúdo e devem ser remunerados pelo conteúdo original que se esforçam para criar, selecionar e compartilhar. Mas sabemos que bloquear o conteúdo não é uma solução única para todos; os proprietários de sites querem mais opções do que simplesmente recorrer à opção de ‘bloquear toda automação, sempre’”.

O possível impacto das novas configurações para SEO

As mudanças da Cloudflare podem afetar o funcionamento do Googlebot

Se um site bloqueia o uso da IA para treinamento de LLMs, pode sem querer acabar bloqueando o rastreamento para SEO também, já que o Google realiza as duas tarefas.

Isso significa que o site deixará de ser rastreado com a mesma eficiência, o que pode resultar em perda de visibilidade no longo prazo.

Portanto, você deve revisar as configurações para garantir que seu site continuará sendo encontrado.

__

Gostou dessas novidades? Conta pra gente! No mais, continue acompanhando as principais novidades do SEO em nosso Linkedin e newsletter.

  • Elyson Gums

    Elyson Gums

    Elyson Gums é redator na SEO Happy Hour. Trabalha com redação e produção de conteúdo para projetos de SEO e inbound marketing desde 2014, em segmentos B2C e B2B. É bacharel em Jornalismo (Univali/SC) e mestre em Comunicação Social (UFPR).

Comentários

0 Comentários

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *