Elyson Gums
Atualizado em 01/07/2025
8 min de leitura
O Google muda mais rápido do que você consegue acompanhar? Não se preocupe, isso é comum pra muita gente.
Se inscreva na nossa Newsletter e fique por dentro das novidades de SEO.
Inscreva-se
Sempre que uma IA rastreia uma página do seu site, você recebe dinheiro. Esta é a proposta do pay per crawl, novo sistema de monetização da CloudFlare para criadores de conteúdo.
Trata-se da primeira alternativa do mercado para empoderar criadores de conteúdo diante do avanço crescente dos Modelos de Linguagem em Larga Escala (LLM).
No cenário atual, donos de sites têm duas opções: liberar o acesso e deixar seu conteúdo ser usado livremente, ou bloquear totalmente os rastreadores, o que reduz a visibilidade, mas protege as criações do uso indevido.
A proposta da Cloudflare é um “meio-termo”, onde criadores podem exibir pagamento para disponibilizar o acesso a certas URLs (ou ao site inteiro).
Por enquanto o pay per crawl está no beta, sendo testado com pequenos grupos de pessoas. Dependendo do resultado do experimento, será liberado em larga escala – o que é muito significativo, já que a tecnologia da Cloudflare é usada em cerca de 20% da internet.
Entenda abaixo como funciona, quais são os impactos em SEO e se vale a pena implementar.
O pay per crawl cobra por acesso de rastreadores de IA. Sempre que eles visitarem uma página protegida, precisarão emitir um pagamento. Caso contrário, não conseguirão ler o que está naquela URL.
O nome significa justamente “pagar por rastreamento”, inspirado no pay per view, que é “pagar para ver”.
Isto significa que:
Segundo os seus criadores, o pay per crawl dá mais liberdade a criadores de conteúdo, algo que faz falta no mercado hoje em dia.
Na Cloudflare, partimos de um princípio simples: queremos que os criadores de conteúdo controlem quem acessa o seu trabalho. Se um criador quer bloquear todos os rastreadores de IA, ele deve poder fazer isso. Se quiser dar acesso gratuito a alguns, ou todos, também deve ter essa opção. Os criadores devem estar no controle.
Depois de centenas de conversas com portais de notícia, publishers e grandes sites de rede social, ouvimos um desejo constante de um terceiro caminho: eles querem deixar os rastreadores de IA acessarem o conteúdo, desde que sejam compensados por isso. Atualmente, isso exige conhecer a pessoa certa e fazer um acordo único, o que é um desafio insuperável se você não tem escala e margem de negociação.
Em 1 de julho, a plataforma anunciou um sistema que libera três níveis de acesso aos rastreadores.
Rastreadores, ou crawlers, são robôs que acessam dados de páginas da internet. Muitos serviços usam esse tipo de tecnologia, inclusive os mecanismos de busca tradicionais e as LLMs.
Um resumo bem rápido de como eles funcionam:
Os crawlers dos mecanismos de busca e das LLMs rastreiam milhões de páginas e processam o seu conteúdo. Em seguida, podem usar esses dados para montar um índice, ou gerar respostas prontas.
Hoje, o rastreamento acontece “de graça”.
Durante muitos anos, o funcionamento básico dos mecanismos de busca era: “nós vamos rastrear o seu site e em troca vamos enviar visitantes para o seu site”.
Com a IA generativa, os sites são rastreados, mas recebem cada vez menos tráfego. As LLMs simplesmente entregam o conteúdo resumido, aí o visitante não precisa nem clicar em um site. Ou seja, a IA rastreia e não retorna nenhum valor.
Isso coloca em risco os modelos de negócios de muitos sites e criou um descontentamento geral com as big techs. A Cloudflare age justamente nessa lacuna, ao oferecer uma nova forma de monetização para quem cria conteúdo.
O pay per crawl usa códigos HTTP e mecanismos de autenticação para liberar acesso mediante pagamento.
É uma explicação bem técnica, então vamos por partes, com um passo a passo:
O pay per crawl funciona com três instruções básicas:
O pay per crawl faz parte de uma investida da Cloudflare contra os rastreadores de IA.
A partir de 1 de julho de 2025, a Cloudflare está bloqueando rastreadores de IA por padrão para novos sites. Ou seja, se você usa a plataforma e quer que as LLMs acessem o seu site, precisa revisar manualmente as suas configurações.
Em uma publicação do seu blog, a empresa descreve o momento como o “Dia da Independência do Conteúdo”. Veja a tradução:
Em vez de ser uma troca justa, a web está sendo minerada por rastreadores de IA, com criadores de conteúdo vendo quase nenhum tráfego e por consequência quase nenhum valor.
Isso muda hoje, 1º de julho, no que estamos chamando de Dia da Independência do Conteúdo. Cloudflare, junto com a maioria dos principais publishers e companhias de IA, está mudando o padrão para bloquear crawlers de Ia a menos que haja pagamento aos criadores por seu conteúdo. Esse conteúdo é o combustível que alimenta os mecanismos de IA, então é apenas justo que os criadores sejam recompensados diretamente por ele.
Ativar um recurso como o pay per crawl interfere diretamente no SEO do site. Se a LLM não quiser pagar pelo rastreamento, o seu site simplesmente deixará de aparecer.
O rastreamento é um processo fundamental para que um site apareça em qualquer mecanismo de busca. Sem ele, os robôs não entendem o conteúdo da página, logo, não podem exibi-lo.
Fora isso, tem a questão das big techs. Sabemos que elas não gostam de pagar por conteúdo, então pode haver resistência em fazer os pagamentos, o que pode impactar certos mercados.
Então, antes de ativar, você precisa entender se quer correr o risco de ficar “invisível” nos recursos de IA.
Pessoalmente, achei uma novidade bem interessante e que pode trazer benefícios para vários tipos de sites.
Ficando só em um caso bem famoso: imagine se o Studio Ghibli recebesse um pagamento para cada imagem no “estilo Ghibli” gerada pelo ChatGPT? Ao não receber nada, é como se a sua identidade visual e estilo fosse simplesmente roubado pela LLM.
Antes de ativar um recurso assim, é necessário avaliar os prós e contras com muito cuidado. Por exemplo:
Não existe resposta definitiva. É necessário avaliar caso a caso, junto das suas equipes de criação e de marketing.
De qualquer modo, é excelente ter mais alternativas no mercado. A maioria dos sites e criadores de conteúdo simplesmente não está em pé de igualdade na hora de negociar com uma big tech, como fizeram a Microsoft, o Stackoverflow, ou o The Washington Post.
__
Esse assunto ainda vai render bastante, especialmente quando o pay per crawl for liberado para todos os clientes da Cloudflare. Para não perder nada, siga-nos no LinkedIn e no YouTube e assine a nossa newsletter.
Elyson Gums é redator na SEO Happy Hour. Trabalha com redação e produção de conteúdo para projetos de SEO e inbound marketing desde 2014, em segmentos B2C e B2B. É bacharel em Jornalismo (Univali/SC) e mestre em Comunicação Social (UFPR).
Comentários