Elyson Gums
Atualizado em 08/05/2025
7 min de leitura
O Google muda mais rápido do que você consegue acompanhar? Não se preocupe, isso é comum pra muita gente.
Se inscreva na nossa Newsletter e fique por dentro das novidades de SEO.
Inscreva-se
Crawlers, ou rastreadores, coletam e processam informações de páginas da internet. Eles são a “base” de mecanismos de busca clássicos e de plataformas de IA generativa, como o ChatGPT ou Claude.
O detalhe é que os crawlers de IA são ligeiramente diferentes dos rastreadores usados para mecanismos de busca padrão.
As principais diferenças são:
Os dados são de um estudo publicado pela Vercel no fim do ano passado. A pesquisa também apontou uma correlação entre tráfego orgânico e rastreamento de páginas.
Veja abaixo os principais achados e entenda o que eles significam para você (e para a sua marca).
Antes de entender os detalhes dos crawlers de IA, vale entender o que são os rastreadores. Basicamente, são programas que coletam conteúdo de páginas da internet de forma automatizada.
O funcionamento básico de um crawler é:
Esse processo ocorre de forma contínua e se estende por literalmente bilhões de URLs. Os dados coletados podem ser usados de várias formas, como exibir novas páginas no Google ou oferecer respostas atualizadas no ChatGPT.
Os crawlers se identificam com user agents específicos, permitindo que donos de sites indiquem quais seções podem ser acessadas por meio do arquivo robots.txt.
Crawlers de mecanismos de busca, como o Googlebot, e usados por LLMs, como Claude, Perplexity e ChatGPT, são muito parecidos com os crawlers “gerais”.
Para entender as diferenças para os bots usados por mecanismos de busca, a Vercel analisou a forma como foi rastreada por diversos user agents de IA. Eles traçaram um comparativo entre Googlebot, GPTBot, Claude, AppleBot e PerplexityBot.
O Copilot, da Microsoft, foi excluído da pesquisa porque usa múltiplos user agents.
Os crawlers de IA fizeram bilhões de requisições às páginas analisadas, com destaque para o Googlebot, disparadamente o mais ativo.
Em novembro de 2024, os números foram:
Todos os crawlers de IA acessam as páginas a partir dos Estados Unidos. O ChatGPT sempre de Iowa ou Arizona, e o Claude sempre de Ohio.
Rastreadores de mecanismos de busca tradicionais costumam ficar espalhados. O Googlebot tem IPs em sete estados. E, caso detecte um bloqueio de IP dos EUA, pode tentar acessar a URL através de outros países.
Crawlers de IA ainda não sabem renderizar JavaScript. Logo, se os conteúdos do seu site dependem de códigos JS para renderização, eles estão efetivamente “invisíveis” para as principais LLMs do mercado.
A Vercel descobriu que apenas Google e Apple conseguem renderizar JavaScript, e usam tecnologias muito parecidas para isso.
Os principais destaques foram:
De um ponto de vista de SEO e branding, se o seu conteúdo é renderiza do do lado do cliente, você pode estar perdendo espaço nas LLMs. No futuro, possivelmente todas conseguirão processar JS corretamente, mas até lá, você precisa se adaptar ao cenário atual.
Cada IA tem suas preferências próprias sobre os conteúdos que são rastreados.
Segundo a Vercel, a preferência por certos tipos de arquivo pode indicar interesses específicos no treinamento de novos modelos de LLM. O Googlebot não tem essa preocupação, pois a infraestrutura do rastreador foi montada para outra finalidade, que é a indexação de páginas da web.
Os rastreadores das LLMs gastam muito tempo e recursos em páginas que não existem.
Em números:
Um detalhe interessante sobre a pesquisa é que existe uma correlação entre rastreamento e tráfego orgânico.
No entanto, este pode ser um comportamento temporário. Dacordo com a pesquisa, as plataformas de IA ainda estão aprendendo quais tipos de URLs devem ser priorizadas.
Escolher páginas populares pode ser apenas um ponto de partida para as novas IAs, o que não é necessário para rastreadores já consolidados, como o Googlebot.
Futuramente o cenário pode ser outro.
Entender o funcionamento dos crawlers de IA muda como interagimos com as plataformas.
Para donos de site, é o momento de pensar em questões técnicas importantes, como:
Para quem pesquisa na IA, é importante lembrar das limitações da tecnologia. Quase ⅓ das requisições são feitas a páginas 404, então você não pode confiar cegamente no que a LLM entrega. Sempre que possível, acesse o site que é mencionado como fonte e veja quais informações estão lá.
__
É fato que a otimização para mecanismos de busca está mudando rápido. Mas, quanto mais analisamos, mais vemos semelhanças entre o “SEO tradicional” e o “SEO para IA”.
As estruturas são parecidas e as boas práticas de visibilidade também seguem as mesmas, apesar das diferenças nos crawlers de IA para os crawlers de mecanismos de busca tradicionais.
Se você sente que está ficando para trás nesse cenário de transformações, entre em contato com a SEO Happy Hour. Estamos acompanhando cada atualização de perto e podemos te ajudar a fechar novos negócios, não importa onde os seus clientes procuram por informações.
Jornalista e mestre em Comunicação Social. Produzo conteúdo para projetos de SEO e inbound marketing desde 2014.
Comentários