Elyson Gums
Atualizado em 09/10/2026
19 min de leitura
O Google muda mais rápido do que você consegue acompanhar? Não se preocupe, isso é comum pra muita gente.
Se inscreva na nossa Newsletter e fique por dentro das novidades de SEO.
Inscreva-se
Agentes de rastreamento são programas que descobrem páginas e extraem seu conteúdo.
Os crawlers de IA são uma subclasse de agentes de rastreamento, especializada em fornecer dados a sistemas de Inteligência Artificial, como ChatGPT, Gemini e Claude.
Sendo assim, cabe ao SEO técnico otimizar sites para os crawlers de IA, assim como já faz para os rastreadores dos mecanismos de busca tradicionais. Do contrário, a marca deixa de ser mencionadas e as páginas do site não são citadas nas respostas.
A maior parte das otimizações tradicionais de SEO também se aplica aos crawlers de IA, embora eles tenham as suas especificidades.
Os crawlers de IA têm a mesma infraestrutura básica de um rastreador de busca tradicional, como o Googlebot. Ambos descobrem páginas, acessam sitemaps, fazem requisições HTTP, organizam URLs em filas de prioridade (URL frontier) e extraem seu conteúdo.
As principais diferenças estão em seus propósitos operacionais e em seus padrões de consumo de dados.
Os crawlers de IA dividem-se em:
Os crawlers de IA se identificam pelo cabeçalho user-agent, em concordância com as diretrizes RFC 9110 de semântica da web. Veja abaixo a lista dos principais crawlers da atualidade, separados por tipo e categoria.
Clique nos nomes para ler a documentação de cada um.
| Operadora | User-Agent (product token) | Tipo | Categoria | Definição |
| OpenAI | GPTBot | Treinamento | Treinamento de modelos | Coleta para treinamento de modelos de linguagem fundacionais |
| OpenAI | OAI-SearchBot | Busca | Recuperação em tempo real | Rastreia e exibe sites nos recursos de busca do ChatGPT |
| OpenAI | ChatGPT-User | Sob demanda | Recuperação em tempo real | Disparado por ações do usuário no ChatGPT ou em Custom GPTs |
| Anthropic | ClaudeBot | Treinamento | Treinamento de modelos | Coleta de conteúdo para treinar os modelos Claude |
| Anthropic | Claude-SearchBot | Busca | Recuperação em tempo real | Indexação para melhorar a qualidade das respostas de busca sintética |
| Anthropic | Claude-User | Sob demanda | Recuperação em tempo real | Busca e lê URLs requisitadas por usuários do Claude |
| Common Crawl | CCBot | Treinamento | Treinamento de modelos | Varredura global periódica em larga escala; dataset em WARC, base de vários LLMs |
| ByteDance | Bytespider | Treinamento | Treinamento de modelos | Extração contínua para algoritmos de recomendação e busca (TikTok) |
| Google-Extended | Token de controle | Treinamento de modelos | Autoriza ou proíbe o uso do conteúdo para Gemini e Vertex AI, sem afetar o Googlebot | |
| Google-CloudVertexBot | Busca (sob solicitação do dono do site) | Automação para agentes autônomos | Rastreia sites para agentes criados no Vertex AI Agent Builder | |
| Perplexity | PerplexityBot | Busca | Recuperação em tempo real | Indexa e exibe sites nos resultados do Perplexity |
| Perplexity | Perplexity-User | Sob demanda | Recuperação em tempo real | Acesso em tempo real iniciado pelo usuário |
| Meta | meta-externalagent | Treinamento | Treinamento de modelos | Treinamento de modelos (Llama) e indexação direta; volume alto de requisições |
| Meta | meta-webindexer | Busca | Recuperação em tempo real | Melhora os resultados de busca do Meta AI |
| Meta | meta-externalfetcher | Sob demanda | Recuperação em tempo real | Busca links individuais a pedido do usuário |
| Amazon | Amazonbot | Treinamento | Treinamento de modelos | Serviços da Amazon, Alexa e modelos de IA |
| Apple | Applebot | Busca | Recuperação em tempo real | Alimenta recursos como Siri e Spotlight |
| Apple | Applebot-Extended | Token de controle | Treinamento de modelos | Proíbe o uso do conteúdo do Applebot no treinamento de IA generativa; não rastreia por conta própria |
| DuckDuckGo | DuckAssistBot | Sob demanda | Recuperação em tempo real | Acessa páginas para gerar as respostas por IA (DuckAssist); baixo volume |
| Mistral AI | MistralAI-Index | Busca | Recuperação em tempo real | Rastreia a web apenas para indexação, alimentando a busca da Mistral que ajuda a responder perguntas no Vibe; o conteúdo não é usado para treinamento |
Um detalhe curioso: o Bytespider, que alimenta o TikTok e os demais produtos da ByteDance, é o único crawler de renome que não tem documentação pública. É comum encontrar reclamações sobre o alto volume de requisições que efetua.
Um estudo publicado pela Vercel no fim de 2024 identificou alguns padrões de comportamento dos crawlers de IA. Os dados referem-se às requisições que eles próprios receberam ao longo do ano, emitidas pelos principais nomes do mercado.
A pesquisa mapeou:
Os crawlers de IA fizeram bilhões de requisições às páginas analisadas, com destaque para o Googlebot, disparadamente o mais ativo.
Em novembro de 2024, os números foram:
Todos os crawlers de IA acessam as páginas a partir dos Estados Unidos. O ChatGPT sempre de Iowa ou Arizona, e o Claude sempre de Ohio.
Rastreadores de mecanismos de busca tradicionais costumam ficar espalhados. O Googlebot tem IPs em sete estados. E, caso detecte um bloqueio de IP dos EUA, pode tentar acessar a URL através de outros países.
Cada desenvolvedora de IA tem suas preferências próprias sobre os conteúdos que são rastreados.
Segundo a Vercel, a preferência por certos tipos de arquivo pode indicar interesses específicos no treinamento de novos modelos de LLM. logo, não é necessariamente uma constante, e sim algo observado durante o período de análise.
Os rastreadores das LLMs gastam muito tempo e recursos em páginas que não existem.
Em números:
Um detalhe interessante sobre a pesquisa é que existe uma correlação entre rastreamento e tráfego orgânico. Quanto mais tráfego, mais requisições a página recebe.
No entanto, este pode ser um comportamento temporário. Dacordo com a pesquisa, as plataformas de IA ainda estão aprendendo quais tipos de URLs devem ser priorizadas.
Escolher páginas populares pode ser apenas um ponto de partida para as novas IAs, o que não é necessário para rastreadores já consolidados, como o Googlebot. Futuramente o cenário pode mudar.
Crawlers de IA podem causar prejuízos à infraestrutura dos sites. Os principais problemas estão relacionados ao consumo desordenado de recursos dos servidores, sem que isso se traduza em tráfego direto ou retorno monetário a quem publica conteúdo.
Os principais problemas de SEO técnico causados pelo rastreamento desenfreado por IAs são:
Os sites ainda estão se adaptando a esses possíveis impactos. Para SEO, a estratégia mais eficiente é gerenciar o rastreamento por meio do arquivo robots.txt, do mesmo modo que se faz com os rastreadores tradicionais. No entanto, alguns sites preferem bloquear completamente os crawlers de IA.
As principais diferenças estão na finalidade da coleta de dados e no retorno em termos de tráfego e visibilidade orgânica.
Crawlers de pesquisa, como OAI-SearchBot e Claude-SearchBot, apoiam os recursos de “pesquisar na web” dos assistentes de IA. Portanto, podem gerar citações de marca e tráfego orgânico (embora em volume muito menor do que o SEO tradicional).
Em contrapartida, os crawlers de treinamento de modelos, como CCBot e Bytespider, fazem raspagens massivas para compor bases de dados offline. Por isso, não há retorno direto facilmente mensurável pelas empresas. Quando uma marca ganha representatividade nessa base de dados, ela pode se tornar mais visível nas respostas. Esse impacto é indireto e difícil de medir e atribuir ao SEO, pois também envolve o branding e todo o rastro digital da marca.
Veja abaixo uma tabela que compara detalhadamente os dois tipos de crawlers de IA:
| Atributo Arquitetural | Crawlers de pesquisa | Crawlers de treinamento |
| Exemplos de Agentes | OAI-SearchBot, Claude-SearchBot, ChatGPT-User | GPTBot, ClaudeBot, CCBot, Bytespider |
| Modo de Execução | Síncrono ou sob demanda do usuário. | Assíncrono em lote profundo. |
| Retorno para o Site | Positivo, gera atribuição de link, citação e tráfego. | Neutro, pois há consumo de recursos sem tráfego direto imediato. |
| Impacto na Infraestrutura | Focado e pontual em páginas específicas. | Massivo, podendo saturar conexões se desgovernado. |
| Recomendação de SEO | Permitir e monitorar, pois garante presença em buscas por IA. | Bloquear ou limitar para proteger o crawl budget do Googlebot. |
Crawlers de IA ainda não sabem renderizar JavaScript. Logo, se os conteúdos do seu site dependem de códigos JS para renderização, eles estão efetivamente “invisíveis” para as principais LLMs do mercado.
A Vercel descobriu que apenas Google e Apple renderizam JS, e usam tecnologias muito parecidas para isso.
Os principais destaques foram:
De um ponto de vista de SEO técnico, usar renderização do lado do cliente aumenta as chances de perder espaço nas LLMs. Possivelmente, no futuro todas consigam processar o JS corretamente. Mas, até lá, é melhor entregar o conteúdo da página via HTML.
Com a ascensão da IA generativa, publishers, criadores de conteúdo e donos de sites passaram a questionar a abordagem de rastreamento das big techs. Há um sentimento de que “a IA rouba conteúdo” sem oferecer qualquer contrapartida a quem o produz.
As críticas são de três ordens:
O processo de um grupo de publishers contra a OpenAI e a Microsoft sustenta que essas situações prejudicam a remuneração de empresas de mídia. Segundo o documento, a IA “rouba” conteúdo em cinco instâncias:
Este cenário originou adaptações do mercado de SEO. A Cloudflare, provedora de serviços de infraestrutura de servidores e CDN, está bloqueando mais rigorosamente os crawlers de IA. Em 2025, a empresa também lançou o protocolo pay per crawl, que obriga as big techs a pagar por cada requisição. Por enquanto, a proposta ainda não foi amplamente adotada.
Já em outubro de 2026, o mercado de SEO obteve mais detalhes sobre um programa piloto de remuneração do Google, que prevê pagamentos pelo uso de conteúdo em respostas geradas por IA.
Algumas empresas, geralmente as maiores e já bem estabelecidas, adotaram uma solução mais direta: bloquear os crawlers de IA por completo. Estes são três casos notórios:
Antes de decidir como lidar com os rastreadores de IA, é necessário entender quais estão acessando o seu site, o quanto estão consumindo e se as requisições são legítimas. O modo mais confiável de fazer isso é analisar os logs de acesso do servidor, que registram o volume, a frequência e os padrões das requisições.
Primeiro, você deve encontrar o arquivo de log, que varia de acordo com o software que executa o servidor. Os mais comuns são:
Com o arquivo em mãos, você deve filtrar pelo nome dos robôs de IA, como GPTBot, ClaudeBot e CCBot, entre outros. No Nginx e no Apache, o comando é grep -i “GPTBot” /var/log/nginx/access.log | wc -l.
Essa análise de logs permite identificar a carga de rastreamento de IA e padrões anômalos, como requisições paralelas em URLs profundas e armadilhas de rastreamento.
Manning et al. (2009) descrevem as armadilhas de rastreamento como “páginas que induzem os rastreadores a ficarem presos buscando um número infinito de páginas em um determinado domínio”.
Exemplos são URLs de buscas internas e filtros de navegação facetada, que podem gerar milhares (ou até milhões) de URLs. Se os crawlers de IA ficarem presos nelas, haverá desperdício de crawl budget e prejuízos à rastreabilidade do site.
O User-Agent que identifica as requisições é informado pelos desenvolvedores do crawler de IA. Esse cabeçalho pode ser facilmente modificado por scrapers não autorizados, no processo chamado de spoofing.
Para validar a autenticidade, é necessário executar o processo de FCrDNS (Forward-Confirmed Reverse DNS), em quatro passos:
Se os endereços coincidirem, a requisição é autêntica. Caso contrário, trata-se de uma falsificação.
O controle de tráfego dos rastreadores de IA acontece em três camadas. O arquivo robots.txt define até onde o crawler pode ir; a borda da rede (WAF e CDN) filtra as requisições; e os códigos HTTP informam quando a capacidade do servidor está no limite.
O protocolo de exclusão de robôs (RFC 9309) determina que o rastreador procure, no arquivo /robots.txt, o grupo de regras correspondente ao seu product token, que é o nome declarado no User-Agent (GPTBot, ClaudeBot, OAI-SearchBot etc.).
Se houver regras Allow e Disallow para o seu token, o crawler deverá obedecê-las. Caso não exista um grupo específico para esse token, serão aplicadas as regras gerais, identificadas no arquivo por User-agent: *. Assim, é possível liberar robôs de busca e bloquear robôs de treinamento.
# Busca orgânica
User-agent: Googlebot
Allow: /
# Token de controle: define se o conteúdo rastreado pelo Googlebot
# pode ser usado no Gemini. Não afeta a indexação na Busca.
User-agent: Google-Extended
Allow: /
# Busca e citação sob demanda (RAG)
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
# Coleta para treinamento
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Bytespider
Disallow: /
O arquivo robots.txt depende da cooperação do crawler. Isto é, scrapers maliciosos simplesmente o ignoram. Para combater esse comportamento, sites podem usar tecnologias de WAF (Web Application Firewall, que filtra requisições HTTP por regras) e CDN (rede de servidores distribuídos que entrega o conteúdo a partir de pontos de presença próximos ao visitante).
As principais soluções do mercado, como Cloudflare, Fastly e AWS CloudFront, apresentam mecanismos como:
Os códigos HTTP comunicam o resultado de uma requisição. Dois deles podem indicar que o servidor está atingindo seu limite de capacidade:
Se esses códigos forem frequentes, o site poderá deixar de ser rastreado, o que protege o servidor, mas limita sua visibilidade. Os crawlers interpretam os códigos de maneira diferente. O Googlebot, por exemplo, usa ambos para controlar a cota de rastreamento de um site.
Donos de sites podem configurar a resposta HTTP junto de um cabeçalho Retry-After, que informa quando o robô deve tentar novamente.
Bloqueios genéricos, de uma faixa inteira de IPs no firewall ou com regra Disallow: / para todos os crawlers de IA no robots.txt, expõem o site a dois riscos graves de SEO:
É importante lembrar que, caso seu site não apareça, seus concorrentes poderão ocupar esse espaço.
As principais boas práticas para melhorar a rastreabilidade de um site são:
A consultoria da SEO Happy Hour apoia a boa implementação destas e outras boas práticas para visibilidade nas IAs. Entre em contato e converse com nossa equipe.
Elyson Gums é redator na SEO Happy Hour. Trabalha com redação e produção de conteúdo para projetos de SEO e inbound marketing desde 2014, em segmentos B2C e B2B. É bacharel em Jornalismo (Univali/SC) e mestre em Comunicação Social (UFPR).
Elyson Gums
09/10/2026
Elyson Gums
02/10/2026
Elyson Gums
23/09/2026
Comentários