Elyson Gums
Atualizado em 09/10/2026
18 min de leitura
O Google muda mais rápido do que você consegue acompanhar? Não se preocupe, isso é comum pra muita gente.
Se inscreva na nossa Newsletter e fique por dentro das novidades de SEO.
Inscreva-se
Os agentes de rastreamento, também chamados de rastreadores ou crawlers, executam a etapa inicial do processo de descoberta e coleta da informação da web. Eles navegam por hyperlinks para descobrir, recuperar URLs e processar seu conteúdo.
Podemos dizer que a atuação dos crawlers alimenta a web moderna. Nos buscadores tradicionais, a descoberta, ingestão e estruturação de dados são a base dos índices. E nos sistemas de IA, eles atuam no treinamento de modelos e na recuperação em tempo real (RAG).
O SEO técnico otimiza a arquitetura de sites, reduzindo fricções e acelerando a rastreabilidade para agentes de busca e sistemas de IA.
Ao oferecer informação de maneira estruturada, organizar a arquitetura do site de forma lógica e orientar a navegação dos robôs, é possível obter maior visibilidade. E o contrário também é verdadeiro: quando um crawler não consegue ler uma página (ou parte dela), ela fica literalmente invisível para os buscadores e IAs. É o que acontece em sites lentos ou que dependem de JavaScript para exibir conteúdo, por exemplo.
Ontologicamente, agentes de rastreamento são clientes HTTP projetados para percorrer a internet de forma autônoma. Seu objetivo é descobrir novas páginas e extrair o seu conteúdo, em um ciclo automático e ininterrupto, que ocorre em larga escala.
Primeiro, o agente acessa e baixa um conjunto inicial de URLs (seed set). Ao baixar o seu conteúdo, ele extrai também os links internos e externos daquela página. Essas novas URLs são enviadas a uma fila de requisição (URL frontier), para que o processo se reinicie.
A anatomia dos agentes de rastreamento modernos contém:
Os três elementos são vetores de identificação e validação, que permitem uma navegação transparente, da qual os donos de site podem escolher ou não fazer parte. Ainda assim, é possível haver golpes (o chamado spoofing).
Por fim, é importante diferenciar os agentes legítimos e os maliciosos.
Os agentes éticos obedecem rigorosamente aos padrões RFC 9110, normativa de semântica da web, e à RFC 9309, que detalha o protocolo de exclusão de robôs. Antes de explorar um domínio, esses crawlers acessam o arquivo robots.txt e obedecem às regras de permissão e restrição (allow e disallow) presentes ali.
Já os agentes maliciosos agem livremente. Eles violam regras do robots.txt, forjam user-agents para mascarar sua identidade e se passar por outro crawler, e realizam raspagens de dados sem autorização.
Com a evolução natural da web, dos mecanismos de busca e dos sistemas de Inteligência Artificial, os agentes de rastreamento especializaram-se em quatro categorias:
| Categoria | Propósito | Exemplos |
| Indexação clássica (motores de busca algorítmicos) | Rastreiam a web recursivamente para alimentar os índices dos buscadores tradicionais | Googlebot, Bingbot |
| Ingestão de IA (pré-treinamento de modelos) | Coletam corpora textuais em larga escala para treinar e aprimorar modelos de linguagem | GPTBot, ClaudeBot |
| IA em tempo real (RAG e ações de usuário) | Buscam informações atualizadas sob demanda, por busca automatizada ou disparados por ações do usuário | OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User |
| Diagnóstico, auditoria e validação técnica | Analisam infraestrutura, validam anúncios ou geram prévias visuais | AdIdxBot, OAI-AdsBot, BingPreview, Screaming Frog, AhrefsBot |
Veja abaixo uma lista com os principais rastreadores do mercado, quais empresas os desenvolvem, qual é o seu user-agent e a qual categoria pertencem.
| Nome | Empresa | User-Agent | Categoria |
| Googlebot | Googlebot/2.1 | Indexação clássica | |
| Bingbot | Microsoft | bingbot/2.0 | Indexação clássica |
| Applebot | Apple | Applebot | Indexação clássica |
| DuckDuckBot | DuckDuckGo | DuckDuckBot/1.1 | Indexação clássica |
| YandexBot | Yandex | YandexBot/3.0 | Indexação clássica |
| Baiduspider | Baidu | Baiduspider/2.0 | Indexação clássica |
| GPTBot | OpenAI | GPTBot/1.2 | Ingestão de IA (pré-treinamento) |
| ClaudeBot | Anthropic | ClaudeBot/1.0 | Ingestão de IA (pré-treinamento) |
| Google-Extended | Sem User-Agent próprio (token de robots.txt) | Ingestão de IA (pré-treinamento) | |
| Applebot-Extended | Apple | Sem User-Agent próprio (token de robots.txt) | Ingestão de IA (pré-treinamento) |
| Meta-ExternalAgent | Meta | meta-externalagent/1.1 | Ingestão de IA (pré-treinamento) |
| Bytespider | ByteDance | Bytespider | Ingestão de IA (pré-treinamento) |
| CCBot | Common Crawl | CCBot/2.0 | Ingestão de IA (pré-treinamento) |
| Amazonbot | Amazon | Amazonbot/0.1 | Ingestão de IA (pré-treinamento) |
| OAI-SearchBot | OpenAI | OAI-SearchBot/1.0 | IA em tempo real (RAG e ações de usuário) |
| ChatGPT-User | OpenAI | ChatGPT-User/1.0 | IA em tempo real (RAG e ações de usuário) |
| Claude-SearchBot | Anthropic | Claude-SearchBot | IA em tempo real (RAG e ações de usuário) |
| Claude-User | Anthropic | Claude-User/1.0 | IA em tempo real (RAG e ações de usuário) |
| PerplexityBot | Perplexity AI | PerplexityBot/1.0 | IA em tempo real (RAG e ações de usuário) |
| Perplexity-User | Perplexity AI | Perplexity-User/1.0 | IA em tempo real (RAG e ações de usuário) |
| Meta-ExternalFetcher | Meta | meta-externalfetcher/1.1 | IA em tempo real (RAG e ações de usuário) |
| AdIdxBot | Microsoft | adidxbot/2.0 | Diagnóstico, auditoria e validação técnica |
| OAI-AdsBot | OpenAI | OAI-AdsBot/1.0 | Diagnóstico, auditoria e validação técnica |
| AdsBot-Google | AdsBot-Google | Diagnóstico, auditoria e validação técnica | |
| Screaming Frog | Screaming Frog | Screaming Frog SEO Spider/20.0 | Diagnóstico, auditoria e validação técnica |
| AhrefsBot | Ahrefs | AhrefsBot/7.0 | Diagnóstico, auditoria e validação técnica |
| SemrushBot | Semrush | SemrushBot | Diagnóstico, auditoria e validação técnica |
Essa lista não é definitiva. Há inúmeros agentes de rastreamento funcionando e o ecossistema expande rapidamente. Os números de versão do user-agent também mudam conforme os programas são melhorados.
Rastreabilidade é o fundamento do SEO técnico. Ou seja, a fundação sobre a qual toda arquitetura de otimização é construída. Se um agente de rastreamento não puder descobrir, fazer requisições e coletar o conteúdo de uma página com eficiência, ela não estará presente nos mecanismos de busca e nem será citada nas respostas de IA.
Podemos considerar 6 pilares do SEO técnico, todos conectados à rastreabilidade, que funciona como pilar zero:
Essa divisão não é uma categorização definitiva, tampouco “oficial”. Ela resulta da expertise e experiência da equipe da SEO Happy Hour, das documentações oficiais do Google e da leitura de autores da área de recuperação de informação, como Manning et al. (2009) e Heydon e Najork (1999).
Hoje, o SEO técnico atende a dois tipos diferentes de sistema, ambos estruturados em torno de agentes de rastreamento: os buscadores tradicionais e os assistentes de IA. Apesar de suas diferenças, os dois dependem de um site rastreável, de baixa latência e estruturalmente previsível.
A tabela abaixo sintetiza essa dualidade no consumo de informação:
| Tipo de sistema | Fluxo | Métricas de sucesso de SEO |
| Motores de busca tradicionais (índice invertido) | Rastreamento → renderização → análise sintática → indexação → ranqueamento | Posicionamento na SERP, CTR e tráfego orgânico direto |
| Motores de geração de informação (RAG/LLM Generation) | Requisição → extração → vetorização → recuperação → síntese | Menções da marca em texto, citações nas respostas da IA |
Veja agora os detalhes sobre cada um dos sistemas.
Inicialmente, os mecanismos de busca usavam agentes de rastreamento para construir índices invertidos, conforme explicam Manning et al. (2009). Neste formato, palavras-chave são associadas às páginas em que elas aparecem. As URLs então são ranqueadas de acordo com a sua autoridade e relevância para cada pesquisa.
Nas últimas décadas, o modelo evoluiu muito. Hoje, os buscadores continuam a usar rastreadores para alimentar os índices, mas não dependem mais da presença exata de um termo em uma página para ranquear. Eles são altamente contextuais, compreendendo o contexto e o significado das palavras para gerar respostas precisas às buscas dos visitantes.
O fluxo de consumo de informação nos buscadores tradicionais compreende:
O SEO técnico contribui para tornar as páginas elegíveis a esse processo. Portanto, as métricas de sucesso se relacionam com a visibilidade nos buscadores. As principais são o posicionamento na SERP, a taxa de cliques e o tráfego orgânico direto. Estes, por sua vez, se correlacionam com faturamento e sucesso comercial para as marcas.
Diferentemente dos buscadores, os motores de geração de informação entregam respostas prontas ao visitante. Hoje, o formato mais tradicional é o de chatbots de IA, como o ChatGPT, o Claude e o Gemini.
Eles também usam os rastreadores em diferentes etapas da geração das respostas. No entanto, a função é diferente: em vez de recuperar documentos, eles processam seu conteúdo para gerar respostas inéditas, em linguagem natural, combinando os seus dados de treinamento e recuperação em tempo real.
O fluxo de consumo de informações nesses sistemas é:
As métricas de sucesso são as menções à marca no corpo do texto, o que indica que elas são proeminentes na base de dados do modelo, e as citações nas respostas, que indicam que o site foi considerado uma fonte confiável na formulação da resposta.
No entanto, a questão dos KPIs de SEO para IA é, em geral, complexa. Nas últimas décadas, o mercado se organizou para contabilizar cliques, dando pouca ênfase ao que ocorre antes e depois deles. A IA mudou esse paradigma, promovendo o aumento de buscas zero cliques, cujo impacto é difícil de mensurar.
A governança de agentes de rastreamento é o conjunto de ações para gerenciar o tráfego automatizado no servidor. Esses controles protegem sites da sobrecarga e dos agentes maliciosos, e guiam os robôs para os diretórios que trazem valor do ponto de vista de SEO.
Temos como principais implementações técnicas:
Veja abaixo como aplicá-las.
O arquivo robots.txt orienta como os agentes de rastreamento devem navegar pelo site. Por meio de diretivas allow ou disallow, donos de sites podem definir quais diretórios podem ser rastreados.
As orientações podem ser gerais, aplicáveis a qualquer agente, ou específicas, variando para cada agente (Googlebot, GPTBot, PerplexityBot, etc.).
Todas as diretrizes devem obedecer à sintaxe RFC 9309. Pressione as frases abaixo para ver exemplos.
# Exemplo de arquitetura de governança no robots.txt
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/*
Disallow: /api/*.json$
# Regra específica para o Googlebot
User-agent: Googlebot
Allow: /
Disallow: /private/
Se o volume de requisições for muito grande, o dono do site pode pedir que os web crawlers reduzam o ritmo. Isso é feito por meio das respostas HTTP, que indicam por que houve falhas. Também é possível pedir para que os agentes retomem as requisições futuramente.
Considerando a documentação do Googlebot, o web crawler mais relevante para SEO, três respostas indicam um sinal de sobrecarga:
O crawler retoma o ritmo normal apenas quando esses erros diminuem.
A RFC 9110 especifica ainda o cabeçalho retry-after, que informa por quanto tempo o crawler deve esperar antes de fazer uma nova requisição. Pode ser um número de segundos ou uma data específica.
Nem todos os crawlers interpretam as respostas HTTP da mesma forma. Os agentes maliciosos notoriamente ignoram os códigos de sobrecarga e continuam tentando rastrear. E, mesmo entre os agentes éticos, pode haver pequenas variações, como tratar 429 e 503 como idênticos, ou não respeitar o cabeçalho retry-after.
Como o cabeçalho HTTP User-Agent pode ser facilmente falsificado, a validação de agentes deve ser feita em nível de rede em casos suspeitos, por meio do método FCrDNS (Forward-Confirmed Reverse DNS).
O FCrDNS funciona em duas etapas:
Donos de sites podem impedir que seu conteúdo seja usado para treinar IAs, sem afetar o SEO.
As principais big techs do mercado diferenciam os rastreadores responsáveis por cada tarefa. Logo, basta usar diretivas específicas para cada um no arquivo robots.txt.
Veja uma tabela de referência para os principais nomes do mercado:
| Empresa | Crawlers para RAG ou índice de buscadores | Rastreador para treinamento de LLMs |
| OpenAI | OAI-SearchBot, ChatGPT-User | GPTBot |
| Anthropic | Claude-SearchBot, Claude-User | ClaudeBot |
| Googlebot, Google-Agent | Google-Extended |
O agente de rastreamento é responsável por fazer requisições HTTP e baixar conteúdo HTML, CSS e JS de uma URL. Já o agente de renderização executa os scripts, constrói o DOM e gera a mesma visualização que o visitante humano verá.
O SEO técnico garante que os conteúdos sejam acessíveis para os crawlers de IA, sem bloqueios de renderização ou sobrecarga de servidor. Além disso, uma arquitetura de site limpa, com dados estruturados facilmente disponíveis e HTML coerente, facilita os processos de chunking e vetorização necessários para que um conteúdo seja incorporado à resposta da IA.
Negligenciar a rastreabilidade prejudica todo o SEO de um site. Se as páginas não puderem ser rastreadas, também ficarão de fora do índice, o que se traduz na perda completa de visibilidade.
Essa perda de visibilidade pode ser diagnosticada a partir de problemas como:
A SEO Happy Hour oferece consultorias de SEO técnico para diagnosticar problemas de rastreabilidade e indexabilidade. Levantamos as principais otimizações necessárias para que os agentes de rastreamento acessem as páginas mais importantes do seu site, sem consumir recursos desnecessários. Entre em contato e saiba mais.
Elyson Gums é redator na SEO Happy Hour. Trabalha com redação e produção de conteúdo para projetos de SEO e inbound marketing desde 2014, em segmentos B2C e B2B. É bacharel em Jornalismo (Univali/SC) e mestre em Comunicação Social (UFPR).
Elyson Gums
09/10/2026
Elyson Gums
02/10/2026
Elyson Gums
23/09/2026
Comentários