As citações no ChatGPT passam por diversas camadas. Primeiro, a IA decide se vale a pena pesquisar na web. Depois, dispara uma série de sub-buscas e cita apenas as páginas que conseguiu ler, o que deixa de fora qualquer página com problemas de JavaScript.
Suganthan Mohanadasan, cofundador da Keyword Insights, analisou os dados de tráfego de rede que o ChatGPT gera a cada pesquisa, para descobrir os bastidores desse processo.
Recomendo muito a leitura da pesquisa original, mas a seguir apresentamos uma versão traduzida, com os principais achados – como os rótulos internos, pipelines de rastreamento, detalhes sobre a query fan-out, entre outros.
Os principais achados da pesquisa
A maioria das descobertas da pesquisa já era conhecida. No entanto, o seu mérito está em explicar como acontece nos bastidores do ChatGPT:
O ChatGPT não se compara a um buscador tradicional;
Todo prompt é classificado em uma de seis categorias (e algumas categorias nunca são pesquisadas);
Cada prompt pode gerar até 40 subpesquisas (query fan-out);
Há diferenças entre um site ser rastreado, citado e mencionado;
As informações mais importantes sobre a sua marca devem estar em formato de texto, disponível no HTML;
Se detalhes importantes dependerem de JS para aparecer, o ChatGPT pode abandonar a página e citar fontes terceiras;
Conteúdo otimizado continua relevante, desde que esteja tecnicamente acessível para as IAs.
Como o estudo foi feito?
Os dados foram extraídos do tráfego de rede do próprio navegador, disponíveis dentro do painel Network do DevTools do navegador. Ali, é possível obter informações sobre pesquisas, respostas e metadados do ChatGPT, em formato JSON.
Este vídeo mostra como funciona o processo e como visualizar as query fan-outs nesse painel.
Suganthan registrou cerca de 1.240 citações em algumas dezenas de buscas, durante alguns dias. Ele fez isso com uma conta logada, no plano ChatGPT Pro.
A partir dessa análise, apresentou resultados com dois níveis diferentes de confiança:
Fatos estruturais: é o que está diretamente expresso no DevTools, como o campo e os valores das páginas citadas, as categorias de pesquisa, as subpesquisas, etc.
Observações direcionais: são as inferências com base nos dados estruturais. Como a amostragem é pequena, vinda de uma única conta, elas servem apenas para direcionamento, não para chegar a conclusões definitivas.
Como o ChatGPT rotula as suas fontes?
Toda pesquisa na web feita pelo ChatGPT carrega um campo chamado result_source. Ele não aparece na resposta em si, mas indica qual sistema pesquisou aquela página.
O result_source pode ser:
serp: pesquisa geral na web;
labrador: pesquisa específica em índices fechados, como Reuters, The Guardian, WSJ, FT, Wikipedia e arXiv;
bright: buscas com o rastreador Bright Data. Usado principalmente para pesquisas comerciais, de finanças, clima e local;
oxylabs: pesquisas feitas usando a plataforma de raspagem de dados Oxylabs, principalmente para notícias regionais e locais.
labrador parece indicar um índice licenciado, já que está repleto de publishers que têm contratos com a OpenAI. Já bright, serp e oxylabs referem-se à web aberta em geral, pois utilizam índices/ferramentas comercialmente disponíveis.
O que isso significa pra você: facilite o rastreamento do seu site. Quanto mais fácil for extrair informação, mais fácil você compete nesses pipelines.
Para ter espaço nas consultas que ativam o labrador, a solução é investir em assessoria de imprensa, para que a sua marca apareça nas matérias dos portais que têm alguma relação comercial com a OpenAI.
No ChatGPT, esse comportamento está especificado por um campo chamado turn_use_case, que classifica prompts em uma das categorias abaixo:
instant_search;
shopping;
text;
local;
thinking;
image_generation.
A própria redação do prompt influencia a categorização. Por exemplo, melhor cafeteria perto de mim cai em local, já “melhores TVs 4K com reviews” caem em uma busca mais geral.
O que isso significa pra você: alinhe a sua estratégia de conteúdo ao que as IAs realmente pesquisam na web. Essa é uma dica que já damos aos nossos clientes (e publicamos no nosso site) faz tempo, esta nova pesquisa apenas reforça a importância dessa ação.
Os bastidores da query fan-out no ChatGPT
Query fan-out é o ato de desmembrar um prompt em diversas subpesquisas.
No modelo padrão do ChatGPT, o processo é mínimo. O prompt é reescrito, buscado com variações simples, e é isto.
Em modos de raciocínio, ele pode rodar entre 15 e 40 subpesquisas a partir de uma única pergunta, dependendo de sua complexidade. No caso do estudo, foi uma comparação de produtos.
Ao buscar preços, a query fan-out tem três detalhes bem interessantes:
Subpesquisas podem usar o classificador site:para acessar domínios específicos, como o site de marcas comparadas;
A IA “adivinha” o preço e depois pesquisa para confirmar. Ela expande o escopo, incluindo marcas e preços que não fazem parte do prompt original, para dar mais opções ao visitante;
O ChatGPT faz uma leitura literal do texto da página, usando ferramentas de navegação, clique e buscas para encontrar símbolos monetários ($, £, ¢, etc.) no HTML para detectar o valor de cada produto.
O que isso significa pra você: as informações mais importantes sobre os seus produtos e serviços devem estar facilmente acessíveis em texto HTML puro. Se estiverem em imagens, elementos interativos ou campos gerados dinamicamente, é possível que a IA não consiga encontrá-los na hora de fazer uma citação.
O que acontece depois que o ChatGPT chega ao seu site
Três ações podem ocorrer com um site que é selecionado como fonte para uma resposta no ChatGPT:
Buscado: o modelo puxou a página para contexto, mas ela aparece apenas no result_source;
Citado: significa que a página foi vinculada como fonte de uma frase específica;
Mencionada: significa que o nome da marca aparece na resposta, às vezes com link, sem ser de fato a fonte da afirmação.
As três coisas são diferentes. Isto é, um site pode ser muito buscado, mas receber pouco tráfego, pois raramente é citado ou mencionado.
Ocorreu bastante com o YouTube e Reddit. Ambos foram muito citados, mas o YouTube recebeu poucas citações.
Para que um site possa ser citado, é necessário que haja um texto na página. É o que acontece no Reddit, que tem threads em texto. No YouTube, o texto seria a transcrição do vídeo, que é muito mais difícil de citar.
O que isso significa pra você: para ser citado você deve ser a melhor fonte possível para a afirmação que está sustentando. É por isso que a clareza e uma linguagem direta na redação são importantes.
Pela mesma razão, ser citado em portais de alta autoridade também importa, pois essa autoridade é levada em consideração na hora de escolher qual é a melhor fonte para determinada frase.
A cadeia de raciocínio do ChatGPT
Os passos executados pelo ChatGPT para entender o prompt ficam salvos. O próprio modelo descreve suas decisões para busca de fontes, enquanto trabalha.
No caso de uma busca por preços, por exemplo, o modelo visita a página oficial, anota os valores listados e decide se é o suficiente.
Caso seja, ele escreve a resposta.
Se houver alguma barreira, como preço oculto, ele tenta entender o que houve, como um problema de renderização. Diante disso, decide usar fontes terceiras, como sites de resenhas e avaliações de produtos.
Veja um exemplo:
O que isso significa pra você: se você quiser entender como o ChatGPT executa o seu prompt, as ferramentas do DevTools são o melhor lugar. O mesmo vale para tentar entender quais sites são citados.
O que é impossível ver no processo de escolha de fontes do ChatGPT
Mesmo com acesso ao tráfego de rede, diversos detalhes importantes do processo de seleção de fontes ficam invisíveis.
As principais variáveis que ainda não conhecemos são:
Não há registros explicando por que uma fonte vence outra, nem uma lista de critérios usados para selecionar as páginas;
A personalização existe, mas não é visível. Em alguns testes, o ChatGPT usou registros de conversas anteriores, marcadas com um campo chamado personal_sources. Ou seja, partes da resposta foram construídas com dados privados e não existe otimização para isso;
Resultados locais e comportamento de compras seguem em abertos e provavelmente exigirão uma amostragem maior.
Como testar por conta própria
Se você quiser rodar um prompt para analisar as citações, basta fazer os seguintes passos:
Abra o DevTools (F12 ou botão direito na tela > inspecionar);
Vá até a aba Network;
Marque a caixa “Preserve log”;
Rode a sua pesquisa;
Pressione ctrl/cmd F e busque por result_source.
Para ver as query fan-outs, citações e cadeia de raciocínio:
Abra o DevTools em uma conversa que já tem a pesquisa na web realizada;
Vá até a aba Console;
Digite allow pasting;
Cole o código abaixo.
Ele retornará uma tabela com informações do pipeline para cada site citado. Você pode editar o código para retornar as demais informações.
Por fim, este plugin para o Chrome permite coletar as informações de uma forma mais prática.
__
Se você precisa de apoio para transformar essas informações em conhecimento útil para o seu negócio, entre em contato com a SEO Happy Hour! Somos especialistas nas otimizações de SEO que tornam sua marca mais visível também nas IAs.
Elyson Gums é redator na SEO Happy Hour. Trabalha com redação e produção de conteúdo para projetos de SEO e inbound marketing desde 2014, em segmentos B2C e B2B. É bacharel em Jornalismo (Univali/SC) e mestre em Comunicação Social (UFPR).
Comentários