O processo técnico por trás da seleção de fontes nas respostas do ChatGPT

As citações no ChatGPT passam por diversas camadas. Primeiro, a IA decide se vale a pena pesquisar na web. Depois, dispara uma série de sub-buscas e cita apenas as páginas que conseguiu ler, o que deixa de fora qualquer página com problemas de JavaScript

Suganthan Mohanadasan, cofundador da Keyword Insights, analisou os dados de tráfego de rede que o ChatGPT gera a cada pesquisa, para descobrir os bastidores desse processo.

Recomendo muito a leitura da pesquisa original, mas a seguir apresentamos uma versão traduzida, com os principais achados – como os rótulos internos, pipelines de rastreamento, detalhes sobre a query fan-out, entre outros. 

Os principais achados da pesquisa

A maioria das descobertas da pesquisa já era conhecida. No entanto, o seu mérito está em explicar como acontece nos bastidores do ChatGPT:

  • O ChatGPT não se compara a um buscador tradicional;
  • Todo prompt é classificado em uma de seis categorias (e algumas categorias nunca são pesquisadas);
  • Cada prompt pode gerar até 40 subpesquisas (query fan-out);
  • Há diferenças entre um site ser rastreado, citado e mencionado;
  • As informações mais importantes sobre a sua marca devem estar em formato de texto, disponível no HTML;
  • Se detalhes importantes dependerem de JS para aparecer, o ChatGPT pode abandonar a página e citar fontes terceiras; 
  • Conteúdo otimizado continua relevante, desde que esteja tecnicamente acessível para as IAs. 

Como o estudo foi feito?

Os dados foram extraídos do tráfego de rede do próprio navegador, disponíveis dentro do painel Network do DevTools do navegador. Ali, é possível obter informações sobre pesquisas, respostas e metadados do ChatGPT, em formato JSON.

Este vídeo mostra como funciona o processo e como visualizar as query fan-outs nesse painel. 

Suganthan registrou cerca de 1.240 citações em algumas dezenas de buscas, durante alguns dias. Ele fez isso com uma conta logada, no plano ChatGPT Pro.

A partir dessa análise, apresentou resultados com dois níveis diferentes de confiança:

  • Fatos estruturais: é o que está diretamente expresso no DevTools, como o campo e os valores das páginas citadas, as categorias de pesquisa, as subpesquisas, etc. 
  • Observações direcionais: são as inferências com base nos dados estruturais. Como a amostragem é pequena, vinda de uma única conta, elas servem apenas para direcionamento, não para chegar a conclusões definitivas. 

Como o ChatGPT rotula as suas fontes? 

Toda pesquisa na web feita pelo ChatGPT carrega um campo chamado result_source. Ele não aparece na resposta em si, mas indica qual sistema pesquisou aquela página.

O result_source pode ser:

  • serp: pesquisa geral na web;
  • labrador: pesquisa específica em índices fechados, como Reuters, The Guardian, WSJ, FT, Wikipedia e arXiv;
  • bright: buscas com o rastreador Bright Data. Usado principalmente para pesquisas comerciais, de finanças, clima e local;
  • oxylabs: pesquisas feitas usando a plataforma de raspagem de dados Oxylabs, principalmente para notícias regionais e locais.

labrador parece indicar um índice licenciado, já que está repleto de publishers que têm contratos com a OpenAI. Já bright, serp e oxylabs referem-se à web aberta em geral, pois utilizam índices/ferramentas comercialmente disponíveis.

O que isso significa pra você: facilite o rastreamento do seu site. Quanto mais fácil for extrair informação, mais fácil você compete nesses pipelines. 

Para ter espaço nas consultas que ativam o labrador, a solução é investir em assessoria de imprensa, para que a sua marca apareça nas matérias dos portais que têm alguma relação comercial com a OpenAI.

Nem todo prompt ativa uma pesquisa na web

As LLMs pesquisam na web apenas quando estritamente necessário

No ChatGPT, esse comportamento está especificado por um campo chamado turn_use_case, que classifica prompts em uma das categorias abaixo:

  • instant_search;
  • shopping;
  • text;
  • local;
  • thinking;
  • image_generation.

A própria redação do prompt influencia a categorização. Por exemplo, melhor cafeteria perto de mim cai em local, já “melhores TVs 4K com reviews” caem em uma busca mais geral.

O que isso significa pra você: alinhe a sua estratégia de conteúdo ao que as IAs realmente pesquisam na web. Essa é uma dica que já damos aos nossos clientes (e publicamos no nosso site) faz tempo, esta nova pesquisa apenas reforça a importância dessa ação. 

Os bastidores da query fan-out no ChatGPT

Query fan-out é o ato de desmembrar um prompt em diversas subpesquisas.

No modelo padrão do ChatGPT, o processo é mínimo. O prompt é reescrito, buscado com variações simples, e é isto.

Em modos de raciocínio, ele pode rodar entre 15 e 40 subpesquisas a partir de uma única pergunta, dependendo de sua complexidade. No caso do estudo, foi uma comparação de produtos.

Ao buscar preços, a query fan-out tem três detalhes bem interessantes:

  • Subpesquisas podem usar o classificador site: para acessar domínios específicos, como o site de marcas comparadas;
  • A IA “adivinha” o preço e depois pesquisa para confirmar. Ela expande o escopo, incluindo marcas e preços que não fazem parte do prompt original, para dar mais opções ao visitante;
  • O ChatGPT faz uma leitura literal do texto da página, usando ferramentas de navegação, clique e buscas para encontrar símbolos monetários ($, £, ¢, etc.) no HTML para detectar o valor de cada produto.

O que isso significa pra você: as informações mais importantes sobre os seus produtos e serviços devem estar facilmente acessíveis em texto HTML puro. Se estiverem em imagens, elementos interativos ou campos gerados dinamicamente, é possível que a IA não consiga encontrá-los na hora de fazer uma citação. 

O que acontece depois que o ChatGPT chega ao seu site

Três ações podem ocorrer com um site que é selecionado como fonte para uma resposta no ChatGPT:

  • Buscado: o modelo puxou a página para contexto, mas ela aparece apenas no result_source;
  • Citado: significa que a página foi vinculada como fonte de uma frase específica; 
  • Mencionada: significa que o nome da marca aparece na resposta, às vezes com link, sem ser de fato a fonte da afirmação. 

As três coisas são diferentes. Isto é, um site pode ser muito buscado, mas receber pouco tráfego, pois raramente é citado ou mencionado.

Ocorreu bastante com o YouTube e Reddit. Ambos foram muito citados, mas o YouTube recebeu poucas citações. 

Para que um site possa ser citado, é necessário que haja um texto na página. É o que acontece no Reddit, que tem threads em texto. No YouTube, o texto seria a transcrição do vídeo, que é muito mais difícil de citar. 

O que isso significa pra você: para ser citado você deve ser a melhor fonte possível para a afirmação que está sustentando. É por isso que a clareza e uma linguagem direta na redação são importantes. 

Pela mesma razão, ser citado em portais de alta autoridade também importa, pois essa autoridade é levada em consideração na hora de escolher qual é a melhor fonte para determinada frase.

A cadeia de raciocínio do ChatGPT 

Os passos executados pelo ChatGPT para entender o prompt ficam salvos. O próprio modelo descreve suas decisões para busca de fontes, enquanto trabalha.

No caso de uma busca por preços, por exemplo, o modelo visita a página oficial, anota os valores listados e decide se é o suficiente.

Caso seja, ele escreve a resposta.

Se houver alguma barreira, como preço oculto, ele tenta entender o que houve, como um problema de renderização. Diante disso, decide usar fontes terceiras, como sites de resenhas e avaliações de produtos.

Veja um exemplo:

Captura de tela mostrando um vazamento do Chain of Thought (CoT) do ChatGPT, com a lista completa de raciocínios internos, planejamento de buscas, citações e decisões antes da geração da resposta.

O que isso significa pra você: se você quiser entender como o ChatGPT executa o seu prompt, as ferramentas do DevTools são o melhor lugar. O mesmo vale para tentar entender quais sites são citados.

O que é impossível ver no processo de escolha de fontes do ChatGPT

Mesmo com acesso ao tráfego de rede, diversos detalhes importantes do processo de seleção de fontes ficam invisíveis.

As principais variáveis que ainda não conhecemos são:

  • Não há registros explicando por que uma fonte vence outra, nem uma lista de critérios usados para selecionar as páginas;
  • A personalização existe, mas não é visível. Em alguns testes, o ChatGPT usou registros de conversas anteriores, marcadas com um campo chamado personal_sources. Ou seja, partes da resposta foram construídas com dados privados e não existe otimização para isso;
  • Resultados locais e comportamento de compras seguem em abertos e provavelmente exigirão uma amostragem maior. 

Como testar por conta própria

Se você quiser rodar um prompt para analisar as citações, basta fazer os seguintes passos: 

  • Abra o DevTools (F12 ou botão direito na tela > inspecionar);
  • Vá até a aba Network;
  • Marque a caixa “Preserve log”;
  • Rode a sua pesquisa;
  • Pressione ctrl/cmd F e busque por result_source.
Captura de tela do Chrome DevTools na aba Network, destacando a busca pelo campo result_source nas respostas da API do ChatGPT para inspecionar as fontes retornadas durante a geração da resposta.

Para ver as query fan-outs, citações e cadeia de raciocínio:

  • Abra o DevTools em uma conversa que já tem a pesquisa na web realizada;
  • Vá até a aba Console;
  • Digite allow pasting;
  • Cole o código abaixo.

Ele retornará uma tabela com informações do pipeline para cada site citado. Você pode editar o código para retornar as demais informações.

const t = (await (await fetch('/api/auth/session')).json()).accessToken;

const c = await (await fetch('/backend-api/conversation/' + location.pathname.split('/c/')[1], {headers: {Authorization: 'Bearer ' + t}})).json();

const rows = [];

JSON.stringify(c, (k, v) => {

  if (v && v.result_source) {

    const d = (v.attribution || v.url || '?').toString();

    rows.push({source: d.replace('https://', '').replace('www.', '').split('/')[0], pipeline: v.result_source});

  }

  return v;

});

console.table(rows);

Por fim, este plugin para o Chrome permite coletar as informações de uma forma mais prática.

__

Se você precisa de apoio para transformar essas informações em conhecimento útil para o seu negócio,  entre em contato com a SEO Happy Hour! Somos especialistas nas otimizações de SEO que tornam sua marca mais visível também nas IAs. 

  • Elyson Gums

    Elyson Gums

    Elyson Gums é redator na SEO Happy Hour. Trabalha com redação e produção de conteúdo para projetos de SEO e inbound marketing desde 2014, em segmentos B2C e B2B. É bacharel em Jornalismo (Univali/SC) e mestre em Comunicação Social (UFPR).

Comentários

0 Comentários

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *