Chatbots de IA são inconsistentes ao recomendar marcas

As respostas da IA são altamente voláteis. Elas mudam o tempo inteiro, assim como as marcas que são recomendadas. 

Um mesmo prompt pode gerar milhares de variações de resposta. Há poucas marcas “absolutas” nesse processo, que aparecem de forma consistente em todas essas variações. A maioria some rapidamente, dando lugar aos concorrentes. 

Estas são algumas das conclusões de uma pesquisa de 2026, conduzida por Rand Fishkin, da SparkToro. É um estudo bem interessante, com implicações sérias para quem faz SEO. Afinal, se as respostas mudam tanto, como mensurar resultados e justificar os investimentos? 

O mercado de SEO precisa se adaptar a esta realidade. Em prompts informativos, o comportamento é parecido. Pesquisas anteriores já demonstraram que cada IA tem as suas próprias preferências de conteúdo para citar. 

Neste texto, você verá os principais aspectos da pesquisa da SparkToro, junto dos pontos de vista da equipe da SHH.

Se quiser ir direto ao ponto, use o menu ao lado para ir direto às conclusões da pesquisa. Mas recomendo muito que você leia todo o texto (inclusive a pesquisa original, em inglês), pois há informações teóricas muito importantes para quem trabalha com visibilidade nas IAs.

O problema da mensuração de dados na IA

A pesquisa nasceu de uma inquietação compartilhada por todo o mercado: como medir os resultados do SEO para IA?

Essa é uma pergunta difícil de responder porque a lógica do SEO tradicional não se aplica diretamente à IA. 

Os buscadores tradicionais são determinísticos. Sempre que você pesquisa algo, tem o mesmo resultado, uma lista de 10 sites que em geral não muda. Como não muda nunca, as ferramentas de SEO conseguem lidar com dados como volume de palavras-chave, tráfego orgânico para páginas, posição média de um site, entre outras.

As LLMs, os modelos de linguagem que alimentam os chatbots de IA, não são assim. Eles são probabilísticos. Uma IA analisa grandes volumes de texto, aprende o significado das palavras e prevê sequências de caracteres para gerar respostas. 

Fora isso, também há uma grande camada de personalização na IA. Ela tem uma “memória” que analisa as suas conversas anteriores e uma “personalidade” que você pode influenciar. Os prompts também mudam – são escritos de outras formas, o que pode resultar em diferentes respostas. 

E, para dificultar ainda mais, ninguém tem acesso ao total de prompts. Plataformas que mensuram resultados, como a Profound, geram prompts sintéticos, que “emulam” o que as pessoas estão escrevendo. 

Encurtando a história: hoje não existem ferramentas de analytics capazes de lidar com a complexidade da IA. Rand Fishkin, junto de Patrick O’Donnell, da Gumshoe.ai, tentou entender se os métodos disponíveis no mercado são efetivos ou se são perda de tempo. 

Spoiler: nem uma coisa, nem outra. Há um futuro para a mensuração de visibilidade na IA, mas por enquanto é bem complexo de implementar. 

Como a pesquisa foi feita?

A pesquisa partiu da seguinte hipótese:

Ferramentas de IA geram listas de recomendações tão aleatórias, e os prompts são tão variados, que tentar acompanhar rankings ou a visibilidade de uma marca ou produto para um determinado espaço temático ou intenção de busca é inútil, e marcas com dinheiro demais deveriam simplesmente pagar ao ChatGPT e similares pelos dados de impressões em seus futuros produtos de anúncios.

A metodologia usada foi a seguinte:

  • Etapa 1: 600 voluntários repetiram 12 prompts várias vezes no ChatGPT, Claude e Gemini. No total, foram 2961 combinações, que foram listadas em uma planilha, para ver se as mesmas marcas apareciam em todos;
  • Etapa 2: os pesquisadores pediram para que as pessoas escrevessem um modelo de prompt para pesquisar fones de ouvido. A ideia era entender se havia muita variação na forma como as pessoas pesquisavam (e houve mesmo);
  • Etapa 3: por fim, pediram para que os participantes escrevessem um prompt para uma área sem grandes nomes consolidados, a recomendação de uma agência de design B2B. Novamente, houve grande variação nos prompts escritos pelas pessoas.

Com esses dados, foi possível entender como (e se) as respostas da IA variam e quais são os efeitos dessa variação na mensuração de resultados.

Entendendo a variação nas respostas da IA

Logo no início da pesquisa, já foi possível notar que muitas marcas eram citadas para o mesmo prompt. Também houve casos em que a marca aparecia na primeira ou segunda vez que o prompt foi enviado, e depois sumia.

Estes são os resultados no ChatGPT:

Analisando todas as respostas, foi possível identificar alguns padrões. 

Como exatamente é essa variação?

As respostas da IA podem variar em três aspectos principais:

  • A lista em si;
  • A ordem das recomendações;
  • O número de itens na lista.

É importante ressaltar que não existe “ranqueamento” na IA. Tudo é variável, e você não pode ter a primeira posição igual na busca tradicional.

Se alguém prometer isso a você, desconfie!

Quais IAs são as mais aleatórias?

A IA mais consistente é o Claude. O Gemini fica em segundo lugar e o ChatGPT em terceiro. Mas, todas são bastante variáveis. Provavelmente, o mesmo ocorreria com as demais que não foram consideradas no estudo, como Grok e Perplexity.

Segundo Rand Fishkin, seria necessário rodar o mesmo prompt 1000 vezes para encontrar duas listas na mesma ordem. 🤯

Como lidar com o caos dentro do seu projeto de SEO?

O detalhe é que, apesar da grande variação, há marcas que estão muito presentes. Elas aparecem diversas vezes nas listas, mesmo que em posições diferentes, o que sugere que a IA entende a sua autoridade.

Logo, seria um erro parar de investir em SEO e na otimização para IA. Isto aumentaria muito as chances da sua marca se perder entre tantas possibilidades.

Nas palavras de Rand Fishkin, isso também indica que é possível mensurar a presença na IA contabilizando quantas vezes você aparece dentro de um intervalo específico.

“Mesmo que os rankings sejam aleatórios a ponto de serem quase inúteis, a recorrência de aparições ao longo de dezenas ou centenas de execuções do mesmo prompt indica um conjunto de marcas que o sistema de IA tende a associar mais ou menos como uma boa resposta para aquela intenção. Medir esse percentual de visibilidade é, provavelmente, uma forma razoável de entender o quão proeminente ou invisível a sua entidade é dentro do conjunto de opções consideradas pela IA”.

Ele quer dizer que você tem que rodar o mesmo prompt várias vezes e contar quantas você aparece em relação aos concorrentes. Se você pesquisar só uma ou duas vezes, o resultado pode te enganar. 

Por que algumas marcas aparecem mais vezes do que outras?

A pesquisa sugere que os dados que a IA tem disponíveis influencia quais marcas aparecem mais. 

Se o prompt é com um tema muito nichado, o modelo tem menos dados e conhece menos marcas. Logo, há mais probabilidade de repetir marcas. Mas se é um tema amplo, do qual a IA conhece bastante, ela provavelmente tem muitas opções diferentes para indicar. Ocorre uma variação muito maior, o que resulta em uma suposta aleatoriedade.

Logicamente, autoridade também importa. Marcas muito conhecidas podem ter mais peso para a IA, pois são mais citadas e influentes, o que pode influenciar citações repetidas a ela. 

O gráfico abaixo mostra o número de citações para “livros de ficção científica” e “concessionárias Volvo na Califórnia”. Existem muito mais livros do que concessionárias e isso se reflete no número de citações.

Mensurando os resultados

A pesquisa conclui que, para medir a visibilidade, é necessário fazer a mesma pergunta várias e várias vezes. 

Nas palavras de Rand Fishkin:

“A minha conclusão sobre a confiabilidade é que, se você realmente quer conhecer o conjunto de recomendações de uma IA, precisa perguntar repetidamente; geralmente pelo menos 60 a 100 vezes, depois calcular a média”.

Isto por si só já é bem trabalhoso. E, mesmo enviando o mesmo prompt várias vezes, nunca será possível descobrir a lista de produtos que a IA recomenda. Até porque não há uma lista fixa, comparável à primeira página do Google, onde a sua marca pode figurar.

A IA pode extrair informação de diversos locais diferentes, os modelos mudam e há camadas de personalização em cada prompt e em cada resposta.

E, claro, também pode errar. Ela costuma recomendar marcas desatualizadas, contas que não existem mais e até empresas que já fecharam. A pesquisa não entra nesse mérito, mas também pode acontecer o brand drift, que é apresentar informações erradas sobre empresas que já existem, como recomendar um serviço que elas não oferecem. 

O papel da personalização nos resultados da IA

Um dos detalhes curiosos da pesquisa diz respeito à forma como a IA interpreta os prompts. Embora as pessoas escrevam de forma completamente diferente, de modo geral a IA consegue identificar os principais conceitos, entidades e atributos contidos ali.

Este gráfico representa as variações nos textos dos prompts para pedir recomendações de fones de ouvido.

Abaixo, estão testes feitos com cada um desses prompts. Apesar da diferença entre eles, as marcas mais consolidadas no mercado aparecem para vários prompts diferentes.

Quando não existem líderes de mercado tão claros, como as agências de design B2B, houve uma variedade maior de marcas, seguindo a mesma variação observada anteriormente.

Logo, embora os prompts sejam personalizados, eles não alteram tanto assim a recomendação de marcas dentro da IA. 

E o que tudo isso significa para quem faz SEO?

O estudo traz dois aprendizados principais. Não há posição fixa dentro da IA e sua marca deve estar presente na internet como um todo, além dos buscadores.

Entrando no detalhe:

  • A IA raramente lista as mesmas marcas duas vezes (menos de 1 a cada 100 vezes);
  • Repetir listas com as mesmas marcas, na mesma ordem é ainda mais improvável (menos de 1 a cada 1000 vezes);
  • Portanto, a IA não deve ser vista como fonte definitiva de informações;
  • Medir “volume de prompts” é inútil, pois a maioria das pessoas pesquisa de formas diferentes;
  • Para mensurar a sua visibilidade, defina bons prompts, rode-os várias vezes (pelo menos de 60 a 100) e compare sua visibilidade com a de outras marcas.

A opinião da equipe SHH

Falando de forma bem prática agora, por enquanto é difícil justificar a assinatura de ferramentas específicas de monitoramento de IA.

Para nosso CEO, Rafael Simões:

“Não existe uma forma segura e confiável de monitorar a presença de uma marca na IA. Além disso, a própria IA está mudando muito rápido. Não acho que seja o momento para investir nesse monitoramento, a não ser que você tenha dinheiro sobrando”. 

Fora essa questão, existe outro detalhe: o jeito de fazer SEO precisa mudar, mesmo que você não assine uma ferramenta.

Essa é uma percepção que a equipe da SHH já tem há tempos e o estudo apenas reforçou: é importante começar a pensar em entidades, pois elas guiam as respostas da IA e até dos buscadores tradicionais.

No nosso guia de entidades em SEO, falamos que elas são as “palavras-chave do futuro”. Seu conteúdo precisa representar claramente entidades, definir relações e atributos e cobrir tópicos relevantes para os quais você quer aparecer.

E como estar presente nas respostas?

A pesquisa original não fala sobre isso. Mas, se você está lendo até aqui, eu imagino que você quer saber como estar entre as marcas consideradas pela IA. E, mais ainda, como ser uma daquelas que aparece várias vezes.

Nem todos os detalhes podem ser controlados, já que pode haver vieses na forma como a IA rastreia páginas e seleciona resultados. Mas é possível influenciar sua presença por meio do investimento em branding, SEO (sim, o tradicional), conteúdo de qualidade e reputação de marca.

Confira alguns guias escritos pela equipe da SHH e que podem te ajudar:

Caso precise de apoio para colocar as estratégias em prática, entre em contato com a SEO Happy Hour! Desenvolvemos estratégias de SEO que tornam sites mais visíveis nos buscadores e na IA.

  • Elyson Gums

    Elyson Gums

    Elyson Gums é redator na SEO Happy Hour. Trabalha com redação e produção de conteúdo para projetos de SEO e inbound marketing desde 2014, em segmentos B2C e B2B. É bacharel em Jornalismo (Univali/SC) e mestre em Comunicação Social (UFPR).

Comentários

0 Comentários

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *