Google responde acusações de baixa qualidade das AI Overviews

  • Elyson Gums

    Elyson Gums

  • Data de publicação da notícia.

    Atualizado em 31/05/2024

  • Tempo de leitura da notícia.

    6 min de leitura

A big tech está fazendo ajustes nas respostas dos resumos de IA e explica que erros são causados por falhas na interpretação de linguagem; supostamente a recepção do recurso foi positiva, apesar disso.

A Inteligência Artificial do Google sugeriu que uma pessoa deveria comer pedras, e outra colocar cola na pizza. É bizarro, mas está acontecendo – e o Google comentou oficialmente o caso, explicando como as AI overviews funcionam e o que está sendo feito para corrigir os problemas.

Em um post de blog, Liz Reid, Chefe de Pesquisa Orgânica, falou sobre as respostas geradas, se os visitantes realmente aprovam o recurso, e o quanto ele impacta o tráfego orgânico de sites.

Até aqui, a avaliação do Google é:

  • A maioria dos resultados das AI Overviews são corretos;
  • Há dados que comprovam maior interação com as respostas geradas por IA;
  • Estes dados também indicam maior CTR para páginas recomendadas pela Inteligência Artificial;
  • Apesar disso, há espaço para melhorias, como perguntas sem sentido ou respostas irônicas;
  • As AI Overviews funcionam de forma diferente do que outros chatbots de IA.

Qual o problema com as AI Overviews?

AI Overviews são resumos gerados por IA generativa que aparecem no topo da pesquisa do Google. 

É um texto geral sobre a pesquisa realizada, com as principais informações sobre o assunto e sugestões de links adicionais. Este resumo aparece antes dos resultados orgânicos e pagos, ocupando a maior parte da tela. 

O recurso foi lançado oficialmente nos Estados Unidos em 15 de maio. 

O problema é que logo nos primeiros dias, a IA gerou respostas absurdas para pesquisas. São diversos relatos, que foram se acumulando e viralizando ao longo das últimas semanas. 

Dois casos ficaram mais famosos nos EUA: uma recomendação para comer uma pedra por dia, e uma receita de pizza com cola para o queijo ficar mais grudento. 

O assunto “furou a bolha” da comunidade de profissionais de SEO e virou matérias em portais como Business Insider (que realmente testou colocar cola na pizza) e BBC.

Como as AI Overviews funcionam?

Para explicar o que aconteceu, Liz Reid começou mostrando que a IA do Google é diferente de ChatGPT, Perplexity, e outros recursos do tipo.

No caso do Google, a IA está “conectada” com as páginas que o buscador indexa. Por isso, os erros não são “alucinações” ou tentativas de inventar informação, são erros de interpretação de linguagem e de páginas.

Veja abaixo, em tradução e grifos nossos: 

As AI Overviews funcionam de forma muito diferente dos chatbots e outros produtos de LLM (large language model). Ela não gera resultados com base em dados para treino. Nossas AI Overviews são alimentadas por um modelo de linguagem customizado, integrado com os nossos sistemas de classificação de página e encarregado de fazer pesquisas “tradicionais”, buscando informações relevantes e de alta qualidade no nosso índice.

Qual o posicionamento do Google?

No caso do post de “comer pedras”, aconteceu porque era uma pergunta sem sentido, sobre a qual há poucos resultados com qualidade na internet. Isto levou a IA a usar uma página de paródia como resposta.

No caso de “adicionar cola à pizza”, ocorreu uma falha em discernir senso de humor. A IA interpretou um comentário de zoeira feito em um fórum de internet como se fosse uma resposta séria.

De acordo com Liz, as AI Overviews foram testadas diversas vezes antes do lançamento, mas apenas com pesquisas consideradas “típicas”.

Não havia como prever perguntas aparentemente sem sentido, como “quantas pedras eu devo comer por dia?”. Na última semana, houve um aumento no número de pesquisas desta natureza, possivelmente para induzir erros na IA.

A Chefe de Pesquisa Orgânica também afirma que vários prints são falsos. A Wired testou algumas capturas de tela e confirmou que, de fato, várias capturas de tela não batem com o que aparece no Google.

Implementação de melhorias

“Mais de uma dúzia” de atualizações foram feitas nos sistemas das AI Overviews, com base nos feedbacks negativos. Estas ações incluem:

  • Adicionar mecanismos que detectam perguntas satíricas ou sem sentido, para não exibir os resumos de IA nesse caso;
  • Limitar o uso de conteúdo satírico e de humor como base para as respostas da AI Overview;
  • Não exibir mais a AI Overviews em pesquisas onde ela não estava sendo útil;
  • Não exibir o recurso para notícias, onde atualizações novas são mais importantes do que um resumo de informação;
  • Refinamentos sobre quando os resumos de IA são exibidos em temas relacionados à saúde.
  • Ações manuais sobre respostas que violam as políticas de conteúdo do Google (que ocorrem em cerca de uma em cada 7 milhões de pesquisas). 

O impacto da AI Overview até aqui

Como se espera, o post do Google também ressalta que o feedback do recurso tem sido positivo: 

  • As pessoas estão engajando com as respostas de Inteligência Artificial;
  • O CTR das páginas mencionadas pelas IA Overviews é maior do que os demais resultados orgânicos;
  • As respostas absurdas ou equivocadas são minoria. 

Até aqui, não vimos isto acontecendo na prática. O Google não divulgou os dados que comprovam as interações com as páginas e até aqui não há estudos conclusivos feitos por terceiros.

Também não notamos um número expressivo de elogios ou comentários positivos ao recurso em redes sociais. Na verdade, foi o contrário: chegou ao ponto de AI Overview virar meme, de tão ruim.

Basta digitar o termo no Twitter para ver diversas imagens surfando na onda dos resultados imprecisos, ou tirando sarro da situação:

Por enquanto, a AI Overview ainda não chegou ao Brasil. Seguimos acompanhando as discussões nos Estados Unidos, pois o que acontece lá costuma impactar a implementação de recursos em outros países. 

Acompanhe as novidades nos canais da SEO Happy Hour (newsletter, podcast e LinkedIn)!

  • Elyson Gums

    Elyson Gums

    Jornalista e mestre em Comunicação Social. Produzo conteúdo para projetos de SEO e inbound marketing desde 2014.

Comentários

0 Comentários

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *