John Mueller, do Google, diz que só crawlers de ferramentas de SEO leem markdown

As versões de páginas em markdown (.md) possuem um formato mais simples de ler, diferentemente das versões em HTML, que contam com elementos de estrutura, estilo e scripts. Teoricamente, arquivos markdown oferecem uma visão mais limpa e clara do seu site para as IAs. 

Mas será que é assim mesmo que funciona? 

Um usuário no Reddit relatou essa dúvida; se grandes rastreadores de IA realmente requisitam páginas em markdown e se valeria a pena usar. 

John Mueller, do Google, respondeu que os únicos crawlers que aceitam markdown são as ferramentas de SEO. Ou seja, bots de plataformas de IA como ChatGPT, Perplexity, ou o próprio Gemini, não estão na lista dos que solicitam o arquivo simplificado. 

A seguir eu te explico um pouco melhor essa história. 

O que John Mueller observou sobre crawlers e arquivos markdown

A pergunta do usuário no Reddit foi a seguinte (tradução nossa): 

“Eu já faço cache das minhas páginas da web em HTML, então não dá muito trabalho convertê-las para markdown e armazená-las em cache novamente. Depois, posso verificar os cabeçalhos para ver se um bot solicita markdown. Li tudo o que consegui encontrar online, e o consenso parece ser que isso não vai ajudar a conseguir mais citações por IA, mas também não vai causar nenhum prejuízo.

Estou me perguntando se ainda assim vale a pena fazer isso, apenas para evitar que os bots de IA sobrecarreguem meu site. Tive que bloquear alguns no Cloudflare porque eles estavam exagerando, mas, se estiverem solicitando arquivos menores em markdown, talvez valha a pena liberá-los novamente (consigo reduzir os arquivos para cerca de um terço do tamanho).

Acho que minha pergunta é: alguém realmente já viu algum dos principais bots de IA solicitar markdown?”.

Ou seja, ele já estava certo de que usar arquivos markdown não iria aumentar a possibilidade do site ser citado pela IA. 

A dúvida dele é se as versões markdown fazem com que os rastreadores consumam menos recursos do servidor. Mas, para isso, é preciso ter evidência de que esses rastreadores de fato solicitam arquivos markdown.

E foi aí que veio a resposta do John Mueller (tradução nossa): 

“Nos meus sites de teste, os únicos crawlers que afirmam aceitar markdown são ferramentas de SEO. Sua experiência pode variar.

(Também é irritante que as configurações de servidor que eu uso não registrem o cabeçalho Accept, então é preciso configurar isso manualmente nos logs, mesmo que você só queira verificar se alguém aceitaria esse formato. Se você tiver curiosidade sobre seus próprios sites, eu recomendaria descobrir como registrar isso e analisar as métricas primeiro)”.

Ou seja, Mueller está dizendo que, em seus testes, os principais crawlers de IA não requisitam arquivos markdown. Portanto, não valeria a pena criar páginas markdown no seu site, mesmo que seja apenas para diminuir o consumo do servidor.  

Porém, ele deixa claro que chegou a essa conclusão com base em seus sites de teste, e que a experiência pode ser diferente em outros sites. Ele sugere que, antes de implementar os arquivos markdown, seja feita uma verificação nos logs se os bots de IA que acessam o site realmente solicitam esse formato.

___

E aí, você costuma usar páginas em markdown? Conta pra gente! Continue acompanhando nossos perfis no Linkedin, YouTube e nossa newsletter para ficar por dentro de todas as novidades do universo do SEO, IA e do Google.

  • Karine Sales

    Jornalista e criadora de conteúdo digital, atua há mais de 8 anos desenvolvendo estratégias e textos otimizados para blogs, sites e redes sociais.

Comentários

0 Comentários

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *