How the AI is consuming the web and erasing the internet memory

O que é a crise da memoria coletiva da internet

Nos últimos dois anos, algo silencioso e profundo esta acontecendo com a web. Os grandes modelos de linguagem - ChatGPT, Gemini, Claude, Perplexity - são treinados e alimentados com bilhoes de páginas da internet. Mas quando eles respondem uma pergunta do usuário, raramente enviam esse usuário de volta para o site original. O tráfego simplesmente para de chegar.

O artigo publicado no The Walrus em 2026 coloca em palavras o que muitos desenvolvedores já estão sentindo: a internet esta perdendo sua memoria coletiva. Fóruns, blogs, tutoriais, documentações mantidas por voluntários - tudo isso esta sendo consumido por sistemas de IA que não dao credito, não compensam e não mandam visitantes de volta.

Para quem desenvolve software, escreve tutoriais ou mantem projetos open source, esse fenómeno e importante entender. Não e só uma questão filosófica sobre a web - e uma mudança prática no ecossistema que sustenta o conhecimento técnico compartilhado.

Como funciona o ciclo de consumo da web pela IA

O processo e simples de entender. Empresas de IA enviam crawlers (robôs) que baixam o conteúdo de milhões de sites. Esse conteúdo e usado para treinar modelos que depois respondem perguntas. Quando o modelo responde, ele sintetiza a informação de dezenas de fontes em uma única resposta fluida - sem mencionar nenhuma delas.

O usuário fica satisfeito, encontrou a resposta. Mas o site que originalmente criou aquele conteúdo não recebeu a visita, não gerou receita de anuncio, não teve o reconhecimento. Multiplicado por bilhoes de perguntas por dia, o impacto no tráfego orgânico da web e enorme.

Segundo dados do setor, o tráfego orgânico via Google Search caiu de forma significativa para muitos tipos de site desde 2023 - especialmente os que respondem perguntas factuais, que são exatamente o tipo de conteúdo que a IA mais consome e mais substitui.

Principais impactos para desenvolvedores e criadores

Os efeitos práticos são vários e afetam diferentes perfis:

• Blogs técnicos e tutoriais: recebem menos visitas mesmo com bom conteúdo, porque o Google e outras ferramentas de IA respondem diretamente a pergunta antes de o usuário clicar no link.
• Projetos open source com documentação própria: a documentação e raspada, usada para treinar modelos, mas o repositório recebe menos estrelas e contribuidores novos via busca orgânica.
• Fóruns e comunidades: o Stack Overflow, Reddit e fóruns de nicho perdem relevância como ponto de encontro quando a IA sintetiza as respostas e elimina a necessidade de acessar o fórum.
• Sites de noticias e jornalismo técnico: matéria e consumida pelo crawler, resumida pela IA, e o site perde o pageview que sustentaria sua receita publicitaria.
• A própria qualidade do conhecimento: se criadores param de publicar por falta de incentivo, os modelos futuros serão treinados em conteúdo cada vez mais raso ou desatualizado.

Como começar a monitorar e reagir

Você não e obrigado a aceitar passivamente que seus artigos sejam consumidos sem retorno. Ha algumas ações práticas que desenvolvedores e donos de sites podem tomar hoje.

O primeiro passo e auditar quem esta rastreando seu site. Ferramentas como o Cloudflare Analytics (plano gratuito disponível) mostram o volume de tráfego de bots versus humanos. Muitos sites descobrem que mais de 50% do tráfego atual e de crawlers.

O segundo passo e decidir sua política de robots.txt. Você pode bloquear crawlers específicos de IA usando diretivas no arquivo robots.txt na raiz do seu site. Isso não impede que dados já coletados sejam usados, mas sinaliza sua posição e pode afetar coletas futuras.

Exemplo prático: como configurar robots.txt para crawlers de IA

O arquivo robots.txt fica na raiz do seu domínio (ex: seusite.com.br/robots.txt). Você pode adicionar regras específicas para bloquear os principais crawlers de IA:

# Bloquear crawlers de IA mais comuns
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: CCBot
Disallow: /

# Manter Google Search normal
User-agent: Googlebot
Allow: /

User-agent: *
Allow: /

Não existe garantia de que todos os crawlers respeitam o robots.txt - especialmente empresas menores ou scrapers não declarados. Mas os grandes players como OpenAI, Anthropic e Google se comprometeram publicamente a respeitar essas diretivas.

Comparação com outras crises anteriores da web

Essa não e a primeira vez que a web enfrenta uma mudança estrutural de tráfego. Na década de 2010, a ascensão das redes sociais como Facebook e Twitter desviou enorme volume de atenção dos sites para plataformas fechadas. Muitos blogs morreram, jornais entraram em crise.

A diferença agora e a escala e a velocidade. As redes sociais ainda mandavam usuários para links externos (mesmo que com fricção). A IA responde sem sair de si mesma. O modelo económico que sustentava o conteúdo gratuito na web - tráfego gerando receita publicitaria - esta sendo cortado de forma mais direta.

A crise do RSS nos anos 2000 também guarda semelhança: leitores de RSS mostravam o conteúdo completo sem que o usuário precisasse visitar o site. A diferença e que o RSS era voluntario e servido pelo próprio site. A IA raspa sem pedir permissão.

Pontos positivos e limitações desse debate

Nem tudo e negativo nessa transformação. A IA democratizou o acesso ao conhecimento para pessoas que antes não sabiam nem por onde começar uma busca. Desenvolvedores iniciantes no Brasil agora conseguem resolver problemas em minutos que antes levavam dias de pesquisa em inglês.

Além disso, a pesquisa académica, a documentação técnica de alta qualidade e os conteúdos aprofundados ainda tem valor diferenciado. O que tende a desaparecer são os artigos rasos de SEO que respondiam uma pergunta com três parágrafos vazios.

O ponto de atenção real e o conteúdo de nicho, técnico e comunitário - exatamente o tipo que sustenta o ecossistema de desenvolvimento de software. Quando um fórum especializado fecha por falta de tráfego, esse conhecimento não migra magicamente para os modelos de IA de forma atualizada e contextualizada.

Casos de uso reais: quem sente mais o impacto

Nem todos os tipos de site são afetados igualmente. Os que mais sofrem são aqueles cujo valor principal e responder perguntas diretas:

• Blogs de tutoriais de programação: "como fazer X em Python" agora e respondido diretamente pelo ChatGPT ou pelo AI Overview do Google antes mesmo de o usuário ver os resultados.
• Sites de comparação de ferramentas: "qual o melhor framework para Y" virou prompt de IA, não pesquisa no Google.
• Documentações alternativas e wikis comunitários: o usuário pergunta para a IA em vez de ler a documentação do projeto.
• Newsletters e blogs de opinião técnica: menos afetados, pois a IA ainda não substitui bem o ponto de vista original e contextualizado de um autor específico.

Dicas e boas práticas para navegar essa mudança

Vale a pena se preocupar com isso?

Sim, mas de forma construtiva. O ecossistema da web esta passando por uma transformação real e o negacionismo não ajuda. Ao mesmo tempo, entrar em pânico e contraproducente.

Para desenvolvedores, a mensagem prática e: diversifique. Não dependa exclusivamente do tráfego orgânico do Google para validar seu trabalho ou sustentar seu projeto. Construa audiência direta, contribua para comunidades onde humanos ainda se encontram, e valorize a qualidade e originalidade do seu conteúdo acima do volume.

A memoria coletiva da internet não vai desaparecer do dia para a noite. Mas ela vai mudar de forma. Quem entende essa mudança agora tem vantagem para se adaptar antes que o impacto seja sentido de forma mais aguda.