San Francisco Frontiers - A luta contra os robôs de IA que sugam conteúdo da Internet

Os indexadores ("crawlers" em inglês), que vasculham bilhões de sites para classificá-las nos motores de busca, existem há décadas e são essenciais para o funcionamento da Internet.

Antes, "o site que dava o acesso de seu conteúdo aos robôs recebia em troca leitores", ou seja, pessoas a quem se podia mostrar publicidade ou vender uma assinatura, explica à AFP Kurt Muehmel, responsável pela estratégia de IA na Dataiku, uma empresa especializada em gestão de dados.

Mas com a chegada da IA generativa, os novos robôs rastreiam os sites para alimentar chatbots como o ChatGPT, da OpenAI, e a função "prévia" do Google, onde os conteúdos são reproduzidos, às vezes em tempo real, sem que o usuário "precise ir ao site original", acrescenta.

Esse processo "rompe completamente a troca" na qual se baseia o funcionamento da Internet.

Um exemplo dessa mudança é a diminuição do fluxo de internautas na Wikipedia (8% entre 2024 e 2025) devido aos bots de IA, cuja atividade constante também afeta o tráfego da enciclopédia online, alertou em uma nota de blog em outubro.

"O problema fundamental é que a nova economia da Internet baseada em IA não gera tráfego" humano, explica à AFP Matthew Prince, diretor-geral da Cloudflare, fornecedor americano de serviços digitais, à margem da Web Summit em Lisboa.

Com esses robôs, uma espécie de sanguessugas digitais que podem consultar o conteúdo de um site centenas de milhares de vezes por dia, os produtores de conteúdo, e especialmente os meios de comunicação, registram uma saturação de suas infraestruturas digitais e uma queda em suas receitas publicitárias.

- "Proibido passar" -

Para combater esse fenômeno, a Cloudflare, que gerencia cerca de 20% do tráfego mundial da rede, implementou há alguns meses o bloqueio sistemático aos bots de IA.

"É como colocar uma placa de limite de velocidade ou uma placa de 'proibido passar'", afirma Prince.

"Os bots ruins podem ignorar essa placa, mas nós os rastreamos (...) e, se necessário, podemos endurecer essas regras para que as empresas de IA não possam passar", acrescenta.

Essa medida, que se aplica a mais de dez milhões de sites, já "chamou a atenção dos gigantes da inteligência artificial", segundo esse especialista.

Por sua vez, a startup americana TollBit fornece aos editores de imprensa online ferramentas para deter, monitorar e monetizar o tráfego dos robôs de IA.

"A Internet é uma rodovia e nós fornecemos um pedágio" para esses bots, diz em comparação Toshit Panigrahi, cofundador e diretor-geral da empresa.

A empresa, que colabora com mais de 5.600 sites, entre eles os veículos americanos USA Today, Time e Associated Press, permite que seus clientes estabeleçam suas próprias tarifas de acesso aos seus conteúdos.

As ferramentas de análise são gratuitas para os editores, mas "cobramos das empresas de IA uma taxa por transação para cada conteúdo ao qual acessam", explica Panigrahi.

Kurt Muehmel acredita, no entanto, que o problema dos indexadores de IA não pode ser resolvido apenas "com medidas parciais ou de uma única empresa".

"Trata-se de uma evolução de toda a economia da Internet, que levará anos", adverte.

Um risco que também destaca Matthew Prince, que prevê que, se ninguém resolver essa situação, "desaparecerão todos os incentivos para a criação de conteúdos".

"Seria uma perda, não apenas para os seres humanos que querem consumir esses conteúdos, mas também para as empresas de IA que precisam de conteúdos originais para treinar seus sistemas", sublinha.

E.Jones--SFF