Medida visa proteger direitos de autores e criadores
A gigante da internet Cloudflare anunciou que passará a bloquear, por padrão, o acesso de bots de inteligência artificial (IA) a conteúdos hospedados em sites de sua rede, salvo quando houver autorização explícita dos donos dos domínios ou compensação financeira adequada. A decisão marca uma mudança significativa na forma como conteúdos digitais poderão ser utilizados por empresas de IA para treinar seus modelos.
A partir desta terça-feira, todo novo domínio que aderir aos serviços da Cloudflare será questionado sobre a permissão ou não para que bots de IA possam acessar seu conteúdo. Essa nova configuração permitirá aos proprietários de sites impedir o uso não autorizado de seus dados.
O que é a Cloudflare e qual seu papel na internet
A Cloudflare é uma das principais redes de distribuição de conteúdo (CDN) do mundo. Seu serviço acelera a entrega de sites e aplicações online ao armazenar dados em servidores próximos aos usuários finais. Isso garante uma navegação mais rápida e estável.
Segundo dados da própria empresa, cerca de 16% do tráfego mundial da internet passa diretamente por sua infraestrutura, o que evidencia sua influência no ecossistema digital global.
O problema com os bots de IA
Bots de IA, também conhecidos como crawlers, são programas automatizados que vasculham páginas da internet em busca de grandes volumes de dados — como textos, imagens e artigos — para alimentar modelos de linguagem desenvolvidos por empresas como OpenAI e Google.
Antes, o tráfego na internet valorizava o conteúdo original, redirecionando usuários para os sites criadores. Hoje, no entanto, os bots de IA quebram esse ciclo ao reproduzir informações sem exigir que os usuários visitem a fonte original, prejudicando o tráfego e a receita publicitária dos editores.
“Esses bots vêm raspando conteúdo sem qualquer limite. Queremos devolver o controle aos criadores, sem impedir que as empresas de IA continuem inovando”, declarou Matthew Prince, CEO e cofundador da Cloudflare.
Programa “Pay Per Crawl” e bloqueio padrão
Além do bloqueio automático de bots conhecidos de IA, a Cloudflare também anunciou o lançamento do programa “Pay Per Crawl”. Por meio dele, determinados editores poderão definir preços para permitir que bots de IA acessem seus conteúdos. As empresas de inteligência artificial poderão avaliar essas tarifas e decidir se desejam ou não pagar pelo acesso.
A princípio, o programa estará disponível apenas para um grupo seleto de grandes criadores e veículos de comunicação. No entanto, a Cloudflare afirma que pretende expandi-lo gradualmente para garantir que o uso de conteúdo por sistemas de IA ocorra de forma transparente, autorizada e devidamente remunerada.
Ferramentas contra raspagem indesejada
Desde 2023, a Cloudflare oferece a opção de bloqueio a bots de IA, respeitando ou não o arquivo “robots.txt” — um documento que indica se bots podem ou não acessar determinada página, mas que não possui força de bloqueio real. A empresa também lançou recentemente um recurso chamado “AI Labyrinth”, que desvia bots para páginas confusas e inócuas, dificultando a extração de dados não autorizada.
Agora, com a nova política, o bloqueio é padrão para todos os novos clientes, que poderão personalizar sua política de acesso com base em listas de bots identificados pela Cloudflare.
Apoio de grandes plataformas e colaboração com empresas de IA
Diversos veículos e plataformas de destaque, como The Associated Press, The Atlantic, Fortune, Stack Overflow e Quora, já apoiam a nova política da Cloudflare. Com o crescimento do uso de chatbots e assistentes baseados em IA, o acesso direto aos sites tem diminuído, impactando o consumo de conteúdo original. “As pessoas estão confiando mais nas respostas da IA nos últimos seis meses, o que significa que estão deixando de ler o conteúdo na fonte”, comentou Prince em evento recente.
Por fim, a Cloudflare afirma que está trabalhando em parceria com empresas de IA para validar seus bots e permitir que eles informem claramente seus objetivos — se é para treino, busca ou inferência. Com isso, os administradores de sites poderão decidir com base nessas informações quais bots terão acesso permitido.
A iniciativa representa um passo importante rumo à construção de uma internet mais justa para criadores e empresas que dependem do conteúdo original como principal ativo.
