Os rastreadores de agentes de IA, os bots que buscam páginas em tempo real em nome de uma pessoa que espera por uma resposta, serão bloqueados por padrão em uma parte da web a partir de 15 de setembro. A Cloudflare anunciou a mudança em 1º de julho, e a maior parte da cobertura desde então se concentrou no Google. A parte mais útil é o que pede a todos os agentes de construção e o que lhes oferece em troca.
Cloudflare substituiu seu switch de bots de IA de bloco único por três categorias. A pesquisa abrange bots que indexam uma página para responder perguntas sobre ela posteriormente. Agente cobre sistemas automatizados que atuam em tempo real para um usuário, incluindo o fetch bot do ChatGPT e agentes de controle de navegador. O treinamento abrange rastreadores que extraem conteúdo dos pesos de um modelo. Os controles foram lançados em 1º de julho para todos os clientes, incluindo o nível gratuito.
A partir de 15 de setembro, os padrões mudam. O Treinamento e o Agente serão bloqueados nas páginas que exibem anúncios, enquanto a Pesquisa permanecerá permitida. Os novos padrões se aplicam a domínios recentemente integrados à Cloudflare, a novos sites configurados por clientes existentes e a todos os clientes existentes de nível gratuito.
Qualquer pessoa que não os queira pode cancelar por meio de suas configurações de segurança antes da data.
A lógica da Cloudflare é que um anúncio é uma evidência de que uma página foi construída para um ser humano acessar. Um rastreador de pesquisa que envia um leitor de volta é uma referência. Um bot que lê a página e entrega a resposta para outra pessoa, não.
O que os rastreadores de agentes de IA enfrentam agora
As implantações Agentic foram construídas com base no pressuposto de que a web aberta permanece aberta. Um agente de pesquisa acessa a página de preços de um concorrente. Uma ferramenta de monitoramento verifica os anúncios de um fornecedor. Um agente de atendimento ao cliente puxa uma folha de especificações do fabricante. Nada disso envolve licença e, até agora, nada disso precisava de licença.
Cloudflare fica na frente de uma grande parte do tráfego mundial da web, e seus blocos operam no nível da rede, e não como uma sugestão de robots.txt que um rastreador pode ignorar. As páginas suportadas por anúncios são exatamente as páginas que os agentes desejam, porque é onde residem as notícias, as avaliações, os preços e a cobertura do produto. O modo de falha de um agente empresarial não é uma ação judicial. É o silêncio, ou uma resposta construída a partir do que ainda pudesse alcançar.
Existe uma complicação em forma de Google. O Googlebot rastreia tanto para pesquisa quanto para treinamento em um único bot. Portanto, sob a regra mais restritiva, um site que bloqueia o Treinamento também bloqueia o Googlebot. O CEO da Cloudflare, Matthew Prince, disse que a empresa espera que as mudanças “encorajem os rastreadores de uso misto a separar a pesquisa do uso e treinamento do agente”, o que é uma forma educada de dizer que a questão é a pressão.
Obtendo permissão para rastreadores de agentes de IA
Qualquer pessoa que execute agentes deve começar descobrindo quais de suas contas Cloudflare serão consideradas de classe Agente. A classificação é comportamental e não algo que você opte, portanto, um agente de pesquisa que navega em tempo real é pego independentemente de seu operador considerá-lo um rastreador ou não.
Espere uma cobertura degradada em vez de uma falha limpa, porque o bloqueio chega a páginas suportadas por anúncios e deixa o resto acessível. O acesso negociado, e não uma string user-agent reescrita, é o caminho.
Os editores têm uma lista de tarefas de casa diferente. Verifique seu nível primeiro, uma vez que os clientes existentes do nível gratuito serão movidos para os novos padrões automaticamente em 15 de setembro, um detalhe ignorado pela maioria da cobertura. Em seguida, decida se bloquear o treinamento vale o que custa, porque leva consigo o Googlebot e sua visibilidade de pesquisa.
O mecanismo que vale a pena observar é o dinheiro. Pay Per Crawl está se tornando Pay Per Use, com Ceramic.ai pagando aos editores quando seu conteúdo aparece nos resultados de pesquisa de IA e You.com pagando quando um agente alcança conteúdo premium. A Cloudflare diz que mais da metade do tráfego do rastreador de IA é gasto na busca de páginas que não foram alteradas, portanto, há desperdício em ambos os lados que vale a pena avaliar.
Esta é a primeira rodada da luta pelo conteúdo, onde a resposta oferecida é uma taxa e não um muro.
Uma fraqueza reside na própria taxonomia. Pesquisa, Agente e Treinamento são comportamentos que as empresas de IA declaram sobre seus próprios bots, e uma empresa que prefere não ter seu treinamento classificado como treinamento tem um incentivo óbvio. O anúncio não explica o que o impede.
O acesso à web aberta é gratuito e ilimitado há trinta anos, e a conta agora está discriminada. Os construtores de agentes que resolvem seu acesso antes de setembro têm um problema viável. Aqueles que descobrirem através de um 403 estarão reconstruindo rapidamente.
Veja também: A integração Visa ChatGPT permite compras no varejo por agentes de IA
Quer saber mais sobre IA e big data dos líderes do setor? Confira a AI & Big Data Expo que acontece em Amsterdã, Califórnia e Londres. O evento abrangente faz parte da TechEx e está localizado junto com outros eventos de tecnologia líderes, incluindo o Cyber Security & Cloud Expo. Clique aqui para mais informações.
AI News é desenvolvido pela TechForge Media. Explore outros eventos e webinars de tecnologia empresarial futuros aqui.
Fontesartificialintelligence
