Califórnia promulga as primeiras regras dos EUA para chatbots ‘Companion’ de IA

A Califórnia se tornou o primeiro estado a estabelecer proteções explícitas para chatbots “companheiros”, programas de IA que imitam amizade ou intimidade. O governador Gavin Newsom assinou na segunda-feira o projeto de lei 243 do Senado, que exige que os chatbots se identifiquem como artificiais, restrinjam conversas sobre sexo e automutilação com menores e relatem casos de ideação suicida detectada ao Escritório de Prevenção ao Suicídio do estado.

A lei, de autoria do senador estadual Steve Padilla (D-San Diego), marca uma nova frente na supervisão da IA ​​– concentrando-se menos na arquitetura do modelo ou no preconceito de dados e mais na interface emocional entre humanos e máquinas. Ela obriga as empresas a emitir lembretes regulares de que os usuários estão conversando com o software, a adotar protocolos para responder a sinais de automutilação e a manter filtros de conteúdo adequados à idade.

O projeto de lei final é mais restrito do que aquele que Padilla apresentou pela primeira vez. Versões anteriores exigiam auditorias de terceiros e se aplicavam a todos os usuários, não apenas aos menores; essas disposições foram abandonadas em meio à pressão da indústria.

Fraco demais para fazer algum bem?

Vários grupos de defesa disseram que a versão final do projeto de lei era fraca demais para fazer diferença. A Common Sense Media e o Tech Oversight Project retiraram seu apoio depois que os legisladores retiraram as disposições para auditorias de terceiros e uma aplicação mais ampla. Numa declaração a Imprensa de política tecnológicaum defensor disse que o projeto de lei revisado corria o risco de se tornar “um gesto vazio em vez de uma política significativa”.

Newsom defendeu a lei como uma proteção necessária para a tecnologia emergente. “As tecnologias emergentes, como os chatbots e as redes sociais, podem inspirar, educar e conectar – mas sem barreiras de proteção reais, a tecnologia também pode explorar, enganar e pôr em perigo os nossos filhos”, disse ele num comunicado. “Podemos continuar a liderar em IA e tecnologia, mas devemos fazê-lo de forma responsável – protegendo os nossos filhos em cada passo do caminho.”

O SB 243 acompanha um conjunto mais amplo de projetos de lei assinados nas últimas semanas, incluindo o SB 53, que exige que os grandes desenvolvedores de IA divulguem publicamente as suas estratégias de segurança e mitigação de riscos. Juntos, eles colocam a Califórnia na vanguarda da governança de IA em nível estadual.

Mas as novas regras do chatbot podem ser complicadas na prática. Os desenvolvedores alertam que a responsabilidade excessivamente ampla pode levar as empresas a restringir conversas legítimas sobre saúde mental ou sexualidade por precaução, privando os usuários, especialmente os adolescentes isolados, de um apoio valioso.

A aplicação também pode ser difícil: uma empresa global de chatbot pode ter dificuldades para verificar quem se qualifica como menor de idade na Califórnia ou para monitorar milhões de trocas diárias. E, como acontece com muitas inovações na Califórnia, existe o risco de que uma regulamentação bem-intencionada acabe sendo exportada para todo o país antes que alguém saiba se realmente funciona.