CEO da Anthropic adverte que a IA está ficando muito poderosa – ao mesmo tempo em que lança uma IA poderosa

O CEO da Anthropic, Dario Amodei, disse na quarta-feira que os governos não podem mais tratar a regulamentação da IA ​​​​como um problema a ser estudado e que os Estados Unidos precisam de requisitos de segurança vinculativos para os modelos de IA mais poderosos.

No ensaio, intitulado “Política sobre a IA Exponencial”, Amodei argumenta que os requisitos de transparência já não são suficientes e apela a uma regulamentação vinculativa dos sistemas de IA de fronteira.

“A IA está avançando em um ritmo relâmpago – em apenas quatro anos, os modelos de IA deixaram de ser capazes de escrever uma linha de código coerente e passaram a escrever a maior parte do código nas principais empresas de IA”, escreveu Amodei.

O ensaio de Amodei ocorre no momento em que a Anthropic expande o acesso ao Claude Mythos com o lançamento do Mythos 5 na terça-feira, seu modelo de IA de fronteira restrita para organizações de segurança cibernética e parceiros governamentais. Pesquisadores, incluindo o AI Security Institute do Reino Unido, descobriram que ele pode executar ataques cibernéticos complexos de forma autônoma.

Segundo Amodei, sua proposta se baseia na estrutura regulatória utilizada pela Administração Federal de Aviação.

“Os modelos fronteiriços de IA, como os aviões, deveriam ser obrigados a passar por testes técnicos e auditorias, e a sua libertação deveria ser bloqueada ou revertida como uma ameaça à segurança pública se não cumprirem elevados padrões de segurança”, escreveu ele. “Estou grato por ver a Ordem Executiva da administração Trump avançar gradualmente no sentido de um papel maior para o governo na IA, embora a proposta da Antrópica recomende ações ainda mais adicionais.”

De acordo com a proposta da Amodei, um quadro regulamentar exigiria testes obrigatórios de modelos avançados de IA por terceiros, autoridade governamental para bloquear implementações inseguras e requisitos para que as empresas protegessem os pesos dos modelos, conduzissem testes de segurança e reportassem incidentes graves. Ele também apela aos governos para que se preparem para a deslocação de empregos impulsionada pela IA e para os avanços no desenvolvimento de medicamentos, limitem a vigilância e as armas autónomas na aplicação da lei nacional e reforcem a cooperação entre as nações democráticas em tecnologias críticas de IA.

“Em primeiro lugar, a deslocação laboral duradoura é indesejável e perigosa, e devemos fazer tudo o que pudermos para minimizá-la ou preveni-la, e não para a provocar”, escreveu ele, apontando para casos anteriores em que alertou sobre a deslocação laboral. “Em segundo lugar, qualquer resposta ao deslocamento de empregos impulsionado pela IA precisa abordar tanto a necessidade de prover economicamente para todos, quanto a necessidade de as pessoas encontrarem significado, propósito e agência.”

O ensaio também foi publicado na mesma semana em que a Anthropic lançou Claude Fable 5, uma versão pública de Claude Mythos 5, que encaminha certas solicitações envolvendo segurança cibernética, biologia, química e desenvolvimento de IA para o menos capaz Claude Opus 4.8 como uma salvaguarda contra o uso indevido. O lançamento atraiu críticas de desenvolvedores e pesquisadores sobre o maior uso de tokens do Fable, requisitos obrigatórios de retenção de dados de 30 dias e salvaguardas que podem reduzir os recursos do modelo sem notificar os usuários.

O apelo da Amodei por mudanças nas políticas em torno do desenvolvimento de IA também ocorre no momento em que a Anthropic se prepara para abrir o capital. No início deste mês, a empresa entrou com a documentação na Comissão de Valores Mobiliários dos EUA para uma oferta pública inicial depois de levantar uma rodada de Série H de US$ 65 bilhões com uma avaliação de US$ 965 bilhões.

Embora Amodei tenha enquadrado a questão como uma corrida entre o progresso tecnológico e as políticas públicas, os críticos questionaram se os apelos a uma regulamentação mais rigorosa da IA ​​servem realmente o bem público. Em abril, o CEO da OpenAI, Sam Altman, acusou a Anthropic de usar “marketing baseado no medo” para promover Claude Mythos, argumentando que as preocupações com a IA avançada podem ser usadas para justificar a concentração do controle da tecnologia entre um pequeno número de empresas.

“Você pode justificar isso de muitas maneiras diferentes, e algumas delas são reais, como se houvesse preocupações legítimas de segurança”, disse Altman. “Mas se o que você quer é ‘precisamos do controle da IA, só nós, porque somos pessoas confiáveis’, acho que o marketing baseado no medo é provavelmente a maneira mais eficaz de justificar isso.”

Amodei rejeitou a ideia de que as preocupações com a IA avançada são principalmente um problema de relações públicas, argumentando, em vez disso, que os receios sobre a tecnologia reflectem preocupações legítimas que devem ser abordadas.

“As pessoas estão preocupadas com a IA porque percebem corretamente que os seus riscos são reais, e não porque os CEOs da IA ​​tenham sido insuficientemente panglossianos”, disse ele, referindo-se ao filósofo fictício Pangloss de Cândido de Voltaire, que é conhecido por manter um otimismo inabalável de que tudo é para o melhor, independentemente das circunstâncias.

“Acredito que é meu dever como líder da IA ​​continuar a ser transparente sobre estes riscos, e a preocupação pública em resposta a esta transparência constitui uma responsabilização democrática que funciona como deveria”, disse ele.