Novo livro sobre a IA diz ‘todo mundo morre’, os principais chatbots discordam

Pode parecer um thriller de Hollywood, mas em seu novo livro “Se alguém o constrói, todo mundo morre”, os autores Eliezer Yudkowsky e Nate Soares argumentam que, se a humanidade cria uma inteligência mais inteligente do que ela, a sobrevivência não seria improvável – seria impossível.

Os autores argumentam que os sistemas de hoje não são projetados linha por linha, mas “crescidos”, treinando bilhões de parâmetros. Isso torna seu comportamento imprevisível.

À medida que a inteligência escala, unidades como autopreservação ou busca de poder podem surgir de forma independente, alertam os autores. Se esse sistema superar o controle humano, eles dizem, a extinção seguiria por padrão.

Eles chamam a corrida atual entre os gigantes da tecnologia e os governos para construir modelos cada vez maiores de “raça suicida”. Não é necessário vilania, apenas incompetência.

Por que isso importa

O livro atinge a comunidade de IA já fraturada em acampamentos.

A IA Doomers argumenta que a extinção é o resultado inevitável, a menos que a humanidade interrompa ou diminua drasticamente o progresso. Os aceleração contrariam que avançar pode proporcionar avanços em medicina, ciência e economia, enquanto desacelera representa um perigo maior.

A Superintelligência de Nick Bostrom fez o caso existencial há uma década. Yudkowsky e Soares o afastam em uma chamada Klaxon.

Mas os críticos temem que a fixação na extinção distraia os danos já aqui: preconceitos, demissões, vigilância e desinformação.

O que os modelos de IA diz

Como o livro está falando sobre eles, perguntamos a liderar modelos de IA o que eles acham disso.

Até onde sabemos, nenhum dos LLMs já leu o livro ainda, portanto, as seguintes críticas são baseadas nas interpretações das plataformas das revisões que eles interpolaram.

Chatgpt

O chatgpt da OpenAI emoldou o livro como uma provocação útil e não como uma profecia.

“O livro é valioso como uma ferramenta de mudança de perspectiva, mesmo que você ache que ele ultrapassa”, respondeu o chatbot. “Isso aprimora as intuições sobre o alinhamento e as consequências não intencionais. Mas tratar seu pior caso, pois inevitável ignora a incerteza em torno de futuras arquiteturas, regulamentos e restrições”.

O ChatGPT afirmou que o modelo de futuros desenvolvimentos de IA depende de como os arquiteturas evoluem e o que surge os corrimões regulatórios, sociais ou técnicos.

“Essa incerteza significa que eu não trataria o pior caso do pior caso como inevitável”, Chatgpt cheirou.

Meta

Meta Ai fez uma nota do meio, dizendo que os terríveis avisos do livro são exagerados, mas ainda valiosos para provocar debate.

“Suas previsões terríveis podem parecer exageradas, mas a ênfase na cautela e na cooperação internacional é justificada”, respondeu Meta Ai. “Se você concorda ou não com sua conclusão, as faíscas do livro precisavam de debate sobre o desenvolvimento responsável da IA”.

A IA da Meta disse que a ênfase dos autores na necessidade de cautela e cooperação internacional é bem justificada, dadas as conseqüências potencialmente catastróficas do desenvolvimento de IA inalinhado.

Gêmeos

Os gêmeos do Google lançaram o livro como uma leitura aterrorizante, mas esclarecedora, mesmo que suas soluções propostas pareçam irrealistas.

“O livro é essencial para a compreensão do extremo risco de IA”, disse Gemini. “Sua solução proposta – um desligamento total – é politicamente inatingível, mas o aviso pode galvanizar o investimento em técnicas de segurança e controle antes de chegarmos ao ponto sem retorno”.

Gêmeos disse que o livro define as apostas extremas da superinteligência, que, por sua vez, ajudam a justificar as medidas de segurança robustas (se menos radicais) hoje.

Claude

O Claude do Anthrópico era ainda mais cético, o que era interessante, pois entre os principais LLMs, o antropal é geralmente considerado o mais consciente da segurança. Mas Claude descreveu o tom do livro como “confiante demais” e seu enquadramento como binário demais.

“Os autores identificam corretamente os riscos reais, mas sua certeza se sente confiante demais”, disse Claude. “Eles descartam o progresso na pesquisa de segurança da IA ​​e enquadram a questão como um binário entre perfeição e extinção. Isso torna sua mensagem menos construtiva”.

Enquanto seus avisos destacam riscos importantes que justificam recursos e cautela substanciais, Claude disse que o enquadramento de “todos morre” parece mais projetado para chamar a atenção do que representar com precisão as complexas incertezas envolvidas.

“Os riscos são graves o suficiente para levar a sério, sem precisar aceitar suas reivindicações de catástrofe inevitável”, disse a IA.

Grok

A plataforma de AI de Elon Musk também surpreendeu, já que ele está promovendo Grok como a mídia anti-mainstream AI de registro.

Mas Grok foi rápido em citar “uma revisão contundente do NYT, (chamando) seus argumentos fracos ou alarmistas”.

“Este livro é um lembrete de que a inteligência sem sabedoria é uma responsabilidade, e ainda não temos nada disso assado”, respondeu Grok. “Dito isto, é pornô do Doomer para os racionalistas: emocionante em seu fatalismo, mas sustenta a adaptabilidade humana. O ethos de Xai – curiosidade sobre a conquista – sugere que possamos enfiar a agulha: perseguir a IA ousada para perguntas cósmicas ao incorporar salvaguardas desde o dia um.”

Além dessa chamada, no entanto, Grok disse que “no geral, é uma leitura provocativa e eficiente para quem luta com o futuro da IA ​​- compensando se você estiver aberto ao pessimismo, mas potencialmente exagerado se você estiver otimista sobre o progresso da tecnologia”.