A disponibilidade de inteligência artificial para uso na guerra está no centro de uma batalha legal entre a Antrópica e o Pentágono. Este debate tornou-se urgente, com a IA a desempenhar um papel mais importante do que nunca no actual conflito com o Irão. A IA não está mais apenas ajudando os humanos a analisar a inteligência. É agora um interveniente activo – gerando alvos em tempo real, controlando e coordenando intercepções de mísseis e guiando enxames letais de drones autónomos.
A maior parte da conversa pública sobre o uso de armas letais autônomas baseadas em IA centra-se em quanto os humanos devem permanecer “informados”. De acordo com as actuais directrizes do Pentágono, a supervisão humana supostamente fornece responsabilidade, contexto e nuances, ao mesmo tempo que reduz o risco de pirataria informática.
Os sistemas de IA são “caixas pretas” opacas
Mas o debate sobre “humanos no circuito” é uma distração reconfortante. O perigo imediato não é que as máquinas atuem sem supervisão humana; é que os superintendentes humanos não têm ideia do que as máquinas estão realmente “pensando”. As directrizes do Pentágono são fundamentalmente falhas porque se baseiam na perigosa suposição de que os humanos compreendem como funcionam os sistemas de IA.
Tendo estudado as intenções no cérebro humano durante décadas e nos sistemas de IA mais recentemente, posso atestar que os sistemas de IA de última geração são essencialmente “caixas pretas”. Conhecemos as entradas e as saídas, mas o “cérebro” artificial que as processa permanece opaco. Mesmo seus criadores não conseguem interpretá-los completamente ou compreender como funcionam. E quando as IAs fornecem razões, nem sempre são confiáveis.
A ilusão da supervisão humana em sistemas autônomos
No debate sobre a supervisão humana, uma questão fundamental não é colocada: podemos compreender o que um sistema de IA pretende fazer antes de agir?
Imagine um drone autônomo encarregado de destruir uma fábrica de munições inimiga. O sistema automatizado de comando e controle determina que o alvo ideal é um edifício de armazenamento de munições. Ele relata uma probabilidade de 92% de sucesso da missão porque as explosões secundárias das munições no edifício destruirão completamente a instalação. Um operador humano analisa o objetivo militar legítimo, vê a elevada taxa de sucesso e aprova o ataque.
Mas o que o operador não sabe é que o cálculo do sistema de IA incluía um factor oculto: além de devastar a fábrica de munições, as explosões secundárias também danificariam gravemente um hospital infantil próximo. A resposta de emergência se concentraria então no hospital, garantindo o incêndio da fábrica. Para a IA, maximizar a disrupção desta forma cumpre o seu objetivo. Mas para um ser humano, está potencialmente a cometer um crime de guerra ao violar as regras relativas à vida civil.
Manter um ser humano informado pode não fornecer a proteção que as pessoas imaginam, porque o ser humano não pode saber a intenção da IA antes de ela agir. Os sistemas avançados de IA não executam simplesmente instruções; eles os interpretam. Se os operadores não conseguirem definir os seus objectivos com cuidado suficiente – um cenário altamente provável em situações de alta pressão – o sistema de “caixa negra” poderá estar a fazer exactamente o que foi dito e ainda assim não agir como os humanos pretendiam.
Esta “lacuna de intenções” entre os sistemas de IA e os operadores humanos é precisamente a razão pela qual hesitamos em implementar a IA de caixa negra de fronteira nos cuidados de saúde civis ou no controlo do tráfego aéreo, e a razão pela qual a sua integração no local de trabalho continua preocupante – mas estamos a apressar-nos para a implementar no campo de batalha.
Para piorar a situação, se um dos lados num conflito utilizar armas totalmente autónomas, que operem à velocidade e à escala das máquinas, a pressão para se manter competitivo levaria o outro lado a confiar também nessas armas. Isto significa que a utilização de uma tomada de decisão cada vez mais autónoma – e opaca – da IA na guerra só tende a crescer.
A solução: avançar a ciência das intenções da IA
A ciência da IA deve incluir tanto a construção de tecnologia de IA altamente capaz como a compreensão de como esta tecnologia funciona. Enormes avanços foram feitos no desenvolvimento e construção de modelos mais capazes, impulsionados por investimentos recordes – previstos pela Gartner para crescer para cerca de 2,5 biliões de dólares só em 2026. Em contrapartida, o investimento na compreensão de como a tecnologia funciona tem sido minúsculo.
Precisamos de uma enorme mudança de paradigma. Os engenheiros estão construindo sistemas cada vez mais capazes. Mas compreender como estes sistemas funcionam não é apenas um problema de engenharia – requer um esforço interdisciplinar. Devemos construir as ferramentas para caracterizar, medir e intervir nas intenções dos agentes de IA antes eles agem. Precisamos de mapear os caminhos internos das redes neurais que impulsionam estes agentes para que possamos construir uma verdadeira compreensão causal da sua tomada de decisão, indo além da mera observação de entradas e saídas.
Um caminho promissor a seguir é combinar técnicas de interpretabilidade mecanicista (quebrando as redes neurais em componentes compreensíveis pelo homem) com insights, ferramentas e modelos da neurociência das intenções. Outra ideia é desenvolver IAs “auditoras” transparentes e interpretáveis, projetadas para monitorar o comportamento e os objetivos emergentes de sistemas de caixa preta mais capazes em tempo real.
O desenvolvimento de uma melhor compreensão de como as funções da IA nos permitirá confiar em sistemas de IA para aplicações de missão crítica. Também tornará mais fácil construir sistemas mais eficientes, mais capazes e mais seguros.
Colegas e eu estamos explorando como ideias da neurociência, da ciência cognitiva e da filosofia – campos que estudam como as intenções surgem na tomada de decisões humanas – podem nos ajudar a compreender as intenções dos sistemas artificiais. Devemos priorizar esses tipos de esforços interdisciplinares, incluindo colaborações entre a academia, o governo e a indústria.
No entanto, precisamos de mais do que apenas exploração acadêmica. A indústria tecnológica – e os filantropos que financiam o alinhamento da IA, que se esforça para codificar valores e objetivos humanos nestes modelos – devem direcionar investimentos substanciais para a investigação interdisciplinar sobre interpretabilidade. Além disso, à medida que o Pentágono procura sistemas cada vez mais autónomos, o Congresso deve exigir testes rigorosos das intenções dos sistemas de IA, e não apenas do seu desempenho.
Até conseguirmos isso, a supervisão humana sobre a IA pode ser mais uma ilusão do que uma salvaguarda.
Uri Maoz é um neurocientista cognitivo e computacional especializado em como o cérebro transforma intenções em ações. Professor da Chapman University com nomeações na UCLA e Caltech, ele lidera uma iniciativa interdisciplinar focada na compreensão e medição de intenções em sistemas de inteligência artificial (ai-intentions.org).
