O que esses protocolos devem dizer sobre segurança?

Pesquisadores e desenvolvedores ainda não entendem como os modelos de IA funcionam, e novas vulnerabilidades estão sendo descobertas o tempo todo. Para aplicações de IA no estilo Chatbot, ataques maliciosos podem fazer com que modelos façam todos os tipos de coisas ruins, incluindo dados de treinamento regurgitadores e insultos de cuspir. Mas para os agentes da IA, que interagem com o mundo em nome de alguém, as possibilidades são muito mais arriscadas.

Por exemplo, um agente de IA, feito para ler e enviar e -mails para alguém, já demonstrou ser vulnerável ao que é conhecido como um ataque indireto de injeção rápida. Essencialmente, um email pode ser escrito de uma maneira que sequestre o modelo de IA e faça com que ele funcione. Então, se esse agente tiver acesso aos arquivos do usuário, poderá ser instruído a enviar documentos privados ao invasor.

Alguns pesquisadores acreditam que protocolos como o MCP devem impedir que os agentes realizem ações prejudiciais como essa. No entanto, não é no momento. “Basicamente, ele não possui nenhum design de segurança”, diz Zhaorun Chen, um estudante de doutorado da Universidade de Chicago que trabalha com segurança do agente da IA e usa servidores MCP.

Bruce Schneier, pesquisador e ativista de segurança, é cético de que protocolos como o MCP possam fazer muito para reduzir os riscos inerentes que vêm com a IA e está preocupado com o fato de dar a essa tecnologia mais poder apenas lhe dar mais capacidade de causar danos no mundo físico real. “Nós simplesmente não temos boas respostas sobre como garantir essas coisas”, diz Schneier. “Vai ser uma fossa de segurança muito rápido”.

Outros são mais esperançosos. O design de segurança pode ser adicionado ao MCP e A2A semelhante à maneira como é para protocolos da Internet como o HTTPS (embora a natureza dos ataques aos sistemas de IA seja muito diferente). E Chen e Antrópico acreditam que padronizando protocolos como MCP e A2A podem ajudar a facilitar a captura e a resolução de problemas de segurança, mesmo como está. Chen usa o MCP em sua pesquisa para testar os papéis que diferentes programas podem desempenhar em ataques para entender melhor as vulnerabilidades. Chu na Antrópico acredita que essas ferramentas podem permitir que as empresas de segurança cibernética lidem com mais facilidade com ataques contra agentes, porque será mais fácil descompactar quem enviou o quê.

Quão abertos devem estar esses protocolos?

Embora o MCP e o A2A sejam dois dos protocolos de agentes mais populares disponíveis hoje, há muitos outros em andamento. Grandes empresas como a Cisco e a IBM estão trabalhando em seus próprios protocolos, e outros grupos apresentaram designs diferentes como a AGORA, projetados por pesquisadores da Universidade de Oxford, que atualizam uma comunicação de agente-serviço da linguagem humana para dados estruturados em tempo real.

Muitos desenvolvedores esperam que, eventualmente, possa haver um registro de sistemas seguros e confiáveis para navegar na proliferação de agentes e ferramentas. Outros, incluindo Chen, desejam que os usuários possam classificar serviços diferentes em algo como um Yelp para ferramentas de agente de IA. Alguns protocolos de nicho até construíram blockchains em cima do MCP e A2A, para que os servidores possam mostrar que não são apenas spam.

technologyreview

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *