Os sistemas autônomos de IA estão começando a ir além dos ambientes de software e entrando em armazéns, redes de entrega e espaços públicos. O desenvolvimento está a chamar a atenção para a questão de saber se as regras atuais de IA abrangem sistemas que operam em ambientes físicos.
A maioria dos quadros de governação da IA existentes centraram-se nos danos online e nos resultados dos modelos, incluindo preconceitos, desinformação e conteúdos nocivos. Os sistemas de IA incorporados acarretam riscos em ambientes físicos, onde as falhas podem afetar a infraestrutura, a propriedade ou a segurança humana.
A Autoridade de Desenvolvimento de Mídia Infocomm de Cingapura publicou a versão 1.5 de seu Modelo de Governança de IA para IA Agente em 20 de maio. A estrutura estabelece orientações para organizações que implantam agentes de IA que podem planejar, tomar decisões e executar ações em várias etapas para completar metas definidas pelo usuário.
A estrutura diz que os agentes podem interagir com ferramentas, sistemas externos e outros agentes, incluindo sistemas que atualizam bancos de dados, gravam arquivos, controlam dispositivos ou realizam transações. Ele lista controles de acesso, monitoramento e aprovação humana entre as medidas de governança para implantação.
IA se move para sistemas físicos
Numa cimeira de IA em Singapura, na semana passada, as discussões em torno da robótica e da IA incorporada centraram-se em questões de segurança operacional mais frequentemente associadas à aviação, aos sistemas industriais e à supervisão de infra-estruturas críticas do que à regulamentação de software convencional.
Os palestrantes também discutiram se os sistemas autônomos podem operar com segurança e confiabilidade em ambientes imprevisíveis do mundo real durante longos períodos.
Ya-Qin Zhang, reitor fundador do Instituto de Pesquisa da Indústria de IA da Universidade de Tsinghua, disse que os sistemas de IA incorporados amplificam os riscos já associados ao software autônomo. Ele disse que as falhas podem afetar diretamente os sistemas de transporte, drones, redes logísticas e infraestruturas críticas.
“Qualquer risco no domínio digital será amplificado no domínio físico, e o domínio físico terá uma consequência física”, disse Zhang. Mlex à margem da cimeira.
Ele acrescentou que veículos, drones, redes inteligentes e outras infraestruturas podem ficar expostos à medida que os sistemas de IA são incorporados mais profundamente nas operações físicas.
Os palestrantes discutiram a confiabilidade, o monitoramento operacional e a garantia pós-implantação como questões de governança. As discussões da Cimeira apontaram para modelos de governação baseados na implementação, construídos em torno de simulação, telemetria e testes iterativos, em vez de apenas certificação única.
A estrutura da IMDA também recomenda implementações graduais, monitoramento contínuo e testes adicionais após a implantação. Diz que os agentes interagem dinamicamente com o seu ambiente e nem todos os riscos podem ser previstos antes da libertação.
O monitoramento se torna um problema de implantação
Grab, que está pilotando veículos autônomos e robôs de entrega no distrito de Punggol, em Cingapura, disse que a governança da implantação depende fortemente de simulação, testes e monitoramento contínuo.
“Fazemos muitas simulações, fazemos muitos testes em cursos fechados e abertos para garantir que nossos robôs sejam confiáveis”, disse Suthen Thomas Paradatheth, diretor de tecnologia da Grab, durante um dos painéis da cúpula.
“Antes de escalarmos para centenas de robôs, garantimos que o decifraremos primeiro em simulação e com alguns robôs”, acrescentou.
Grab também apontou sistemas de monitoramento projetados para rastrear o desempenho do robô e detectar falhas inesperadas após a implantação.
“Há uma longa série de questões que podem surgir”, disse Paradatheth.
A estrutura IMDA diz que as organizações devem avaliar os casos de uso de IA com base no acesso a dados, acesso a sistemas externos, autonomia e complexidade de tarefas. Também aponta para o âmbito e reversibilidade das ações dos agentes, do envolvimento de terceiros e da complexidade geral do sistema.
Também recomenda limitar o acesso dos agentes a ferramentas e sistemas, aplicar permissões de privilégio mínimo e definir procedimentos operacionais padrão para fluxos de trabalho dos agentes. As organizações também devem definir mecanismos para colocar os agentes off-line quando eles apresentarem mau funcionamento.
A responsabilização se espalha por mais atores
Mlex relataram que os sistemas de IA incorporados podem envolver várias partes no desenvolvimento, fabricação e implantação. Estes incluem desenvolvedores de IA, fabricantes de robótica, fornecedores de semicondutores e operadores de infraestrutura.
Mlex também observou que pode ser mais difícil atribuir responsabilidades quando os sistemas continuam a se adaptar após a implantação por meio de atualizações de software, telemetria e dados operacionais.
A IMDA afirma que as organizações e os seres humanos continuam a ser responsáveis pelas ações dos agentes, mesmo quando os agentes operam de forma autónoma. A estrutura exige responsabilidade clara em toda a cadeia de valor da IA de agência, desde fornecedores de modelos e plataformas até implantadores, fornecedores de ferramentas e usuários finais.
A Applied Materials disse que a implantação da robótica em larga escala também está ligada à economia de semicondutores e à integração de sistemas. Om Nalamasu, diretor de tecnologia da empresa, disse que os sistemas robóticos dependerão de melhores sensores, eficiência energética, embalagens avançadas e arquiteturas de computação.
Nalamasu disse que os sistemas robóticos exigiriam projetos específicos e adaptados a ecossistemas industriais específicos, em vez de uma solução única para todos os ambientes.
Zhao Yuli, diretor de estratégia da startup chinesa de robótica Galbot, disse que Pequim está priorizando a escala de implantação e a comercialização industrial por meio de bancos de testes apoiados pelo governo, parcerias industriais e iniciativas de financiamento de longo prazo.
Galbot implantou sistemas robóticos humanóides em operações de varejo, armazéns e farmacêuticas na China. Isso inclui lojas autônomas que funcionam 24 horas por dia. Zhao disse que os ambientes industriais semiestruturados provavelmente se tornarão um caminho inicial de comercialização porque oferecem condições operacionais mais controláveis.
O Japão está a colocar mais ênfase na definição de normas, nos conjuntos de dados robóticos e na governação da segurança. O professor Yutaka Matsuo, da Escola de Pós-Graduação em Engenharia da Universidade de Tóquio, apontou para um projeto da “Associação de IA” que visa coletar 100.000 horas de dados robóticos para apoiar modelos de fundação robótica.
Matsuo também se referiu ao Instituto de Segurança de IA do Japão e ao Processo de IA de Hiroshima como parte de esforços mais amplos para desenvolver padrões de governança para sistemas de IA incorporados com Singapura e outros países asiáticos.
Cingapura estabelece controles de agente
A estrutura de Singapura estabelece quatro áreas de governação para a IA de agência. Estas abrangem a avaliação inicial dos riscos, a responsabilização humana, os controlos técnicos e a responsabilidade do utilizador final. A estrutura descreve-os como um processo iterativo em vez de uma avaliação única.
A estrutura diz que a supervisão humana deve ser adaptada aos sistemas de agente porque a revisão contínua de todos os fluxos de trabalho torna-se impraticável em grande escala. Recomenda a aprovação humana em pontos de verificação significativos, incluindo ações de alto risco, ações irreversíveis e comportamentos atípicos.
A IMDA também identifica o viés de automação e a fadiga de alertas como riscos quando humanos supervisionam agentes capazes. Recomenda a supervisão da auditoria através de indicadores como taxas de intervenção humana e tempos de resposta, e a utilização de monitorização automatizada em tempo real para sinalizar comportamentos inesperados.
A estrutura diz que os usuários devem ser informados sobre quais ações um agente pode realizar, quais dados ele pode acessar e quais responsabilidades permanecem com o usuário. Também recomenda a formação dos funcionários sobre a interacção humano-agente, a supervisão e as competências profissionais necessárias para avaliar os resultados dos agentes.
Empresas testam IA em fluxos de trabalho regulamentados
O JPMorgan está implementando ferramentas de IA em seus negócios globais de banco de investimento, disse Paul Uren, chefe de banco de investimento do banco na Ásia-Pacífico. Reuters. O banco disse que as ferramentas ajudam os banqueiros a acessar mais informações e a sintetizá-las com sistemas internos. Eles também estão sendo usados para preparar conteúdo e apoiar o envolvimento do cliente.
O CEO do JPMorgan, Jamie Dimon, disse Notícias da Bloomberg que o banco contrataria mais especialistas em IA e menos banqueiros tradicionais. Reuters relataram que os bancos globais estão aumentando o investimento em IA, remodelando as forças de trabalho e mudando os cargos.
O banco também está entre as organizações selecionadas autorizadas pela Anthropic a usar seu modelo de segurança cibernética Mythos sob uma iniciativa controlada conhecida como Projeto Glasswing. De acordo com a Anthropic, o Mythos pode detectar vulnerabilidades antigas em navegadores, infraestrutura e software.
Reuters relataram que Goldman Sachs, Citigroup, Bank of America e Morgan Stanley também têm acesso ou estão testando o Mythos, citando fontes e executivos da empresa.
A estrutura da IMDA inclui um estudo de caso do OCBC Bank of Singapore sobre análise da fonte de riqueza. O sistema analisa documentos relacionados à renda e elabora um memorando sobre a fonte de riqueza. Não toma decisões de crédito, integração ou risco de forma autônoma.
Nesse caso, o fluxo de trabalho é limitado à autonomia no nível da tarefa e funciona somente quando acionado por fluxos de trabalho predefinidos. A revisão humana é necessária em pontos críticos de decisão e a validação final permanece com revisores designados.
Robôs passam para uso industrial
No Japão, um terço das empresas já utiliza ou considera robôs alimentados por IA, de acordo com um estudo Reuters pesquisa realizada pela Nikkei Research de 1º a 15 de maio. A pesquisa contatou 492 empresas, com 220 respondendo sob condição de anonimato.
Cerca de 4% dos entrevistados disseram que já usam robôs de IA, 5% planejam implantá-los e 25% estão pensando em fazê-lo. Os 66% restantes disseram não ter tais planos.
Os fabricantes de equipamentos de transporte foram o grupo mais ativo na pesquisa, com 80% já usando robôs de IA ou considerando a implantação. Em comparação, 94% dos entrevistados do setor atacadista disseram não ter planos de implantar robôs de IA.
Entre as empresas que usam, planejam usar ou consideram robôs de IA, 71% selecionaram a manufatura como caso de uso. Outros 19% selecionaram tarefas perigosas, enquanto 11% selecionaram serviços voltados para o cliente.
O governo japonês espera que os robôs de IA ajudem a resolver a escassez crónica de mão-de-obra do país e apoiem a sua posição na robótica industrial. O Japão é o lar de empresas de robótica, incluindo Fanuc, Yaskawa Electric e Kawasaki Heavy Industries, mas enfrenta a concorrência da China e dos Estados Unidos na robótica habilitada para IA.
Agentes de varejo vão além da pesquisa
O Walmart delineou planos para usar IA de agência em fluxos de trabalho de compras, funcionários, fornecedores e desenvolvedores.
Em julho de 2025, o varejista anunciou planos para quatro “superagentes” alimentados por IA. Eles são projetados para compradores, funcionários de lojas, fornecedores e vendedores e desenvolvedores de software. O Walmart disse que esses agentes se tornariam o principal ponto de entrada para interações de IA entre esses grupos.
Uma das ferramentas, Sparky, já está disponível no aplicativo do Walmart como um assistente de compras generativo com tecnologia de IA. Hari Vasudev, diretor de tecnologia do Walmart nos EUA, disse que sua versão expandida seria capaz de reordenar itens e planejar eventos. Também usaria a visão computacional para sugerir receitas baseadas no conteúdo da geladeira de um cliente.
O Walmart também está desenvolvendo um superagente associado para funcionários de lojas e corporativos. Um agente Marty separado está sendo criado para vendedores, fornecedores e anunciantes. O varejista também está trabalhando em um superagente desenvolvedor para testar, construir e lançar futuras ferramentas de IA.
A empresa se recusou a dizer se os agentes substituiriam empregos. Dave Glick, vice-presidente sênior de sistemas de negócios empresariais, disse que as ferramentas criariam novos empregos, sem dar mais detalhes.
(Foto de Growtika)
Veja também: OpenAI abre laboratório de IA em Cingapura enquanto IMDA atualiza estrutura de IA
Quer saber mais sobre IA e big data dos líderes do setor? Confira a AI & Big Data Expo que acontece em Amsterdã, Califórnia e Londres. O evento abrangente faz parte da TechEx e é realizado junto com outros eventos líderes de tecnologia. Clique aqui para obter mais informações.
AI News é desenvolvido pela TechForge Media. Explore outros eventos e webinars de tecnologia empresarial futuros aqui.
Fontesartificialintelligence
