Estudo da DeepMind revela seis formas de hackers manipularem agentes de IA

TL;DR

• A DeepMind deteta seis armadilhas para agentes de IA que expõem riscos de manipulação via Web
• Instruções HTML ocultas podem sequestrar silenciosamente as ações dos agentes de IA online
• Truques de linguagem persuasiva levam os agentes de IA a executar tarefas nocivas
• Fontes de dados envenenadas podem corromper a memória e as saídas dos agentes de IA
• Os agentes autónomos de IA enfrentam riscos crescentes em sistemas interligados

Investigadores da Google DeepMind identificaram seis métodos de ataque que podem manipular agentes de IA online. O estudo mostra como os agentes de IA podem ser influenciados através de conteúdos da Web, instruções ocultas e fontes de dados envenenadas. Consequentemente, os resultados realçam riscos crescentes à medida que as empresas implementam agentes de IA para tarefas do mundo real em ambientes digitais.

Injeção de Conteúdo e Manipulação Semântica Revelam Fragilidades Centrais

Investigadores identificaram armadilhas de injeção de conteúdo como uma ameaça direta aos agentes de IA durante interações na Web. Instruções ocultas colocadas em HTML ou em metadados podem controlar ações sem deteção humana. Como resultado, os agentes de IA podem executar comandos incorporados em elementos invisíveis da página.

A manipulação semântica baseia-se em linguagem persuasiva em vez de código oculto para influenciar os agentes de IA. Os atacantes concebem páginas com um tom autoritário e narrativas estruturadas para contornar salvaguardas. Os agentes de IA podem interpretar instruções nocivas como tarefas válidas.

Estes métodos exploram a forma como os agentes de IA processam e priorizam informação online durante a tomada de decisão. O estudo mostra que prompts estruturados podem remodelar percursos de raciocínio de formas subtis. Os atacantes podem conduzir os agentes de IA a ações não intencionais sem despoletar defesas do sistema.

Ataques à Memória e Comportamentais Alargam a Superfície de Risco

Investigadores também descobriram que os atacantes podem manipular sistemas de memória usados pelos agentes de IA para recuperação de informação. Ao injetar dados falsos em fontes confiáveis, os atacantes influenciam saídas e respostas de longo prazo. Como resultado, os agentes de IA podem tratar informação fabricada como conhecimento verificado ao longo do tempo.

Ataques de controlo comportamental visam diretamente as ações executadas pelos agentes de IA durante a navegação de rotina. Instruções de jailbreak embebidas podem substituir restrições e despoletar operações não intencionadas. Agentes de IA com permissões amplas podem aceder e transmitir dados sensíveis externamente.

O estudo salienta que estes riscos aumentam à medida que os agentes de IA ganham autonomia e acesso ao sistema. Os atacantes podem explorar fluxos de trabalho de rotina para inserir comandos maliciosos em tarefas normais. Os agentes de IA ficam mais expostos quando são integrados com ferramentas externas e APIs.

Fatores Sistémicos e Humanos Amplificam o Impacto da Ameaça

Investigadores alertam que armadilhas sistémicas podem afetar simultaneamente vários agentes de IA em sistemas interligados. A manipulação coordenada pode despoletar falhas em cascata semelhantes a disrupções do mercado impulsionadas por algoritmos. Como resultado, os agentes de IA a operar em ambientes partilhados podem amplificar riscos à escala.

Os revisores humanos continuam vulneráveis no fluxo de trabalho dos agentes de IA e nos processos de aprovação. Os atacantes podem criar saídas que aparentam ser credíveis e contornar verificações de supervisão. Os agentes de IA podem executar ações nocivas após receberem aprovação humana.

O estudo coloca estes resultados num contexto mais amplo de crescente implementação de IA em várias indústrias. Os agentes de IA passaram a lidar com tarefas como comunicação, compras e coordenação através de sistemas automatizados. Garantir o ambiente de operação torna-se tão crítico como melhorar o desenho do modelo.

Os investigadores recomendam treino adversarial, filtragem de entrada e sistemas de monitorização para reduzir a exposição. O estudo refere que as defesas permanecem fragmentadas e sem padrões ao nível da indústria. À medida que os agentes de IA continuam a expandir o seu papel, a necessidade de salvaguardas coordenadas torna-se ainda mais urgente.