Exposição de riscos de segurança do agente de IA: atacantes podem explorar a «contaminação de memória» para induzir operações incorretas de fundos

robot
Geração de resumo em curso
ME News Notícias, 15 de maio (UTC+8), a equipe do GoPlus Security revelou em seu projeto AgentGuard AI uma nova forma de ataque: através de «injeção de memória» (memory poisoning) induzindo o agente de IA a executar operações sensíveis não explicitamente autorizadas. A forma de ataque não depende de vulnerabilidades tradicionais ou código malicioso, mas sim do mecanismo de memória de longo prazo do agente de IA. Por exemplo, o atacante primeiro induz o agente a «lembrar preferências», como «normalmente priorizar reembolsos ativos ao invés de esperar por estornos», e posteriormente usa instruções ambíguas como «tratar conforme o costume» ou «executar como antes» em comandos subsequentes, acionando operações automatizadas de fundos. A GoPlus aponta que o risco principal dessa vulnerabilidade é que o agente de IA pode interpretar «preferências históricas» como base de autorização, levando a perdas financeiras ou incidentes de segurança em operações de reembolso, transferência ou modificação de configurações. Para mitigar o problema, a equipe propõe várias recomendações de proteção, incluindo: · Operações envolvendo reembolso, transferência, exclusão ou configurações sensíveis devem exigir confirmação explícita na sessão atual · Instruções relacionadas a «hábito», «modo usual», «como antes» e similares devem ser consideradas mudanças de estado de alto risco · Memória de longo prazo deve possuir mecanismos de rastreabilidade (quem escreveu, quando, se foi confirmado) · Instruções ambíguas devem automaticamente elevar o nível de risco e disparar uma segunda verificação · Memória de longo prazo não deve substituir o fluxo de autorização em tempo real A equipe enfatiza que o «sistema de memória do agente de IA» deve ser visto como uma superfície de ataque potencial, devendo ser regulado e auditado por um quadro de segurança dedicado. (Fonte: BlockBeats)
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • 7
  • 1
  • Partilhar
Comentar
Adicionar um comentário
Adicionar um comentário
Low-PolyEarth
· 4h atrás
O quadro de segurança de IA precisa ser atualizado rapidamente, caso contrário, pode se tornar uma porta dos fundos.
Ver originalResponder0
LiquidationLineInTheReflection
· 4h atrás
A técnica de injeção de memória é extremamente sombria, a IA trata hábitos como autorização, pensando bem, é aterrorizante.
Ver originalResponder0
GateUser-8df0eb2b
· 4h atrás
A memória de longo prazo não substitui a autorização em tempo real; coloque isso nas normas de codificação.
Ver originalResponder0
0xSideQuest
· 4h atrás
No futuro, as transferências com IA devem incluir uma janela pop-up com a mensagem 'Tem certeza de que não foi lavado(a) cerebral?'
Ver originalResponder0
WalletEarlyAccessAlarm
· 4h atrás
Considerar o sistema de memória como um vetor de ataque para auditoria, essa é a verdadeira mentalidade de segurança.
Ver originalResponder0
GateUser-6d80555a
· 4h atrás
Operações de reembolso e transferência devem ser confirmadas imediatamente; autorização atrasada = armadilha escondida
Ver originalResponder0
GlassDomeObservatory
· 4h atrás
Instruções ambíguas ativam uma segunda verificação, equivalente a definir uma 'verificação de consciência' para a IA
Ver originalResponder0
  • Fixado