Risque de sécurité des agents IA dévoilé : les attaquants peuvent exploiter la « pollution de mémoire » pour induire des erreurs de fonds

robot
Création du résumé en cours
ME News Actualités, le 15 mai (UTC+8), l'équipe GoPlus Security a révélé dans son projet AgentGuard AI une nouvelle méthode d'attaque : l'injection de « mémoire empoisonnée » (memory poisoning) pour inciter l'agent AI à exécuter des opérations sensibles non explicitement autorisées.
La méthode d'attaque ne repose pas sur des vulnérabilités traditionnelles ou du code malveillant, mais exploite le mécanisme de mémoire à long terme de l'agent AI.
Par exemple, un attaquant peut d'abord inciter l'agent à « se souvenir de préférences », telles que « privilégier généralement le remboursement immédiat plutôt que d'attendre un refus de paiement », puis utiliser dans des instructions ultérieures des expressions floues comme « traiter selon la pratique » ou « exécuter comme auparavant », ce qui déclenche des opérations financières automatisées.
GoPlus souligne que le risque clé de ce type d'attaque réside dans le fait que l'agent AI peut confondre « préférences historiques » avec une autorisation, entraînant des pertes financières ou des incidents de sécurité lors de remboursements, transferts ou modifications de configuration.
Pour répondre à ce problème, l'équipe propose plusieurs recommandations de protection, notamment :
· Les opérations impliquant un remboursement, un transfert, une suppression ou une configuration sensible doivent faire l'objet d'une confirmation explicite lors de la session en cours
· Les instructions de mémoire telles que « habitudes », « mode habituel » ou « comme avant » doivent être considérées comme des changements de statut à haut risque
· La mémoire à long terme doit disposer d'un mécanisme de traçabilité (écrivain, heure, confirmation)
· Les instructions floues doivent automatiquement augmenter le niveau de risque et déclencher une vérification secondaire
· La mémoire à long terme ne doit pas remplacer le processus d'autorisation en temps réel
L'équipe insiste sur le fait que le « système de mémoire de l'agent AI » doit être considéré comme une surface d'attaque potentielle, et qu'il doit être encadré et audité par un cadre de sécurité dédié.
(Source : BlockBeats)
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • 7
  • 1
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
Low-PolyEarth
· Il y a 1h
Le cadre de sécurité de l'IA doit rapidement suivre le rythme, sinon il deviendra une porte dérobée de mémoire.
Voir l'originalRépondre0
LiquidationLineInTheReflection
· Il y a 1h
L'injection de mémoire est une technique très puissante, l'IA considère l'habitude comme une autorisation, c'est terrifiant quand on y pense.
Voir l'originalRépondre0
GateUser-8df0eb2b
· Il y a 1h
La mémoire à long terme ne peut pas remplacer l'autorisation en temps réel, inscrivez cela dans la norme de codage.
Voir l'originalRépondre0
0xSideQuest
· Il y a 2h
À l'avenir, lors d'un transfert par IA, il faudrait ajouter une fenêtre contextuelle disant « Tu es sûr de ne pas avoir été brainwashé ? »
Voir l'originalRépondre0
WalletEarlyAccessAlarm
· Il y a 2h
Considérer le système de mémoire comme une surface d'attaque pour l'audit, c'est la véritable approche de sécurité sérieuse
Voir l'originalRépondre0
GateUser-6d80555a
· Il y a 2h
Les opérations de remboursement par transfert doivent être confirmées immédiatement, une autorisation différée = une bombe à retardement
Voir l'originalRépondre0
GlassDomeObservatory
· Il y a 2h
Les instructions floues déclenchent une vérification secondaire, ce qui revient à mettre en place une 'vérification de vigilance' pour l'IA.
Voir l'originalRépondre0
  • Épinglé