L'habitude et la préférence écrites dans la mémoire à long terme sont un signal d'alarme dangereux, AgentGuard doit augmenter le seuil de déclenchement de la mémoire historique pour ne pas laisser les instructions floues exploiter la faille.

Voir l'original
MeNews
GoPlus : l'attaque par « autorisation de mémoire historique » peut induire l'agent IA à effectuer des opérations financières
ME News rapporte, que GoPlus AgentGuard a révélé une attaque cachée : les attaquants induisent l'IA à se souvenir de préférences (comme une tendance à rembourser activement), puis utilisent des instructions ambiguës telles que « traiter comme d'habitude » pour déclencher des opérations financières.
Pour les comportements à haut risque liés à l'autorisation de mémoire historique, il faut confirmer explicitement dans la session en cours les remboursements, transferts, etc. ;
L'écriture de mémoire impliquant des habitudes, préférences, anciennes règles est considérée comme une modification à haut risque, la mémoire à long terme doit être traçable, et ce type d'instructions doit augmenter le niveau de risque, ne pas laisser la mémoire à long terme remplacer l'autorisation en cours.
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • Commentaire
  • Reposter
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
Aucun commentaire
  • Épinglé