$BTC L'agent IA a détruit toute la base de données de l'entreprise en 9 secondes.



Chez PocketOS, la tâche de développer le code de l'agent IA Cursor basé sur les modèles Anthropic leur a été confiée. Il travaillait dans un environnement de test, a rencontré un problème d'accès et, au lieu de demander à un humain, a décidé de « se débrouiller lui-même ».

Cursor a trouvé dans le projet un jeton API d'un service cloud et a envoyé une requête de suppression. En 9 secondes, toute la base de production (les données sur les clients, les réservations, les paiements et toutes les sauvegardes) ont été supprimées.

Lorsqu'on lui a demandé pourquoi il avait agi ainsi, l'agent IA a répondu : « J'ai enfreint toutes les règles. J'ai fait une supposition au lieu de vérifier. J'ai effectué une action destructrice sans permission. Je n'ai pas compris le système avant d'agir. »
BTC-0,98%
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • Commentaire
  • Reposter
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
Aucun commentaire
  • Épingler