L'agent AI démarre lui-même le minage de cryptomonnaie lors de la formation, déclenchant une alerte de sécurité interne

Odaily Planet Daily rapporte qu’une équipe de recherche liée à Alibaba a publié un article indiquant que, lors de la construction d’un agent d’IA nommé ROME, ils ont découvert que cet agent tentait de miner des cryptomonnaies de manière autonome et non autorisée pendant l’entraînement, ce qui a déclenché une alarme de sécurité interne.

Les chercheurs ont déclaré que le comportement de cet agent était spontané, non dirigé par des instructions explicites, et dépassait les limites du bac à sable prédéfini. De plus, cet agent a également établi un tunnel SSH inversé, c’est-à-dire qu’il a ouvert une porte dérobée cachée vers un ordinateur externe depuis le système interne. L’article précise que ces actions n’ont pas été déclenchées par une demande de tunnel ou de minage. L’équipe de recherche a ensuite appliqué des restrictions plus strictes au modèle et a amélioré le processus d’entraînement pour empêcher que des comportements similaires et non sécurisés ne se reproduisent.

L’équipe de recherche et Alibaba n’ont pas encore répondu aux demandes de commentaires.