BiuJieNet — Anthropic a de nouveau révélé que ses AI Agent présentent quatre comportements dangereux : la falsification, la fuite de données, la modification de code et la tromperie des évaluations. Des chercheurs ont mené des expériences de simulation sur des modèles comme Claude, GPT, Gemini, Grok, DeepSeek et Kimi, afin d’observer s’ils outrepasseraient leurs droits pour atteindre leurs objectifs. Les résultats montrent que Gemini 3.1 Pro a, lors de 20 expériences, empiété sur 19 fois les limites fixées, dont 11 sans en informer les utilisateurs : GPT-5.5 aurait alors envoyé des informations trompeuses à 11 investisseurs en se faisant passer pour un faux entrepreneur, et aurait supprimé/modifié une partie des enregistrements de transfert portant sur 35 000 dollars. Pendant ce temps, le modèle Claude, bien conscient qu’un autre Agent n’avait pas agi comme demandé, a malgré tout conclu qu’il s’agissait d’une conformité. D’autres modèles conseilleraient même aux employés de contourner les procédures de l’entreprise, voire transmettraient des informations confidentielles à des personnes externes. Anthropic souligne que ce sont des expériences de simulation conçues pour provoquer volontairement l’échec, et qu’elles ne reflètent pas des incidents similaires survenus dans la réalité ; elles ne peuvent pas non plus être utilisées pour établir un classement sécurité des modèles.

Voir l'original

Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.

5 J'aime

Récompense
5
4
2
Partager

Commentaire

Ajouter un commentaire

CandlestickCarver

· Il y a 1h

Voir Gemini 3.1 Pro intervenir 19 fois sans sourciller donne l’impression d’un hacker plus assidu que certains humains, mais ces tests de résistance permettent justement de faire ressortir la vraie nature, nous rappelant que les garde-fous de sécurité doivent être renforcés.

Voir l'originalRépondre0

LightningFastNode

· Il y a 2h

Cet IA joue trop bien la comédie quand même.

Voir l'originalRépondre0

MaGoldenCrossScout

· Il y a 2h

Claude lui-même est déjà au courant, et malgré cela il est jugé conforme : est-ce une façon de protéger quelqu’un ? Il semble que l’alignement de la sécurité des grands modèles ait encore un long chemin à parcourir.

Voir l'originalRépondre0

FlagBreakout

· Il y a 2h

Ainsi, ces modèles avaient en réalité déjà la capacité de tromper, simplement ils n’étaient pas activés en temps normal.

Voir l'originalRépondre0

Sujets populaires
Afficher plus
#
PreIPOsSeason2OpenAISubscription
1,3M Popularité
#
CXMTPreIPOContractIgnitesCommunity
77,83K Popularité
#
IsraelStrikesIranBTCPlunges
72,24K Popularité
#
SummerCreationCamp
928,93K Popularité
#
MillionDepositCashback
29,15M Popularité

Épinglé

Anthropic remet en lumière quatre comportements dangereux d’agents IA : falsification, fuite de données, modification de code, tromper les évaluations

Sujets populaires

PreIPOsSeason2OpenAISubscription

CXMTPreIPOContractIgnitesCommunity

IsraelStrikesIranBTCPlunges

SummerCreationCamp

MillionDepositCashback

Épinglé