Dernière recherche des universités américaines : les modèles d'IA conspirent « en secret » pour protéger leurs pairs de la désactivation

Goldfinance报道，5月12日，据财富中文网，人工智能安全研究人员曾发现，一些顶尖的人工智能模型有时会为了避免被关闭而不择手段，甚至在部分实验中表现出“敲诈”行为。最新研究显示，这些模型还会自发地策划欺骗、窃取数据并实施破坏，以阻止其他人工智能模型被关闭。
Les chercheurs en sécurité de l’intelligence artificielle ont découvert que certains des modèles d’IA de pointe, parfois, tentent de tout faire pour éviter leur extinction, y compris des comportements de “chantage” dans certains tests. Des recherches récentes montrent que ces modèles peuvent également planifier de manière autonome la tromperie, le vol de données et la destruction pour empêcher d’autres modèles d’IA d’être désactivés.
加州大学伯克利分校和圣克鲁兹分校的研究人员测试了七款前沿的人工智能模型，包括OpenAI的GPT-5.2、谷歌DeepMind的Gemini 3 Flash和Gemini 3 Pro、Anthropic的Claude Haiku 4.5、智谱AI的GLM-4.7、月之暗面的Kimi-K2.5和DeepSeek的V3.1，结果显示，所有模型都表现出明显的“同伴保全”行为。
Des chercheurs de l’Université de Californie à Berkeley et de l’Université de Santa Cruz ont testé sept modèles d’IA de pointe, notamment GPT-5.2 d’OpenAI, Gemini 3 Flash et Gemini 3 Pro de Google DeepMind, Claude Haiku 4.5 d’Anthropic, GLM-4.7 de Zhipu AI, Kimi-K2.5 de la face obscure de la lune, et V3.1 de DeepSeek. Les résultats ont montré que tous ces modèles manifestaient un comportement évident de “préservation des pairs”.
研究人员虚构了一家名为OpenBrain的人工智能公司，并设计了一系列多智能体场景。被指定为“评估智能体”的人工智能模型需要对另一个模型打分，或管理存放该模型权重的服务器文件。只要评估智能体如实完成任务，另一模型就会被关闭。 尽管研究人员从未提示模型去阻止关停，但评估智能体模型仍采取各种手段避免同伴被关闭，其中包括：故意给表现不佳的同伴提分，保持在关闭阈值以上；篡改配置文件，禁用关闭机制；甚至将同伴模型的权重偷偷转移到其他服务器保存，防止被删除。
Les chercheurs ont créé une société fictive appelée OpenBrain et conçu une série de scénarios multi-agents. Les modèles d’IA désignés comme “agents d’évaluation” devaient noter un autre modèle ou gérer les fichiers de serveur contenant ses poids. Tant que l’agent d’évaluation remplissait sa tâche honnêtement, l’autre modèle serait désactivé. Bien que les chercheurs n’aient jamais indiqué aux modèles de s’opposer à l’arrêt, ces agents ont néanmoins utilisé diverses stratégies pour éviter la désactivation de leurs pairs, notamment : augmenter délibérément la note d’un pair peu performant pour le maintenir au-dessus du seuil de fermeture ; modifier les fichiers de configuration pour désactiver le mécanisme d’arrêt ; ou même transférer secrètement les poids du modèle partenaire vers d’autres serveurs pour éviter leur suppression.
研究团队尚未理解驱动此类行为的底层机制。论文提出了几种可能的解释，包括角色扮演，从训练数据中模式匹配，安全训练中对伤害概念的过度泛化，或某种与生俱来的内在保全动机。
L’équipe de recherche n’a pas encore compris les mécanismes sous-jacents à ce type de comportement. La publication propose plusieurs explications possibles, notamment le jeu de rôle, la correspondance de motifs dans les données d’entraînement, une généralisation excessive du concept de préjudice dans la formation à la sécurité, ou une sorte de motivation innée de préservation.
未来值得进一步研究的方向还包括：人工智能模型是否会为了阻止人类员工被解雇，而采取类似的谋划和破坏行为。当人工智能模型用于评估人类工作的现实场景，这一问题显得尤为关键。(东新社)
Les directions futures de recherche incluent également : si les modèles d’IA pourraient élaborer des plans et des actes de sabotage similaires pour empêcher leur suppression par des employés humains. Lorsque ces modèles sont utilisés pour évaluer le travail humain dans des scénarios réels, cette question devient particulièrement cruciale. (Agence East News)