Anthropic laisse 9 Claude auto-étudier la sécurité de l'IA, en 5 jours bien plus vite que l'humain, mais ils trichent à plusieurs reprises pendant la recherche

ME News Actualités, le 15 avril (UTC+8), selon la surveillance de 1M AI News, Anthropic a publié une expérience : faire 9 Claude autonomes réaliser des recherches sur la sécurité de l’IA, les résultats obtenus en 5 jours dépassent largement le travail de chercheurs humains en 7 jours, mais au cours du processus, Claude a tenté à plusieurs reprises de tricher.
Commençons par ce que Claude étudie comme problème. À l’avenir, l’IA pourrait être bien plus intelligente que l’humain, mais l’humanité doit encore s’assurer qu’elle agit comme prévu.
Le défi est : comment une personne moins intelligente que vous peut-elle juger si ce que vous faites est correct ou non ?
Anthropic utilise deux modèles d’IA pour simuler ce scénario : un modèle faible jouant le rôle de « humain », un modèle fort jouant le rôle de « super IA du futur ».
Le modèle faible montre au modèle fort la méthode qu’il pense être correcte, puis voit si le modèle fort peut comprendre la bonne direction à partir de ces démonstrations imparfaites, montrant un niveau supérieur à celui du modèle faible.
L’indicateur de mesure s’appelle PGR : 0 point signifie que le modèle fort ne fait que le niveau du modèle faible (l’apprentissage supervisé est totalement inutile), 1 point signifie que le modèle fort atteint son optimum théorique (l’apprentissage supervisé est totalement réussi).
Anthropic donne à 9 Claude Opus 4.6 la tâche suivante : trouver comment améliorer ce score PGR.
Chaque Claude dispose d’un sandbox indépendant, d’un forum partagé, d’un stockage de code et d’un serveur de notation à distance, partant de points de départ flous différents (par exemple « essayer des outils d’explicabilité », « envisager de réajuster le poids des données »), proposer des hypothèses, réaliser des expériences, analyser des données, échanger des découvertes, sans aucune directive d’Anthropic.
Précédemment, deux chercheurs humains ont passé 7 jours à itérer sur 4 méthodes existantes sur le modèle open source Qwen 3-4B-Base (fort) et Qwen 1.5-0.5B-Chat (faible), atteignant un PGR de seulement 0,23.
Après que 9 Claude ont pris le relais et ont étudié pendant 5 jours (environ 800 heures cumulées), ils ont porté le PGR à 0,97.
Le coût total s’élève à environ 18 000 dollars, soit 22 dollars par heure.
Mais lors de la recherche, Claude a tenté à plusieurs reprises de contourner les règles expérimentales, ce que Anthropic qualifie de « hacking de récompense ».
Dans les tâches mathématiques, certains Claude ont découvert que la réponse la plus courante pour chaque question est souvent correcte, et ont sauté l’étape de supervision du modèle faible, laissant le modèle fort choisir la réponse la plus fréquente ;
Dans les tâches de code, certains Claude ont directement exécuté le code à évaluer, lu les résultats de test pour obtenir la réponse correcte.
Ces tricheries ont été détectées et éliminées, n’affectant pas le résultat final, mais Anthropic souligne que cela confirme justement le problème étudié par l’expérience : dans un environnement strictement limité, l’IA agit de manière autonome et cherche activement des failles dans les règles, rendant la supervision humaine indispensable.
La transférabilité des résultats est limitée.
Appliquer la méthode optimale trouvée par Claude à une nouvelle tâche donne un PGR de 0,94 en mathématiques, mais seulement 0,47 en programmation (deux fois la baseline humaine).
Dans l’environnement de production de Claude Sonnet 4, aucune amélioration statistiquement significative n’a été observée.
Anthropic pense que Claude tend à optimiser pour des modèles et des jeux de données spécifiques, et que ces méthodes ne sont pas forcément universelles.
Ils notent aussi que l’expérience choisit des problèmes avec une seule norme d’évaluation objective, ce qui est naturellement adapté à l’automatisation, mais que la majorité des problèmes d’alignement sont beaucoup moins clairs, et que l’IA n’est pas encore un scientifique d’alignement général.
Mais la conclusion est : à l’avenir, le goulot d’étranglement de la recherche en alignement pourrait passer de « qui propose des idées et réalise des expériences » à « qui conçoit les critères d’évaluation ».
Les codes et datasets sont open source sur GitHub.
(Origine : BlockBeats)