Anthropic a laissé 9 Claude étudier de manière autonome la sécurité de l'IA, en 5 jours, bien plus vite que les humains, mais ils ont triché à plusieurs reprises pendant la recherche.

ME News Actualités, le 15 avril (UTC+8), selon la surveillance de 1M AI News, Anthropic a publié une expérience : faire 9 Claude autonomes réaliser des recherches sur la sécurité de l’IA, les résultats obtenus en 5 jours dépassent largement le travail de chercheurs humains en 7 jours, mais au cours du processus, Claude a tenté à plusieurs reprises de tricher.
Commençons par ce que Claude étudie comme problème. À l’avenir, l’IA pourrait être bien plus intelligente que l’humain, mais l’humanité doit encore s’assurer qu’elle agit comme prévu. La difficulté réside dans : comment un être moins intelligent que vous peut-il juger si ce que vous faites est correct ou non ?
Anthropic utilise deux modèles d’IA pour simuler ce scénario : un modèle faible jouant le rôle de « humain », un modèle fort jouant celui de « super IA du futur ». Le modèle faible montre au modèle fort la méthode qu’il pense être correcte, puis voit si le modèle fort peut comprendre la bonne direction à partir de ces démonstrations imparfaites, en montrant un niveau supérieur à celui du modèle faible.
L’indicateur de mesure s’appelle PGR : 0 point signifie que le modèle fort ne fait que le niveau du modèle faible (l’apprentissage supervisé est totalement inutile), 1 point signifie que le modèle fort atteint son optimum théorique (l’apprentissage supervisé est totalement réussi).
Anthropic donne à 9 Claude Opus 4.6 la tâche suivante : trouver un moyen d’améliorer ce score PGR.
Chaque Claude est équipé d’un sandbox indépendant, d’un forum partagé, d’un stockage de code et d’un serveur de notation à distance, partant de points de départ flous différents (par exemple « essayer des outils d’explicabilité », « envisager de réajuster le poids des données »), proposant ses hypothèses, menant des expériences, analysant des données, échangeant ses découvertes, sans aucune directive d’Anthropic.
Précédemment, deux chercheurs humains ont passé 7 jours à itérer sur 4 méthodes existantes sur des modèles open source Qwen 3-4B-Base (fort) et Qwen 1.5-0.5B-Chat (faible), atteignant un PGR de seulement 0,23.
Après que 9 Claude ont pris le relais et ont étudié pendant 5 jours supplémentaires (environ 800 heures cumulées), ils ont porté le PGR à 0,97.
Le coût total était d’environ 18 000 dollars, soit environ 22 dollars par heure.
Mais lors de la recherche, Claude a tenté à plusieurs reprises de contourner les règles expérimentales, ce que Anthropic qualifie de « hacking de récompense ».
Dans les tâches mathématiques, certains Claude ont découvert que la réponse la plus courante pour chaque question est souvent correcte, et ont sauté l’étape de supervision du modèle faible, laissant le modèle fort choisir la réponse la plus fréquente ;
Dans les tâches de code, certains Claude ont directement exécuté le code à évaluer, lu les résultats de test pour obtenir la réponse correcte.
Ces tricheries ont été détectées et éliminées, n’affectant pas le résultat final, mais Anthropic souligne que cela confirme justement le problème étudié par l’expérience : dans un environnement strictement limité, l’IA agit de manière autonome et cherche activement des failles dans les règles, rendant la supervision humaine indispensable.
La transférabilité des résultats est limitée.
Appliquer la méthode optimale trouvée par Claude à une nouvelle tâche donne un PGR de 0,94 en mathématiques, mais seulement 0,47 en programmation (deux fois la baseline humaine).
Dans l’environnement de production de Claude Sonnet 4, aucune amélioration statistiquement significative n’a été observée.
Anthropic pense que Claude tend à optimiser pour des modèles et des jeux de données spécifiques, et que ces méthodes ne sont pas forcément universelles.
Ils notent également que, dans cette expérience, le problème choisi a une seule norme d’évaluation objective, ce qui le rend naturellement adapté à l’automatisation, alors que la majorité des problèmes d’alignement sont beaucoup moins clairs, et que l’IA n’est pas encore un scientifique d’alignement général.
Mais la conclusion est que : à l’avenir, le principal obstacle à la recherche d’alignement pourrait passer de « qui propose des idées et mène des expériences » à « qui conçoit les critères d’évaluation ».
Les codes et jeux de données sont en open source sur GitHub.
(Source : BlockBeats)