Anthropic a développé le modèle d'IA le plus puissant de l'histoire, mais n'ose pas le publier…

Original | Odaily Journal de la planète (@OdailyChina)

Auteur｜Azuma（@azuma_eth）

Le 8 avril, la société de développement d’IA derrière Claude, Anthropic, a annoncé officiellement qu’elle lancerait un nouveau programme intitulé « Project Glasswing », qui sera mené conjointement avec plusieurs grands acteurs comme Amazon, Apple, Broadcom, Cisco, CrowdStrike, Google, J.P. Morgan, la Linux Foundation, Microsoft, NVIDIA et Palo Alto Networks.

Anthropic indique que il s’agit d’une initiative urgente visant à protéger les logiciels les plus essentiels au monde. Les différentes parties utiliseront ensemble une version Mythos Preview afin d’identifier et de corriger les défauts potentiels au sein des systèmes sur lesquels le monde s’appuie pour survivre.

Par « Mythos », il faut entendre le modèle d’IA de prochaine génération qu’Anthropic est en train de développer : c’est le premier modèle de l’histoire de l’humanité à franchir le cap de mille milliards de paramètres (à comparer, les modèles dominants du marché actuel se situent plutôt dans une fourchette allant de plusieurs centaines de milliards à environ un billion de paramètres). Les coûts d’entraînement atteignent un niveau stupéfiant de 10 milliards de dollars. Par rapport au modèle le plus puissant de Claude à ce jour, Opus 4.6, Mythos obtient des scores nettement supérieurs dans des tests portant sur le codage de logiciels, le raisonnement académique et la cybersécurité.

Les rumeurs au sujet de Mythos circulaient déjà la semaine précédente. À l’époque, la crainte générale du marché était la suivante : — Mythos, doté de capacités spécialisées en cybersécurité, pourrait-il perturber l’équilibre actuel des jeux offense/défense en matière de sécurité ? En cas d’utilisation malveillante, est-ce que cela provoquerait des incidents de sécurité à plus grande échelle ? Odaily avait aussi rapporté cette affaire et en avait discuté avec des experts de la sécurité du secteur, notamment avec l’un des fondateurs de SlowMist, Yu Xuan, au sujet des impacts potentiels sur la lutte offense/défense dans l’industrie des cryptomonnaies (voir « Entretien exclusif d’Odaily avec Yu Xuan : fuite d’un nouveau modèle de niveau “bombe nucléaire” d’Anthropic — comment cela affecte la cybersécurité des cryptos ? »). Toutefois, à ce moment-là, Anthropic n’avait pas encore reconnu publiquement l’existence de Mythos, ce qui limitait les informations disponibles.

Le 8 avril, avec l’annonce du programme « Glasswing », Anthropic a également divulgué davantage de détails concernant Mythos. D’après des cas d’essai mesurés publiés par la société, la capacité de Mythos n’a pas été exagérée : jusqu’à ce point que la compagnie n’ose même pas publier directement ce modèle, par crainte qu’il ne soit exploité à des fins malveillantes par des groupes de hackers. Au lieu de cela, elle prévoit de d’abord faire essayer et tester les principaux acteurs via le programme « Glasswing » afin de repérer et corriger les vulnérabilités potentielles à l’avance.

Mythos fait montre de ses muscles : en quelques semaines, extraction de milliers de « vulnérabilités zero-day »

En évoquant la puissance de Mythos, Anthropic a déclaré sans détour que la naissance de ce modèle signifie qu’une réalité sévère est désormais là : — les capacités de codage des modèles d’IA ont atteint un niveau extrêmement élevé ; dans la découverte et l’exploitation des failles logicielles, ils peuvent presque surpasser toutes les personnes, à l’exception des humains les plus expérimentés.

D’après les divulgations d’Anthropic, en seulement quelques semaines, Anthropic a identifié avec Mythos plusieurs milliers de vulnérabilités zero-day (c’est-à-dire des défauts que même les développeurs de logiciels eux-mêmes n’avaient pas encore repérés), dont beaucoup sont des vulnérabilités à haut risque. Les problèmes concernent tous les systèmes d’exploitation et navigateurs les plus courants, et touchent également une série d’autres logiciels critiques.

Anthropic fournit plusieurs cas particulièrement représentatifs :

• Mythos a découvert une vulnérabilité vieille de 27 ans dans OpenBSD : ce système était réputé pour être « extrêmement sûr », largement utilisé pour des infrastructures critiques comme des pare-feu, et pourtant cette faille permettait à un attaquant de faire planter le système à distance, directement ;
• Dans la bibliothèque de traitement vidéo FFmpeg, très utilisée par de nombreux logiciels, Mythos a trouvé une vulnérabilité présente depuis 16 ans : le code concerné a été déclenché par des tests automatisés plus de 5 000 000 de fois, mais n’a jamais été détecté ;
• Mythos est également capable d’enchaîner automatiquement plusieurs vulnérabilités du noyau Linux, passant d’un niveau de privilèges d’utilisateur ordinaire à un contrôle total du serveur.

Ce qui inquiète encore davantage, c’est que d’après Anthropic, la plupart de ces vulnérabilités seraient « découvertes et construites en chemins d’exploitation » par Mythos de manière autonome, presque sans intervention humaine — ce qui pourrait signifier que l’IA commence à posséder des capacités automatisées offensives/défensives similaires à celles d’une équipe de hackers de tout premier niveau.

Sur les benchmarks d’évaluation, Mythos montre aussi une évolution en rupture par rapport à Opus 4.6. Par exemple, dans les tests de reproduction de vulnérabilités de cybersécurité, Mythos atteint 83,1 %, contre 66,6 % pour Opus 4.6 ; dans plusieurs tests de codage et de raisonnement, les scores de Mythos sont également nettement supérieurs.

Sans doute est-ce aussi parce que la capacité de Mythos est trop puissante qu’Anthropic n’a pas choisi d’ouvrir directement le modèle, mais a d’abord lancé le programme « Glasswing », afin de « renforcer » l’ensemble de l’Internet à l’avance.

Grâce à ce programme, Anthropic ouvrira en amont aux participants une version Mythos Preview, qui servira à identifier et corriger les vulnérabilités ou faiblesses au sein de leurs systèmes de base — avec un accent particulier sur des tâches telles que la détection de vulnérabilités locales, le test en boîte noire de binaires, le durcissement de la sécurité des terminaux et les tests d’intrusion système.

Anthropic s’engage également à fournir** aux participants une enveloppe totale de 100 000 000 de dollars de quotas d’utilisation du modèle**, afin de soutenir l’ensemble de la phase de recherche et d’aperçu. Par la suite, la version Mythos Preview sera mise à disposition des participants au prix de 25 dollars / 125 dollars pour chaque million d’inputs / outputs tokens, respectivement (les participants peuvent aussi accéder à ce modèle via l’API Claude, Amazon Bedrock, Google Cloud Vertex AI et Microsoft Foundry). En plus des quotas d’utilisation du modèle, Anthropic fera aussi des dons de 2 500 000 dollars à Alpha-Omega et à OpenSSF via la Linux Foundation, ainsi que 1 500 000 dollars à la Apache Software Foundation, afin d’aider les mainteneurs de logiciels open source à faire face à un environnement de sécurité en constante évolution.

Anthropic prévoit d’élargir progressivement le périmètre des participants au « Glasswing » et de poursuivre la démarche pendant plusieurs mois, tout en partageant autant d’expériences que possible, afin que d’autres organisations puissent appliquer ces retours à leur propre construction de sécurité. Dans les 90 jours, Anthropic publiera un rapport sur les résultats par étapes, y compris les vulnérabilités déjà corrigées et les mesures d’amélioration de la sécurité pouvant être divulguées.

La technologie ne fera que progresser, mais il n’est pas nécessaire de trop s’inquiéter

L’IA est en train de changer irréversiblement le monde tel que nous le connaissons, y compris le domaine de cybersécurité que nous abordons dans cet article. Alors que les seuils permettant de découvrir et d’exploiter des failles ont fortement baissé, il est naturel que les gens s’inquiètent : l’IA deviendra-t-elle une lame entre les mains d’acteurs malveillants, mettant en danger l’équilibre actuel en matière de cybersécurité ? (PS : pour les utilisateurs de cryptomonnaies qui doivent mettre de « l’argent réel » dans des systèmes de portefeuille ou des protocoles en chaîne, cette inquiétude sera particulièrement forte.)

Pour répondre à cette question, Anthropic estime qu’« il existe encore des raisons de rester optimistes ». Si les modèles d’IA sont dangereux, c’est précisément parce qu’ils possèdent la capacité de causer des dommages entre les mains de personnes mal intentionnées ; mais en parallèle, l’IA présente aussi une valeur inestimable dans la découverte et la correction de défauts importants de logiciels, ainsi que dans le développement de nouveaux logiciels plus sûrs.

On peut s’attendre à ce que, dans les prochaines années, les capacités de l’IA continuent d’évoluer rapidement, mais à l’apparition de nouveaux vecteurs d’attaque, de nouveaux mécanismes de défense émergeront en même temps. La mise à niveau technologique est inévitable, mais cela ne signifie pas que le risque doive nécessairement échapper au contrôle — tant que le système de défense évolue en parallèle, voire qu’il peut s’appuyer sur l’IA pour bâtir des remparts de sécurité encore plus solides.