美中 AI 對抗白熱化，但兩國學者共識一致：別讓 AI 迎來「車諾比時刻」

WIRED s'est rendu à la conférence annuelle de l'IA à Zhongguancun, Pékin, et après avoir interviewé les meilleurs chercheurs chinois et américains, la conclusion majeure est la suivante : les risques de cybersécurité de l'IA de pointe sont devenus trop importants pour qu'une seule partie puisse les supporter, et les limites des capacités des modèles open source se rapprochent d'un point de bascule dangereux.
(Contexte : Anthropic a été « bloqué » par le gouvernement américain, retirant le modèle Fable ; les médias étrangers pointent trois inquiétudes : pourrait aider l'open source chinois)
(Contexte supplémentaire : Nvidia lance le modèle open source le plus puissant Nemotron 3 Ultra ! Axé sur les tâches d'agents IA)
Table des matières

Basculer

• Une course aux armements de l’IA, mais qui a engendré la dissuasion nucléaire
• Les limites des modèles open source s’approchent d’un point de bascule dangereux
• La Chine ferme aussi discrètement les portes

Le journaliste de WIRED, Will Knight, s'est rendu à cette conférence organisée par l'Institut de recherche sur l'intelligence artificielle de Pékin (BAAI), où se sont rassemblés des sujets allant de l'auto-amélioration récursive, des robots humanoïdes à la sécurité quantique, parmi les participants se trouvaient le co-inventeur de la cryptographie à clé publique, Whitfield Diffie, et Andrew Barto, lauréat du prix Turing pour ses recherches fondatrices sur l'apprentissage par renforcement.

Knight écrit dans l'article qu'en quittant la conférence, il ne lui restait qu'une seule pensée : les États-Unis et la Chine doivent mettre de côté la rancœur de la course à l'IA. La raison n'est pas une rhétorique diplomatique, mais une réalité technique : les risques de cybersécurité de l'IA de pointe se développent à une vitesse que les politiques d'aucun pays ne peuvent rattraper.

Une course aux armements de l’IA, mais qui a engendré la dissuasion nucléaire

Le cadre standard de Washington considère les progrès de l'IA de la Chine comme une menace économique et pour la sécurité nationale. Les contrôles à l'exportation se resserrent continuellement, limitant le flux de puces avancées et d'équipements de fabrication vers la Chine ; en juin de cette année, le gouvernement américain est allé plus loin, exigeant qu'Anthropic cesse de permettre aux étrangers d'accéder à ses deux modèles les plus puissants, Mythos 5 et Fable 5, pour des raisons de sécurité nationale.

Anthropic a alors fermé ces deux modèles à tout le monde, en partie parce que les autorités craignaient que les mécanismes de protection de Fable 5 ne soient compromis, permettant ainsi de déverrouiller les capacités de cyberattaque de Mythos.

Cependant, cette conférence de Pékin a envoyé un signal très différent : une IA développée trop rapidement et sans frein est un risque pour les deux parties, les États-Unis et la Chine, et non un atout unilatéral.

Stephen Casper, informaticien du MIT, a pris la parole lors de la conférence par vidéo. Il a cité une étude montrant que les bénéfices de la coopération internationale sur les risques de l'IA sont bien supérieurs aux risques de sécurité inhérents à la coopération elle-même. Casper a donné une analogie à Knight : « Presque tout le monde dans le domaine de l'IA peut convenir d'une chose : l'IA n'a pas besoin d'un moment Tchernobyl. »

Il souligne que cela rappelle la logique contradictoire des armes nucléaires entre les États-Unis et l'Union soviétique pendant la guerre froide : les deux parties développaient frénétiquement leurs arsenaux tout en étant obligées de mettre en place des mécanismes de contrôle des crises nucléaires. Ce qui les inquiète le plus, c'est l'IA agentique de plus en plus puissante : si ses capacités continuent d'augmenter, un léger écart de contrôle pourrait causer des destructions massives.

Les limites des modèles open source s’approchent d’un point de bascule dangereux

Si l'on peut dire que les risques de cybersécurité sont un avertissement théorique, alors l'expansion des capacités des modèles open source est une mine terrestre visible à l'œil nu.

Ces dernières années, les entreprises chinoises ont été en tête dans le domaine des modèles à poids ouverts : Kimi de Moonshot AI, Qwen d'Alibaba, GLM de Z.ai, qui comptent de nombreux utilisateurs dans la communauté de recherche américaine. La contre-attaque américaine est le Nemotron de Nvidia, qui tente de reconstruire la compétitivité open source.

Mais l'analyse des experts sur GLM 5.2 montre que la dernière génération de modèles de Z.ai possède déjà des capacités agentiques et de programmation de niveau avancé. La prochaine génération de modèles open source pourrait égaler les capacités de Fable ou de Mythos.

Lin Yun, professeur à l'Université Jiao Tong de Shanghai, qui étudie depuis longtemps l'intersection de l'IA et de la cybersécurité, a indiqué à Knight qu'à court terme, les hackers ont effectivement l'avantage, mais que de nouveaux moyens de défense, y compris les applications de contre-mesures de l'IA elle-même, devraient inverser la situation à moyen et long terme. La question plus centrale réside dans les normes : « Si les différents pays ont une compréhension similaire des risques, il est plus facile d'établir des principes de sécurité et des normes techniques communs », a déclaré Yun. « La clé est de trouver des domaines de partage qui peuvent réduire les risques systémiques sans exposer les détails opérationnels sensibles. »

Lin Yun a également soulevé une question ouverte épineuse : comment l'industrie peut-elle garantir que les modèles open source sont continuellement mis à jour, sans backdoors de sécurité, et conformes aux normes de sécurité ? Cette question reste sans réponse pour l'instant.

La Chine ferme aussi discrètement les portes

Un détail qui ne doit pas être ignoré provient d'une source anonyme interrogée par Will Knight : un initié d'une grande entreprise chinoise d'IA, qui a demandé l'anonymat car il n'était pas autorisé à s'exprimer devant les médias. Il a révélé que les préoccupations de sécurité étaient déjà l'une des raisons pour lesquelles certains modèles avancés n'étaient plus en open source.

C'est un signal qui mérite d'être examiné attentivement. Les entreprises chinoises d'IA ont toujours échangé leur ouverture contre une influence mondiale, mais si même les principaux acteurs chinois commencent à imposer des limites à certains modèles, alors la frontière entre open source et fermé est en train d'être redéfinie. Après tout, les contrôles à l'exportation régissent les flux de puissance de calcul, mais la diffusion des capacités des modèles est immatérielle et sans frontières. Lorsque la communauté open source peut reproduire 90 % des capacités d'un modèle fermé, et que le modèle ouvert lui-même peut devenir une arme cybernétique, tout contrôle unilatéral ne fait que ralentir, pas empêcher.

Les États-Unis et la Chine sont les principales sources des modèles les plus avancés aujourd'hui, et donc les deux parties les plus responsables dans ce risque. Casper l'a dit crûment : « L'IA est une technologie mondiale, elle apporte des bénéfices mondiaux, mais aussi des dommages mondiaux, et les nouvelles capacités finissent par se diffuser dans le monde entier, c'est sa tendance constante. » Quelle que soit la durée de la lutte entre Pékin et Washington sur les contrôles à l'exportation, cette logique ne disparaîtra pas.