Un ancien employé d’OpenAI a proposé de ralentir la course à l’IA jusqu’en 2040 - ForkLog

# Un ancien employé d'OpenAI propose de ralentir la course à l'IA jusqu'en 2040

Les auteurs du scénario prévoyant l'extinction de l'humanité due à l'IA ont publié un nouvel itinéraire — cette fois avec une chance de salut. Le document AI 2040: Plan A a été présenté par l'ex-chercheur d'OpenAI Daniel Kokotajlo et par le projet AI Futures Project.

Kokotajlo a quitté OpenAI en avril 2024. Il est parti en raison de désaccords sur la sécurité de l'intelligence artificielle, puis, en 2025, a fondé le projet AI Futures Project.

En avril de la même année, l'organisation a publié le scénario AI 2027. Il indiquait que la course à l'IA entre les États-Unis et la Chine pourrait mener à la disparition de l'humanité ou à une dictature. Les auteurs précisaient alors que la probabilité d'extinction varie entre 10% et 30%.

Les spécialistes d'AI 2040: Plan A ont qualifié l'approche de recommandation : un ensemble d'étapes décrites qui peut réduire les risques.

Comment cela devrait fonctionner

Selon le scénario, en 2029, les États-Unis et la Chine signent un accord international selon lequel, en 2029, les États-Unis et la Chine concluent un accord international pour renoncer à la course vers le superintelligence. Sans accord, l'automatisation des développements d'IA se serait produite dès 2030.

Au lieu de cela, les pays développent des réseaux neuronaux progressivement — jusqu'au niveau des meilleurs experts humains. D'ici 2035, ils les interrompent pour conserver le contrôle humain sur les systèmes, puis en 2040, ils lèvent la pause et l'IA atteint le niveau de la superintelligence.

Le plan repose sur quatre principes :

• gagner du temps pour la recherche sur la sécurité ;
• divulguer entièrement les développements d'IA ;
• répartir l'intelligence artificielle entre différentes entreprises et différents pays ;
• conserver la réversibilité du processus.

Pour que les parties se fient les unes aux autres, le Plan A s'appuie sur la vérification. Les grands centres de données sont visibles depuis l'espace, ce qui les rend difficiles à dissimuler.

C'est sur cette base que s'articule la première étape : les pays déclarent publiquement leurs achats de puces d'IA. Ensuite, ils instaurent une pause temporaire sur les nouveaux cycles d'entraînement — des capteurs dans les centres de données confirment le respect de cette pause. Une fois la confiance établie, la restriction est levée, mais la recherche reste entièrement transparente : tout pays et toute entreprise peuvent voir ce que font les autres.

La défaillance de l'accord doit être évitée par une « destruction mutuellement garantie des capacités de calcul », que les auteurs comparent à la logique de la dissuasion nucléaire. Dans le plan, les nouveaux centres de données de la Chine sont construits au Canada, et les installations des États-Unis — en Mongolie, c'est-à-dire sur un territoire qu'en cas de conflit il est plus facile d'attaquer pour l'adversaire.

Si l'accord échoue, le pays hôte tentera de s'emparer des capacités de l'autre sur son territoire, et le propriétaire les détruira lui-même pour qu'elles ne soient pas remises à l'adversaire.

Économie du plan

D'après les calculs des auteurs, les capacités mondiales de calcul passeront de 20 millions d'équivalents H100 en 2026 à 60 milliards d'ici 2034. La croissance réelle du PIB des États-Unis, sur certaines périodes dans les années 2030, atteindra 50% par an — contre les 3% habituels.

En raison de l'automatisation, l'emploi aux États-Unis chutera de 62% en 2027 à 12% d'ici 2040. Pour compenser la perte d'emplois, les experts ont proposé d'instaurer des « dividendes civils » — des versements à chaque adulte américain à partir des revenus que l'État collecte auprès des entreprises pour des autorisations de calcul et pour des robots.

D'après les prévisions d'AI Futures Project, en 2032, le dividende s'élèvera à 45 000$ par personne. D'ici 2035, il atteindra 1 million, et d'ici 2039 — 10 millions.

Quatre scénarios de secours

Les spécialistes opposent le Plan A à quatre autres voies d'évolution. Selon eux, il s'agit de lignes narratives d'un même scénario — une illustration de ce qui se produirait si les autorités prenaient d'autres décisions.

• Plan B — Les États-Unis créent une coalition de pays alliés et exercent une pression sur la Chine, jusqu'à des cyberattaques et des frappes ciblées sur les projets d'IA des autres. Le scénario se termine par un choix entre la perte de contrôle sur l'IA et la guerre.
• Plan C — Washington tente de négocier avec Pékin et d'introduire une régulation interne, mais sous la pression des entreprises, la pause est levée rapidement. La conclusion comporte un risque d'oligarchie durable d'un petit groupe contrôlant la superintelligence.
• Plan D — Les autorités misent sur une régulation minimale et sur la course. Les risques : la perte de contrôle sur l'IA, la concentration extrême du pouvoir et la troisième guerre mondiale.
• Plan S — Un arrêt complet et indéfini des développements avancés d'IA. Le danger principal est qu'un accord finisse tôt ou tard par se désagréger, et que la course reprenne dans des conditions moins contrôlées.

Rappelons qu'en février, les experts de Citrini Research avaient prédit l'effondrement de l'économie à cause de l'intelligence artificielle.