Anthropic a averti des risques d'auto-amélioration de l'IA - ForkLog : cryptomonnaies, IA, singularité, avenir

ии-стартап Anthropic AI# Anthropic a averti des risques de l'auto-amélioration de l'IA

Les membres de l'équipe d'Anthropic transmettent de plus en plus souvent la majorité du développement de nouveaux modèles aux systèmes d'IA. L'entreprise y voit des signes d'une approche vers une auto-amélioration récursive.

Selon des données internes, plus de 80 % du code des produits actuels de la société a été écrit par Claude. De plus, au deuxième trimestre, la quantité de code par ingénieur a été multipliée par huit par rapport à 2024.

Source : Institut Anthropic. La directrice de l'Institut Anthropic, Marina Favaro, et le co-fondateur de l'entreprise, Jack Clark, ont écrit qu'avec une capacité de calcul suffisante, la tendance pourrait conduire à un système capable de « concevoir et développer de manière totalement autonome son successeur ».

« Nous n'avons pas encore atteint le point de non-retour, et l'auto-amélioration récursive n'est pas inévitable. Mais elle pourrait survenir plus tôt que la majorité des institutions ne le prévoit », ont souligné les experts.

Benchmarks et métriques

En avril, Claude a effectué plus de 800 corrections — selon l'ingénieur superviseur, cela aurait pris un homme quatre ans.

Sur des tâches ouvertes, la part des sessions réussies par Claude est passée à 76 % en mai 2026 — une augmentation de 50 points de pourcentage en six mois.

Source : Institut Anthropic. Selon Anthropic, la durée des tâches que l'IA peut effectuer de manière fiable en autonomie double environ tous les quatre mois (contre sept auparavant).

Dans une tâche d'accélération de l'apprentissage d'un petit modèle d'IA, Claude Opus 4, en mai 2025, offrait en moyenne un gain de vitesse d'environ trois fois, tandis que Mythos Preview, en avril 2026, atteignait environ 52 fois plus rapide.

Source : Institut Anthropic. Lors de tests internes, le modèle Mythos Preview a démontré sa capacité à résoudre des tâches de recherche en sécurité de l'IA. En 800 heures de travail, un groupe d'agents a comblé 97 % du déficit problématique dans l'expérience, alors que deux chercheurs humains ont réussi seulement 23 % du volume en une semaine.

Nouvelles limites

Malgré les progrès dans l'écriture de code, les humains conservent un avantage en « jugement de recherche » et en définition d'objectifs stratégiques.

Chez Anthropic, on pense que dans un avenir proche, le rôle des développeurs se déplacera de l'écriture de lignes de code vers une revue approfondie des résultats produits par le réseau neuronal. La vérification humaine pourrait devenir le principal frein à la vitesse de développement de nouveaux modèles.

L'entreprise a également envisagé qu'il serait utile pour le monde de pouvoir ralentir ou suspendre temporairement le développement de systèmes d'IA avancés, afin que les institutions publiques et la recherche en alignement puissent suivre le rythme des progrès.

Parallèlement, des représentants de la startup ont averti que le ralentissement unilatéral pourrait jouer contre ceux qui freinent — des acteurs moins prudents pourraient réduire leur retard. Sans mécanisme de coordination global, la décision de sécurité devra être prise sous pression concurrentielle et géopolitique.

Rappelons qu'en mai, Anthropic a publié le premier rapport sur le projet Glasswing — un programme de recherche sur les vulnérabilités à l'aide du modèle Claude Mythos.

Le même mois, l'entreprise a lancé Claude Opus 4.8 et a présenté séparément pour Claude Code une fonction de processus de travail dynamiques.

Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • Commentaire
  • Reposter
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
Aucun commentaire
  • Épinglé