Recherche d'Anthropic : La spécialisation dans le domaine influence davantage la qualité de la génération de Claude Code que la capacité à coder

Anthropic analyse environ 400 000 sessions d'interaction avec Claude Code, ainsi qu'environ 235 000 utilisateurs, et découvre que : la clé du succès ou de l'échec de la programmation par IA n'est pas la capacité à coder, mais la profondeur de compréhension du domaine du problème à résoudre.
(Précédent contexte : Anthropic publie une étude économique sur Claude Code ! Le potentiel d'économie d'une IA agent atteint 4 milliards)
(Complément d'information : Anthropic lance un tableau de bord d'impact de l'IA : en entrant votre profession, vérifiez en secondes combien votre emploi pourrait être remplacé par l'IA)

Table des matières de cet article

Toggle

• Comment un comptable peut devenir un « expert » aux yeux de Claude
• Après une erreur, qui peut ramener l'agent sur la bonne voie
• La gestion l'emporte sur le développeur, la différence professionnelle disparaît presque

Dans leur dernier rapport, Anthropic a analysé un échantillon d'environ 235 000 utilisateurs et a constaté que la véritable variable déterminant le succès ou l’échec de l’IA est la connaissance de celui qui donne les instructions, c’est-à-dire la compréhension du problème à résoudre.

Comment un comptable peut devenir un « expert » aux yeux de Claude

L’échantillon de cette étude d’Anthropic couvre de octobre 2025 à avril 2026, avec environ 400 000 sessions Claude Code.

Le rapport a établi une échelle de professionnalisme à cinq niveaux, spécifique à la tâche, allant du débutant à l’expert. La clé réside dans la définition de cette « compétence » qui diffère de ce que l’on pourrait penser. En résumé : Vous comprenez mieux le problème que vous cherchez à résoudre, pas simplement à coder.

L’exemple donné est très clair : un ingénieur expérimenté qui écrit du Rust pour la première fois sera considéré comme débutant pour cette tâche ; inversement, un comptable qui n’a jamais utilisé Python, mais qui peut expliquer précisément à Claude les règles de rapprochement comptable et repérer une erreur logique lors de la clôture mensuelle, sera considéré comme un expert pour cette tâche.

Les chiffres illustrent la gravité du problème. Un débutant en session déclenche en moyenne 5 actions avec Claude, produisant environ 600 mots ; un expert, lui, déclenche environ 12 actions pour 3 200 mots, soit plus de deux fois plus d’actions et cinq fois plus de contenu que le débutant.

L’analyse de régression d’Anthropic montre qu’à chaque augmentation d’un niveau de compétence, le nombre d’actions de Claude augmente d’environ 9 %, et la production de contenu de 13 %, même après contrôle du type de tâche, de la valeur de la mission, du mois, de la profession et de la version du modèle.

Après une erreur, qui peut ramener l'agent sur la bonne voie

Les chiffres sur le taux de réussite parlent d’eux-mêmes. Anthropic a défini deux niveaux de succès : « succès de jugement » (le classificateur juge si la conversation a atteint l’objectif après lecture) et « succès de vérification » (il faut des preuves vérifiables, comme un test, un commit git, ou une confirmation explicite de l’utilisateur).

Globalement, plus l’utilisateur est professionnel, plus la probabilité de succès de la session est élevée, et la majorité de l’amélioration se concentre sur les niveaux faibles, avec un écart plus marqué entre débutant et intermédiaire qu’entre intermédiaire et expert. Anthropic a constaté que le taux de succès vérifiable des sessions d’experts est plus de deux fois celui des débutants.

Ce qui est encore plus intéressant, c’est le « taux de correction après erreur ». Anthropic a suivi les sessions rencontrant des difficultés, c’est-à-dire celles où un signal d’échec apparaît. Parmi ces sessions, le taux de succès vérifiable passe de 4 % chez les débutants à 15 % chez les experts ; la proportion de succès partiel est de 60 % pour les débutants, et de 80-81 % pour les intermédiaires et experts.

La différence de taux d’abandon est également frappante. Lorsqu’une session rencontre un obstacle, 19 % des débutants abandonnent directement (jugement d’échec et zéro ligne de code), contre seulement 5-7 % pour les autres niveaux. Anthropic en déduit que la connaissance du domaine est précieuse, car elle permet à l’agent, lorsqu’il dévie, de le ramener rapidement dans la bonne direction.

Cette découverte mène à une conclusion contre-intuitive : « Comprendre le problème » est plus important que « connaître l’outil ». Parce que comprendre le problème permet de repérer où l’agent donne une réponse erronée, de préciser les conditions limites, et d’intervenir immédiatement si l’agent prend une décision étrange.

La gestion l’emporte sur le développeur, la différence professionnelle disparaît presque

Les données d’Anthropic brisent une autre hypothèse : le background professionnel n’est pas aussi déterminant qu’on pourrait le penser.

Le taux de succès global pour les professions liées au logiciel est d’environ 30 %, contre 26 % pour les autres professions. En ne considérant que les sessions où du code a été effectivement produit, la différence s’élargit à 34 % contre 29 %, mais en élargissant à « au moins une réussite partielle », les deux groupes sont presque à égalité : 89 % contre 88 %.

Plus intéressant encore, parmi les dix principales professions, aucune ne dépasse de plus de 7 points de pourcentage le taux de succès des ingénieurs logiciels. Les managers ont même un taux de succès légèrement supérieur, ce que Anthropic suppose lié à leur habitude de déléguer des tâches et de définir des spécifications, qui se transpose dans leur capacité à diriger un agent.

Le mode de travail lui-même évolue rapidement en sept mois. La part des sessions de correction de bugs est passée de 33 % à 19 %, presque divisée par deux ; celle de l’opération sur des logiciels (déploiement, configuration, exécution de pipelines) est passée de 14 % à 21 % ; la rédaction et l’analyse de données ont doublé, passant d’environ 10 % à 20 %.

En d’autres termes, les utilisateurs utilisent de plus en plus Claude Code pour des tâches « périphériques » à la programmation, et non plus uniquement pour écrire du code.

La valeur économique des missions augmente également. Selon une estimation basée sur les tarifs en freelance, la valeur moyenne par session a augmenté d’environ 27 % en sept mois ; pour les tâches de construction, elle a augmenté d’environ 43 %, pour l’opération de 34 %, et pour la réparation de 32 %.

En conclusion, Anthropic propose un cadre conceptuel à retenir : le bénéfice provient de « la compétence, pas de la maîtrise », autrement dit, une maîtrise suffisante, sans nécessiter une expertise approfondie.

Une compréhension de base à intermédiaire d’un domaine permet d’en tirer la majorité des bénéfices ; en progressant vers le niveau expert, la courbe de succès se stabilise.

Avec l’expansion continue des outils d’IA, ce qui est amplifié, ce n’est pas la compétence en programmation, mais la profondeur de votre compréhension du problème. Ceux qui ne savent pas ce qu’ils cherchent à résoudre, même avec des modèles plus puissants, risquent simplement de s’égarer plus rapidement.