Augment Code testé l'impact d'AGENTS.md sur la génération de code : le meilleur équivaut à une mise à niveau du modèle, le pire est moins bon que de ne pas écrire

ME News Actualités, le 23 avril (UTC+8), selon la surveillance de Dongcha Beating, la société d’outils de programmation IA Augment Code a extrait une dizaine de fichiers AGENTS.md de leur monorepo et a utilisé leur suite d’évaluation interne AuggieBench pour mesurer leur impact réel sur la production d’agents de codage. La méthode consiste à prendre une PR de haute qualité déjà fusionnée comme référence, puis à faire refaire la même tâche par l’agent dans deux conditions : avec et sans AGENTS.md, en comparant les scores. La différence est bien plus grande que prévu. La meilleure version d’AGENTS.md apporte une amélioration de qualité équivalente à passer du modèle Haiku à Opus, tandis que la pire version est encore inférieure à l’absence totale de document. De plus, le même fichier peut avoir des effets opposés selon la tâche : il augmente de 25 % la conformité d’un correctif de bug, mais réduit de 30 % la complétude d’une fonctionnalité complexe dans le même module.

Il y a quelques bonnes pratiques efficaces : limiter le fichier principal à 100-150 lignes, accompagner de plusieurs documents de référence ciblés, ce qui peut apporter une amélioration globale de 10 à 15 % dans des modules moyens comportant une centaine de fichiers clés. Structurer le processus en étapes numérotées donne les meilleurs résultats : un processus de déploiement en 6 étapes réduit le taux de PR manquantes de 40 % à 10 %, avec une augmentation de 25 % de la précision. Utiliser un tableau de décision pour aider l’agent à choisir la bonne solution avant d’agir augmente aussi la conformité de 25 %.

Il faut aussi prévoir des alternatives lors de l’interdiction de certaines actions : se contenter d’écrire « ne pas faire » peut faire hésiter l’agent, et plus de 15 avertissements consécutifs aggravent nettement la performance.

Le piège le plus courant est d’avoir trop de documentation. Lorsqu’un agent est noyé dans une grande quantité de documents d’architecture, après avoir chargé des dizaines de milliers de tokens, ses résultats se dégradent. Par exemple, un module accumule 226 documents dépassant 2 Mo, et même un AGENTS.md parfait ne suffit pas.

De plus, AGENTS.md est le seul endroit que l’agent lit à 100 %, et moins de 10 % des documents non référencés dans _docs/ sont découverts.

(Source : BlockBeats)