Augment Code实测AGENTS.md对代码生成的影响：最好的等于模型升级一档，最差的不如不写

МЕ Новости, 23 апреля (UTC+8), согласно мониторингу 动察 Beating, компания по разработке инструментов для программирования на AI Augment Code извлекла из своего монорепозитория десятки файлов AGENTS.md и с помощью внутреннего тестового набора AuggieBench измерила их реальное влияние на качество работы кодирующих агентов. Метод заключается в использовании уже объединённых высококачественных PR в качестве эталона, после чего агент повторяет одну и ту же задачу в двух условиях: с и без AGENTS.md, и сравнивает оценки. Разница оказалась значительно больше ожидаемой. Лучшие AGENTS.md дают повышение качества, сравнимое с заменой модели с Haiku на Opus, а худшие — даже хуже полного отсутствия документа. Более того, один и тот же файл может давать противоположные результаты на разных задачах: он повышает соответствие стандартам исправления бага на 25%, но снижает завершённость сложной функции в том же модуле на 30%.
Эффективные подходы включают: ограничение основного файла 100–150 строками, добавление нескольких фокусных справочных документов, что в среднем на нескольких сотнях ключевых файлов в среднем модуле обеспечивает 10–15% общего улучшения. Наиболее эффективна последовательность из нумерованных шагов: шестиступенчатый процесс развертывания снижает долю PR с пропущенными файлами с 40% до 10%, а точность выполнения повышается на 25%. Использование таблицы решений помогает агенту выбрать правильный план перед началом работы, что также повышает соответствие стандартам на 25%. При написании запретов необходимо предусматривать альтернативные решения: только указание «не делайте» вызывает колебания агента, а более 15 последовательных предупреждений значительно ухудшают результат.
Самое уязвимое место — это слишком много документации. Если агент загружает большое количество архитектурных документов, объёмом в десятки тысяч токенов, его производительность и качество снижаются. Например, один модуль содержит 226 документов объёмом более 2 МБ, и даже самый хороший AGENTS.md тут не поможет. Кроме того, AGENTS.md — единственный документ, который агент обязательно читает 100%, а документы, не упомянутые в папке _docs/, обнаруживаются менее чем в 10% случаев.
(Источник: BlockBeats)