Augment Code實測AGENTS.md對代碼生成的影響:最好的等於模型升級一檔,最差的不如不寫

robot
摘要生成中

ME News 消息,4 月 23 日(UTC+8),據 動察 Beating 監測,AI 編程工具公司 Augment Code 從自家 monorepo 中抽取數十份 AGENTS.md,用內部評測套件 AuggieBench 測量它們對編碼 agent 產出的實際影響。做法是拿已合併的高品質 PR 當基準,讓 agent 在有和沒有 AGENTS.md 兩種條件下重做同一任務,對比評分。 差距比預期大得多。寫得最好的 AGENTS.md 帶來的品質提升相當於把模型從 Haiku 換成 Opus,寫得最差的還不如完全沒有。而且同一份文件在不同任務上效果可以相反:它讓一個 bug 修復的規範符合度升了 25%,卻讓同模組一個複雜功能的完成度掉了 30%。 管用的寫法有幾條:主文件控制在 100 到 150 行、配幾份聚焦參考文件,在百來個核心文件的中等模組裡能帶來 10% 到 15% 的全面提升。把流程寫成編號步驟效果最好,一個 6 步部署流程將漏文件的 PR 從 40% 砍到 10%,正確率升了 25%。用決策表幫 agent 在動手前選對方案,規範符合度也升了 25%。寫禁令必須配替代方案,光寫「不要」會讓 agent 猶豫不決,15 條以上連續警告效果明顯惡化。 最容易翻車的是文件太多。agent 一旦被拽進大量架構文件,載入幾十萬 token 之後產出反而變差。有個模組攢了 226 份文件超過 2MB,AGENTS.md 再好也沒用。另外 AGENTS.md 是 agent 100% 會讀的唯一文件位置,_docs/ 下沒被引用的文件發現率不到 10%。 (來源:BlockBeats)

查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 留言
  • 轉發
  • 分享
留言
請輸入留言內容
請輸入留言內容
暫無留言