Pengujian Augment Code terhadap pengaruhnya pada AGENTS.md dalam pembuatan kode: yang terbaik setara dengan peningkatan model satu tingkat, yang terburuk bahkan lebih baik tidak menulis sama sekali

Berita ME News, 23 April (UTC+8), menurut pemantauan Beating dari Dongcha, perusahaan alat pemrograman AI Augment Code mengekstrak puluhan file AGENTS.md dari monorepo mereka sendiri, dan mengukur dampak nyata mereka terhadap output agen pengkodean menggunakan paket evaluasi internal AuggieBench. Metodenya adalah menggunakan PR berkualitas tinggi yang sudah digabungkan sebagai patokan, lalu meminta agen mengerjakan ulang tugas yang sama dalam dua kondisi: dengan dan tanpa AGENTS.md, lalu membandingkan skor. Perbedaan hasilnya jauh lebih besar dari yang diperkirakan. Peningkatan kualitas yang dibawa oleh AGENTS.md terbaik setara dengan mengganti model dari Haiku ke Opus, sedangkan yang terburuk bahkan tidak lebih baik dari tidak sama sekali. Selain itu, efeknya bisa berlawanan pada tugas yang berbeda: satu file bug fix yang memenuhi standar meningkat 25%, tetapi fungsi kompleks dalam modul yang sama menurun 30%. Beberapa praktik yang efektif meliputi: menjaga file utama antara 100 hingga 150 baris, menambahkan beberapa dokumen referensi fokus, dan dalam modul inti sekitar seratus file, dapat meningkatkan performa secara menyeluruh sebesar 10% hingga 15%. Menyusun proses dalam langkah-langkah bernomor memberikan hasil terbaik; satu proses deployment 6 langkah dapat mengurangi PR yang terlewat dari 40% menjadi 10%, dan meningkatkan akurasi sebesar 25%. Menggunakan tabel keputusan untuk membantu agen memilih solusi yang tepat sebelum bertindak juga meningkatkan kepatuhan terhadap standar sebesar 25%. Menulis larangan harus disertai alternatif; hanya menulis “jangan” akan membuat agen ragu-ragu, dan lebih dari 15 peringatan berturut-turut secara signifikan menurunkan efektivitas. Hal yang paling rawan gagal adalah terlalu banyak dokumentasi. Jika agen terjebak dalam banyak dokumen arsitektur, setelah memuat puluhan ribu token, output malah menjadi lebih buruk. Ada sebuah modul yang mengumpulkan 226 dokumen lebih dari 2MB, dan AGENTS.md yang bagus pun tidak akan membantu. Selain itu, AGENTS.md adalah satu-satunya dokumen yang pasti akan dibaca oleh agen 100%, dan dokumen yang tidak dirujuk di bawah _docs/ memiliki tingkat penemuan kurang dari 10%. (Sumber: BlockBeats)