Dampak dari pengujian AGENTS.md terhadap pembuatan kode oleh Augment Code: yang terbaik setara dengan peningkatan satu tingkat model, yang terburuk lebih buruk daripada tidak menulis.

robot
Pembuatan abstrak sedang berlangsung
ME News Pesan, 23 April (UTC+8), menurut pemantauan Beating, perusahaan alat pemrograman AI Augment Code mengekstrak puluhan file AGENTS.md dari monorepo mereka sendiri, menggunakan suite evaluasi internal AuggieBench untuk mengukur dampak aktualnya terhadap output agen pengkodean. Caranya adalah dengan mengambil PR berkualitas tinggi yang sudah digabung sebagai tolok ukur, lalu meminta agen mengulangi tugas yang sama dengan dan tanpa AGENTS.md, lalu membandingkan skornya. Perbedaannya jauh lebih besar dari yang diperkirakan. Peningkatan kualitas dari AGENTS.md terbaik setara dengan mengganti model dari Haiku ke Opus, sedangkan yang terburuk lebih buruk daripada tidak sama sekali. Selain itu, file yang sama dapat memiliki efek berlawanan pada tugas yang berbeda: file itu meningkatkan kesesuaian standar perbaikan bug sebesar 25%, namun menurunkan penyelesaian fitur kompleks di modul yang sama sebesar 30%. Beberapa aturan penulisan yang efektif: file utama dikontrol antara 100 hingga 150 baris, dilengkapi dengan beberapa dokumen referensi terfokus, di modul sedang dengan sekitar seratus file inti, dapat memberikan peningkatan menyeluruh sebesar 10% hingga 15%. Menulis alur kerja sebagai langkah bernomor adalah yang paling efektif, satu alur deployment 6 langkah mengurangi PR yang kehilangan file dari 40% menjadi 10%, dan meningkatkan akurasi sebesar 25%. Menggunakan tabel keputusan untuk membantu agen memilih skema yang tepat sebelum bertindak juga meningkatkan kesesuaian standar sebesar 25%. Larangan harus disertai dengan solusi alternatif, menulis "jangan" saja akan membuat agen ragu-ragu, dan lebih dari 15 peringatan berturut-turut akan memperburuk efek. Yang paling mudah gagal adalah terlalu banyak dokumen. Begitu agen ditarik ke dalam banyak dokumen arsitektur, setelah memuat ratusan ribu token, outputnya justru memburuk. Sebuah modul mengumpulkan 226 dokumen lebih dari 2MB, AGENTS.md sebaik apa pun tidak berguna. Selain itu, AGENTS.md adalah satu-satunya lokasi dokumen yang 100% akan dibaca agen, dokumen di bawah _docs/ yang tidak direferensikan memiliki tingkat ditemukan kurang dari 10%. (Sumber: BlockBeats)
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • Komentar
  • Posting ulang
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
Tidak ada komentar