Dampak dari pengujian nyata Augment Code pada AGENTS.md terhadap pembuatan kode: yang terbaik setara dengan peningkatan model satu tingkat, yang terburuk lebih buruk daripada tidak menulis.

robot
Pembuatan abstrak sedang berlangsung
ME News berita, 23 April (UTC+8), menurut pemantauan 动察 Beating, perusahaan alat pemrograman AI Augment Code mengekstrak puluhan AGENTS.md dari monorepo mereka sendiri, menggunakan suite evaluasi internal AuggieBench untuk mengukur dampak aktualnya pada output agen pengkodean. Praktiknya adalah mengambil PR berkualitas tinggi yang sudah digabung sebagai tolok ukur, meminta agen mengulang tugas yang sama dalam kondisi dengan dan tanpa AGENTS.md, lalu membandingkan skornya. Perbedaannya jauh lebih besar dari yang diperkirakan. Peningkatan kualitas yang dibawa oleh AGENTS.md terbaik setara dengan mengganti model dari Haiku ke Opus, sementara yang terburuk lebih buruk daripada tidak sama sekali. Dan file yang sama dapat memiliki efek berlawanan pada tugas yang berbeda: itu meningkatkan kepatuhan standar perbaikan bug sebesar 25%, tetapi menurunkan penyelesaian fungsi kompleks di modul yang sama sebesar 30%. Ada beberapa aturan penulisan yang efektif: file utama dibatasi 100 hingga 150 baris, disertai beberapa dokumen referensi fokus, di modul menengah dengan sekitar seratus file inti dapat memberikan peningkatan keseluruhan 10% hingga 15%. Menulis alur kerja sebagai langkah bernomor adalah yang terbaik, alur penerapan 6 langkah mengurangi PR yang kehilangan file dari 40% menjadi 10%, dan akurasi naik 25%. Menggunakan tabel keputusan untuk membantu agen memilih solusi yang tepat sebelum bertindak, kepatuhan standar juga naik 25%. Menulis larangan harus disertai dengan alternatif, hanya menulis "jangan" akan membuat agen ragu-ragu, dan efek peringatan berkelanjutan lebih dari 15 baris memburuk secara signifikan. Yang paling mudah gagal adalah terlalu banyak dokumentasi. Begitu agen ditarik ke dalam banyak dokumen arsitektur, setelah memuat ratusan ribu token, outputnya justru menjadi lebih buruk. Ada modul yang mengumpulkan 226 dokumen lebih dari 2MB, AGENTS.md sebaik apa pun tidak berguna. Selain itu, AGENTS.md adalah satu-satunya lokasi dokumen yang 100% akan dibaca agen, dokumen di bawah _docs/ yang tidak dirujuk tingkat penemuannya kurang dari 10%. (Sumber: BlockBeats)
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • Komentar
  • Posting ulang
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
Tidak ada komentar