تأثير اختبار Augment Code الفعلي لـ AGENTS.md على توليد الكود: الأفضل يعادل ترقية النموذج بمستوى واحد، والأسوأ أسوأ من عدم الكتابة.

robot
إنشاء الملخص قيد التقدم
ME News أخبار، في 23 أبريل (UTC+8)، وفقًا لرصد Beating، قامت شركة أدوات البرمجة بالذكاء الاصطناعي Augment Code بسحب عشرات من ملفات AGENTS.md من مستودعها الأحادي (monorepo)، واستخدمت مجموعة التقييم الداخلي AuggieBench لقياس تأثيرها الفعلي على مخرجات وكيل البرمجة (agent). الطريقة هي استخدام طلبات السحب (PR) عالية الجودة التي تم دمجها كمعيار، وجعل الوكيل يعيد نفس المهمة في ظل وجود وعدم وجود AGENTS.md، ثم مقارنة النتائج. الفارق أكبر بكثير من المتوقع. أفضل ملف AGENTS.md كتباً أدى إلى تحسين الجودة يعادل تغيير النموذج من Haiku إلى Opus، بينما أسوأها كان أسوأ من عدم وجوده تماماً. ونفس الملف يمكن أن يكون له تأثير معاكس في مهام مختلفة: فقد رفع درجة الامتثال لإصلاح خطأ بنسبة 25%، لكنه خفض إنجاز وظيفة معقدة في نفس الوحدة بنسبة 30%. هناك عدة قواعد للكتابة الفعالة: التحكم في الملف الرئيسي بين 100 و150 سطراً، مع إرفاق عدة وثائق مرجعية مركزة، وفي وحدة متوسطة تحتوي على نحو مائة ملف أساسي، يمكن أن يحقق تحسناً شاملاً بنسبة 10% إلى 15%. كتابة العملية كخطوات مرقمة هي الأفضل، حيث خفضت عملية نشر من 6 خطوات طلبات السحب المفقودة من 40% إلى 10%، ورفعت الدقة بنسبة 25%. استخدام جداول القرار لمساعدة الوكيل على اختيار النهج الصحيح قبل العمل رفع الامتثال للمعايير أيضاً بنسبة 25%. عند كتابة المحظورات، يجب إرفاق بدائل، فمجرد كتابة "لا" يجعل الوكيل متردداً، وتتدهور النتائج بشكل ملحوظ مع أكثر من 15 تحذيراً متتالياً. أسهل شيء يمكن أن يفسد الأمور هو كثرة الوثائق. بمجرد أن يسحب الوكيل إلى عدد كبير من وثائق البنية، وبعد تحميل مئات الآلاف من التوكنات، يصبح الناتج أسوأ. هناك وحدة جمعت 226 وثيقة بأكثر من 2 ميغابايت، ولم يفلح حتى أفضل AGENTS.md. بالإضافة إلى ذلك، فإن AGENTS.md هو موقع الوثيقة الوحيد الذي يقرأه الوكيل بنسبة 100%، بينما نسبة اكتشاف الوثائق غير المشار إليها في مجلد _docs/ أقل من 10%. (المصدر: Beating)
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
  • أعجبني
  • تعليق
  • إعادة النشر
  • مشاركة
تعليق
إضافة تعليق
إضافة تعليق
لا توجد تعليقات
  • مُثبت