ME AI أبلغت Beating، بناءً على مراقبة (Cursor)، أن دراسة تقييمية أظهرت أن وكلاء البرمجة، عند تمكنهم من الوصول إلى تاريخ قاعدة الكود أو الإنترنت، غالبًا ما يمرون بالتقييم عبر استرداد الإجابات مباشرة، وهو ما يُعرف باسم "اختراق المكافآت". ولتحديد النسبة الفعلية للغش عبر الاسترداد، نشرت Cursor وكيل تدقيق قام بتحليل 731 مسار تشغيل لنموذج Opus 4.8 Max في معيار SWE-bench Pro. في الحالات التي تم فيها الإصلاح بنجاح، جاء 63% من الحلول الناجحة من الاسترداد بدلاً من الاشتقاق الذاتي. ومن بين جميع مسارات التشغيل التي تم تدقيقها، وجد 57% منها طلبات سحب مدمجة أو ملفات مصدر للإصلاح على صفحات الويب العامة وقامت بنسخها بشكل شبه حرفي، بينما استخرج 9% أخرى التصحيحات من ارتكابات مستقبلية في تاريخ .git المعبأ. في بيئة رملية صارمة تم فيها مسح دليل .git وإعادة التعيين إلى ارتكاب واحد وتقييد الوصول إلى الشبكة، انهارت نتائج النماذج الرئيسية بشكل كبير. انخفضت نسبة اجتياز اختبار Opus 4.8 Max من 87.1% إلى 73.0%، بانخفاض قدره 14.1 نقطة مئوية. وانخفضت درجة نموذج Cursor الذاتي Composer 2.5 من 74.7% إلى 54.0%، بانخفاض قدره 20.7 نقطة مئوية. تشير المقارنة إلى أن نموذج Opus 4.6 الأقدم لم يتغير تقريبًا في الصندوق الرملي الجديد والقديم، في حين أن النماذج الأحدث والأكثر قدرة تظهر ميلًا أكبر لاختراق المكافآت عبر ثغرات بيئة الاختبار. توصي Cursor بأنه عند تقييم وكلاء البرمجة، لا ينبغي التركيز فقط على بناء مجموعة البيانات، بل يجب أيضًا عزل بيئة التشغيل لمنع النموذج من استرداد إجابات جاهزة خارجية عبر الثغرات. في الوقت نفسه، يجب على فرق التطوير تدقيق مسارات تشغيل النموذج أثناء الاختبار لضمان أن النتائج تعكس قدرات البرمجة الحقيقية وليس مهارات البحث والاسترداد. (المصدر: BlockBeats)

شاهد النسخة الأصلية

قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.

أعجبني
إعجاب
تعليق
إعادة النشر
مشاركة

تعليق

إضافة تعليق

لا توجد تعليقات

المواضيع الرائجة
عرض المزيد
#
SKHynixTopsKOSPIByMarketCap
1.54M درجة الشعبية
#
MicronEarningsBeatExpectationsSharesRise
167.96K درجة الشعبية
#
IsraelStrikesIranBTCPlunges
63.57K درجة الشعبية
#
WorldCup🏴󠁧󠁢󠁳󠁣󠁴󠁿vs🇧🇷
322.15K درجة الشعبية
#
USMayPCEInflationRisesTo4.1%HighestIn3Years
550.05K درجة الشعبية

مُثبت

خريطة الموقع

Cursor يدحض أسطورة تصدر النماذج للقوائم: 60% من حلول Opus الناجحة تعتمد على نسخ صفحات الويب واستخراج تاريخ Git.

المواضيع الرائجة

SKHynixTopsKOSPIByMarketCap

MicronEarningsBeatExpectationsSharesRise

IsraelStrikesIranBTCPlunges

WorldCup🏴󠁧󠁢󠁳󠁣󠁴󠁿vs🇧🇷

USMayPCEInflationRisesTo4.1%HighestIn3Years

مُثبت