اختبارات ReactBench لوكلاء توليد كود الذكاء الاصطناعي: GPT-5.6 Sol يتصدر بنسبة 43.1%، بينما تطأ النماذج اللغوية الرئيسية بجدٍّ حوافر الأخطاء (Bug)

خصصت مجموعة Million لتطوير أدوات متعلقة بـ React، وأعلنت أخيرا بشكل رسمي عن إطلاق «ReactBench v1». ويُعد هذا أول اختبار معياري (Benchmark) مخصص لوكلاء توليد أكواد الذكاء الاصطناعي (Coding Agents) في مهام تطوير React الفعلية. وتُظهر نتائج الاختبار أنه حتى أفضل نموذج أداء مثل GPT-5.6 Sol لا تتجاوز نسبة نجاحه 43.1%، ولا يستطيع أي نموذج من النماذج الخاضعة للاختبار كسر حاجز الخمسين بالمئة، ما يشير إلى أن الفجوة بين الذكاء الاصطناعي والاستعاضة الكاملة عن المطورين البشريين ما زالت كبيرة.
(ملخص سابق: أظهرت OpenAI قدرات GPT-Live متعددة المهام: الدردشة ثم الاستعلام عن الرحلات الجوية والطقس وأسعار الأسهم، وتقديم المسائل الصعبة إلى GPT-5.5)
(إضافة سياقية: تقرير Visa: مدفوعات وكيل الذكاء الاصطناعي تدخل مرحلة عملية، وأن العملات المستقرة أكثر ملاءمة للمدفوعات الصغيرة المتكررة)

فهرس المقال

Toggle

• التحقق الصارم: يجب أن يعمل، وألا يحتوي حتى على أي Bug
• GPT-5.6 يتفوق بصعوبة على Claude، ونسبة النجاح الإجمالية لا تصل إلى نصفها
• توسيع القيمة مقابل التكلفة هو المفتاح، وما يزال التطوير بمساعدة الذكاء الاصطناعي يحمل مخاطر كامنة

مع تزايد قوة قدرة الذكاء الاصطناعي (AI) على كتابة التعليمات البرمجية، أصبح ضمان جودة المخرجات محور اهتمام في أوساط تطوير البرمجيات حول العالم. واستهدافا لإطار الواجهة الأمامية الأكثر شيوعا حاليا React، أطلقت مجموعة Million المعروفة عالميا والمشهورة بتطوير React Scan وMillion.js، مؤخرا بشكل رسمي اختبارا معياريا بعنوان «ReactBench v1». ويختلف هذا الاختبار عن المعايير السابقة التي كانت تكتفي بمتطلبات اجتياز اختبار الوحدات الأساسية، حيث يتم وضع الذكاء الاصطناعي في سياق مشروع مفتوح المصدر واقعي، مع تدقيق صارم في مدى توافق الكود الذي تولده مع المتطلبات العالية لبيئات الإنتاج.

التحقق الصارم: لا يكفي أن يعمل، بل يجب ألا يحتوي على Bug

اختار ReactBench v1 ما مجموعه 51 مهمة (Pull Requests) من مشاريع مفتوحة المصدر حقيقية. وينقسم الاختبار أساسا إلى قدرات رئيسية تتمثل في «الكتابة (Write React)» و«الإصلاح (Fix React)». ولمنع الذكاء الاصطناعي من توليد كود يبدو قابلا للتطبيق لكنه يحمل تهديدات كامنة، أدخل الاختبار مُتحقق «React Doctor» الذي يضم أكثر من 400 قاعدة تحقق، وهو مصمم خصيصا لاكتشاف المشكلات المحتملة مثل العرض غير الصحيح (Renders)، وضعف الأداء، ونقص عناصر التصميم لسهولة الوصول (Accessibility)، فضلا عن جوانب تتعلق بقابلية الصيانة. وتشدد الجهة الرسمية على أن وكيل الذكاء الاصطناعي لا يجب أن ينجز الوظائف فحسب، بل يجب أيضا ألا يُدخل أي أخطاء جديدة في الكود.

GPT-5.6 يتفوق بصعوبة على Claude، ونسبة النجاح الإجمالية لا تصل إلى نصفها

استنادا إلى نسب الاجتياز المتوسطة المنشورة (pass@1)، لا تزال النماذج الأبرز في السوق بحاجة إلى تحسينات كبيرة. ويتصدر GPT-5.6 Sol الذي قدمته OpenAI (إعداد Medium / XHigh) المشهد بنسبة إجمالية 43.1%؛ وتأتي Claude Fable 5 لدى Anthropic (XHigh) في المركز الثاني بنسبة 41.2%. وتقول الجهة الرسمية إن الفارق بينهما صغير، ولا يمكن تأكيد وجود تفوق مطلق لـ Sol في الوقت الحالي.

ومن الجدير بالذكر أنه حتى مع تصدره في الترتيب، فإن نسبة نجاح جميع النماذج الخاضعة للاختبار لا تزال أقل من 50%. وتُظهر البيانات أنه خلال 4,455 مرة من اختبارات تطوير ميزات جديدة، أدخلت النماذج مجتمعة ما يصل إلى 1,194 مشكلة مرتبطة بـ React. ومن بينها 77.5% تنتمي إلى أخطاء برمجية جسيمة (Bug) أو مشكلات تتعلق بالأمان، وبخاصة عند عرض القوائم (list rendering) وصحة قواعد الـ Hook الأكثر عرضة للتعثر.

توسيع القيمة مقابل التكلفة هو المفتاح، وما يزال التطوير بمساعدة الذكاء الاصطناعي يحمل مخاطر كامنة

رغم أن أداء النماذج الأعلى من حيث الترتيب مقنع، إلا أن هناك نقاطا لافتة من زاوية تكلفة التشغيل. ووفق التقرير، حقق GPT-5.6 Terra (Medium) درجة 38.0%، وهو أداء قريب جدا من مستوى القمة، لكن ضمن إعداد XHigh، فإن تكلفة الاختبار الفردي لـ Fable 5 تبلغ نحو 6.3 مرات تكلفة Sol. وهذا يشير إلى أنه بالنسبة للشركات التي تحتاج إلى توليد كميات كبيرة من التعليمات البرمجية، قد يكون اختيار نموذج من الفئة المتوسطة خيارا ذا قيمة مقابل تكلفة ممتازة.

تحتل React حاليا نحو 70% من حصة استخدام مواقع الويب التي تعتمد أطر JavaScript. وتذكر فرق التطوير أنه إذا وثق المطورون بشكل أعمى بكود React الذي يولده الذكاء الاصطناعي، فإن العيوب الصغيرة يمكن أن تتضخم بسهولة في بيئات الإنتاج، وحتى تؤدي إلى تعطل النظام، وتراجع معدلات التحويل وخسائر في الإيرادات. وكان إطلاق ReactBench جاء بهدف وضع ضمانات للمطورين حول العالم، بما يضمن أن وكلاء الذكاء الاصطناعي في المستقبل يستطيعون فعلا كتابة تعليمات برمجية آمنة ومتوافقة وفعالة وعالية الجودة.