رأي مولليك: ARC-AGI-3 ليس نسخة مطورة، إنه شيء مختلف تمامًا

كيف يقول مولك

وجهة نظر إيثان مولك (من كلية وارتون) واضحة: لا تقارن ARC-AGI-3 بالجيلين السابقين. يقول إن هذا “اختبار مختلف تمامًا”، القواعد قد تغيرت، وما يتم تقييمه أيضًا قد تغير. يمكنك اعتباره معيارًا جديدًا مفيدًا، لكن لا تتوقع أن يتم مقارنته بالأعمال السابقة.

ما الذي يختلف بالضبط

كانت ARC-AGI-1 و2 في الأساس ألغاز شبكية ثابتة، تعطيك مدخلات ومخرجات، وتجاب مرة واحدة. ARC-AGI-3 تلقي بالنموذج في بيئة تفاعلية، وتطلب منه في مشاهد غير مألوفة:

• استكشاف بنفسه، وفهم ما هو الهدف
• بناء فهم للبيئة بناءً على تغذية راجعة محدودة
• تخطيط وتنفيذ عمليات متعددة الخطوات
• التعديل أثناء العمل، وتصحيح الأخطاء عند اكتشافها

طريقة التقييم أيضًا تغيرت: التركيز الأساسي هو على مدى كفاءتك في إكمال نفس المهمة مقارنة بالبشر.

حدد فرانسوا شولت الهدف من ARC-AGI-3 بأنه “كفاءة اكتساب المهارات”: هل يمكن للنموذج تعلم مهام جديدة بسرعة بناءً على الاستدلال الأساسي، بدلاً من تطبيق الأنماط على البيانات التي تم رؤيتها من قبل.

مقارنة الأجيال الثلاثة

لماذا النتائج مختلفة بهذا القدر

• نسبة نجاح البشر في الاختبار: 100%
• نقاط النموذج المتقدم: أقل من 1%

تم تصميم هذا المعيار عمدًا بحيث لا يمكن الاعتماد على تراكم البيانات أو الحسابات العنيفة لتحقيق النقاط. لقد أصاب مباشرة نقطة ضعف النماذج الحالية: القدرة على التعميم والقدرة على التعلم السريع ليست جيدة.

ماذا يعني ذلك للتقييم والبحث

المعايير الثابتة يسهل “ترويضها” — يمكن للنموذج الذي شهد بيانات تدريب مشابهة تحقيق درجات عالية، لكن القدرات قد لا تكون قد تحسنت حقًا. ARC-AGI-3 تحاول قياس أشياء أقرب إلى الاستقلالية الحقيقية:

• هل يمكنه استكشاف بيئات غير معروفة، وبناء فهم
• هل يمكنه التخطيط والتنفيذ عند وجود معلومات ناقصة
• هل يمكنه التكيف وتصحيح الأخطاء عند قلة التغذية الراجعة

تم تحديد آليات التحفيز والجدول الزمني المصاحب أيضًا:

• جائزة ARC 2026: جائزة قدرها 850,000 دولار
• ARC-AGI-4: من المتوقع إصدارها في أوائل عام 2027
• تحديث سنوي: الهدف دائمًا متحرك، والمعيار لن يتم تجاوزها بسرعة

تأثير ذلك على الباحثين والمطورين

• الأهمية: عالية — تم تغيير المعيار، ويجب أن تتغير أولويات البحث والتطوير وفقًا لذلك
• النوع: أبحاث الذكاء الاصطناعي، تحليل تقني، اتجاهات الصناعة
• النقطة الأساسية: ARC-AGI-3 تقيس “مدى سرعة تعلم أشياء جديدة”، وليس “مدى صحة الإجابات على الأسئلة المعروفة”

الحكم: إذا كنت تعمل على ذكاء اصطناعي يتمتع بقدرة حقيقية على الاستقلالية، فلا يزال الطريق طويلًا، لكن الاتجاه يتضح بشكل متزايد. الفرق التي تقوم بالبحث والتطوير على المدى الطويل وصناديق البحث هي الأكثر صلة؛ أما بالنسبة للعمليات قصيرة المدى، فمن الأفضل الانتظار حتى تظهر اختراقات يمكن التحقق منها ونقاط تجارية قبل اتخاذ القرارات.