لا مزيد من التدريب غير المتصل للنماذج الأولية: تفتح Together AI مصدر Aurora للتشفير التكهني مع التعلم الذاتي

وفقًا لمتابعة 1M AI News، قامت منصة السحابة الخاصة بالذكاء الاصطناعي Together AI بإصدار Aurora كمصدر مفتوح، وهو إطار تكيفي للـ speculative decoding استنادًا إلى التعلم المعزز. يعد الـ speculative decoding هو الطريقة السائدة لتسريع استدلال النماذج الكبيرة: إذ يتنبأ بسرعة بسلاسل الرموز باستخدام «نموذج مسودة» صغير، ثم يتم التحقق منها بالتوازي بواسطة نموذج أكبر، مع اعتماد الضربات مباشرةً والتخلّي عن حالات الفشل لإعادة التقييم. تكمن المشكلة في أن نموذج المسودة منتج ثابت تم تدريبه دون اتصال؛ بمجرد أن ينحرف عن حركة المرور في الإنتاج (بسبب ترقيات النماذج أو تغيّر خصائص المستخدمين أو تبديل نوع المهام)، تنخفض دقة التنبؤ بشكل مستمر، كما أن إعادة التدريب دون اتصال مكلفة ومتأخرة. تعيد Aurora تعريف الـ speculative decoding باعتباره مشكلة تعلم معزز: يعمل نموذج المسودة كسياسة (policy)، ويقوم مُتحقّق النموذج الكبير بدور البيئة (environment)، فالرموز المقبولة تُعد مكافآت إيجابية، بينما تُعد الرموز المرفوضة ردود فعل سلبية. يتألف النظام من مكوّنين منفصلين: خادم الاستدلال الذي يعالج الطلبات بشكل طبيعي ويبث نتائج التحقق إلى مخزن مؤقت، وخادم التدريب الذي يسحب البيانات بشكل غير متزامن لتحديث أوزان نموذج المسودة ثم يستبدلها فورًا على جانب الاستدلال دون تعطيل الخدمة. في اختبارات حركة مرور مُحاكية تضمنت 40,000 طلب عبر خمسة نطاقات (الاستدلال الرياضي، النص إلى SQL، توليد الكود، التمويل، والحوار العام)، استعادت Aurora أطوال القبول ضمن نحو 10,000 طلب بعد تحولات نطاق حركة المرور، محققة تسريعًا بمقدار 1.25 مرة مقارنةً بنموذج مسودة ثابت مُدرّب جيدًا. وعلى نحو مميز، حققت Aurora، التي تتدرب على الإنترنت من الصفر، طول قبول قدره 3.08، متجاوزةً الأساس الثابت 2.63، و«نموذج pre-trained ثم fine-tuned» الذي بلغ 2.99، مع استقرار الإنتاجية عند 302.3 رمزًا في الثانية، مما يتحدى مباشرة الفكرة القائمة بأن «speculative decoding يجب أن يعتمد على pre-training واسع النطاق دون اتصال». في اختبارات end-to-end، وفّر الـ speculative decoding تسريعًا بمقدار 1.92 مرة على Qwen3-Coder-Next (FP8) بحجم دفعة 1، و1.63 مرة على MiniMax M2.5 (FP8). وضعت سَلَف Aurora، ATLAS، الأساس للمُخمّن التكيفي، وقد أدى هذا التحديث إلى نظام حلقي مغلق مستقل بالكامل. تم إصدار الكود كمصدر مفتوح على GitHub.