السدس من المعلمات يرد على الأجيال السابقة، يمكن للتدريب المسبق أن يتجاوز حدود المجال باستخدام مؤشرات المراقبة والبيانات التركيبية فقط — كفاءة البيانات تفوق حجم النموذج بشكل يفاجئني أكثر

شاهد النسخة الأصلية
MeNews
التنبؤ الزمني أخيرًا نجح في تطبيق قانون التدرج، Datadog يفتح مصدر أعلى نموذج بوساطة 2.5 مليار معلمة Toto 2
كشفت Datadog عن نموذج التنبؤ الزمني مفتوح المصدر من عائلة Toto 2، والذي يتضمن خمسة إصدارات: 4م، 22م، 313م، 1B، 2.5B، جميعها برخصة Apache 2.0. لأول مرة في مجال السلاسل الزمنية، تحقق Toto 2 قانون التوسع، حيث كلما زاد الحجم زادت قوة التنبؤ، ونسخة 2.5B لم تصل بعد إلى التشبع؛ وفازت في معايير BOOM و GIFT-Eval و TIME. أدخلت قناع الكتل المستمر، وحولت التوليد التلقائي من استرجاع ذاتي إلى تمرير أحادي الاتجاه، مما أدى إلى تسريع ملحوظ، حيث بلغ زمن التأخير لنسخة 313م قريبًا من Chronos-2 الذي يبلغ 120م. تم التدريب المسبق باستخدام مؤشرات مراقبة النظام وبيانات تركيبية فقط، وما زالت تظهر قدرة على التعميم عبر مجالات مختلفة، حيث أن نسخة 22م تتفوق على Toto 1.0 باستخدام فقط سدس المعلمات.
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
  • أعجبني
  • تعليق
  • إعادة النشر
  • مشاركة
تعليق
إضافة تعليق
إضافة تعليق
لا توجد تعليقات
  • مُثبت