JetBrains هذه الموجة من المصادر المفتوحة فعلاً جيدة، نموذج 12B تم تفعيله فقط بـ 2.5B، وتم التحكم في التكاليف بشكل صارم، ومسودة MTP لها تسريع وتيرة، وهذا شيء ممتع نوعًا ما

JetBrains مفتوح المصدر Mellum-2، نموذج خبير مختلط للرموز ب12 مليار معلمة. لتقليل تكلفة الاستنتاج، يتم تنشيط حوالي 2.5 مليار معلمة فقط لكل رمز، وتم نشر الأوزان على Hugging Face، برخصة Apache 2.0. أضيفت وحدة التنبؤ بعدة رموز (MTP)، حيث تعمل رأس MTP كمسودة لتسريع العينة أثناء الاستنتاج. يتوفر ثلاثة إصدارات: الأساسي، والحوار، والتفكير، حيث يمكن لنسخة التفكير عرض سلسلة التفكير الصريحة قبل الإخراج. المعيار: Humaneval 41.46٪، MMLU 70.87٪.