美团开源万亿参数大模型LongCat-2.0，国产算力训练难题被啃下来了，故障率降七成，这波技术硬实力值得关注

رسالة من CoinBoundary: اليوم، أصدرت شركة Meituan رسميًا الجيل الجديد من النموذج الكبير LongCat-2.0 مع تريليونات المعلمات، وسيتم فتحه كمصدر مفتوح. حجم بيانات التدريب المسبق لنموذج LongCat-2.0 يتجاوز 30 تريليون رمز، ويغطي بيانات متعددة مثل الصينية والإنجليزية واللغات المتعددة والكود. في مواجهة الأعطال الأجهزة، والشذوذ في الاتصالات، وضغط الذاكرة، والتقلبات العددية أثناء التدريب على آلاف البطاقات، نجح فريق LongCat في حل تحديات التدريب على الحوسبة المحلية من ثلاثة جوانب: الاستقرار، الصحة، والكفاءة. في جانب الاستقرار، من خلال معالجة الشذوذ في hccl، والبطاقات القابلة للتوسع والانكماش المرنة، واستعادة الأعطال التلقائية، تم تقليل معدل الأعطال اليومي الشهري بأكثر من 70%. في جانب الصحة، من خلال المشغلات الحتمية المصممة ذاتيًا، والتحقق من التناسق الثنائي، وفحص المعلمات، يتم ضمان موثوقية نتائج التدريب، مع تحسين دقة الحساب للوحدات الرئيسية وتحسين منطق الاختزال بناءً على الممارسة.