Meituan открыла исходный код огромной модели LongCat-2.0 с триллионом параметров, была решена проблема тренировки на отечественных вычислительных мощностях, уровень отказов снизился на 70%, эта волна технической мощи заслуживает внимания.

Сообщение BiteJie: сегодня Meituan официально выпустила новое поколение модели с триллионами параметров LongCat-2.0, которая будет открыта для сообщества. Объем предобученных данных LongCat-2.0 превышает 30 трлн токенов, охватывая китайский, английский, многоязычные и кодовые данные. Столкнувшись с аппаратными сбоями, коммуникационными аномалиями, давлением на видеопамять и колебаниями значений при обучении на уровне десятков тысяч карт, команда LongCat преодолела трудности обучения на отечественных вычислительных мощностях с точки зрения стабильности, корректности и эффективности. В части стабильности, с помощью обработки исключений hccl, эластичного расширения/сжатия карт и автоматического восстановления после сбоев, среднесуточный уровень отказов снижен более чем на 70%. В части корректности, с помощью самостоятельно разработанных детерминированных операторов, проверки побитовой согласованности и обнаружения параметров обеспечивается надежность результатов обучения, а на основе практики повышается точность вычислений ключевых модулей и оптимизируется логика reduce.