美团开源万亿参数大模型LongCat-2.0，国产算力训练难题被啃下来了，故障率降七成，这波技术硬实力值得关注

Повідомлення Bíjiè, сьогодні компанія Meituan офіційно випустила нове покоління моделі LongCat-2.0 з трильйонами параметрів і зробила її відкритою. Обсяг попередньо навчених даних LongCat-2.0 перевищує 30T токенів, охоплюючи китайську, англійську, багатомовні мови та код. Стикаючись з апаратними збоями, аномаліями зв'язку, тиском на відеопам'ять і коливаннями значень під час навчання на десятках тисяч карт, команда LongCat подолала труднощі навчання на вітчизняних обчислювальних потужностях з трьох аспектів: стабільність, правильність та ефективність. У стабільності завдяки обробці винятків hccl, еластичному розширенню та стисканню карт і автоматичному відновленню збоїв вдалося знизити середньомісячну щоденну частоту збоїв більш ніж на 70%. У правильності за допомогою самостійно розроблених детермінованих операторів, перевірки узгодженості bitwise та виявлення параметрів забезпечується надійність результатів навчання, а також на основі практики підвищується обчислювальна точність ключових модулів та оптимізується логіка reduce.