LongCat-2.0 став відкритим, 30T токенів попереднього навчання, схема стабільності навчання на рівні десятків тисяч карт повністю оприлюднена, інфраструктура вітчизняних великих моделей зробила ще один крок вперед.

Повідомлення Bíjiè, сьогодні компанія Meituan офіційно випустила нове покоління моделі LongCat-2.0 з трильйонами параметрів і зробила її відкритою. Обсяг попередньо навчених даних LongCat-2.0 перевищує 30T токенів, охоплюючи китайську, англійську, багатомовні мови та код. Стикаючись з апаратними збоями, аномаліями зв'язку, тиском на відеопам'ять і коливаннями значень під час навчання на десятках тисяч карт, команда LongCat подолала труднощі навчання на вітчизняних обчислювальних потужностях з трьох аспектів: стабільність, правильність та ефективність. У стабільності завдяки обробці винятків hccl, еластичному розширенню та стисканню карт і автоматичному відновленню збоїв вдалося знизити середньомісячну щоденну частоту збоїв більш ніж на 70%. У правильності за допомогою самостійно розроблених детермінованих операторів, перевірки узгодженості bitwise та виявлення параметрів забезпечується надійність результатів навчання, а також на основі практики підвищується обчислювальна точність ключових модулів та оптимізується логіка reduce.