За даними моніторингу Dongcha Beating, Meituan офіційно відкрила вихідний код моделі з трильйоном параметрів LongCat-2.0, яка має загалом 1,6 трильйона параметрів і середнє активаційне значення близько 48 мільярдів, спеціально призначена для реальних завдань Agentic Coding. Архітектура інноваційно впроваджує розріджену увагу LongCat і N-gram вбудовування; перша зменшує фрагментований доступ до пам'яті через індексацію за плавністю та ієрархічну індексацію, прискорюючи навчання та виведення для довгих контекстів у мільйони токенів. Остання інвестує 135 мільярдів параметрів у шар вбудовування, зберігаючи при цьому розрідженість майже 97% у MoE, балансуючи ефективність параметрів та структурну стабільність. Після навчання застосовується багатовчительська онлайн-дистиляція, що категоризує експертів на три типи: Agent, Inference та Interaction, безшовно інтегруючи через архітектуру MOPD на вітчизняних обчислювальних кластерах. Як перша модель з трильйоном параметрів, яка завершила виведення на вітчизняному обчислювальному кластері з 50 000 карт, LongCat-2.0 підтверджує зрілу здатність вітчизняних чіпів виконувати складні завдання з великими моделями. Для подолання численних обмежень вітчизняних чіпів щодо пам'яті, пропускної здатності та взаємозв'язку, Meituan досягла проривів у трьох сферах: модель, адаптація чіпів та розгортання. На рівні моделі ScMoE використовує основні можливості керування вітчизняних чіпів для досягнення фізичного паралелізму на рівні ядер між гілками Dense та MoE, у поєднанні з сегментацією KV-кешу для зменшення тиску на пам'ять у наддовгих контекстах. На рівні адаптації чіпів Super Kernel зменшує накладні витрати на запуск операторів, а Weight Prefetch приховує затримку I/O, максимально використовуючи апаратне забезпечення в обмежених умовах. На рівні розгортання розділення PD балансує TTFT і TPOT, разом з асинхронним балансуванням навантаження Expert-Parallel для вирішення нерівномірного навантаження при високому ступені EP. Цей випуск з відкритим кодом також надає версії з різною точністю, такі як BF16, FP8 та INT8, і має на меті повністю відкрити результати виведення, оптимізовані для вітчизняних обчислювальних потужностей, орієнтуючись на плавне розгортання послуг виведення моделей з трильйоном параметрів навіть на існуючих та старіших вітчизняних картах.

Переглянути оригінал

Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.

Нагородити
подобається
Прокоментувати
Репост
Поділіться

Прокоментувати

Додати коментар

Немає коментарів

Популярні теми
Дізнатися більше
#
GTBurns2.57MInQ
169,42K Популярність
#
PredictWorldCupShare20000U
262,67K Популярність
#
IsraelStrikesIranBTCPlunges
69,38K Популярність
#
VitalikUnveilsLeanEthereum
158,84K Популярність
#
gStocksTokenizedStocksLive
4,87M Популярність

Закріплено

карта сайту

Meituan відкриває вихідний код моделі LongCat-2.0 з трильйонами параметрів, випускає код для виведення на китайських вітчизняних чіпах

Популярні теми

GTBurns2.57MInQ

PredictWorldCupShare20000U

IsraelStrikesIranBTCPlunges

VitalikUnveilsLeanEthereum

gStocksTokenizedStocksLive

Закріплено