金色财经 повідомляє, 9 липня. Як перша в галузі модель з трильйонами параметрів, яка завершила інференцію на кластері з 50 000 вітчизняних обчислювальних карток, LongCat-2.0 повністю відкрито. Для обмежених за обсягом пам'яті та пропускною здатністю вітчизняних обчислювальних мікросхем ми провели глибоку спільну оптимізацію архітектури моделі, адаптації до мікросхем і стратегії розгортання, що дозволяє моделі з трильйонами параметрів стабільно та швидко працювати на наявних картах. Відкриття LongCat-2.0 — це не лише публікація технологічного шляху, а й запрошення до екосистеми. Одночасно з відкриттям надаються версії з різною точністю: BF16, FP8 та INT8, які повністю покривають потреби розгортання на різних обчислювальних платформах. Ми також глибоко приєднуємося до спільноти відкритого коду, одночасно відкриваючи результати інференції, які були екстремально оптимізовані для вітчизняних обчислювальних потужностей. Це означає, що навіть без найновіших обчислювальних потужностей можна стабільно запустити LongCat-2.0 на наявному обладнанні. Ми сподіваємося, що завдяки цьому готовому до використання стекові для інференції, більше вітчизняних карт, включаючи старі моделі, зможуть плавно розгортати сервіси інференції великих моделей з трильйонами параметрів, що принесе більшу цінність у реальних продуктивних сценаріях.

Переглянути оригінал

Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.

Нагородити
подобається
Прокоментувати
Репост
Поділіться

Прокоментувати

Додати коментар

Немає коментарів

Популярні теми
Дізнатися більше
#
PredictWorldCupShare20000U
191,94K Популярність
#
IsraelStrikesIranBTCPlunges
70,5K Популярність
#
USIranWarCloudsGather
3,97M Популярність
#
GUSDYieldRisesto3.8%
469,82K Популярність
#
WorldCupChampionPrediction
160,53K Популярність

Закріплено

карта сайту

美团LongCat-2.0 синхронно відкриває код виведення для національних карт.

Популярні теми

PredictWorldCupShare20000U

IsraelStrikesIranBTCPlunges

USIranWarCloudsGather

GUSDYieldRisesto3.8%

WorldCupChampionPrediction

Закріплено