ME News сообщение, 24 апреля (UTC+8), по данным мониторинга Dongcha Beating, компания Cambricon объявила, что в день выпуска V4 завершила адаптацию двух моделей: 285B DeepSeek-V4-Flash и 1.6T DeepSeek-V4-Pro. Используя фреймворк логического вывода vLLM, адаптированный код был открыт на GitHub. Скорость адаптации зависит от двух предпосылок: во-первых, собственный программный стек NeuWare от Cambricon изначально поддерживает основные фреймворки, такие как PyTorch и vLLM, что позволяет быстро переносить модели; во-вторых, чипы Cambricon изначально поддерживают основные низкоточные форматы данных, что позволяет проводить верификацию точности без дополнительного преобразования форматов. Для новой структуры V4 компания Cambricon с помощью собственной библиотеки операторов слияния Torch-MLU-Ops выполнила целевую оптимизацию модулей Compressor, mHC и других, а также написала ядра операций для разреженных/сжатых Attention, GroupGemm и других горячих точек с использованием BangC. На уровне фреймворка вывода Cambricon поддерживает в vLLM пятимерный гибридный параллелизм TP/PP/SP/DP/EP, параллелизм вычислений и связи, низкоточное квантование и раздельное развертывание PD. В техническом отчете V4 упоминалась только верификация на графических процессорах NVIDIA и NPU Huawei Ascend, платформа Cambricon не рассматривалась; данная адаптация была выполнена самостоятельно компанией Cambricon. На фоне новостей о выпуске V4 сектор отечественных чипов на акциях A-биржи укрепился, акции Cambricon резко выросли в течение дня. (Источник: BlockBeats)

Посмотреть Оригинал

На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .

Награда
лайк
комментарий
Репост
Поделиться

комментарий

Добавить комментарий

Нет комментариев

Популярные темы
Подробнее
#
GateCardPointsSystemLaunched
127,48K Популярность
#
StrongNonfarmPayrollsRekindleRateHikeFear
1,02M Популярность
#
IsraelStrikesIranBTCPlunges
67,71K Популярность
#
PredictWorldCupShare20000U
144,3K Популярность
#
ETHBreaks1700
152,51M Популярность

Закреплено

Карта сайта

Камбрикон завершил адаптацию DeepSeek-V4, код опубликован в открытом доступе, что способствовало росту акций отечественных производителей чипов.

Популярные темы

GateCardPointsSystemLaunched

StrongNonfarmPayrollsRekindleRateHikeFear

IsraelStrikesIranBTCPlunges

PredictWorldCupShare20000U

ETHBreaks1700

Закреплено