Cambricon завершив адаптацію DeepSeek-V4, код став відкритим, що призвело до зростання акцій вітчизняних виробників мікросхем.

ME News повідомляє, 24 квітня (UTC+8), за даними моніторингу Dongcha Beating, компанія Cambricon оголосила про адаптацію двох моделей: 285B DeepSeek-V4-Flash та 1.6T DeepSeek-V4-Pro у день випуску V4. Адаптація базується на фреймворку виведення vLLM, а код адаптації вже опубліковано у відкритому доступі на GitHub.

Швидкість адаптації залежить від двох передумов: по-перше, власний програмний стек Cambricon NeuWare нативно підтримує основні фреймворки, такі як PyTorch та vLLM, що дозволяє швидко переносити моделі; по-друге, чіпи Cambricon нативно підтримують основні формати даних низької точності, що дозволяє виконувати перевірку точності без додаткового перетворення форматів. Для нової структури V4 компанія Cambricon використала власну бібліотеку об'єднаних операторів Torch-MLU-Ops для спеціалізованого прискорення модулів, таких як Compressor та mHC, а також за допомогою BangC написала ядра гарячих операторів, таких як sparse/compression Attention та GroupGemm.

На рівні фреймворку виведення Cambricon реалізував у vLLM підтримку п'ятивимірного гібридного паралелізму TP/PP/SP/DP/EP, паралелізму комунікацій та обчислень, низькоточної квантизації та роздільного розгортання PD. У технічному звіті V4 згадувалася лише верифікація на NVIDIA GPU та Huawei Ascend NPU, без згадки платформи Cambricon. Цю адаптацію виконано самостійно компанією Cambricon. На тлі новин про випуск V4 акції китайського сектора вітчизняних чіпів зросли, а акції Cambricon різко пішли вгору під час торгів. (Джерело: BlockBeats)