Кам'яна ера завершила адаптацію DeepSeek-V4, код вже відкритий, що сприяє зростанню акцій китайських чипів

Згідно з моніторингом Beating, компанія Каменяра оголосила, що на день випуску V4 було завершено адаптацію двох моделей 285B DeepSeek-V4-Flash і 1.6T DeepSeek-V4-Pro, заснованих на фреймворку виведення vLLM, код адаптації був відкритий на GitHub.

Швидкість адаптації залежить від двох передумов: по-перше, власна програмна платформа NeuWARE від Каменяра підтримує основні фреймворки, такі як PyTorch і vLLM, що дозволяє швидко переносити моделі; по-друге, чипи Каменяра нативно підтримують основні формати даних з низькою точністю, без додаткового перетворення формату для перевірки точності. Для нової структури V4 Каменяр створив власну бібліотеку об’єднаних операторів Torch-MLU-Ops, яка прискорює модулі, такі як Compressor і mHC, а також написав ядра для популярних операторів, таких як розріджена/стиснута увага, GroupGemm, мовою BangC.

На рівні фреймворку для виведення, Каменяр підтримує у vLLM п’ять видів гібридної паралельної обробки: TP/PP/SP/DP/EP, а також комунікаційно-обчислювальну паралельність, кількісне зниження точності та роздільне розгортання PD. У технічному звіті V4 згадуються лише перевірки на NVIDIA GPU і Huawei Ascend NPU, без згадки платформи Каменяра; ця адаптація була виконана самостійно Каменяром. Після оголошення V4 акції в секторі вітчизняних чипів на А-акціях зросли, а ціна Каменяра різко піднялася під час торгів.