Cambricon hoàn tất thích nghi DeepSeek-V4, mã nguồn đã được mở, thúc đẩy cổ phiếu chip nội địa tăng mạnh

robot
Đang tạo bản tóm tắt

Theo theo dõi Beating, Cambrian đã công bố hoàn thành việc thích nghi cho hai mô hình DeepSeek-V4-Flash 285B và DeepSeek-V4-Pro 1.6T vào ngày phát hành V4, dựa trên khung suy luận vLLM, mã thích nghi đã được mở nguồn trên GitHub.

Tốc độ thích nghi phụ thuộc vào hai điều kiện tiên quyết: thứ nhất, phần mềm NeuWARE tự phát triển của Cambrian hỗ trợ gốc các khung chính như PyTorch, vLLM, giúp mô hình dễ dàng chuyển đổi; thứ hai, chip của Cambrian hỗ trợ gốc các định dạng dữ liệu chính xác thấp, không cần chuyển đổi định dạng bổ sung để xác nhận độ chính xác. Đối với cấu trúc mới của V4, Cambrian đã sử dụng thư viện hợp nhất các toán tử tự phát triển Torch-MLU-Ops để tăng tốc các mô-đun như Compressor, mHC, và đã viết các kernel toán tử nóng như Attention rải rác/ nén, GroupGemm bằng BangC.

Ở cấp độ khung suy luận, Cambrian hỗ trợ trong vLLM các dạng song song hỗn hợp năm chiều TP/PP/SP/DP/EP, song song tính toán truyền thông, lượng tử hóa độ chính xác thấp và phân tách PD để triển khai. Báo cáo kỹ thuật V4 chỉ đề cập đến xác nhận trên GPU NVIDIA và NPU Huawei Ascend, không đề cập đến nền tảng của Cambrian, lần này thích nghi do Cambrian tự thực hiện. Trước tin phát hành V4, ngành chip nội địa A-shares đã tăng mạnh, Cambrian đã tăng giá trực tiếp trong phiên.

Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Ghim