Đăng

DeepSeek mã nguồn mở DeepInfer: Chi phí suy luận đang được viết lại


Hôm nay, DeepSeek công bố mã nguồn mở toàn diện khung suy luận nội bộ DeepInfer cùng thành phần mã hóa và giải mã Token deepseek-recipe, tương thích với cả hai nền tảng NVIDIA và Huawei Ascend.
Dựa trên khung này, thông lượng hằng ngày của một cụm V4.1 Flash đã đạt 155 nghìn tỷ Token; tính theo giá điện giờ thấp điểm, doanh thu mỗi card mỗi giờ là 38 USD.
Thông qua việc tách biệt Prefill/Decode, tái sử dụng KVCache và giải mã suy đoán, hiệu suất suy luận và tỷ lệ hiệu quả năng lượng được cải thiện đáng kể.
Góc nhìn triển vọng của Army: Khi các khung suy luận chuyển từ hộp đen sang mã nguồn mở, cuộc cạnh tranh cốt lõi của AI sẽ là xem ai có thể giảm chi phí Token xuống thấp nhất!
Xem bản gốc
post-image
Trang này chứa nội dung từ bên thứ ba và không phải là lời khuyên hay sự ủng hộ của Gate đối với những quan điểm đó. Để biết thêm chi tiết, vui lòng xem tuyên bố miễn trừ trách nhiệm.
DEEPSEEKDEEPSEEK+7,06%


Thêm một bình luận
Thêm một bình luận

Bình luận
Không có bình luận