Yifan Zhang tiết lộ các thông số kỹ thuật đầy đủ của DeepSeek V4: 1.6T tham số, 384 chuyên gia kích hoạt 6 cái

robot
Đang tạo bản tóm tắt
ME Tin tức, ngày 22 tháng 4 (UTC+8), theo theo dõi Beating của Động Giác, Tiến sĩ Yifan Zhang tại Princeton đã cập nhật chi tiết kỹ thuật của DeepSeek V4 trên X. Anh đã thông báo vào ngày 19 tháng 4 về "V4 tuần tới" và liệt kê ba tên thành phần kiến trúc, tối nay đã cung cấp bảng tham số đầy đủ, đồng thời lần đầu tiên tiết lộ có một phiên bản nhẹ V4-Lite với 285 tỷ tham số. Tổng tham số của V4 là 1.6 nghìn tỷ. Cơ chế chú ý là DSA2, kết hợp hai phương pháp chú ý thưa của DeepSeek trước đây trong V3.2 là DSA (DeepSeek Sparse Attention) và NSA (Native Sparse Attention) được đề xuất trong bài báo đầu năm nay, head-dim 512, phối hợp với Sparse MQA và SWA (chú ý cửa sổ trượt). Tầng MoE gồm 384 chuyên gia, mỗi lần kích hoạt 6, sử dụng Fused MoE Mega-Kernel. Kết nối dư được duy trì bằng Hyper-Connections. Các chi tiết lần đầu tiên tiết lộ trong quá trình huấn luyện bao gồm: bộ tối ưu hóa dùng Muon (một bộ tối ưu ma trận áp dụng phương pháp Newton-Schulz để orthogonal hóa trong cập nhật đà), độ dài ngữ cảnh tiền huấn luyện 32K, giai đoạn học tăng cường dùng GRPO và thêm điều chỉnh KL divergence. Độ dài ngữ cảnh cuối cùng mở rộng đến 1 triệu. Modal là văn bản thuần túy. Zhang không giữ chức vụ tại DeepSeek, phía chính thức của DeepSeek chưa phản hồi về thông tin trên. (Nguồn: BlockBeats)
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Đã ghim