UnslothAI phát hành phiên bản DGEMMA 4-31B 4-bit MLX tối ưu cho Apple Silicon

robot
Đang tạo bản tóm tắt

ME News Tin tức, ngày 11 tháng 4 (UTC+8), UnslothAI gần đây đã phát hành phiên bản tối ưu hóa MLX 4-bit gốc của mô hình DGEMMA 4-31B. Phiên bản này được thiết kế đặc biệt cho Apple Silicon, được cho là có thể đạt tốc độ suy luận cực nhanh trên tất cả các Mac dòng M, đồng thời duy trì mức sử dụng bộ nhớ hiệu quả (khoảng 20GB RAM). Ngoài ra, mô hình còn có khả năng đa chế độ mạnh mẽ và hiệu suất thị giác, hỗ trợ toàn bộ độ dài ngữ cảnh 256K và chức năng gọi hàm gốc. (Nguồn: InFoQ)

Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Đã ghim