美团 LongCat-2.0 đồng thời mở mã suy luận cho card nội địa

robot
Đang tạo bản tóm tắt
Tin tức từ Golden Finance, ngày 9/7, là mô hình nghìn tỷ tham số đầu tiên trong ngành hoàn thành suy luận trên cụm tính toán trong nước với 50 nghìn card, LongCat-2.0 đã được mã nguồn mở hoàn toàn. Đối với các chip tính toán trong nước bị hạn chế về bộ nhớ và băng thông, chúng tôi đã tiến hành tối ưu hóa phối hợp sâu từ kiến trúc mô hình, khả năng tương thích chip đến chiến lược triển khai, giúp mô hình nghìn tỷ tham số chạy ổn định và nhanh chóng trên các card hiện có. Việc mã nguồn mở LongCat-2.0 không chỉ công khai lộ trình kỹ thuật mà còn là lời mời tham gia hệ sinh thái. Lần mã nguồn mở này cung cấp đồng thời các phiên bản đa độ chính xác như BF16, FP8 và INT8, bao phủ toàn diện nhu cầu triển khai trên các nền tảng tính toán khác nhau. Đồng thời, chúng tôi chào đón sâu rộng cộng đồng mã nguồn mở, công khai song song các kết quả suy luận đã được tối ưu hóa triệt để cho sức mạnh tính toán trong nước. Điều này có nghĩa là, ngay cả khi không có sức mạnh tính toán mới nhất, bạn vẫn có thể chạy LongCat-2.0 ổn định dựa trên phần cứng hiện có. Chúng tôi hy vọng thông qua bộ công cụ suy luận sẵn sàng sử dụng này, nhiều card nội địa hơn, bao gồm cả các card cũ, có thể triển khai trơn tru dịch vụ suy luận mô hình lớn nghìn tỷ tham số, phát huy giá trị lớn hơn trong các kịch bản sản xuất thực tế.
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Đã ghim