Mỹ Đoàn (Meituan) mã nguồn mở mô hình nghìn tỷ tham số LongCat-2.0, bài toán huấn luyện trên sức mạnh tính toán nội địa đã được giải quyết, tỷ lệ lỗi giảm bảy phần mười, đợt này thực lực kỹ thuật đáng chú ý.

Tin tức từ Biji World, hôm nay, Meituan chính thức phát hành mô hình lớn thế hệ mới với nghìn tỷ tham số LongCat-2.0 và sẽ mã nguồn mở ra bên ngoài. Quy mô dữ liệu tiền huấn luyện của LongCat-2.0 vượt quá 30t token, bao gồm nhiều loại dữ liệu như tiếng Trung, tiếng Anh, đa ngôn ngữ và mã nguồn. Đối mặt với các sự cố phần cứng, bất thường giao tiếp, áp lực bộ nhớ và biến động số trong quá trình huấn luyện cấp độ vạn card, nhóm LongCat đã giải quyết các khó khăn huấn luyện sức mạnh tính toán nội địa từ ba khía cạnh: ổn định, chính xác và hiệu quả. Về mặt ổn định, thông qua xử lý ngoại lệ hccl, thẻ mở rộng co giãn và phục hồi lỗi tự động, tỷ lệ lỗi trung bình hàng ngày trong tháng giảm hơn 70%. Về mặt chính xác, thông qua toán tử xác định tự thiết kế, xác minh nhất quán bitwise và phát hiện tham số, đảm bảo độ tin cậy của kết quả huấn luyện, đồng thời dựa trên thực tiễn nâng cao độ chính xác tính toán của các mô-đun chính, tối ưu hóa logic reduce.