Meituan mở mã nguồn mô hình nghìn tỷ tham số LongCat-2.0, phát hành mã suy luận cho chip nội địa Trung Quốc

Theo giám sát của Dongcha Beating, Meituan đã chính thức mã nguồn mở mô hình nghìn tỷ tham số LongCat-2.0, với tổng số 1,6 nghìn tỷ tham số và trung bình kích hoạt khoảng 48 tỷ, được thiết kế đặc biệt cho các tác vụ Agentic Coding thực tế.

Kiến trúc này sáng tạo giới thiệu cơ chế chú ý thưa thớt LongCat và nhúng N-gram; cơ chế đầu tiên giảm truy cập bộ nhớ phân mảnh thông qua lập chỉ mục cảm nhận lưu loát và lập chỉ mục phân cấp, tăng tốc đào tạo và suy luận cho các ngữ cảnh dài hàng triệu token.

Cơ chế sau đầu tư 135 tỷ tham số vào lớp nhúng trong khi duy trì độ thưa thớt gần 97% trong MoE, cân bằng hiệu quả tham số và độ ổn định cấu trúc.

Hậu đào tạo sử dụng chưng cất trực tuyến đa giáo viên, phân loại chuyên gia thành ba loại: Agent, Inference và Interaction, tích hợp liền mạch thông qua kiến trúc MOPD trên các cụm điện toán nội địa.

Là mô hình nghìn tỷ tham số đầu tiên hoàn thành suy luận trên cụm điện toán nội địa 50.000 thẻ, LongCat-2.0 xác nhận khả năng trưởng thành của chip nội địa trong việc xử lý các tác vụ mô hình lớn phức tạp.

Để giải quyết nhiều hạn chế của chip nội địa về bộ nhớ, băng thông và kết nối, Meituan đã tạo ra đột phá ở ba lĩnh vực: mô hình, thích ứng chip và triển khai.

Ở cấp độ mô hình, ScMoE tận dụng khả năng kiểm soát lõi của chip nội địa để đạt được song song hóa ở cấp độ lõi vật lý giữa các nhánh Dense và MoE, kết hợp với phân đoạn KV-cache để giảm áp lực bộ nhớ của các ngữ cảnh siêu dài.

Ở cấp độ thích ứng chip, Super Kernel giảm chi phí khởi động toán tử, và Weight Prefetch che giấu độ trễ I/O, tối đa hóa việc sử dụng phần cứng trong điều kiện hạn chế.

Ở cấp độ triển khai, phân tách PD cân bằng TTFT và TPOT, cùng với cân bằng tải chuyên gia song song không đồng bộ để giải quyết tải không đồng đều dưới mức EP cao.

Bản phát hành mã nguồn mở này cũng cung cấp các phiên bản đa độ chính xác như BF16, FP8 và INT8, và nhằm mục đích mở hoàn toàn kết quả suy luận được tối ưu hóa cho sức mạnh tính toán nội địa, nhắm đến việc triển khai suôn sẻ các dịch vụ suy luận mô hình nghìn tỷ tham số ngay cả trên các thẻ nội địa hiện có và cũ hơn.