Moonshot AI mở rộng công nghệ tách rời Prefill/Decode sang trung tâm dữ liệu chéo và phần cứng dị thể
ME News Tin tức, ngày 18 tháng 4 (UTC+8), nhóm Moonshot AI gần đây thông báo rằng công nghệ tách rời Prefill (tiền điền) và Decode (giải mã) của họ đã thành công mở rộng từ một cụm đơn lẻ sang môi trường trung tâm dữ liệu liên vùng và phần cứng dị thể. Theo quan điểm trong bài viết, bước này có khả năng giảm đáng kể chi phí suy luận cho mỗi token. Trước đó, việc mở rộng công nghệ này gặp trở ngại do chi phí truyền tải bộ nhớ đệm KV. Thành công này chủ yếu dựa vào mô hình lai Kimi của họ.