Google triển khai Multi-Token Prediction trên Pixel 9 và 10, tăng tốc độ suy luận Gemini Nano hơn 50%
Theo Beating, Google đã triển khai kiến trúc Multi-Token Prediction (MTP) trên các thiết bị Pixel 9 và Pixel 10, giúp tăng tốc đáng kể mô hình Gemini Nano v3 chạy trên thiết bị. Kiến trúc mới giúp tăng tốc độ suy luận lên hơn 50% trong khi vẫn duy trì sự an toàn và chất lượng đầu ra của mô hình. Cơ chế zero-copy cho phép đầu dự đoán tái sử dụng trực tiếp các đặc trưng đã lưu trong bộ nhớ đệm của mô hình chính thông qua cross-attention, loại bỏ chi phí bộ nhớ đệm khóa-giá trị riêng của các mô hìn
GateNews·06-28 02:53
