Google optimasi AI pada perangkat kali ini ada sesuatu, zero-copy + prediksi multi-token langsung menghemat daya, menjalankan model besar di ponsel akhirnya tidak perlu panas lagi.

Berita dari CoinWorld, Google telah menerapkan arsitektur Multi-Token Prediction (MTP) pada perangkat seri Pixel 9 dan Pixel 10 untuk mempercepat langsung model Gemini Nano v3 yang tertanam. Arsitektur baru ini dengan melampirkan kepala prediksi transformer ringan ke bagian belakang model utama yang sudah dibekukan, meningkatkan kecepatan inferensi di sisi perangkat hingga lebih dari 50%, sambil tetap mempertahankan keselarasan keamanan dan kualitas keluaran yang asli. Untuk menghindari overhead memori berulang yang dihasilkan oleh perhitungan draf selama generasi autoregresif, Google merancang mekanisme zero-copy, yang berhasil menggunakan kembali aktivasi fitur yang telah dihitung oleh model utama, secara signifikan meningkatkan akurasi prediksi token kandidat. Arsitektur ini dalam praktik bisnis membuat model rata-rata berhasil memprediksi hampir 2 token lebih banyak per inferensi, mengurangi frekuensi prosesor utama yang sering terbangun karena verifikasi, sehingga menghemat konsumsi daya sistem.