Google a plutôt bien optimisé l'IA côté terminal, la copie zéro + la prédiction multi-token réduisent directement la consommation d'énergie, et le téléphone n'a plus besoin de chauffer pour exécuter de grands modèles.

Nouvelle de CoinWorld, Google a déployé l'architecture de prédiction multi-token (MTP) dans les séries Pixel 9 et Pixel 10, accélérant directement le modèle Gemini Nano v3 intégré. La nouvelle architecture améliore la vitesse d'inférence côté appareil de plus de 50 % en attachant une tête de prédiction transformer légère à la queue du modèle principal gelé, tout en préservant l'alignement de sécurité et la qualité de sortie d'origine. Pour éviter la surcharge de mémoire vive due aux calculs de brouillon lors de la génération autorégressive, Google a conçu un mécanisme de copie zéro, réutilisant avec succès les activations de caractéristiques déjà calculées par le modèle principal, ce qui améliore significativement la précision de prédiction des tokens candidats. Cette architecture permet en moyenne au modèle de prédire avec succès près de 2 tokens supplémentaires par inférence unique dans les applications réelles, réduisant la fréquence à laquelle le processeur principal est réveillé pour des vérifications, économisant ainsi la consommation d'énergie du système.