La optimización de IA en el dispositivo de Google tiene algo interesante: zero-copy + predicción de múltiples tokens ahorra directamente el consumo de energía, y finalmente ejecutar modelos grandes en el teléfono ya no quema las manos.

Mensaje de CoinWorld, Google ha implementado la arquitectura de predicción de múltiples tokens (MTP) en los dispositivos de las series Pixel 9 y Pixel 10, acelerando directamente el modelo Gemini Nano v3 integrado. La nueva arquitectura añade cabezales de predicción de transformador ligero al final del modelo principal congelado, aumentando la velocidad de inferencia en el dispositivo en más del 50%, mientras conserva la alineación de seguridad y la calidad de salida originales. Para evitar la sobrecarga de memoria de ejecución repetida causada por el cálculo de borrador durante la generación autorregresiva, Google diseñó un mecanismo de copia cero, reutilizando con éxito las activaciones de características ya calculadas del modelo principal, mejorando significativamente la precisión de predicción de los tokens candidatos. Esta arquitectura permite que, en aplicaciones reales, el modelo prediga con éxito en promedio casi 2 tokens adicionales por inferencia única, reduciendo la frecuencia con la que el procesador principal se despierta para verificación, ahorrando así energía del sistema.