A otimização de IA on-device do Google é algo impressionante. Zero-copy + previsão multi-token economizam energia diretamente. Rodar modelos grandes no celular finalmente não esquenta mais.

O CoinWorld News informa que o Google implantou a arquitetura de previsão de múltiplos tokens (MTP) nos dispositivos Pixel 9 e Pixel 10, acelerando diretamente o modelo Gemini Nano v3 integrado. A nova arquitetura, ao anexar cabeças de previsão de transformer leve à cauda do modelo principal congelado, aumenta a velocidade de inferência no dispositivo em mais de 50%, mantendo ao mesmo tempo o alinhamento de segurança e a qualidade de saída originais. Para evitar a sobrecarga de memória de execução repetida durante a geração autoregressiva com cálculos de rascunho, o Google projetou um mecanismo de cópia zero, reutilizando com sucesso as ativações de recursos já calculadas pelo modelo principal, melhorando significativamente a precisão da previsão de tokens candidatos. Na prática, essa arquitetura permite que o modelo preveja com sucesso em média quase 2 tokens adicionais por inferência, reduzindo a frequência com que o processador principal é acordado devido à verificação, economizando assim o consumo de energia do sistema.