A otimização da Google para IA no dispositivo é impressionante. A cópia zero combinada com a previsão de múltiplos tokens reduz diretamente o consumo de energia. Finalmente, executar modelos grandes no telemóvel já não aquece tanto.

Notícias da Coin World: O Google implementou a arquitetura de previsão multi-token (MTP) nos dispositivos das séries Pixel 9 e Pixel 10, acelerando diretamente o modelo Gemini Nano v3 integrado. A nova arquitetura, ao anexar uma cabeça de previsão transformer leve na cauda do modelo principal já congelado, aumentou a velocidade de inferência no dispositivo em mais de 50%, mantendo o alinhamento de segurança e a qualidade de saída originais. Para evitar a sobrecarga de memória de execução repetida causada pelo cálculo de rascunho durante a geração autoregressiva, o Google projetou um mecanismo de cópia zero, reutilizando com sucesso as ativações de características já calculadas pelo modelo principal, melhorando significativamente a precisão da previsão dos tokens candidatos. Esta arquitetura, na prática, permite que o modelo preveja com sucesso, em média, quase 2 tokens adicionais por inferência, reduzindo a frequência com que o processador principal é acordado para verificação, economizando assim o consumo de energia do sistema.