У Google есть кое-что в оптимизации периферийного ИИ: нулевое копирование + многотокенное прогнозирование напрямую экономят энергопотребление, и наконец-то запуск больших моделей на телефоне не вызывает перегрева.

Новости Coin World: Google внедрила архитектуру Multi-Token Prediction (MTP) в устройства серий Pixel 9 и Pixel 10, напрямую ускорив встроенную модель Gemini Nano v3.
Новая архитектура прикрепляет легковесную голову предсказания трансформера к хвосту замороженной основной модели, повышая скорость вывода на устройстве более чем на 50%, сохраняя при этом исходное выравнивание безопасности и качество вывода.
Чтобы избежать повторных накладных расходов оперативной памяти при авторегрессионной генерации из-за черновых вычислений, Google разработала механизм нулевого копирования, который успешно использует уже вычисленные активации признаков основной модели, значительно повышая точность предсказания кандидатных токенов.
В реальных бизнес-сценариях эта архитектура позволяет модели в среднем успешно предсказывать почти на 2 токена больше за один вывод, снижая частоту частых пробуждений основного процессора для проверки, тем самым экономя энергопотребление системы.