Google розгортає багатотокенне прогнозування на Pixel 9 і 10, підвищуючи швидкість інференції Gemini Nano більш ніж на 50%
За даними Beating, компанія Google розгорнула архітектуру Multi-Token Prediction (MTP) на пристроях Pixel 9 та Pixel 10, що значно прискорило роботу моделі Gemini Nano v3 на пристрої. Нова архітектура збільшила швидкість інференції більш ніж на 50%, зберігши безпекове узгодження моделі та якість виведення. Механізм нульового копіювання дозволяє голові передбачення безпосередньо повторно використовувати кешовані ознаки основної моделі через крос-увагу, усуваючи накладні витрати окремого кешу ключ
GateNews·06-28 02:53
