Googleの今回のエッジAI最適化はなかなか良いですね。ゼロコピー＋マルチトークン予測で直接消費電力を節約し、スマホで大規模モデルを実行してもついに熱くならなくなりました。

幣界網メッセージ、GoogleはPixel 9およびPixel 10シリーズデバイスにマルチトークン予測（MTP）アーキテクチャを導入し、内蔵のGemini Nano v3モデルを直接高速化しました。新しいアーキテクチャでは、軽量なトランスフォーマー予測ヘッドを凍結済みのメインモデルの末尾に追加することで、デバイス上での推論速度を50%以上向上させると同時に、元の安全なアライメントと出力品質を維持しています。自己回帰生成時におけるドラフト計算の重複による実行時メモリのオーバーヘッドを避けるため、Googleはゼロコピー機構を設計し、メインモデルがすでに計算した特徴活性化を再利用することに成功し、候補トークンの予測精度を大幅に向上させました。このアーキテクチャにより、実際の業務においてモデルは1回の推論で平均して約2トークン多く予測できるようになり、メインプロセッサが検証のために頻繁に起動される頻度が低下し、システム消費電力が削減されます。