加速デバイス側AI：ArmとGoogle AI Edgeの最適化実践

AIMPACT メッセージ、5 月 15 日（UTC+8）、Arm第2世代拡張マトリックス拡張（SME2）とGoogle AI Edgeソフトウェアスタックの統合により、CPUを強力なマトリックス計算アクセラレータに変換し、高性能なデバイス側生成AIを実現します。この記事では、Stability AIの「stable-audio-open-small」モデルを例に、LiteRT、XNNPACK、KleidiAIを用いた「変換、最適化、展開」の自動ハードウェアアクセラレーションプロセスについて説明します。このソリューションは、Armアーキテクチャを基盤としたモバイルデバイスやノートパソコン上で、音声生成速度を2倍以上向上させ、メモリ使用量を4倍削減しながら、高品質な音声を確保するという顕著な効果を実現しています。この統合ソリューションは、リソース制約のあるエッジデバイス上で複雑なAIモデルを効率的に動作させるための有効な道筋を提供します。（出典：AiHot）