加速設備端AI:Arm與Google AI Edge的優化實踐

robot
摘要生成中

AIMPACT 消息,5 月 15 日(UTC+8),Arm第二代可扩展矩阵扩展(SME2)與Google AI Edge軟體棧集成,將CPU轉變為強大的矩陣計算加速器,從而實現高性能的設備端生成式AI。本文以Stability AI的"stable-audio-open-small"模型為例,闡述了利用LiteRT、XNNPACK和KleidiAI構建的"轉換、優化、部署"自動化硬體加速流程。該方案在基於Arm架構的移動設備和筆記型電腦上,成功實現了音頻生成速度提升2倍以上、記憶體使用減少4倍的顯著效果,同時確保了高音頻品質。這一整合方案為在資源受限的邊緣設備上高效運行複雜AI模型提供了有效路徑。(來源:AiHot)

查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 回覆
  • 轉發
  • 分享
回覆
請輸入回覆內容
請輸入回覆內容
暫無回覆