Прискорення пристроївного ШІ: Практика оптимізації Arm та Google AI Edge

robot
Генерація анотацій у процесі

AIMPACT повідомлення, 15 травня (UTC+8), Arm другого покоління масштабованої матриці розширення (SME2) інтегровано з програмним стеком Google AI Edge, перетворюючи CPU на потужний прискорювач матричних обчислень, що забезпечує високопродуктивний генеративний AI на пристроях. У цій статті на прикладі моделі “stable-audio-open-small” від Stability AI описано автоматизований процес апаратного прискорення “перетворення, оптимізація, розгортання”, побудований за допомогою LiteRT, XNNPACK і KleidiAI. Це рішення успішно забезпечило більш ніж удвічі швидше генерування аудіо та зменшення використання пам’яті в 4 рази на мобільних пристроях на базі архітектури Arm і ноутбуках, одночасно з високою якістю аудіо. Ця інтеграційна схема пропонує ефективний шлях для високоефективного запуску складних AI-моделей на ресурсно обмежених краєвих пристроях. (Джерело: AiHot)

Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріплено