Ускорение устройств AI: Практика оптимизации Arm и Google AI Edge

robot
Генерация тезисов в процессе

AIMPACT сообщение, 15 мая (UTC+8), интеграция второго поколения расширенной матрицы Arm (SME2) с программным стеком Google AI Edge превратила CPU в мощный ускоритель матричных вычислений, обеспечивая высокопроизводительный генеративный AI на устройстве. В статье на примере модели “stable-audio-open-small” от Stability AI описан автоматизированный процесс “перевода, оптимизации, развертывания” аппаратного ускорения, построенный с помощью LiteRT, XNNPACK и KleidiAI. Данное решение успешно увеличило скорость генерации аудио более чем в 2 раза и сократило использование памяти в 4 раза на мобильных устройствах и ноутбуках на базе архитектуры Arm, при этом сохраняя высокое качество звука. Эта интеграционная схема предоставляет эффективный путь для быстрого выполнения сложных AI моделей на ресурсных ограниченных периферийных устройствах. (Источник: AiHot)

Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закреплено