Aceleración de la IA en dispositivos: prácticas de optimización de Arm y Google AI Edge

robot
Generación de resúmenes en curso

AIMPACT Mensaje, 15 de mayo (UTC+8), la segunda generación de la matriz escalable Arm (SME2) se integra con la pila de software Google AI Edge, transformando la CPU en un potente acelerador de cálculos matriciales, logrando así una generación de IA en el dispositivo de alto rendimiento. Este artículo, tomando como ejemplo el modelo “stable-audio-open-small” de Stability AI, explica el proceso automatizado de aceleración de hardware de “transformar, optimizar, desplegar” construido con LiteRT, XNNPACK y KleidiAI. La solución ha logrado en dispositivos móviles y portátiles basados en arquitectura Arm, una mejora en la velocidad de generación de audio de más del doble y una reducción en el uso de memoria por cuatro, manteniendo una alta calidad de audio. Esta solución integrada proporciona un camino efectivo para ejecutar modelos de IA complejos de manera eficiente en dispositivos de borde con recursos limitados. (Fuente: AiHot)

Ver original
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • Comentar
  • Republicar
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
Sin comentarios
  • Fijado