Accélérer l'IA côté appareil : Pratiques d'optimisation d'Arm et Google AI Edge

AIMPACT message, 15 mai (UTC+8), l’extension de matrice évolutive de deuxième génération d’Arm (SME2) intégrée au stack logiciel Google AI Edge transforme le CPU en un accélérateur de calcul matriciel puissant, permettant une IA générative performante côté appareil. Cet article, prenant comme exemple le modèle “stable-audio-open-small” de Stability AI, illustre le processus automatisé d’accélération matérielle “conversion, optimisation, déploiement” construit avec LiteRT, XNNPACK et KleidiAI. La solution a permis, sur des appareils mobiles et ordinateurs portables basés sur l’architecture Arm, d’augmenter la vitesse de génération audio de plus de 2 fois, de réduire l’utilisation de mémoire par 4 fois, tout en garantissant une haute qualité audio. Cette solution intégrée offre une voie efficace pour exécuter des modèles d’IA complexes de manière efficiente sur des appareils edge aux ressources limitées. (Source : AiHot)