Aceleração de IA no dispositivo: práticas de otimização do Arm e Google AI Edge

AIMPACT mensagem, 15 de maio (UTC+8), a segunda geração de matriz escalável Arm (SME2) integrada ao stack de software Google AI Edge, transformando CPUs em aceleradores de matriz poderosos, possibilitando IA generativa de alto desempenho em dispositivos. Este artigo usa o modelo “stable-audio-open-small” da Stability AI como exemplo, ilustrando o processo automatizado de hardware de “conversão, otimização e implantação” construído com LiteRT, XNNPACK e KleidiAI. A solução conseguiu aumentar a velocidade de geração de áudio em mais de 2 vezes e reduzir o uso de memória em 4 vezes em dispositivos móveis e laptops baseados em arquitetura Arm, ao mesmo tempo garantindo alta qualidade de áudio. Esta integração oferece um caminho eficaz para executar modelos de IA complexos de forma eficiente em dispositivos de borda com recursos limitados. (Fonte: AiHot)