Aceleração de IA na ponta do dispositivo: práticas de otimização do Arm e Google AI Edge

AIMPACT mensagem, 15 de maio (UTC+8), a segunda geração de matriz expansível (SME2) do Arm foi integrada ao software Google AI Edge, transformando CPUs em aceleradores de cálculo de matriz poderosos, possibilitando AI generativa de alto desempenho em dispositivos. Este artigo usa o modelo “stable-audio-open-small” da Stability AI como exemplo para ilustrar o processo automatizado de aceleração de hardware de “conversão, otimização e implantação” construído com LiteRT, XNNPACK e KleidiAI. A solução conseguiu aumentar a velocidade de geração de áudio em mais de 2 vezes e reduzir o uso de memória em 4 vezes em dispositivos móveis e laptops baseados na arquitetura Arm, ao mesmo tempo em que garantiu alta qualidade de áudio. Essa solução integrada fornece um caminho eficaz para executar modelos de AI complexos de forma eficiente em dispositivos de borda com recursos limitados. (Fonte: AiHot)