Percepatan AI di perangkat edge: Praktik optimalisasi Arm dan Google AI Edge

robot
Pembuatan abstrak sedang berlangsung

AIMPACT Pesan, 15 Mei (UTC+8), Matrix Ekstensi Generasi Kedua (SME2) yang dapat diperluas dari Arm terintegrasi dengan tumpukan perangkat lunak Google AI Edge, mengubah CPU menjadi akselerator perhitungan matriks yang kuat, sehingga mewujudkan AI generatif di perangkat berkinerja tinggi. Artikel ini mengambil model “stable-audio-open-small” dari Stability AI sebagai contoh, menjelaskan proses otomatisasi akselerasi perangkat keras “konversi, optimisasi, penerapan” yang dibangun menggunakan LiteRT, XNNPACK, dan KleidiAI. Solusi ini berhasil meningkatkan kecepatan generasi audio lebih dari 2 kali lipat dan mengurangi penggunaan memori sebanyak 4 kali lipat pada perangkat bergerak berbasis arsitektur Arm dan laptop, sambil memastikan kualitas audio yang tinggi. Solusi integrasi ini menyediakan jalur yang efektif untuk menjalankan model AI yang kompleks secara efisien di perangkat tepi dengan sumber daya terbatas. (Sumber: AiHot)

Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • Komentar
  • Posting ulang
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
Tidak ada komentar
  • Disematkan