تسريع الذكاء الاصطناعي على طرف الجهاز: ممارسات تحسين Arm وGoogle AI Edge

AIMPACT رسالة، 15 مايو (UTC+8)، تم دمج الجيل الثاني من مصفوفة التوسع القابلة للتوسع (SME2) مع حزمة برمجيات Google AI Edge، مما حول وحدة المعالجة المركزية إلى معجل قوي للحسابات المصفوفية، لتحقيق الذكاء الاصطناعي التوليدي عالي الأداء على الأجهزة الطرفية. يوضح هذا المقال نموذج “stable-audio-open-small” من Stability AI كمثال، ويشرح عملية الأتمتة “التحويل، التحسين، النشر” المبنية على تسريع الأجهزة باستخدام LiteRT وXNNPACK وKleidiAI. نجح هذا الحل في أجهزة المحمول والكمبيوتر المحمول المعتمدة على بنية ARM في تحقيق زيادة في سرعة توليد الصوت بأكثر من مرتين، وتقليل استهلاك الذاكرة بمقدار 4 مرات، مع ضمان جودة صوت عالية. توفر هذه الحلول المتكاملة مسارًا فعالًا لتشغيل نماذج الذكاء الاصطناعي المعقدة بكفاءة على الأجهزة الطرفية ذات الموارد المحدودة. (المصدر: AiHot)