Tăng tốc thiết bị AI: Thực hành tối ưu hóa của Arm và Google AI Edge

robot
Đang tạo bản tóm tắt

AIMPACT Tin nhắn, ngày 15 tháng 5 (UTC+8), Arm thế hệ thứ hai mở rộng ma trận mở rộng (SME2) tích hợp với phần mềm Google AI Edge, biến CPU thành bộ tăng tốc tính toán ma trận mạnh mẽ, từ đó đạt được AI sinh dạng trên thiết bị hiệu suất cao. Bài viết lấy ví dụ từ mô hình “stable-audio-open-small” của Stability AI, trình bày quy trình tự động hóa “chuyển đổi, tối ưu hóa, triển khai” dựa trên phần cứng tăng tốc xây dựng bằng LiteRT, XNNPACK và KleidiAI. Giải pháp này đã thành công nâng tốc độ tạo âm thanh hơn 2 lần, giảm sử dụng bộ nhớ gấp 4 lần trên các thiết bị di động dựa trên kiến trúc Arm và máy tính xách tay, đồng thời đảm bảo chất lượng âm thanh cao. Giải pháp tích hợp này cung cấp con đường hiệu quả để chạy mô hình AI phức tạp một cách hiệu quả trên các thiết bị biên giới hạn tài nguyên. (Nguồn: AiHot)

Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Đã ghim