$AMD tiếp tục tiến bộ về phần mềm


Công ty giới thiệu vLLM-ATOM, một plugin được thiết kế để làm cho các mô hình AI lớn chạy tốt hơn trên $AMD GPU của Instinct, bao gồm MI350 và MI400
Các nhà phát triển có thể tiếp tục sử dụng cùng các lệnh vLLM, API và quy trình làm việc, trong khi ATOM hoạt động nền để cải thiện hiệu suất trên phần cứng AMD, không yêu cầu công cụ mới hoặc cấu hình phức tạp
Nó cũng cung cấp cho người dùng quyền truy cập tức thì vào các tối ưu hóa mới nhất của AMD, bao gồm hỗ trợ FP4 trên MI355X, suy luận quy mô rack trên MI400, chú ý hợp nhất, AllReduce tùy chỉnh và các cải tiến kernel khác
ATOM cũng đóng vai trò như một sandbox đổi mới, nơi AMD có thể thử nghiệm các tối ưu hóa mới trước khi chúng được thêm vào phần backend vLLM ROCm chính
Xem bản gốc
post-image
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Ghim