Tính song song kết hợp phân tách của Ray tăng cường đào tạo AI đa phương thức lên 30%

Iris Coleman

10 Tháng Mười Hai, 2025 01:06

Tính song song lai phân tách sáng tạo của Ray nâng cao đáng kể hiệu quả đào tạo AI đa phương thức, đạt được cải thiện thông lượng lên đến 1,37 lần và vượt qua các thách thức về bộ nhớ.

Trong một tiến bộ đáng kể cho đào tạo trí tuệ nhân tạo, Ray đã giới thiệu phương pháp tiếp cận song song lai phân tách giúp tăng tốc độ đào tạo các mô hình AI đa phương thức lên 30%, theo Anyscale. Sự phát triển này giải quyết sự phức tạp và thách thức tính toán của các mô hình đào tạo xử lý các loại dữ liệu đa dạng như văn bản, hình ảnh và âm thanh.

Thử thách trong đào tạo AI đa phương thức

Các mô hình AI đa phương thức, không giống như các mô hình ngôn ngữ lớn đồng nhất truyền thống, bao gồm các mô-đun chuyên biệt với các nhu cầu tính toán và bộ nhớ khác nhau. Ví dụ, mô hình ngôn ngữ thị giác (VLMs) tích hợp bộ mã hóa thị giác với mô hình ngôn ngữ lớn (LLM). Sự tích hợp này dẫn đến sự phức tạp về kiến trúc, đặc biệt là khi xử lý hình ảnh có độ phân giải cao và chuỗi dài. Các kỹ thuật truyền thống như song song tensor và DeepSpeed ZeRO3 thường không hiệu quả, dẫn đến sự kém hiệu quả và lỗi mất bộ nhớ tiềm ẩn.

Cách tiếp cận sáng tạo của Ray

Tính song song lai phân tách của Ray tận dụng tính linh hoạt của khung phổ quát của nó, cho phép các chiến lược song song hóa phù hợp cho từng mô-đun trong một mô hình đa phương thức. Bằng cách sử dụng kiến trúc dựa trên tác nhân của Ray, các nhà phát triển có thể phân bổ tài nguyên một cách độc lập, tối ưu hóa cho các yêu cầu riêng của từng mô-đun. Điều này dẫn đến việc điều phối hiệu quả hơn các khối lượng công việc phức tạp, như đã được chứng minh với mô hình Qwen-VL 32B.

Điểm chuẩn và hiệu suất

Trong các thử nghiệm được thực hiện với mô hình Qwen-VL 32B, cách tiếp cận của Ray cho thấy sự cải thiện thông lượng gấp 1,37 lần so với các phương pháp truyền thống. Chiến lược kết hợp song song trình tự cho bộ mã hóa tầm nhìn với song song tensor cho LLM, quản lý hiệu quả nhu cầu bộ nhớ và tính toán trên các mô-đun khác nhau. Phương pháp này không chỉ cải thiện tốc độ mà còn cho phép đào tạo các chuỗi dài tới 65.000 mã thông báo, vượt qua khả năng của DeepSpeed ZeRO3 gặp sự cố bộ nhớ ở mức 16.000 mã thông báo.

Triển vọng tương lai

Sự thành công của tính song song lai phân tách của Ray trong việc nâng cao hiệu quả đào tạo AI mở đường cho ứng dụng của nó trên các cụm GPU lớn hơn và thiết lập phần cứng đa dạng. Khả năng thích ứng với các kiến trúc đa phương thức khác nhau của nó làm nổi bật tiềm năng triển khai rộng rãi hơn trong phát triển AI.

Đối với những người quan tâm đến việc khám phá cách tiếp cận sáng tạo này, việc triển khai của Ray có sẵn để thử nghiệm và phản hồi trên kho lưu trữ GitHub của họ.

Nguồn ảnh: Shutterstock