Paralelisme Hibrida Terpilah Ray Meningkatkan Pelatihan AI Multimoda sebesar 30%

Iris Coleman

10 Des 2025 01:06

Paralelisme hibrida terpilah inovatif Ray secara signifikan meningkatkan efisiensi pelatihan AI multimoda, mencapai peningkatan throughput hingga 1,37x dan mengatasi tantangan memori.

Dalam kemajuan signifikan untuk pelatihan kecerdasan buatan, Ray telah memperkenalkan pendekatan paralelisme hibrida terpilah yang mempercepat pelatihan model AI multimoda sebesar 30%, menurut Anyscale. Pengembangan ini membahas kompleksitas dan tantangan komputasi model pelatihan yang memproses beragam jenis data seperti teks, gambar, dan audio.

Tantangan dalam Pelatihan AI Multimoda

Model AI multimodal, tidak seperti model bahasa besar homogen tradisional, terdiri dari modul khusus dengan kebutuhan komputasi dan memori yang bervariasi. Model Bahasa Visi (VLMs), misalnya, mengintegrasikan encoder visi dengan model bahasa besar (LLM). Integrasi ini menghasilkan kompleksitas arsitektur, terutama saat berhadapan dengan gambar beresolusi tinggi dan urutan yang panjang. Teknik tradisional seperti paralelisme tensor dan DeepSpeed ZeRO3 sering gagal, mengakibatkan inefisiensi dan potensi kesalahan kehabisan memori.

Pendekatan Inovatif Ray

Paralelisme hibrida terpilah Ray memanfaatkan fleksibilitas kerangka kerja universalnya, memungkinkan strategi paralelisasi yang disesuaikan untuk setiap modul dalam model multimodal. Dengan memanfaatkan arsitektur berbasis aktor Ray, pengembang dapat mengalokasikan sumber daya secara mandiri, mengoptimalkan kebutuhan unik dari setiap modul. Ini menghasilkan orkestrasi beban kerja kompleks yang lebih efisien, seperti yang ditunjukkan dengan model Qwen-VL 32B.

Tolok Ukur dan Kinerja

Dalam pengujian yang dilakukan dengan model Qwen-VL 32B, pendekatan Ray menunjukkan peningkatan throughput hingga 1,37x dibandingkan dengan metode tradisional. Strategi ini menggabungkan paralelisme urutan untuk encoder visi dengan paralelisme tensor untuk LLM, secara efektif mengelola memori dan tuntutan komputasi di berbagai modul. Metode ini tidak hanya meningkatkan kecepatan tetapi juga memungkinkan pelatihan urutan hingga 65.000 token, melampaui kemampuan DeepSpeed ZeRO3 yang mengalami masalah memori pada 16.000 token.

Prospek Masa Depan

Keberhasilan paralelisme hibrida terpilah Ray dalam meningkatkan efisiensi pelatihan AI membuka jalan bagi penerapannya di seluruh kluster GPU yang lebih besar dan pengaturan perangkat keras yang beragam. Kemampuannya untuk beradaptasi dengan berbagai arsitektur multimoda menyoroti potensinya untuk implementasi yang lebih luas dalam pengembangan AI.

Bagi mereka yang tertarik untuk mengeksplorasi pendekatan inovatif ini, implementasi Ray tersedia untuk eksperimen dan umpan balik di repositori GitHub mereka.

Sumber gambar: Shutterstock