Розділений гібридний паралелізм Рея підвищує мультимодальне навчання ШІ на 30%

Айріс Коулман

10 грудня 2025 01:06

Інноваційний розділений гібридний паралелізм Рея суттєво підвищує ефективність мультимодального навчання ШІ, досягаючи збільшення пропускної здатності до 1,37 раза та долаючи проблеми з пам’яттю.

У значному досягненні в навчанні штучного інтелекту Рей запровадив підхід розділеного гібридного паралелізму, який, за даними Anyscale, прискорює навчання мультимодальних моделей ШІ на 30%. Ця розробка вирішує складнощі та обчислювальні виклики навчальних моделей, які обробляють різноманітні типи даних, такі як текст, зображення та аудіо.

Виклики в мультимодальному AI-навчанні

Мультимодальні моделі ШІ, на відміну від традиційних однорідних великих мовних моделей, складаються зі спеціалізованих модулів із різними обчислювальними та пам’ятними потребами. Наприклад, Vision-Language Models (VLMs) інтегрувати кодувач зору з великою мовною моделлю (LLM). Ця інтеграція призводить до архітектурних складнощів, особливо при роботі з зображеннями високої роздільної здатності та довгими послідовностями. Традиційні методи, такі як тензорний паралелізм і DeepSpeed ZeRO3, часто не дотягують до неефективності та потенційних помилок поза пам’яттю.

Інноваційний підхід Рея

Розділений гібридний паралелізм Рея використовує гнучкість універсальної рамки, дозволяючи створювати індивідуальні стратегії паралелізації для кожного модуля в межах мультимодальної моделі. Використовуючи акторську архітектуру Ray, розробники можуть розподіляти ресурси незалежно, оптимізуючи їх відповідно до унікальних вимог кожного модуля. Це забезпечує більш ефективну оркестрацію складних робочих навантажень, як це демонструє модель Qwen-VL 32B.

Бенчмаркінг і продуктивність

У тестах із моделлю Qwen-VL 32B підхід Рея показав збільшення пропускної здатності у 1,37 рази порівняно з традиційними методами. Стратегія поєднувала паралелізм послідовності для енкодера зору з тензорним паралелізмом для LLM, ефективно керуючи обсягами пам’яті та обчислювальними навантаженнями між різними модулями. Цей метод не лише підвищив швидкість, а й дозволив тренувати послідовності довжиною до 65 000 токенів, перевершуючи можливості DeepSpeed ZeRO3, який мав проблеми з пам’яттю при 16 000 токенів.

Майбутні перспективи

Успіх розділеного гібридного паралелізму Ray у підвищенні ефективності навчання ШІ відкриває шлях для його застосування на більших кластерах GPU та різноманітних апаратних конфігураціях. Його здатність адаптуватися до різних мультимодальних архітектур підкреслює потенціал ширшого впровадження в розробці ШІ.

Для тих, хто цікавиться цим інноваційним підходом, реалізація Ray доступна для експериментів і зворотного зв’язку на їхньому репозиторії GitHub.

Джерело зображення: Shutterstock