Фрагментированный гибридный параллелизм Рэя увеличивает обучение мультимодального ИИ на 30%

Айрис Коулман

10 дек 2025 01:06

Инновационный разделённый гибридный параллелизм Рэя значительно повышает эффективность мультимодального обучения ИИ, достигая до 1,37-кратного увеличения пропускной способности и преодолевая проблемы с памятью.

В значительном достижении в обучении искусственному интеллекту Рэй внедрил метод разъединённого гибридного параллелизма, который, по данным Anyscale, ускоряет обучение мультимодальных моделей ИИ на 30%. Данная разработка решает сложность и вычислительные задачи обучающих моделей, обрабатывающих различные типы данных, такие как текст, изображения и аудио.

Вызовы в мультимодальном обучении ИИ

Мультимодальные модели ИИ, в отличие от традиционных однородных крупных языковых моделей, состоят из специализированных модулей с разными вычислительными и памятными потребностями. Например, модели Vision-Language (VLMs) интегрировать кодировщик видения с большой языковой моделью (LLM). Такая интеграция приводит к архитектурным сложностям, особенно при работе с изображениями высокого разрешения и длинными последовательностями. Традиционные методы, такие как тензорный параллелизм и DeepSpeed ZeRO3, часто оказываются неэффективными, что приводит к неэффективности и возможным ошибкам вне памяти.

Инновационный подход Рэя

Разделённый гибридный параллелизм Ray использует гибкость универсальной структуры, позволяя разрабатывать индивидуальные стратегии параллелизации для каждого модуля в рамках мультимодальной модели. Используя архитектуру Ray, основанную на акторах, разработчики могут самостоятельно распределять ресурсы, оптимизируя его под уникальные требования каждого модуля. Это приводит к более эффективной оркестрации сложных рабочих нагрузок, как это демонстрируется на примере модели Qwen-VL 32B.

Бенчмаркинг и производительность

В тестах, проведённых с моделью Qwen-VL 32B, подход Рэя показал увеличение пропускной способности в 1,37 раза по сравнению с традиционными методами. Стратегия сочетала параллелизм последовательностей для кодировщика видения с тензорным параллелизмом для LLM, эффективно управляя требованиями памяти и вычислительной нагрузки между различными модулями. Этот метод не только повысил скорость, но и позволил обучать последовательности длиной до 65 000 токенов, превзойдя возможности DeepSpeed ZeRO3, который столкнулся с проблемами памяти при 16 000 токенах.

Перспективы будущего

Успех раздробленного гибридного параллелизма Ray в повышении эффективности обучения ИИ открывает путь для его применения на крупных кластерах GPU и различных аппаратных установках. Его способность адаптироваться к различным мультимодальным архитектурам подчеркивает потенциал более широкого внедрения в разработке ИИ.

Для тех, кто хочет изучить этот инновационный подход, реализация Ray доступна для экспериментов и обратной связи на их репозитории GitHub.

Источник изображения: Shutterstock