O paralelismo híbrido desagregado do Ray aumenta o treino multimodal de IA em 30%

Iris Coleman

10 de dezembro de 2025 01:06

O inovador paralelismo híbrido desagregado da Ray melhora significativamente a eficiência do treino multimodal da IA, alcançando até 1,37x de melhoria de throughput e superando desafios de memória.

Num avanço significativo para o treino de inteligência artificial, Ray introduziu uma abordagem de paralelismo híbrido desagregado que acelera o treino de modelos multimodais de IA em 30%, segundo a Anyscale. Este desenvolvimento aborda as complexidades e desafios computacionais de treinar modelos que processam diversos tipos de dados, como texto, imagens e áudio.

Desafios no Treino de IA Multimodal

Os modelos multimodais de IA, ao contrário dos modelos tradicionais homogéneos de linguagem grande, consistem em módulos especializados com necessidades computacionais e de memória variadas. Os Modelos de Visão-Linguagem (VLMs), por exemplo, integram um codificador de visão com um grande modelo de linguagem (LLM). Esta integração resulta em complexidades arquitetónicas, especialmente ao lidar com imagens de alta resolução e longas sequências. Técnicas tradicionais como o paralelismo tensorial e o DeepSpeed ZeRO3 frequentemente falham, resultando em ineficiências e potenciais erros de falta de memória.

A Abordagem Inovadora do Ray

O paralelismo híbrido desagregado de Ray aproveita a flexibilidade do seu quadro universal, permitindo estratégias de paralelização personalizadas para cada módulo dentro de um modelo multimodal. Ao utilizar a arquitetura baseada em atores do Ray, os programadores podem alocar recursos de forma independente, otimizando para os requisitos únicos de cada módulo. Isto resulta numa orquestração mais eficiente de cargas de trabalho complexas, como demonstrado no modelo Qwen-VL 32B.

Benchmarking e Desempenho

Em testes realizados com o modelo Qwen-VL 32B, a abordagem de Ray apresentou uma melhoria de 1,37x no débito em comparação com os métodos tradicionais. A estratégia combinava paralelismo de sequências para o codificador de visão com paralelismo tensorial para o LLM, gerindo eficazmente as exigências de memória e computacionais entre diferentes módulos. Este método não só melhorou a velocidade, como também permitiu o treino de sequências com até 65.000 tokens de comprimento, superando as capacidades do DeepSpeed ZeRO3, que enfrentou problemas de memória com 16.000 tokens.

Perspetivas Futuras

O sucesso do paralelismo híbrido desagregado da Ray na melhoria da eficiência do treino de IA abre caminho para a sua aplicação em clusters de GPU maiores e configurações de hardware diversificadas. A sua capacidade de se adaptar a várias arquiteturas multimodais destaca o seu potencial para uma implementação mais ampla no desenvolvimento de IA.

Para quem estiver interessado em explorar esta abordagem inovadora, a implementação da Ray está disponível para experimentação e feedback no seu repositório GitHub.

Fonte da imagem: Shutterstock