阿里巴巴 QwenGyre 通过弹性 GPU 调度解决百万代币强化学习问题
Alibaba 推出了 QwenGyre,这是一种强化学习框架,专为极长时域智能体训练任务而设计,单次运行可持续数小时并消耗近 100 万个词元。该框架解决了传统在线 RL 流水线中的两个核心问题:运行时长的显著差异导致 GPU 在漫长执行尾部处于闲置状态,以及分支执行路径产生大量冗余训练数据。随着 LLM 智能体从解决单个代码仓库问题发展到构建完整代码库,QwenGyre 的双组件架构——弹性调度器和轨迹处理器——旨在优化百万词元工作流中的 GPU 利用率和训练数据效率。 弹性调度器在运行过程中重新分配 GPU 资源 弹性调度器通过将硬件组织成可独立切换的“单元”来解决 GPU 利用率不足的问题,并根据未完成运行任务数量的变化,在推理和训练之间重新分配这些单元。传统框架要么让整个 GPU 池在运行和训练之间交替切换(colocate),导致硬件在漫长的运行尾部处于闲置状态;要么在两个阶段之间静态划分 GPU(async),使任一侧都无法借用另一侧的闲置容量。QwenGyre 的方法不会中断正在进行的 harness 执行:模型请求会在运行过程中被重新路由至剩余的运行引擎,并通过 RD
BABA-1.53%
Gate AI 视野·10-13 08:21
