エヌビディアのReshard CollectiveでRLの重み再適合が最大5.7倍高速化
NVIDIAは2026年11月6日、強化学習における重みのリフィット向けにReshardコレクティブを発表しました。オープンソースのNCCL M2N Reshardリファレンス実装は、リフィットをトレーニングと推論のGPUレイアウト間で行うDTensorからDTensorへの転送として再定式化します。NVIDIAによると、NVIDIA DGX H100およびNVIDIA DGX GB200システム上のNeMo RLベンチマークで、従来のギャザー・アンド・ブロードキャスト方式のリフィットに比べて2.7倍から5.7倍高速化しました。 強化学習のポストトレーニングでは、推論側が現在のポリシーモデルを使ってトレーニング用の軌跡を生成する一方、トレーニングは別のGPUリソース上で実行されます。トレーニングGPU上でポリシーモデルが更新されると、その最新パラメーターを推論GPUに定期的に転送する必要があります。この転送をリフィットと呼びます。 Reshardコレクティブがテンソル全体のリフィット転送を置き換える トレーニングと推論では計算要件が異なり、データ並列、コンテキスト並列、テンソル並列、エ
GateGlobalTech·11-07 01:10
