NVIDIA Reshard Collective tăng tốc quá trình tải lại trọng số RL lên đến 5,7 lần
NVIDIA giới thiệu Reshard collective vào ngày 06 tháng 11 năm 2026 để refit trọng số trong học tăng cường. Bản triển khai tham chiếu mã nguồn mở NCCL M2N Reshard diễn đạt lại refit thành quá trình truyền DTensor sang DTensor giữa bố cục GPU dùng cho huấn luyện và suy luận. NVIDIA báo cáo tốc độ tăng từ 2,7x đến 5,7x so với phương pháp refit gather-and-broadcast thông thường trong các bài benchmark NeMo RL trên hệ thống NVIDIA DGX H100 và NVIDIA DGX GB200. Trong giai đoạn hậu huấn luyện bằng học
GateGlobalTech·11-07 01:10
