Muon âm thầm "đói chết" 25% các neuron: Sau khi Aurora sửa chữa, hiệu quả dữ liệu tăng gấp trăm lần

robot
Đang tạo bản tóm tắt

Theo theo dõi Beating Monitoring, Tilde Research phát hiện ra rằng bộ tối ưu hóa Muon được sử dụng trong các mô hình hàng đầu như DeepSeek V4, Kimi K2.5, GLM-5 có một nhược điểm tiềm ẩn: nó khiến hơn một phần tư các neuron trong lớp MLP chết vĩnh viễn trong giai đoạn đầu của quá trình huấn luyện. Nhóm đã thiết kế bộ tối ưu hóa thay thế mang tên Aurora và mở mã nguồn. Một mô hình 1.1B chỉ dùng khoảng 100B token đã đạt điểm ngang bằng trên các chuẩn đánh giá hiểu ngôn ngữ như HellaSwag, Winogrande so với Qwen3-1.7B được huấn luyện với 36T token.

Vấn đề nằm ở đặc tính toán học của Muon khi xử lý ma trận trọng số MLP. Trong giai đoạn đầu của huấn luyện, một số neuron tình cờ nhận được tín hiệu gradient yếu hơn. Các bộ tối ưu truyền thống như AdamW sẽ chuẩn hóa theo từng tham số, tự nhiên làm phẳng sự khác biệt này; nhưng bước chính xác của Muon sẽ giữ nguyên tín hiệu yếu đó. Các neuron yếu liên tục nhận được cập nhật yếu, ngày càng im lặng, tạo thành vòng lặp chết “người mạnh tiếp tục mạnh”. Đến bước 500 của quá trình huấn luyện, đã có hơn một phần tư neuron thực chất đã chết, lãng phí dung lượng tham số.

Phiên bản cải tiến trước đó là NorMuon đã cố gắng giảm thiểu vấn đề bằng cách ép cập nhật mỗi hàng theo cùng một mức độ, nhưng điều này phá vỡ tính chính xác của ma trận cập nhật (việc chính xác hóa giúp mỗi bước cập nhật hiệu quả nhất có thể, là lợi thế cốt lõi của Muon), dẫn đến mất độ chính xác tối ưu. Aurora kết hợp “cập nhật đều” và “tính chính trực” thành các ràng buộc liên kết, sử dụng phương pháp lặp xen kẽ để đồng thời thỏa mãn cả hai: vừa đảm bảo mỗi neuron có cơ hội học tập công bằng, vừa không làm giảm độ chính xác của cập nhật.

Aurora chưa tinh chỉnh tham số chỉ tiêu tốn nhiều hơn Muon 6% tính toán, có thể thay thế trực tiếp. Trong các thử nghiệm tối ưu hóa của modded-nanoGPT, Aurora đã phá vỡ kỷ lục hiện tại sau 3175 bước. Ưu điểm của Aurora còn tăng lên khi mở rộng độ rộng của MLP, hệ số mở rộng càng cao, cải thiện càng rõ rệt.

Mã nguồn và mô hình tiền huấn luyện 1.1B đã được mở nguồn.

Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Ghim