Con quái vật suy luận được nuôi từ 340.000 đường đi, cái tên SU-01 này đủ khiêm tốn rồi

Xem bản gốc
MeNews
Mô hình suy luận hậu huấn luyện SU-01 đạt hiệu suất huy chương vàng trong các đề thi cấp Olympic
AIMPACT đề xuất phương pháp hệ thống chuyển đổi mô hình suy luận sau huấn luyện thành bộ giải quyết bài toán cấp Olympic, gồm ba bước: sử dụng khóa học phản nghịch độ rối loạn để huấn luyện có giám sát, truyền đạt tìm kiếm chứng cứ và tự kiểm tra; sau đó mở rộng qua hai giai đoạn học tăng cường; trong quá trình thử nghiệm, thực hiện nâng cao quy mô. Áp dụng cho backbone 30B-A3B, sử dụng khoảng 340.000 đoạn đường dẫn con 8K để huấn luyện có giám sát, sau đó 200 bước RL, thu được SU-01. Mô hình này có khả năng suy luận ổn định các bài toán khó, đường dẫn vượt quá 100.000 token, đạt cấp huy chương vàng trong các cuộc thi như IMO/USAMO/IPhO, và thể hiện khả năng tổng quát hóa suy luận khoa học vượt ra ngoài lĩnh vực toán học/vật lý.
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Đã ghim