La Phúc Lợi: Mô hình lớn bước vào kỷ nguyên hậu huấn luyện, tỷ lệ sức mạnh tính toán giữa tiền huấn luyện và hậu huấn luyện của đội ngũ hàng đầu đạt 1:1.

robot
Đang tạo bản tóm tắt
Tin tức ME News, ngày 24 tháng 4 (UTC+8), theo giám sát của Động Sát Beating, người đứng đầu nhóm mô hình lớn của Xiaomi là Luo Fuli chỉ ra rằng cuộc cạnh tranh mô hình lớn đã chuyển hoàn toàn từ thời đại Chat do tiền huấn luyện (pre-train) thống trị sang thời đại Agent do hậu huấn luyện (post-train) thống trị. Điểm cạnh tranh cốt lõi hiện nay là 「làm thế nào để mở rộng quy mô học tăng cường (RL) trên Agent」. Sự thay đổi mô hình này trực tiếp dẫn đến tái cấu trúc phân bổ sức mạnh tính toán. Luo Fuli tiết lộ, trong thời đại Chat, tỷ lệ phân bổ sức mạnh tính toán cho nghiên cứu, tiền huấn luyện và hậu huấn luyện là khoảng 3:5:1; trong khi ở thời đại Agent hiện nay, tỷ lệ phân bổ hợp lý trở thành 3:1:1, nghĩa là đầu tư sức mạnh tính toán cho tiền huấn luyện và hậu huấn luyện gần như tương đương, hiện tại các nhóm mô hình hàng đầu đã đạt tỷ lệ đầu tư 1:1 cho hai hạng mục này. Đồng thời, yêu cầu về kiến trúc hệ thống cũng thay đổi lớn. Cơ sở hạ tầng RL trước đây chủ yếu lấy 「engine suy luận mô hình」 làm trung tâm, xử lý các phép tính văn bản thuần túy; cơ sở hạ tầng hiện tại phải lấy 「Agent」 làm trung tâm, hỗ trợ điều phối cụm không đồng nhất và có thể chịu được sự mơ hồ khi Agent bị gián đoạn do các yếu tố không kiểm soát được trong quy trình làm việc phức tạp. (Nguồn: BlockBeats)
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Đã ghim