Prime Intellect viết lại Verifiers, huấn luyện và đánh giá tác nhân có thể như lắp ghép các khối đồ chơi

robot
Đang tạo bản tóm tắt
Theo dõi Beating cho biết nền tảng huấn luyện AI Prime Intellect đã phát hành verifiers 0.2.0, đồng thời mở bản xem trước kiến trúc của Verifiers v1 thế hệ tiếp theo. Verifiers là một khung mã nguồn mở để ra đề, chạy và chấm điểm cho AI Agent, có thể dùng cho đánh giá năng lực và huấn luyện củng cố (reinforcement learning).

Prime Intellect cũng đã mã nguồn mở khung huấn luyện mô hình prime-rl. Nói đơn giản, Verifiers chịu trách nhiệm xác định nhiệm vụ, công cụ và quy tắc chấm điểm, còn prime-rl huấn luyện mô hình dựa trên kết quả nhiệm vụ. Lập trình viên có thể tự tải về và triển khai hai bộ công cụ này.

Prime Intellect đồng thời vận hành Environments Hub và Lab. Bộ đầu tiên dùng để chia sẻ và tải các môi trường huấn luyện sẵn có, trong khi Lab cung cấp dịch vụ huấn luyện được quản lý. Lập trình viên có thể tự triển khai toàn bộ bộ công cụ, hoặc trực tiếp dùng môi trường và nền tảng tính toán của Prime Intellect.

Các phiên bản cũ của Verifiers ràng buộc cách ra đề và cách Agent chạy. v1 tách thành ba phần: Taskset quy định làm gì, cung cấp những công cụ nào và cách chấm điểm; Harness quyết định Agent sẽ hoàn thành nhiệm vụ như thế nào; Runtime quyết định nhiệm vụ sẽ chạy tại chỗ, trong Docker hay trong sandbox từ xa.

Cùng một bộ nhiệm vụ vì thế có thể dùng các Agent như Codex, Kimi Code, Terminus 2… và cũng có thể được thực thi tại chỗ, trong Docker hoặc trong sandbox từ xa. Lập trình viên không cần viết lại nhiệm vụ và quy tắc chấm điểm mỗi khi đổi Agent hoặc môi trường thực thi.

v1 cũng có thể ghi lại các quá trình nhánh như lời gọi sub Agent, nén ngữ cảnh (context compression) và lưu Token ID cùng log-probability cần cho huấn luyện. Bản mới phù hợp hơn cho các tác vụ dài với hàng trăm vòng liên tục, đồng thời có thể dùng trực tiếp quỹ đạo chạy của Agent cho huấn luyện củng cố. Về tương lai, phiên bản 1.0.0 còn dự kiến bổ sung môi trường đa Agent và hoàn thiện hỗ trợ các khung môi trường như OpenEnv, NeMo Gym và OpenReward.
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Đã ghim