Prime IntellectのVerifiersを重書きし、Agentの訓練・評価をレゴのように組み立てられる

robot
概要作成中
AIによるビート監視の分析に加え、AIトレーニングプラットフォーム Prime Intellect が verifiers 0.2.0 を公開し、その中で次世代 Verifiers v1 のアーキテクチャのプレビューを開放しました。Verifiers は AI Agent に問題を出し、実行し、スコアリングするためのオープンソースのフレームワークで、能力評価や強化学習のトレーニングに使えます。

Prime Intellect はまた、モデル学習フレームワーク prime-rl もオープンソース化しました。簡単に言うと、Verifiers がタスク、ツール、スコアリングルールを定義し、prime-rl がタスク結果に基づいてモデルを学習します。開発者はこの2つのツールを自分でダウンロードしてデプロイできます。

Prime Intellect は同時に Environments Hub と Lab も運営しています。前者は既成の学習環境を共有・ダウンロードするためのもので、後者はホスト型の学習サービスを提供します。開発者はツール一式を自分でデプロイすることも、Prime Intellect の環境と計算リソースプラットフォームを直接利用することもできます。

従来版の Verifiers は、タスクと Agent の実行方法を一体化していました。v1 ではそれを3つに分解します。Taskset は何を行い、どのツールを提供し、どのように採点するかを規定します。Harness は Agent がタスクをどう完了するかを決めます。Runtime はタスクをローカル、Docker、またはリモートのサンドボックスのどこで実行するかを決めます。

同じ一連のタスクを、Codex、Kimi Code、Terminus 2 などの Agent に差し替えたり、ローカル、Docker、またはリモートのサンドボックスで実行したりできます。開発者は Agent や実行環境を切り替えるたびに、タスクや採点ルールを書き直す必要がありません。

v1 はさらに、サブ Agent の呼び出しやコンテキスト圧縮などの分岐過程を記録し、学習に必要な Token ID と対数確率も保存できます。新版は、数百ラウンドに及ぶ長いタスクにより適しており、Agent の実行軌跡を強化学習にそのまま利用することも可能です。将来の 1.0.0 では、マルチ Agent 環境の追加や、OpenEnv、NeMo Gym、OpenReward などの環境フレームワークへの対応強化も計画されています。
原文表示
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております(表明・保証をするものではありません)。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。
  • 報酬
  • コメント
  • リポスト
  • 共有
コメント
コメントを追加
コメントを追加
コメントなし
  • ピン留め