20B Small ModelはGPT-5とOpusと検索能力で匹敵:Chromaがオープンソースのエージェント検索モデル「Open Source Agent Search Model Context-1」をリリース

robot
概要作成中

1M AI Newsの監視によると、オープンソースのベクターデータベースChromaが、マルチターン検索タスク専用に設計された20億パラメータのエージェント検索モデルContext-1をリリースしました。
モデルの重みはApache 2.0ライセンスの下でオープンソース化されており、合成データ生成パイプラインのコードも公開されています。
Context-1はリトリーバルサブエージェントとして位置付けられており、直接質問に答えることはなく、マルチターン検索を通じて下流の推論モデルのために一連のサポート文書を返します。
コア技術は「セルフエディティングコンテキスト」であり、モデルは検索プロセス中に無関係な文書断片を積極的に捨て、次の検索のために限られたコンテキストウィンドウ内でスペースを確保し、コンテキストの膨張によるパフォーマンスの劣化を回避します。
トレーニングは二段階で行われます。まず、Kimi K2.5のような大規模モデルを使用して、監督微調整のためのSFT軌道を生成し、その後、強化学習(CISPOアルゴリズムに基づく)を通じて8,000以上の合成タスクでトレーニングを行います。
報酬設計にはカリキュラムメカニズムが採用されており、初期段階では広範な探索を促し、後の段階で精度にシフトして選択的保持を促進します。
ベースモデルはgpt-oss-20bで、LoRAを使用して適応され、B200上でMXFP4量子化を用いて推論を実行し、スループットは秒間400-500トークンを達成しています。
Chromaの4つの自己構築したドメインベンチマーク(Web、金融、法律、メール)および公開ベンチマーク(BrowseComp-Plus、SealQA、FRAMES、HotpotQA)において、Context-1の4ウェイ並列バージョンは、GPT-5.2、Opus 4.5、Sonnet 4.5などの最先端モデルの「最終回答ヒット率」メトリクスに匹敵するか、近づいています。
例えば、BrowseComp-Plusでは0.96を達成し(Opus 4.5の0.87、GPT-5.2の0.82と比較)、そのコストとレイテンシは後者のわずか一部です。
特筆すべきは、モデルはWeb、法律、金融データのみに基づいてトレーニングされたにもかかわらず、トレーニングに含まれていないメールドメインでの重要な改善も示しており、検索機能のドメイン間の転送可能性を示しています。

原文表示
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております(表明・保証をするものではありません)。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。
  • 報酬
  • コメント
  • リポスト
  • 共有
コメント
コメントを追加
コメントを追加
コメントなし
  • ピン