DatacurveのこのDeepSWEオープンソースはかなり実用的です。五つの言語をカバーし、668行の平均回答深度を持ち、Mini-SWE-Agentフレームワークも登場しました。今後は大規模モデルのコード能力を測る尺度となるでしょう。

原文表示
CoinNetwork
Datacurveオープンソースのインテリジェントエージェント基準DeepSWE、参考コード量はSWE-Benchの5倍
DatacurveはDeepSWEプログラミングインテリジェンスエージェントのベンチマークをオープンソース化し、大規模モデルの自主プログラミング能力を評価します。
ベンチマークには113のタスクが含まれ、TypeScript、Go、Python、JavaScript、Rustの五つの言語をカバーし、平均して668行の参考解答が必要です。
ヒント指示の平均文字数は2158文字で、極めて簡潔な指示下での深い推論を強調します。
テストにはオープンソースのフレームワークMini-SWE-Agentを使用し、客観性を確保します。
GPT-5.5の解法率は70%、GPT-5.4とClaude-opus-4.7はそれぞれ56%、54%です。
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております(表明・保証をするものではありません)。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。
  • 報酬
  • コメント
  • リポスト
  • 共有
コメント
コメントを追加
コメントを追加
コメントなし