Hillclimbは10月13日、オープンエンドな機械学習問題においてAIエージェントが自身の性能を再帰的に向上させる能力を測定するベンチマーク、DeepRSIを開始した。48時間にわたる評価では、ディープラーニングのトレーニング、GPUカーネルの最適化、推定器の精度、ベクトル検索などのアルゴリズム改善という4つのカテゴリーにまたがる、独自のリサーチから選ばれた15のタスクが用いられる。 Claude Fable 5.1は全タスクカテゴリーで最高のEloランキングを獲得し、2位にはGPT-6 Astraが続いた。このベンチマークでは、過学習を検出するため、非公開の検証を伴うBradley-Terry方式を採用しており、過学習率はGeminiの2.6%からGrokの22.3%までの範囲だった。Hillclimbは、今後の評価でテスト期間を48時間以上に延長し、制限付きのインターネットアクセスを導入する計画だ。