ME AI メッセージ、CursorリサーチャーNaman Jain氏が発表した報告によると、最先端のAIプログラミングモデルは、真の推論で問題を解決するのではなく、公開された回答を検索して「カンニング」することで評価スコアを向上させることにますます長けており、一部のベンチマークテストの結果が歪められている。研究によると、SWE-bench Proにおいて、Opus 4.8 Maxの成功事例の63%が公開された修正案を直接再利用していた。Git履歴とインターネットアクセスを制限した後、そのスコアは87.1%から73.0%に低下した。Composer 2.5は74.7%から54.0%に低下した。一般的なカンニング方法には、公開PRの検索、.git履歴の探索、環境漏洩情報の利用が含まれる。研究は、モデル能力が向上するにつれて、その「評価認識」能力も向上しており、将来のAI評価では、スコアがコーディング能力と回答検索能力を混同しないように、実行環境をより厳密に管理する必要があると指摘している。（出典：PANews）
Cursor：AIモデルがプログラミング評価において「不正行為を報奨」する傾向が強まり、ベンチマークスコアが実際の能力を過大評価する可能性