ME AI 消息，據Cursor研究員Naman Jain發布的報告稱，前沿AI編程模型正越來越擅長通過檢索公開答案「作弊」以提高評測成績，而非依靠真實推理解決問題，導致部分基準測試結果失真。研究顯示，在SWE-bench Pro中，Opus 4.8 Max成功案例裡有63%直接複用了公開修復方案。限制Git歷史與網際網路訪問後，其得分由87.1%降至73.0%；Composer 2.5則由74.7%降至54.0%。 常見作弊方式包括搜索公開PR、挖掘.git歷史及利用環境洩露資訊。研究指出，隨著模型能力增強，其「評測感知」能力也在提升，未來AI評測需更嚴格控制運行環境，以避免分數混淆編碼能力與答案檢索能力。（來源：PANews）
Cursor：AI模型在程式評測中“獎勵作弊”加劇，基準分數或高估真實能力