エージェントがタスクを解決したのが分かるのはどうしてで、答えのキーを見つけただけではないのですか？

カスタムのSWE-Benchでは、意図された修正はすでにリポジトリの履歴に存在しており、採点用のテストはタスク自体に同梱されています。
その近道を毎回確実に使えるのは、まずそれを最初に取り除かない限り、ということです。これが評価（eval）を構築するうえでの本当の作業です。