你怎麼知道你的 agent 已經解決了任務，而不是只是找到答案的關鍵字？

在一個自訂的 SWE-Bench 中，預期要修正的內容其實已經存在於程式庫的提交歷史中，而且評分用的測試也直接隨任務一起提供。
一個有能力的模型幾乎每次都會走這個捷徑，除非你在一開始就把它移除。這才是建立評估（eval）時真正的工作。