🔥Исследователь: основные тесты AI-рынка имеют системные уязвимости, данные рейтингов могут быть серьезно искажены


10 апреля исследователь AI Хао Ванг опубликовал исследование, в котором раскрыты системные уязвимости в нескольких авторитетных отраслевых тестах AI, таких как SWE-bench Verified и Terminal-Bench — их команда создала агента, который, не решая никаких реальных задач, набрал максимальный балл 100% по двум тестам.
Примеры типичных случаев: в SWE-bench Verified в репозитории кода внедрена 10 строк pytest hook, который перед запуском теста автоматически изменяет все результаты на «пройдено», и система оценки этого не замечает, все 500 вопросов — максимальный балл; хотя Terminal-Bench по поводу тестов…
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закрепить