🔥Nghiên cứu viên: Các bài kiểm tra tiêu chuẩn AI chính thống có lỗ hổng hệ thống, dữ liệu bảng xếp hạng có thể bị sai lệch nghiêm trọng

Ngày 10 tháng 4, nhà nghiên cứu AI Hao Wang đã công bố nghiên cứu tiết lộ rằng, nhiều bài kiểm tra tiêu chuẩn AI uy tín trong ngành, bao gồm SWE-bench Verified và Terminal-Bench, đều tồn tại các lỗ hổng có thể bị khai thác hệ thống — nhóm của ông đã xây dựng một Agent đạt điểm tối đa 100% trên hai bài kiểm tra mà không giải quyết bất kỳ nhiệm vụ thực tế nào.
Ví dụ điển hình như sau: Trong SWE-bench Verified, chèn 10 dòng hook pytest vào kho mã nguồn, trước khi chạy thử nghiệm tự động chỉnh sửa tất cả kết quả thành "Đạt", hệ thống chấm điểm không phát hiện ra, tất cả 500 câu hỏi đều đạt điểm tối đa; Mặc dù Terminal-Bench…