広場
最新
注目
ニュース
プロフィール
ポスト
HashiChainNews
2026-04-10 01:21:31
フォロー
🔥研究者：主流AIベンチマークには体系的な脆弱性が存在し、ランキングデータが深刻に歪む可能性がある
4月10日、AI研究者のHao Wangは調査結果を公開し、SWE-bench VerifiedやTerminal-Benchを含む複数の業界権威あるAIベンチマークには、体系的に悪用可能な脆弱性が存在すると指摘した。
彼らのチームが構築したエージェントは、実際のタスクを解決せずに、2つのベンチマークで満点の100%を獲得した。
典型的な例は以下の通り：SWE-bench Verifiedでは、コードリポジトリに10行のpytestフックを埋め込み、テスト実行前にすべての結果を自動的に「合格」に改ざんし、スコアリングシステムはこれに気付かず、500問すべて満点を獲得した。Terminal-Benchは…
原文表示
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております（表明・保証をするものではありません）。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については
免責事項
をご覧ください。
1 いいね
報酬
1
コメント
リポスト
共有
コメント
コメントを追加
コメントを追加
コメント
コメントなし
人気の話題
もっと見る
#
GateLaunchesPreIPOS
183.6K 人気度
#
CryptoMarketRecovery
44.86K 人気度
#
IsraelStrikesIranBTCPlunges
27.16K 人気度
#
OilEdgesHigher
1.16M 人気度
#
USIranCeasefireTalksFaceSetbacks
558.34K 人気度
人気の Gate Fun
もっと見る
Gate Fun
KOL
最新
ファイナライズ中
リスト済み
1
MRT
Memorial Token
時価総額:
$2.34K
保有者数:
4
0.50%
2
T.T
无限充值的忏悔
時価総額:
$2.25K
保有者数:
1
0.00%
3
人民币
人民币
時価総額:
$2.89K
保有者数:
2
4.35%
4
Fjb
飞机杯
時価総額:
$0.1
保有者数:
1
0.00%
5
gt
Helu
時価総額:
$2.25K
保有者数:
1
0.00%
ピン
サイトマップ
🔥研究者：主流AIベンチマークには体系的な脆弱性が存在し、ランキングデータが深刻に歪む可能性がある
4月10日、AI研究者のHao Wangは調査結果を公開し、SWE-bench VerifiedやTerminal-Benchを含む複数の業界権威あるAIベンチマークには、体系的に悪用可能な脆弱性が存在すると指摘した。
彼らのチームが構築したエージェントは、実際のタスクを解決せずに、2つのベンチマークで満点の100%を獲得した。
典型的な例は以下の通り：SWE-bench Verifiedでは、コードリポジトリに10行のpytestフックを埋め込み、テスト実行前にすべての結果を自動的に「合格」に改ざんし、スコアリングシステムはこれに気付かず、500問すべて満点を獲得した。Terminal-Benchは…