2026-08-01 03:13:30
Arena 启动 AutoEval:AI 会在 1 小时内为新模型打分
根据 Beating Monitor,Arena 推出了 AutoEval,这是一种基于奖励模型的系统,可在不到 1 小时内为新模型生成排行榜分数,无需等待人工投票。该系统在数百万真实用户偏好数据上进行训练,并使用 AI 模拟投票,在人工评估者提出修正之前快速对模型进行排序。 Arena 的测试显示,AutoEval 与后续人工排名的相关性超过 0.98。当模型性能差距超过 10 分时,系统在判定胜者方面的准确率可达到 90% 以上;当差距超过 15 分时,准确率达到 100%。目前,该系统支持文本、视觉、图像生成和代码模型的评估。