GPT-6 Astra 在 OpenAI BioBasicsBench 上得分 66.7%
OpenAI 于 11 月 6 日发布 BioBasicsBench,用于评估 AI Agent 对 100 项常规湿实验室任务原始数据的处理能力。该基准测试模型能否解读实验数据、识别有缺陷的对照,并判断结果是否存在过多歧义、无法支持结论。OpenAI 与酶设计初创公司 Ligo Biosciences 共同开发了这项评测,以衡量 AI 在日常实验室工作中面对不确定证据时的表现。 OpenAI 构建 BioBasicsBench,评估湿实验室数据推理能力 BioBasicsBench 使用来自 100 项常规实验室任务的原始实验数据。该基准要求模型解读结果、发现实验错误,并识别证据不足以得出结论的情况。OpenAI 写道,日常湿实验室工作中会遇到实验失败、含义模糊的图像和观察结果相互矛盾的情况,而为发表而挑选的图表和图像可能掩盖了其中大部分不确定性。 科学家将自己实验中的数据转化为 100 道测试题,每道题都配有详细的评分标准。每道题都经过三轮审核:一名 Ligo 科学家的审核、一名外部湿实验室的博士级科学家的审核,以及最后一次内部审核。模型根据测量准确度、推理合理性和对不确定性的识别
Gate 全球科技前线·11-07 02:04
