Visa AI购物评估显示22款模型的失败率为43.4%
Visa 发布了业内首个 AI 智能购物评估,通过模拟真实消费场景评估主流 AI 模型的表现,并向消费者开放测试平台。首轮评估显示,AI 购物的平均通过率仅为 56.6%,失败率达 43.4%,整体表现稳定性不足。此次评估涵盖来自 12 个开发团队的 22 款 AI 模型,涉及电视、笔记本电脑和个人护理电器等 15 种购物场景,通过率介于 28.9% 至 82.2% 之间。 Visa 建立 AI 购物评估标准与测试方法 Visa 的 AI 智能购物评估标准要求 AI 通过对话准确识别消费者的实际需求。如果没有符合指定条件的商品,AI 不得下单。基准测试特别要求 AI 收集充足信息,避免在充分了解消费者需求之前仅凭猜测做出决定。每款 AI 模型都在包括电子产品和个人护理电器在内的多种购物场景中接受了三次测试。 评估结果显示 AI 模型表现差异显著 首轮评估测试了来自 12 个 AI 开发团队的 22 款 AI 模型,覆盖 15 种购物场景。平均通过率仅为 56.6%,表现最佳的模型达到 82.2%,得分最低的模型仅为 28.9%。通过消费者对话识别出最多潜在购买需求的五款 AI 模型,平
V-0.07%
Gate AI 视野·11-13 03:39
