英伟达200亿美元收购Groq后首谈战略:推理token要按质论价,低延迟高单价是新赛道

robot
摘要生成中

ME News 消息,4 月 16 日(UTC+8),据 动察 Beating 监测,黄仁勋在采访中首次详细解释了英伟达收购 Groq 的战略逻辑。英伟达去年 12 月以 200 亿美元收购了 Groq 的推理芯片业务,Groq 创始人 Jonathan Ross 及核心团队加入英伟达,Groq 作为独立公司继续运营。今年 3 月 GTC 大会上,英伟达发布了合并后首款芯片 Groq 3 LPU,由三星 4nm 工艺制造,英伟达称其在万亿参数模型上的每兆瓦推理吞吐量是 Blackwell NVL72 的 35 倍。 黄仁勋说,收购 Groq 的驱动力是推理市场的分层。此前推理优化只有一个方向:提高吞吐量。但 token 的商业价值已大幅上升,不同用户愿意为不同响应速度付不同价格。「如果我能给软件工程师提供响应更快的 token,让他们比现在更高效,我愿意为此付费。但这个市场直到最近才出现。」 他将这描述为推理市场帕累托前沿的扩展:在现有高吞吐量方案之外,新增一个低延迟、高单价的市场段。同一个模型,根据响应时间差异化定价,「虽然吞吐量更低,但单价能弥补」。Groq 的 LPU 架构以确定性低延迟著称,与英伟达 GPU 的高吞吐量路线互补,收购补上了英伟达在推理产品线上缺失的一块。 (来源:BlockBeats)

TOKEN-3.28%
ME-5.45%
4-10.39%
NVDAON2.27%
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论