SRAM需求缘何突然爆发?看看这波操作就明白了。



前段时间某头部AI芯片厂商公开持仓某科技巨头后不久,转身就宣布收购一家芯片创新公司。这运气还是实力,细品一下就知道答案了。

这家公司的核心优势在哪儿呢?与传统GPU依赖外部高带宽内存(HBM)不同,他们的LPU处理器采用了片上集成大容量静态随机存取存储器(SRAM)的设计思路。这230MB的片上SRAM能提供高达80TB/s的内存带宽——这个数字什么概念?数据处理速度直接碾压传统GPU方案。

实际表现怎么样?他们的云服务因推理速度惊人而出名。跑Mixtral、Llama 2这类开源大模型时,每秒能输出约500个tokens,这比起传统服务的响应速度,压根不是一个量级。价格也有竞争力,按百万tokens计费的成本相当划算。

为什么这事儿现在这么重要?因为整个AI领域正在发生一个关键转变——推理需求即将全面超越训练需求。在这个时代背景下,通过LPU这种创新架构,提供一个高效、低成本且真正能规模化的推理基础设施,这才是市场真正缺的。某芯片公司负责人明确表态,计划把这套低延迟处理器集成到自家AI工厂架构中,目标是为更广泛的AI推理和实时工作负载服务。
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 5
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论