Transformer做成纯硬件电路,不用GPU跑出5万tokens/秒

币界网消息,开发者Luthira Abeykoon和Krish Chhajer将Karpathy的MicroGPT(仅4,192个参数)用SystemVerilog搬进FPGA,生成速度超过5万tokens/秒。该项目Talos-V2(Tensor Accelerated Logic for On-Chip Systems)已在GitHub开源,运行于DE1-SOC的Cyclone V教学级Intel FPGA,权重以Q4.12定点格式存储在片上ROM中。模型中的矩阵向量乘法实现为16通道脉动阵列(Systolic Array),Q/K/V投影、MLP、LM Head共用该单元,轮流运行。注意力机制的实现需拆分为八步。作者表示,项目旨在将Transformer推理的每一步转化为可视化的硬件:存储器、计数器、状态机和查找表。

此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论