据动察 Beating 监测，Sakana AI 联合英伟达开源了名为 TwELL 的稀疏数据格式及配套加速内核，成功让 GPU 在运行大模型时，跳过那些「结果接近于零」的无效计算。这套方案在不损失模型准确率的前提下，让 H100 的推理速度最高提升 30%，训练最高提速 24%，并大幅节省峰值显存。
大模型的前馈层（FFN）吃掉了绝大部分的参数和算力。但实际上，每次生成文字时，这里有超过 80% 的神经元都处于「休眠状态」（激活值接近零），对最终结果毫无贡献。
如果能跳过这些神经元，就能省下海量算力。
然而，现代 GPU 天生只擅长计算整齐划一的密集矩阵，如果用传统方法去挑出散落的有用数据，光是来回寻找和读取数据的开销，就会把省下来的算力全搭进去。
TwELL 格式正是为了打破这个硬件魔咒。它完全顺着 GPU 的并行逻辑设计：不再像传统方法那样跨区域拼凑非零数据，而是把数据切成 GPU 最擅长处理的小方块（tile）。
这样，GPU 的各个计算核心就能在本地直接打包有用的数据，彻底省去了耗时的全局显存读写，完美融入现代芯片的加速流水线。
在 15 亿参数模型的实测中，只需在训练时加一点轻微的正则化，就能把真正需要计算的神经元比例压低到不足 2%，且七项下游任务的表现均未下降。
数据还揭示了一个规律：模型参数量越大，休眠的神经元就越多（20 亿参数模型的非零比例比 5 亿模型还要低 38%）。
这意味着，在未来追求更大规模的大模型时，这套针对底层硬件的优化将释放出更可观的性能红利。

Посмотреть Оригинал

На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .

Награда
лайк
комментарий
Репост
Поделиться

комментарий

Добавить комментарий

Нет комментариев

Популярные темы
Подробнее
#
SKHynixTopsKOSPIByMarketCap
1,54M Популярность
#
MicronEarningsBeatExpectationsSharesRise
167,27K Популярность
#
IsraelStrikesIranBTCPlunges
63,49K Популярность
#
WorldCup🏴󠁧󠁢󠁳󠁣󠁴󠁿vs🇧🇷
321,75K Популярность
#
USMayPCEInflationRisesTo4.1%HighestIn3Years
549,67K Популярность

Закреплено

Карта сайта

Sakana AI совместно с NVIDIA: позволяет GPU пропускать до 80% бесполезных вычислений больших моделей, ускорение вывода H100 на 30%

Популярные темы

SKHynixTopsKOSPIByMarketCap

MicronEarningsBeatExpectationsSharesRise

IsraelStrikesIranBTCPlunges

WorldCup🏴󠁧󠁢󠁳󠁣󠁴󠁿vs🇧🇷

USMayPCEInflationRisesTo4.1%HighestIn3Years

Закреплено