币界网消息，Sakana AIとNVIDIAが協力して、twellと呼ばれる疎なデータフォーマットとそれに対応する高速化コアをオープンソース化しました。これにより、GPUが大規模モデルを実行する際に、「結果がほぼゼロ」に近い無効な計算をスキップできるようになりました。この方案は、モデルの精度を損なうことなく、H100の推論速度を最大30％向上させ、トレーニングの速度を最大24％向上させ、ピークメモリ使用量を大幅に節約します。データはまた、ある規則性を明らかにしています：モデルのパラメータ数が大きくなるほど、休眠しているニューロンの数も増える（20億パラメータのモデルの非ゼロ割合は、5億パラメータのモデルよりも38％低い）。これは、将来的により大規模なモデルを追求する際に、このハードウェア最適化がより顕著な性能向上をもたらすことを意味します。