ME News ニュース、5月16日（UTC+8）、研究者はΔ-Memを提案しました。これは、大規模言語モデル向けに設計された効率的なオンラインメモリシステムです。このシステムは、完全なアクティベーション状態ではなく、モデルのアクティベーションの増分変化のみを保存・更新することで、メモリ使用量を大幅に削減します。実験により、Δ-Memはメモリ使用量を最大70％削減できることが示されており、モデルの出力品質もほぼ損なわれませんでした。この方法は、リソースが制限された環境で大規模言語モデルを展開・運用するのに役立ち、オンライン推論や継続学習のシナリオにおける実現可能性を高めます。（出典：AiHot）
Δ-Mem：大規模言語モデルに適した効率的なオンラインメモリ