2026-11-08 12:31:35
ホームラボ構築者、インテルのOptaneメモリーだけで2.8兆パラメーターのAIモデルを実行し、DRAMに対する深刻な熱の脅威を警告
Tom's Hardwareによると、あるホームラボ構築者が、第2世代インテルOptane PMem 200メモリを搭載した40コアの第3世代Xeon Scalable CPUで、CPUのみの推論によりMoonshot AIの2.8兆パラメータモデル「Kimi K3」を実行し、1ビット量子化で毎秒0.85トークンを達成した。同氏は、推論を長時間続けるとOptane DIMMが極端に発熱し、各モジュールが12~15Wを消費するため、アクティブ冷却がなければ隣接するDRAMを損傷するおそれがあると警告した。Optaneモジュールは83度でスロットリングし、85度でシャットダウンする一方、DDR4サーバーメモリは最大95度まで耐えられる。同氏は温度管理に12Wのブロワーファンを2基使用し、性能向上のためOptaneに加えてGPUも追加する予定だ。