家庭用PCで大規模AIモデルをより利用しやすくする

3か月以上にわたり、非常に大規模なAIモデル――とりわけ GLM-5.2 のようなミクスチャ・オブ・エキスパーツ（MoE）モデル――を動かすのに必要なハードウェア負荷とメモリ負荷を減らす方法を、ひっそりと研究してきました。
この取り組みは私のコンピュータサイエンス修士課程の一部であり、初期結果は有望です。
いま動作するプロトタイプがあり、近いうちにその内容をもっと共有する予定です。
目的は単にモデルを小さくすることでも、何百億ものパラメータが奇跡のようにコンシューマー向けGPUに収まると主張することでもありません。
完全なモデルは引き続き利用可能ですが、システムは推論の現在の段階に必要なコンポーネントだけを読み込み・保持・転送しようとします。
私の研究は、例えば以下のような領域を含みます：
Dynamic expert residency（エキスパートの動的常駐）
Predictive expert prefetching（予測によるエキスパートの事前読み込み）
VRAM、システムRAM、NVMeストレージ間での階層的ロード
Cache-aware routing（キャッシュを考慮したルーティング）
不要なパラメータ移動の削減
利用可能なハードウェアに合わせた実行経路の適応
最近、似た方向性を探る別のプロジェクトを見かけたことが、私自身の取り組みを公開する後押しになりました。
ただし、現在のいくつかのアプローチは実際の推論負荷を過小評価している可能性があると考えています。
アクティブなエキスパートに割り当てられたパラメータだけを数えても、推論コスト全体は表せません。共有レイヤー、アテンション状態、KVキャッシュ、ルーティングの判断、エキスパートの遷移、メモリ帯域、ページフォルト、そしてCPU-to-GPUの同期などが、主要なボトルネックになり得ます。
アクティブなパラメータだけを測定すると効率的に見えても、ストレージ、RAM、VRAMの間でデータを繰り返し転送しているため、実際のエンドツーエンド推論では性能が大きく落ちることがあります。
そのため、私のアプローチは単にエキスパートを減らすことだけに焦点を当てていません。
モデルの構成要素をどこに置くべきか、いつ移動させるべきか、何をキャッシュしておくべきか、そして不要な部分を読み込まずに今後の要件をどう予測できるか、という点も考慮しています。
研究はまだ進行中で、完了させるべき追加のテストが多くあります。
しかし、ここまでの結果は、ピーク時のメモリ負荷を大幅に抑えつつ、コンシューマー向けのハードウェアでより大きなモデルを動かすための実用的な道筋があるかもしれないことを示唆しています。
プロトタイプはすでに動作していますが、まだ実験段階であり、さまざまなハードウェア構成に対してさらなる最適化、検証、テストが必要です。
近いうちにプロトタイプ、またはそれの初期の公開デモを共有するつもりです。
実験の結果は有望です。
そして、家庭用コンピュータでの大規模モデル推論は、現在よりもかなり効率的になり得ると考えています。
詳細は近いうちに共有します。 #AI