一篇論文により立ち止まり、半時間見入った S0 Tuning

核心アイデア：モデルの重みを変更せず、初期状態の行列だけを調整することで、モデルのコーディング能力を大幅に向上させることができる。
Qwen3.5-4B で、わずか48個のHumanEval訓練サンプル（48Kではなく48個）を使用し、S0 tuningはpass@1を23.6ポイント向上させた。
LoRAと比較して、S0は10.8ポイント高い。p値<0.001、統計的に有意。
FalconH1-7Bでは、S0は71.8%に達した。
これは、調整後もモデルの速度やサイズは変わらず、「スタート位置」が改善されることを意味する。
ローカルモデルのデプロイを行う人にとって、これは扉を開くものだ：汎用モデルを使い、数十の分野サンプルで調整して専用モデルに変えることができ、性能の犠牲を伴わない。
論文はarxiv: 2604.01168に掲載されている。モデル適応に関わる人は読むべきだ。