Одна статья заставила меня остановиться и подумать полчаса S0 Tuning

Ключевая идея: не изменяя веса модели, а только настроив начальную матрицу состояния, можно значительно повысить способность модели к кодированию.
На Qwen3.5-4B, используя всего 48 образцов для обучения HumanEval (не 48 тысяч, а 48), S0 tuning повысил pass@1 на 23.6 процентных пункта.
По сравнению с LoRA, S0 показал на 10.8 процентных пункта выше. p-значение <0.001, статистически значимо.
На FalconH1-7B, S0 достиг 71.8%.
Это означает, что после настройки скорость модели и размер остаются без изменений, только "стартовая позиция" стала лучше.
Для тех, кто занимается локальным развертыванием моделей, это открывает дверь: взять универсальную модель, настроить её на несколько десятков образцов из конкретной области — и получить специализированную модель без потери производительности.
Статья на arxiv: 2604.01168. Тем, кто занимается адаптацией моделей, стоит прочитать.