Одна стаття змусила мене зупинитись і подивитись на неї протягом півгодини S0 Тюнінг

Основна ідея: не змінюючи ваги моделі, достатньо налаштувати лише початкову матрицю стану, щоб значно підвищити здатність моделі до кодування.
На Qwen3.5-4B, використовуючи всього 48 зразків HumanEval (не 48 тисяч, а 48), S0 тюнінг підвищив pass@1 на 23.6 відсоткових пунктів.
Порівняно з LoRA, S0 показав на 10.8 відсоткових пунктів вищий результат. p-значення <0.001, статистично значуще.
На FalconH1-7B, S0 досяг 71.8%.
Це означає, що після налаштування швидкість моделі залишається незмінною, розмір — теж, лише "стартова позиція" стала кращою.
Для тих, хто займається локальним розгортанням моделей, це відкриває нові можливості: взяти універсальну модель і за допомогою кількох десятків зразків з різних галузей налаштувати її під конкретні потреби без будь-яких втрат у продуктивності.
Стаття на arxiv: 2604.01168. Ті, хто займається адаптацією моделей, повинні ознайомитись.