Зробити великі моделі ШІ більш доступними для домашніх ПК

Понад три місяці я тихо досліджував методи зменшення апаратного та обчислювального навантаження пам’яті, необхідних для запуску дуже великих моделей ШІ — особливо моделей із сумішшю експертів, таких як GLM-5.2, на звичайних домашніх комп’ютерах.
Ця робота є частиною моєї магістерської програми з інформатики, і ранні результати обнадіюють.
Наразі в мене є робочий прототип, і я планую скоро поділитися більше про нього.
Мета полягає не лише в тому, щоб створити меншу версію моделі або заявити, що сотні мільярдів параметрів магічним чином умістяться в споживчий GPU.
Повна модель лишається доступною, але система намагається завантажувати, зберігати й переносити лише ті компоненти, які потрібні для поточного етапу інференсу.
Моє дослідження охоплює такі напрями, як:
Динамічне закріплення експертів
Прогнозувальне попереднє завантаження експертів
Ієрархічне завантаження через VRAM, системну RAM і сховище NVMe
Маршрутизація з урахуванням кешу
Зменшення непотрібного переміщення параметрів
Адаптація шляху виконання до наявного обладнання
Нещодавно я побачив інший проєкт, який вивчає схожий напрям, і це надихнуло мене зробити свою роботу публічною.
Однак я вважаю, що деякі актуальні підходи можуть недооцінювати реальне навантаження під час інференсу.
Підрахунок лише параметрів, призначених активним експертам, не відображає повну вартість інференсу. Спільні шари, стани attention, KV-кеш, рішення щодо маршрутизації, переходи між експертами, пропускна здатність пам’яті, помилки сторінок і синхронізація CPU-to-GPU можуть усі стати серйозними вузькими місцями.
Система може здаватися ефективною, якщо вимірювати лише активні параметри, тоді як під час реального наскрізного інференсу вона працює погано, бо знову й знову переносить дані між сховищем, RAM і VRAM.
Тому мій підхід не зосереджується лише на виборі меншої кількості експертів.
Він також враховує, де мають розміщуватися компоненти моделі, коли їх слід переносити, що має залишатися кешованим, і як можна прогнозувати майбутні вимоги без завантаження непотрібних частин моделі.
Дослідження ще триває, і попереду багато тестування, яке треба завершити. Однак результати, отримані на сьогодні, свідчать про те, що може існувати практичний шлях до запуску значно більших моделей на споживчому обладнанні зі суттєво нижчим піковим тиском на пам’ять.
Прототип уже працює, хоча він усе ще експериментальний і потребує подальшої оптимізації, валідації та тестування на різних конфігураціях обладнання.
Я планую скоро поділитися прототипом або ранньою публічною демонстрацією.
Експерименти дають обнадійливі результати.
І я вважаю, що інференс великих моделей на домашніх комп’ютерах може стати значно ефективнішим, ніж сьогодні.
Буде повідомлено більше незабаром. #AI