Google випустила відкриту модель Gemma 4 12B, яку можна запускати локально на 16 ГБ споживчого ноутбука

Google доповнив випуск сімейства Gemma 4 пропуском: нова модель з 12B параметрів потребує лише 16GB пам’яті для локального запуску на споживчому ноутбуці, офіційні бали близькі до майже вдвічі більшої версії 26B MoE.
(Попередній огляд: Google запустила новий AI-додаток Dreambeans! Зробіть своє повсякденне життя унікальною «мультяшною історією»)
(Додатковий контекст: Google активно інвестує в AI! Alphabet розширює залучення капіталу до 85 мільярдів доларів, отримавши інвестиції від Berkshire на сотні мільярдів доларів)

3 червня Google випустила Gemma 4 12B, ця модель не вимагає високих апаратних характеристик — достатньо комп’ютера з 16GB системної пам’яті (RAM) або відеопам’яті (VRAM), щоб запустити її локально, без дорогих AI-ускорювачів за десятки тисяч доларів.

Пропуск у сімействі Gemma 4

Цього року у квітні Google вперше представила сімейство Gemma 4, що складається з чотирьох моделей: оптимізованих для мобільних пристроїв E2B і E4B, а також для серверних сценаріїв — 26B MoE і 31B Dense. Це лінійка продуктів, що охоплює легкі пристрої на краю мережі та потужні хмари, але між ними залишився явний пропуск: мобільна версія занадто легка, а для моделей понад 26B потрібне відповідне обладнання, тому для локальних ноутбуків майже немає варіантів.

12B саме для заповнення цього пропуску.

Додатково: 26B MoE — це «гібридна модель експертів», де MoE означає: модель викликає лише потрібних експертних нейронів за запитом, не активуючи всі параметри під час кожного висновку. Простими словами, ця архітектура дозволяє запускати модель, активуючи лише підмножину параметрів: у версії 26B кожен токен фактично використовує близько 4B параметрів. Але за цим стоїть ціна: всі 260 мільярдів параметрів мають бути попередньо завантажені у пам’ять для швидкої маршрутизації та висновків, тому пам’ять займає майже стільки ж, скільки і повна щільна модель такого розміру.

31B Dense — це «щільна модель», яка використовує всі параметри під час кожного висновку. Простими словами, тут немає економії — кожна відповідь виконується з максимальною потужністю. У порівнянні, реальне споживання пам’яті Gemma 4 12B становить близько 8,1GB, що приблизно вдвічі менше за 26B MoE.

Одночасно, сімейство Gemma 4 використовує ліцензію Apache 2.0, яку цього року перейняли, — відкриту ліцензію, що дозволяє комерційне використання, модифікацію та повторне поширення. Розробники можуть безпосередньо запускати її у своїх продуктах без окремого дозволу.

«Майже так само потужна»

У своїй заяві Google стверджує, що Gemma 4 12B «майже так само потужна» у багатьох бенчмарках, порівняно з версією 26B MoE, що у два рази більша. Офіційні бали охоплюють GPQA Diamond (наукове мислення для аспірантів), MMLU Pro (знання з багатьох галузей), DocVQA (візуальні питання до документів) та інші показники, і цифри справді наближаються до 26B версії.

Однак є кілька моментів, які варто врахувати при оцінці цих даних.

По-перше, це офіційні бали Google, які ще не були повністю незалежно перевірені сторонніми. Бенчмарки — це стартова точка, а не фінішна, і реальні сценарії застосування можуть відрізнятися більшою або меншою мірою. По-друге, «16GB для запуску» — це технічно правда, але фактичне споживання пам’яті становить близько 8,1GB, що для звичайного ноутбука з відкритими браузерами і офісними програмами досить тісно, і не кожен зможе без проблем запустити.

Gemma 4 12B — це також мультимодальна модель, яка використовує єдину архітектуру без кодера, тобто одна й та сама модель може безпосередньо обробляти текст, зображення, аудіо та відео, без необхідності додаткових компонентів.