З дна навайбкодили - ForkLog

# З дна найвайбкодили

Гайд по запуску відкритих ШІ-моделей із глибинного гітхабу

У розвитку ШІ виник вектор, у якому децентралізація та відкритий вихідний код дозволяють вийти за рамки популярних комерційних рішень. Локальні LLM дають змогу працювати з даними приватно, гнучко налаштовувати систему під свої завдання та самостійно контролювати середовище використання. При цьому запуск таких моделей потребує розуміння базових інструментів — від репозиторіїв і ваг моделей до хмарних середовищ і технічних характеристик.

У новому матеріалі ForkLog розповімо, як почати знайомство з автономними ШІ-моделями без витрат, які ресурси використовувати новачкам і що пропонують розробники OS-рішень.

Перше знайомство

Для розробників відкритих ШІ-моделей існує дві основні платформи — GitHub та Hugging Face. Перша традиційно використовується для публікації вихідного коду, документації та інсталяційних скриптів, друга стала глобальним хабом для ваг моделей, датасетів і готових ML-рішень. На Hugging Face публікуються сотні тисяч навчених нейромереж, від мініатюрних мовних моделей для смартфона, альтернативних генераторів медіаконтенту до спеціалізованих алгоритмів для науковців та ентузіастів.

Вибрати необхідну модель допомагають метрики активності спільноти. На GitHub вони представлені кількістю зірок (stars), регулярністю оновлень (commits) і швидкістю розв'язання проблем (issues).

Окремо важливо перевіряти походження продукту та автентичність репозиторію. Популярні OS-збірки регулярно стають принадою для кібершахраїв, які поширюють шкідливий код під виглядом відомих ШІ-інструментів.

Наступний етап знайомства з локальними ШІ-моделями — випробувати їхній функціонал на практиці. Для користувачів без потужного заліза існують безкоштовні та умовно-безкоштовні хмарні платформи.

Найпопулярніше рішення — Google Colab — хмарне середовище, що надає доступ до графічних процесорів (GPU) просто з браузера. Безкоштовна підписка дозволяє працювати на системі з прискорювачем Nvidia Tesla T4 у середньому від двох до чотирьох годин залежно від навантаження. Альтернативами є Kaggle Notebooks та Hugging Face Spaces. Остання дозволяє взаємодіяти з моделями через готові веб-інтерфейси на кшталт Gradio або Streamlit.

Також у роботі з федеративними рішеннями варто враховувати юридичний аспект. Багато популярних проєктів доступні під класичними ліцензіями, на кшталт MIT або Apache 2.0, що дозволяє використовувати їх, зокрема, в комерційних цілях із мінімальними обмеженнями.

Однак існують і специфічні підходи. Meta поширює свої флагманські моделі під власною ліцензією Llama 3.1 Community License, яка вимагає отримання спеціального дозволу, якщо щомісячна аудиторія сервісу перевищує 700 млн користувачів.

Суворі копілефт-ліцензії на кшталт GNU General Public License також трапляються, зобов'язуючи відкривати код усіх похідних продуктів.

Мій особистий аналог ChatGPT

Із величезної кількості автономних LLM загального призначення (аналогів ChatGPT або Gemini) вибрати необхідну модель допомагають незалежні рейтинги на основі сліпого тестування та метрик продуктивності, як-от Open LLM Leaderboard і Chatbot Arena.

Дашборд відкритих LLM. Джерело: llm-stats.Золотим стандартом сегмента вважається сімейство моделей Llama від розробника Meta та Qwen від Alibaba. Ці моделі добре працюють із довгим контекстом, справляються з багатокроковими запитами та підходять для завдань вайбкодингу та програмування. Завдяки відкритому фреймворку Ollama їхнє встановлення зводиться до однієї команди.

Під час тесту, проведеного для написання цього матеріалу, модель qwen3.5:2b вдалося запустити на ноутбуці без дискретної відеокарти на базі Core i7 з 8 ГБ RAM та SSD, закривши при цьому важкі програми: месенджери та браузери.

Джерело: Ollama.«2b» означає 2 млрд параметрів. Чим вище значення, тим складніші зв'язки може вловити нейромережа. Наприклад, модель 2b вивчить базову граматику та прості команди, тоді як 122b запам'ятає факти з квантової фізики, тонкощі юридичних документів і навчиться планувати завдання на десять кроків уперед.

Кожен параметр займає фізичне місце на жорсткому диску і, найголовніше, в оперативній пам'яті. 2b використовувала близько 4-5 ГБ RAM і стала максимальною для запуску на такій машині. При цьому відповідь на найпростіший запит «привіт!» модель генерувала майже три хвилини.

Скриншот: ForkLog.Орієнтовна градація моделей:

• 0.5b-2b. Швидкі, можуть працювати на старих ноутбуках та смартфонах. Ідеальні для простих завдань (маршрутизація команд, базове саммарі, автодоповнення коротких рядків коду). Схильні до галюцинацій на складних запитах;
• 3b-4b. Баланс швидкості та якості. Хороші для мобільних пристроїв, розумного дому та завдань автоматизації. Наприклад, чат-бота можна попросити зменшити світло в кімнаті, увімкнути кондиціонер або підняти шлагбаум;
• 7b-9b. Вимагають близько 6–8 ГБ вільної оперативної пам'яті. Потужні моделі з розумінням контексту та глибокою логікою, підходять для програмування та роботи з великими текстами.

У своєму нещодавньому дослідженні вайбкодингу в Web3 Володимир Сліпер з'ясував, що на машину рівня MacBook Air 16 ГБ RAM підійдуть qwen2.5-coder:7b, qwen3:8b, llama3.2:3b, deepseek-r1:8b. Моделі потужніші потребують інвестицій у потужний ПК з хай-енд відеокартами або встановлення на орендованих серверах.

Приватна обробка даних, 3D-друк та захист користувача

Варіанти взаємодії з відкритими ШІ-моделями залежать від рівня підготовки користувача та апаратного забезпечення. Існують проєкти, упаковані у зручні інсталятори (файли з розширенням .EXE) або мобільні додатки, що працюють «з коробки». Інші являють собою занедбані GitHub-репозиторії, де встановлення перетворюється на багатогодинну боротьбу з конфліктами застарілих бібліотек.

Прикладні ШІ-моделі сьогодні використовуються далеко не лише для генерації тексту. Навіть поверхневий аналіз екосистеми дозволяє виділити десятки спеціалізованих інструментів під конкретні завдання:

Робота з відео та 3D:

• CogVideoX. Відкрита модель від Zhipu AI для генерації відео за текстовим описом. Дозволяє створювати реалістичні короткі ролики, має відкриті ваги та може бути розгорнута в середовищах на кшталт Jupyter або Colab за наявності достатнього обсягу відеопам'яті;
• DepthCrafter. Інструмент для вилучення інформації про глибину різкості з відео. Корисний для фахівців з VFX та 3D-моделювання. Він дозволяє створювати карти глибини високої точності для кожного кадру динамічної сцени;
• TRELLIS (Morfx 3D). Передова система генерації 3D-ассетів. Проєкт дозволяє створювати високоякісні тривимірні моделі із зображень або текстових запитів, оптимізуючи їх для використання в ігрових двигунах.

Перетворення фотографії поїзда на об'єкт для обробки та 3D-друку за допомогою веб-версії моделі Morfx 3D. Скриншот: ForkLog.Звук та розпізнавання:

• CosyVoice. Багатомовна модель синтезу мовлення з підтримкою клонування голосу. Дозволяє генерувати реалістичний аудіоряд, зберігаючи інтонації та емоційне забарвлення вихідного спікера;
• Whisper-WebGPU. Імплементація моделі розпізнавання мовлення від OpenAI, переписана для роботи безпосередньо в браузері з використанням API WebGPU. Це означає, що розшифровка аудіо відбувається локально, забезпечуючи повну приватність без передачі аудіофайлів на сторонні сервери;
• BirdNET-Analyzer. Нейромережа від Корнелльського університету для визначення видів птахів за їхнім співом. На відміну від популярного додатку Merlin Bird ID, який значною мірою покладається на хмарну обробку для деяких функцій, BirdNET-Analyzer надає повний контроль над процесом аналізу локально та може використовуватися для масової обробки гігабайтів польових записів.

Джерело: BirdNET.Програмування та захист користувача:

• Screenshot-to-Code. Утиліта для переведення скриншоту веб-сторінки або мобільного додатку в чистий HTML-, Tailwind- або React-код. Хоча часто проєкт працює у зв'язці з платними API (Claude, GPT-4), архітектура дозволяє підключати відкриті мультимодальні моделі;
• MinerU/Magic-PDF. Проєкт для точного вилучення структурованих даних із PDF-документів. Модель розпізнає текст, математичні формули та таблиці, перетворюючи складну верстку на формат Markdown;
• Fawkes. Вносить невидимі оку зміни в зображення, заважаючи системам розпізнавання облич ідентифікувати людину. Завантажується локально на ПК через файл із розширенням .EXE та може використовуватися для аватарів у соцмережах;
• Nightshade. «Отруює» пікселі картинки для заплутування алгоритмів навчання ШІ-компаній, якщо вони це роблять без дозволу. Наприклад, на запит «собака» модель згенерує зображення кішки.

Портрет президента США Дональда Трампа до використання Fawkes. Джерело: Бібліотека Конгресу США. Після обробки алгоритмами Fawkes. Скриншот: ForkLog.

Боротьба з бібліотеками та перший успіх

Після встановлення ШІ-моделей із зрозумілими UI/UX необхідно було з'ясувати, наскільки легко вдасться розгорнути важкий репозиторій у хмарі, причому безкоштовно.

FLUX.1 від стартапу Black Forest Labs — одна з передових моделей генерації зображень, що конкурує з корпоративними Midjourney та Nano Banana. За наявності необхідного обладнання софт може працювати автономно без доступу до інтернету та дозволяє обходити цензуру.

У тесті використовувалася найлегша безкоштовна версія FLUX.1 Schnell. Для зручності взаємодії з відкритими рішеннями розробники створюють цільові фреймворки на кшталт Ollama. Для генерації зображень популярні графічні інтерфейси ComfyUI та Forge.

Під час спроб встановити імплементацію Forge — cagliostro-forge-colab — довелося витратити цілу сесію доступу до GPU від Google Colab. Проблема виявилася в класичній помилці новачка — невідповідності версій Python, хмарного середовища та самої моделі. За чотири години вайбкодингу за допомогою безкоштовної версії Gemini 3 Flash успіху досягти не вдалося.

Зрештою довелося відмовитися від встановлення фреймворку та перейти безпосередньо до розгортання FLUX.1, але вже в наступну безкоштовну сесію в інший день.

На практиці безкоштовний Google Colab зручніше використовувати на вихідних: у цей час платформа нерідко надає більш тривалий доступ.

Модель зайняла близько 34 ГБ дискового простору хмарного SSD. Але всі супутні встановленню процеси в підсумку використали близько 86 ГБ.

Використані ресурси хмарної машини Google Colab. Скриншот: ForkLog.На першому етапі моделі FLUX.1 Schnell не вистачило відеопам'яті прискорювача Nvidia Tesla T4. Неадаптована конфігурація впиралася в ліміти GPU, доки після серії простих експериментів із кодом Gemini 3 Flash не допомогла внести правки, використовуючи поетапне завантаження та очищення пам'яті. В результаті з доступних 16 ГБ відеопам'яті в процесі генерації використовувалося близько 3 ГБ.

Скриншот: ForkLog.Процес створення одного зображення займав близько семи хвилин. Враховуючи, що це безкоштовна версія відкритої моделі, результат приємно здивував.

Згенерована картинка за допомогою FLUX.1 Schnell. Джерело: ForkLog При спробі кілька разів згенерувати образ рок-співака Мериліна Менсона у вікторіанському стилі з компаньйоном FLUX.1 Schnell, ймовірно, не розпізнала відсилання до конкретної персони та відтворила лише узагальнений візуальний шаблон.

Згенероване зображення виконавця за запитом «намалюй Мериліна Менсона у вікторіанському стилі» за допомогою FLUX.1 Schnell. Джерело: ForkLog.## Складні та неймовірні

Відкриті нейромережі давно використовуються не лише для генерації текстів і зображень, а й для більш вузьких та незвичних завдань. Яскравим прикладом нестандартного застосування ШІ-архітектури стала модель GameNGen, здатна відтворювати ігровий процес класичного шутера DOOM у реальному часі.

Джерело: GameNGen/Github GameNGen не симулює гру у звичному сенсі, а послідовно генерує відео: модель передбачає, як має виглядати наступний кадр після дії користувача (наприклад, рух або постріл). Через це вороги, об'єкти та зміни сцени не «прораховуються» рушієм, а візуально відтворюються як найбільш імовірний результат.

Серед автономних систем виділяється проєкт Voyager — ШІ-агент для Minecraft. Він самостійно досліджує ігровий світ, добуває ресурси та безперервно самонавчається.

Наукова спільнота також активно адаптує відкритий ШІ під свої потреби, наприклад, використовуючи алгоритми для розшифрування історії. Так, дослідники з Тель-Авівського та Мюнхенського університетів навчили модель Akkademia безпосередньо перекладати давню аккадську клинопис англійською мовою. Вона дозволяє обробляти тисячі пошкоджених глиняних табличок, прискорюючи роботу археологів у десятки разів.

Не менш цікавий проєкт MinD-Vis. Ця система аналізує дані функціональної МРТ та намагається реконструювати зображення, які випробуваний спостерігає в момент сканування. Тобто генерує інтерпретацію побаченого людиною на основі патернів мозкової активності.

Подібні ініціативи доводять, що штучний інтелект перетворився на універсальний інструмент пізнання та моделювання реальності. Перехід ініціативи від закритих корпоративних API до відкритого вихідного коду формує зовсім нову парадигму розвитку технологій. Сьогодні будь-який дослідник, розробник або ентузіаст має можливість розгорнути інфраструктуру, яка ще кілька років тому вимагала багатомільйонних інвестицій у серверні ферми.

Розвиток екосистеми неминуче супроводжується покращенням користувацького досвіду: на зміну складним скриптам приходять інтуїтивні інтерфейси та автоматизовані середовища розгортання. Використання інструментів на кшталт Ollama та Forge демонструє, що приватність, відсутність цензури та висока продуктивність можуть гармонійно співіснувати в одному програмному рішенні. Майбутнє ШІ-індустрії сьогодні значною мірою залежить від того, наскільки сильною, масштабованою та незалежною залишиться відкрита екосистема.