Локальний запуск моделі 120B, це справжній приватний AI, інструкція дуже крута

Переглянути оригінал
MeNews
NVIDIA випустила посібник з побудови локального ізольованого AI-помічника на основі NemoClaw
Посібник базується на відкритому стеку NemoClaw, що поєднує OpenShell та OpenClaw, і пропонує рішення для довгострокового, безпечного локального розгортання автономного AI-помічника. В якості прикладу використовується система NVIDIA DGX Spark, з детальними вимогами до середовища (Ubuntu 24.04, Docker 28.x, Ollama, токен Telegram-бота тощо) та кроками розгортання, які займають приблизно 20–30 хвилин, додатково потрібно 15–30 хвилин для завантаження моделей обсягом близько 87 ГБ. Основні компоненти включають NemoClaw, OpenShell, OpenClaw, Nemotron 3 Super 120B та розгортання NIM/Ollama для inference. У статті наголошується, що хоча використовується сильна ізоляція, жоден пісочниця не може повністю захистити від складних інжекцій підказок, тому тестування слід проводити в ізольованій системі.
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріплено