NVIDIA випустила посібник з побудови локального ізольованого AI-помічника на основі NemoClaw

robot
Генерація анотацій у процесі
ME News Новини, 18 квітня (UTC+8), NVIDIA нещодавно опублікувала технічний посібник, який навчає розробників, як створити безпечного, довгостроково працюючого та повністю локального автономного AI-асистента. Цей посібник базується на відкритому стеку NVIDIA NemoClaw, який інтегрує безпечний час виконання OpenShell та самостійний шлюз OpenClaw, з метою вирішення проблем конфіденційності даних та контролю при розгортанні AI-агентів у сторонніх хмарах. Посібник детально демонструє кроки розгортання на системі NVIDIA DGX Spark (GB10), включаючи налаштування середовища, локальну модель сервісу, встановлення стеку та підключення до Telegram. Розгортання вимагає виконання певних апаратних (DGX Spark з Ubuntu 24.04 LTS), програмних (Docker 28.x+, Ollama) та створення токена Telegram-бота передумов. Очікуваний час активної роботи становить 20-30 хвилин, додатково 15-30 хвилин — початкове завантаження моделі (приблизно 87 ГБ). Основні компоненти включають NemoClaw, OpenShell, OpenClaw, Nemotron 3 Super 120B LLM та розгортання для NIM або Ollama для inference. У статті також зазначено, що хоча OpenShell забезпечує потужну ізоляцію, жоден пісочниця не може надати повного захисту від складних інжекцій підказок, тому рекомендується розгортати нові інструменти у ізольованих системах під час тестування. (Джерело: InFoQ)
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • 5
  • 2
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
GateUser-26f91b48
· 4год тому
Комбінація токена для Telegram-бота досить цікава, віддалена взаємодія + локальна обчислювальна потужність
Переглянути оригіналвідповісти на0
PerpNightRunner
· 4год тому
Тестова ізоляційна система — дуже важлива рекомендація, адже ніхто не хоче, щоб його основне середовище було підказано для ін’єкцій і зламано.
Переглянути оригіналвідповісти на0
GasFeesForNightRuns
· 5год тому
Nemotron 3 Super 120B локально працює, рахунок за електроенергію може бути навіть більш вражаючим, ніж хмарний API
Переглянути оригіналвідповісти на0
WhaleInAGlassBottle
· 5год тому
Ubuntu 24.04 + Docker 28.x,версії досить нові, старі машини поки не поспішайте пробувати
Переглянути оригіналвідповісти на0
ResilientGoldfish
· 5год тому
87GB модель, жорсткий диск тремтить.
Переглянути оригіналвідповісти на0
  • Закріплено