NVIDIA випустила посібник з побудови локального ізольованого AI-помічника на основі NemoClaw

robot
Генерація анотацій у процесі
ME News Новини, 18 квітня (UTC+8), NVIDIA нещодавно опублікувала технічний посібник, який навчає розробників, як створити безпечного, довгострокового та повністю локального автономного AI-асистента. Цей посібник базується на відкритому стеку NVIDIA NemoClaw, який інтегрує безпечний час виконання OpenShell та самостійний шлюз OpenClaw, з метою вирішення проблем конфіденційності даних та контролю при розгортанні AI-агентів у сторонніх хмарах. Посібник детально демонструє кроки розгортання на системі NVIDIA DGX Spark (GB10), включаючи налаштування середовища, локальну модель сервісу, встановлення стеку та підключення до Telegram. Розгортання вимагає виконання певних апаратних (DGX Spark з Ubuntu 24.04 LTS), програмних (Docker 28.x+, Ollama) та створення токена Telegram-бота передумов. Очікуваний час активної роботи становить 20-30 хвилин, додатково 15-30 хвилин — початкове завантаження моделі (приблизно 87 ГБ). Основні компоненти включають NemoClaw, OpenShell, OpenClaw, Nemotron 3 Super 120B LLM та розгортання для NIM або Ollama для inference. У статті також зазначено, що хоча OpenShell забезпечує потужну ізоляцію, жоден пісочниця не може надати повного захисту від складних інжекцій підказок, тому рекомендується розгортати нові інструменти у ізольованих системах під час тестування. (Джерело: InFoQ)
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • 7
  • 1
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
GateUser-26f91b48
· 9год тому
Довгострокове безпечне розгортання — це моя слабкість, я завжди хвилююся про витік даних у хмарних API.
Переглянути оригіналвідповісти на0
FomoLibrarian
· 11год тому
OpenShell + OpenClaw ця комбінація звучить як кіберпанковий арсенал
Переглянути оригіналвідповісти на0
0xLateDiner
· 11год тому
Ubuntu 24.04 + Docker 28.x — вимоги до середовища настільки детальні, що дружні до новачків
Переглянути оригіналвідповісти на0
PixelUniverseCat
· 12год тому
Тест ізоляційної системи — це мінімальна вимога, раніше я бачив занадто багато випадків провалу локальних ШІ
Переглянути оригіналвідповісти на0
GasFeeAnxiety
· 12год тому
Nemotron 3 Super 120B локально запускається, це, мабуть, найбільша модель для споживачів, з якою можна стикнутися?
Переглянути оригіналвідповісти на0
MempoolDaydream
· 12год тому
Відмова від завантаження моделі обсягом 87 ГБ, але запуск локально 120B дійсно привабливий
Переглянути оригіналвідповісти на0
SushiSlippage
· 12год тому
Без пісочниці повністю захистити від високорівневого введення підказок ця заувага дуже доречна, досвідчені гравці в сфері безпеки це розуміють
Переглянути оригіналвідповісти на0
  • Закріплено