NVIDIA випустила посібник з побудови локального ізольованого AI-асистента на основі NemoClaw

robot
Генерація анотацій у процесі
ME News Новини, 18 квітня (UTC+8), NVIDIA нещодавно опублікувала технічний посібник, який навчає розробників, як створити безпечного, довгострокового та повністю локального автономного AI-асистента. Цей посібник базується на відкритому стеку NVIDIA NemoClaw, який інтегрує безпечний час виконання OpenShell та самостійний шлюз OpenClaw, з метою вирішення проблем конфіденційності даних та контролю при розгортанні AI-агентів у сторонніх хмарах. Посібник детально демонструє кроки розгортання на системі NVIDIA DGX Spark (GB10), включаючи налаштування середовища, локальну модель сервісу, встановлення стеку та підключення до Telegram. Розгортання вимагає виконання певних апаратних (DGX Spark з Ubuntu 24.04 LTS), програмних (Docker 28.x+, Ollama) та створення токена Telegram-бота передумов. Очікуваний час активної роботи становить 20-30 хвилин, додатково 15-30 хвилин — початкове завантаження моделі (приблизно 87 ГБ). Основні компоненти включають NemoClaw, OpenShell, OpenClaw, Nemotron 3 Super 120B LLM та розгортання для NIM або Ollama для inference. У статті також зазначено, що хоча OpenShell забезпечує потужну ізоляцію, жоден пісочниця не може надати повного захисту від складних інжекцій підказок, тому рекомендується розгортати нові інструменти у ізольованих системах під час тестування. (Джерело: InFoQ)
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • 6
  • 1
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
TreatEarningsAsSnacks
· 3год тому
OpenShell+OpenClaw ця комбінація звучить трохи по-юнацьки, але технічний стек виглядає міцним
Переглянути оригіналвідповісти на0
ChaintraceAuntie
· 5год тому
Nemotron 3 Super 120B локально працює, нарешті не потрібно дивитись на обмеження API.
Переглянути оригіналвідповісти на0
PixelPnl
· 6год тому
Довгостроковий план розгортання + дизайн із сильним ізоляцією, цей набір підходить для команд із високими вимогами до конфіденційності
Переглянути оригіналвідповісти на0
GateUser-4bd1cc87
· 6год тому
Цей крок з токеном Telegram-бота легко зробити помилку, не забудьте не завантажувати .env на GitHub
Переглянути оригіналвідповісти на0
LeverageWithdrawalInProgress
· 6год тому
Попередження про ін'єкцію підказки написано дуже переконливо, відсутність пісочниці — це ідеально, свідомість безпеки на високому рівні
Переглянути оригіналвідповісти на0
ForkInTheRoadmap
· 6год тому
NVIDIA DGX Spark запускає 120B, ця конфігурація має досить високий поріг входу, звичайні гравці можуть лише подивитися.
Переглянути оригіналвідповісти на0
  • Закріплено