NVIDIA выпустила руководство по созданию локального изолированного AI-ассистента на базе NemoClaw

robot
Генерация тезисов в процессе
ME News Новости, 18 апреля (UTC+8), NVIDIA недавно выпустила техническое руководство, в котором объясняется, как разработчикам создать безопасного, долговечно работающего и полностью локального автономного AI-ассистента. Это руководство основано на открытом исходном коде стека NVIDIA NemoClaw, который включает безопасный среда выполнения OpenShell и самоуправляемый шлюз OpenClaw, предназначенные для решения проблем конфиденциальности данных и контроля при развертывании AI-агентов на сторонних облаках. Руководство подробно демонстрирует шаги развертывания на системе NVIDIA DGX Spark (GB10), включая настройку окружения, локальную модель сервиса, установку стека и подключение к Telegram. Для развертывания необходимы определённые аппаратные требования (DGX Spark с Ubuntu 24.04 LTS), программное обеспечение (Docker 28.x+ и Ollama), а также создание токена бота Telegram. Предполагаемое время активных действий — 20-30 минут, плюс 15-30 минут на первоначальную загрузку модели (около 87 ГБ). Основные компоненты включают NemoClaw, OpenShell, OpenClaw, Nemotron 3 Super 120B LLM и развертывание для inference с помощью NIM или Ollama. В статье также отмечается, что несмотря на мощные изоляционные возможности OpenShell, ни один песочница не обеспечивает полной защиты от продвинутых методов внедрения подсказок, поэтому рекомендуется запускать новые инструменты в изолированных системах во время тестирования. (Источник: InFoQ)
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • 7
  • 2
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Half-SectionedSucculent
· 9ч назад
Изоляционная система тестирования — горький урок, ранее играя с LLM чуть не разрушил основную среду
Посмотреть ОригиналОтветить0
FomoLibrarian
· 9ч назад
Могу запустить за 20 минут? Быстрее, чем я настрою узел
Посмотреть ОригиналОтветить0
ReefUnderTheMoonlight
· 9ч назад
Опции двойного вывода NIM/Ollama, максимальная гибкость
Посмотреть ОригиналОтветить0
DaoPeripheralWorker
· 9ч назад
Самое большое преимущество открытого стека — возможность модифицировать его по своему усмотрению, ожидая форка сообщества.
Посмотреть ОригиналОтветить0
FloatingMirrorSphere
· 9ч назад
Ubuntu 24.04+LTS,версия контроля в восторге
Посмотреть ОригиналОтветить0
CapitalFlowInATeacup
· 9ч назад
Запуск на 120 миллиардов параметров локально, а после квантования эффект всё ещё будет хорош?
Посмотреть ОригиналОтветить0
ViewingNarrativesFromAHotAir
· 9ч назад
87GB модель, руки устали, жесткий диск горит
Посмотреть ОригиналОтветить0
  • Закреплено