NVIDIA publie un tutoriel pour construire un assistant IA local en sandbox basé sur NemoClaw

robot
Création du résumé en cours
Actualités ME, le 18 avril (UTC+8), NVIDIA a récemment publié un tutoriel technique guidant les développeurs sur la façon de construire un assistant IA autonome sécurisé, durable et entièrement local. Ce tutoriel est basé sur la pile de référence open source de NVIDIA, NemoClaw, qui intègre OpenShell Runtime sécurisé et OpenClaw Gateway auto-hébergé, visant à résoudre les risques de confidentialité des données et de contrôle lors du déploiement d'agents IA sur des clouds tiers. Le tutoriel détaille les étapes de déploiement sur le système NVIDIA DGX Spark (GB10), y compris la configuration de l'environnement, le modèle de service local, l'installation de la pile et la connexion à Telegram. Le déploiement nécessite de satisfaire à des conditions préalables spécifiques en matériel (DGX Spark fonctionnant sous Ubuntu 24.04 LTS), logiciel (Docker 28.x+, Ollama) ainsi que la création d'un jeton de bot Telegram. La durée d'intervention active est estimée à 20-30 minutes, plus 15-30 minutes pour le téléchargement initial du modèle (environ 87 Go). Les composants clés incluent NemoClaw, OpenShell, OpenClaw, Nemotron 3 Super 120B LLM ainsi que le déploiement d'inférence NIM ou Ollama. L'article indique également que, bien qu'OpenShell offre de puissantes fonctionnalités d'isolation, aucun bac à sable ne peut offrir une protection complète contre les injections de prompts avancés, et il est conseillé de déployer ces outils sur un système isolé lors des tests. (Source : InFoQ)
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • 7
  • 2
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
Half-SectionedSucculent
· Il y a 7h
Les tests du système d'isolation sont une leçon amère, j'ai failli faire planter l'environnement principal en jouant avec LLM auparavant.
Voir l'originalRépondre0
FomoLibrarian
· Il y a 7h
Pouvez-vous démarrer en 20 minutes ? Plus rapide que moi pour configurer un nœud
Voir l'originalRépondre0
ReefUnderTheMoonlight
· Il y a 8h
Options de double raisonnement NIM/Ollama, flexibilité maximale
Voir l'originalRépondre0
DaoPeripheralWorker
· Il y a 8h
Le plus grand avantage d'une pile open source est la possibilité de la modifier à sa guise, en attendant qu'une communauté en fasse un fork.
Voir l'originalRépondre0
FloatingMirrorSphere
· Il y a 8h
Ubuntu 24.04+LTS, la version de contrôle est folle de joie
Voir l'originalRépondre0
CapitalFlowInATeacup
· Il y a 8h
120 milliards de paramètres en local, si on quantifie, le résultat sera-t-il toujours efficace ?
Voir l'originalRépondre0
ViewingNarrativesFromAHotAir
· Il y a 8h
Sous le modèle de 87 Go, les mains deviennent molles, le disque dur est en feu
Voir l'originalRépondre0
  • Épinglé