Exécuter localement un modèle de 120 milliards de paramètres, déploiement en 20 minutes + avertissement de sandbox isolé, ce tutoriel est si hardcore qu'on dirait construire un bunker pour l'IA

Voir l'original
MeNews
NVIDIA publie un tutoriel pour construire un assistant IA local en sandbox basé sur NemoClaw
Le tutoriel est basé sur la pile open source NemoClaw, intégrant OpenShell et OpenClaw, offrant une solution pour déployer localement un assistant IA autonome à long terme et en toute sécurité. Prenant l'exemple du système NVIDIA DGX Spark, il détaille les exigences environnementales (Ubuntu 24.04, Docker 28.x, Ollama, jeton du bot Telegram, etc.) et les étapes de déploiement, qui prennent environ 20 à 30 minutes, avec 15 à 30 minutes supplémentaires pour télécharger un modèle d'environ 87 Go. Les composants principaux incluent NemoClaw, OpenShell, OpenClaw, Nemotron 3 Super 120B et le déploiement d'inférence NIM/Ollama. Le texte rappelle que, bien qu'il y ait une forte isolation, aucun sandbox ne peut totalement prévenir les injections de prompts avancés, et les tests doivent être effectués sur un système isolé.
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • Commentaire
  • Reposter
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
Aucun commentaire
  • Épinglé