Exécuter localement le modèle 120B, c'est ça la véritable IA privée, le tutoriel est très hardcore

Voir l'original
MeNews
NVIDIA publie un tutoriel pour construire un assistant IA local en sandbox basé sur NemoClaw
Le tutoriel est basé sur la pile open source NemoClaw, intégrant OpenShell et OpenClaw, offrant une solution pour déployer localement un assistant IA autonome à long terme et en toute sécurité. Prenant l'exemple du système NVIDIA DGX Spark, il détaille les exigences environnementales (Ubuntu 24.04, Docker 28.x, Ollama, jeton de bot Telegram, etc.) et les étapes de déploiement, avec une durée estimée de 20 à 30 minutes, plus 15 à 30 minutes pour télécharger environ 87 Go de modèles. Les composants principaux incluent NemoClaw, OpenShell, OpenClaw, Nemotron 3 Super 120B et le déploiement d'inférence NIM/Ollama. Le document rappelle que bien qu'il y ait une forte isolation, aucun sandbox ne peut totalement prévenir les injections de prompts avancés, et les tests doivent être effectués sur un système isolé.
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • Commentaire
  • Reposter
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
Aucun commentaire
  • Épinglé