Une solution fiable pour exécuter localement un grand modèle de 120 milliards est enfin disponible, la pile DGX Spark + NemoClaw mérite d'être essayée, il faut simplement prévoir suffisamment d'espace disque pour le téléchargement de 87 Go.

Voir l'original
MeNews
NVIDIA publie un tutoriel pour construire un assistant IA local sandbox basé sur NemoClaw
Le tutoriel est basé sur la pile open source NemoClaw, intégrant OpenShell et OpenClaw, offrant une solution pour déployer localement un assistant IA autonome à long terme et en toute sécurité. Prenant l'exemple du système NVIDIA DGX Spark, il détaille les exigences environnementales (Ubuntu 24.04, Docker 28.x, Ollama, jeton du bot Telegram, etc.) et les étapes de déploiement, avec une durée estimée de 20 à 30 minutes, plus 15 à 30 minutes pour télécharger environ 87 Go de modèles. Les composants principaux incluent NemoClaw, OpenShell, OpenClaw, Nemotron 3 Super 120B et le déploiement d'inférence NIM/Ollama. Le document rappelle que bien qu'il y ait une forte isolation, aucun sandbox ne peut totalement prévenir les injections de prompts avancés, et les tests doivent être effectués sur un système isolé.
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • Commentaire
  • Reposter
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
Aucun commentaire
  • Épinglé