Ejecutar localmente el modelo de 120B, esto es realmente una IA privatizada, el tutorial es muy avanzado

Ver original
MeNews
NVIDIA publica tutorial para construir un asistente de IA en sandbox local basado en NemoClaw
El tutorial se basa en la pila de código abierto NemoClaw, que combina OpenShell y OpenClaw, ofreciendo una solución para desplegar de forma autónoma, segura y a largo plazo asistentes de IA en local. Tomando como ejemplo el sistema NVIDIA DGX Spark, se detallan los requisitos del entorno (Ubuntu 24.04, Docker 28.x, Ollama, token del bot de Telegram, etc.) y los pasos de despliegue, que se estima completarse en 20–30 minutos, además de 15–30 minutos para descargar aproximadamente 87GB de modelos. Los componentes principales incluyen NemoClaw, OpenShell, OpenClaw, Nemotron 3 Super 120B y la implementación de inferencia NIM/Ollama. El documento advierte que, aunque hay un aislamiento fuerte, no existe una caja de arena que pueda resistir completamente las inyecciones de indicaciones avanzadas; las pruebas deben realizarse en sistemas aislados.
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • Comentar
  • Republicar
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
Sin comentarios
  • Fijado