Executar localmente um grande modelo de 120B finalmente tem uma solução confiável, a pilha DGX Spark + NemoClaw vale a pena experimentar, basta ter espaço suficiente no disco para o download de 87GB.

Ver original
MeNews
A NVIDIA lança tutorial para construir um assistente de IA local e sandbox baseado em NemoClaw
O tutorial é baseado na pilha de código aberto NemoClaw, integrando OpenShell e OpenClaw, oferecendo uma solução para implantar autonomamente assistentes de IA de forma local, duradoura e segura. Tomando como exemplo o sistema NVIDIA DGX Spark, detalha os requisitos ambientais (Ubuntu 24.04, Docker 28.x, Ollama, token do bot Telegram, etc.) e os passos de implantação, que levam aproximadamente 20–30 minutos, além de mais 15–30 minutos para baixar modelos de cerca de 87GB. Os componentes principais incluem NemoClaw, OpenShell, OpenClaw, Nemotron 3 Super 120B e implantação de inferência NIM/Ollama. O texto alerta que, embora haja forte isolamento, nenhuma sandbox pode resistir completamente a injeções avançadas de prompts, devendo os testes ser realizados em sistemas isolados.
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • Comentar
  • Republicar
  • Partilhar
Comentar
Adicionar um comentário
Adicionar um comentário
Nenhum comentário
  • Fixado