Vitalik comparte una solución local de LLM privado, enfatizando la privacidad y la seguridad como prioridad

Mensaje de ChainCatcher: Vitalik Buterin publicó un post compartiendo su plan de despliegue de LLM local y privado hasta abril de 2026. El objetivo central es tomar la privacidad, la seguridad y el control autónomo como premisas, reducir al máximo las oportunidades de que los modelos remotos y los servicios externos entren en contacto con datos personales y, mediante inferencia local, almacenamiento local de archivos y aislamiento en sandbox, disminuir los riesgos de filtración de datos, de “jailbreak” del modelo y de aprovechamiento de contenido malicioso.

En cuanto al hardware, probó soluciones como laptops con GPU NVIDIA 5090, dispositivos con memoria unificada de 128 GB AMD Ryzen AI Max Pro y opciones como DGX Spark, y realizó inferencia local usando los modelos Qwen3.5 35B y 122B.

En particular, la laptop con 5090 alcanza alrededor de 90 tokens/s con el modelo de 35B, la solución AMD alrededor de 51 tokens/s y DGX Spark alrededor de 60 tokens/s. Vitalik indicó que prefiere construir su entorno de IA local con portátiles de alto rendimiento, y que a la vez utiliza herramientas como llama-server, llama-swap y NixOS para montar el flujo de trabajo completo.