Vitalik comparte una solución de LLM privada local, enfatizando la privacidad y la seguridad como prioridad

ME News Noticias, 2 de abril (UTC+8), Vitalik Buterin publicó un artículo compartiendo su plan de despliegue de LLM local y privado hasta abril de 2026, cuyo objetivo principal es priorizar la privacidad, seguridad y control autónomo, minimizando las oportunidades de que los datos personales sean accedidos por modelos remotos y servicios externos, y reduciendo los riesgos de filtración de datos, escape de modelos y uso malicioso mediante inferencia local, almacenamiento de archivos en local y aislamiento en sandbox. En cuanto al hardware, probó laptops equipadas con GPU NVIDIA 5090, dispositivos con memoria unificada AMD Ryzen AI Max Pro de 128 GB y soluciones como DGX Spark, utilizando modelos Qwen3.5 35B y 122B para inferencia local. Entre ellas, la laptop con 5090 alcanzó aproximadamente 90 tokens/s con el modelo 35B, la solución AMD aproximadamente 51 tokens/s, y DGX Spark aproximadamente 60 tokens/s. Vitalik afirmó que prefiere construir un entorno de IA local basado en laptops de alto rendimiento, utilizando herramientas como llama-server, llama-swap y NixOS para montar el flujo de trabajo completo. (Fuente: ODAILY)