Vitalik partilha uma solução local de LLM privado, destacando a prioridade na privacidade e segurança

Mensagem do ChainCatcher: Vitalik Buterin publicou um post a partilhar a sua proposta de implementação de LLMs localizados e privados, até abril de 2026. O objectivo central é assumir a privacidade, a segurança e a autonomia e controlo próprio como premissas, reduzir ao máximo as oportunidades de contacto de dados pessoais por parte de modelos remotos e serviços externos e, através de inferência local, armazenamento local de ficheiros e isolamento por sandbox, diminuir os riscos de fuga de dados, jailbreak do modelo e exploração de conteúdos maliciosos.

No que toca ao hardware, foram testadas soluções como um portátil com GPU NVIDIA 5090, dispositivos com memória unificada AMD Ryzen AI Max Pro de 128 GB e soluções como DGX Spark, entre outras, tendo sido usada inferência local com os modelos Qwen3.5 35B e 122B.

Nessa linha, o portátil 5090 atinge cerca de 90 tokens/s com o modelo de 35B, a solução AMD cerca de 51 tokens/s e o DGX Spark cerca de 60 tokens/s. Vitalik afirma que, em termos de preferência, quer construir um ambiente de IA local com base em portáteis de alto desempenho, utilizando simultaneamente ferramentas como llama-server, llama-swap e NixOS para montar o fluxo de trabalho global.