Vitalik partage une solution LLM privée locale, en mettant l'accent sur la confidentialité et la sécurité prioritaires

robot
Création du résumé en cours

ME News Actualités, le 2 avril (UTC+8), Vitalik Buterin a publié un article partageant ses plans de déploiement de LLM localisés et privatifs jusqu’en avril 2026, l’objectif principal étant de faire de la confidentialité, de la sécurité et de l’autonomie un préalable, en minimisant autant que possible les opportunités pour les modèles distants et les services externes de manipuler des données personnelles, et en réduisant les risques de fuite de données, d’évasion de modèles et d’utilisation de contenus malveillants par des moyens tels que l’inférence locale, le stockage local de fichiers et l’isolation en sandbox.
En ce qui concerne le matériel, il a testé des solutions comprenant un ordinateur portable équipé d’une GPU NVIDIA 5090, un appareil unifié de mémoire de 128 Go avec AMD Ryzen AI Max Pro, ainsi que DGX Spark, utilisant des modèles Qwen3.5 35B et 122B pour l’inférence locale.
Parmi celles-ci, l’ordinateur portable 5090 atteint environ 90 tokens/s avec le modèle 35B, la solution AMD environ 51 tokens/s, et DGX Spark environ 60 tokens/s.
Vitalik indique qu’il préfère construire un environnement AI local basé sur un ordinateur portable haute performance, tout en utilisant des outils comme llama-server, llama-swap et NixOS pour mettre en place un flux de travail global.
(Source : ODAILY)

Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • Commentaire
  • Reposter
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
Aucun commentaire
  • Épingler