Віталік поділився локальним приватним рішенням LLM, наголошуючи на пріоритеті приватності та безпеки

ME News Новини, 2 квітня (UTC+8), Віталік Бутерін опублікував статтю, в якій поділився своїм планом локалізації та приватизації розгортання великих мовних моделей (LLM) до квітня 2026 року, основною метою є зробити приватність, безпеку та автономію пріоритетами, максимально зменшити можливості доступу до особистих даних через віддалені моделі та зовнішні сервіси, а також знизити ризики витоку даних, втечі моделі та використання шкідливого контенту за допомогою локального виведення, збереження файлів на локальному рівні та ізоляції у пісочниці. У плані апаратного забезпечення він протестував ноутбуки з NVIDIA 5090 GPU, пристрої з AMD Ryzen AI Max Pro 128 ГБ єдиної пам’яті та рішення DGX Spark, а також використовував локальне виведення з моделями Qwen3.5 35B та 122B. Зокрема, ноутбук з 5090 при роботі з моделлю 35B досягає приблизно 90 токенів/с, рішення AMD — близько 51 токена/с, а DGX Spark — близько 60 токенів/с. Віталік зазначив, що він більше схиляється до створення локального AI-середовища на базі високопродуктивних ноутбуків, одночасно використовуючи інструменти llama-server, llama-swap та NixOS для побудови цілого робочого процесу. (Джерело: ODAILY)