Віталік поділився локальним приватним рішенням LLM, наголошуючи на пріоритеті приватності та безпеки

ME News Новини, 2 квітня (UTC+8), Віталік Бутерін опублікував статтю, в якій поділився своїм планом локалізації та приватизації розгортання великих мовних моделей (LLM) до квітня 2026 року, основною метою є зробити приватність, безпеку та автономію пріоритетами, максимально зменшити можливості контакту особистих даних з віддаленими моделями та зовнішніми сервісами, а також знизити ризики витоку даних, втечі моделей та використання шкідливого контенту за допомогою локального виведення, збереження файлів на локальній машині та ізоляції у пісочниці. У плані апаратного забезпечення він протестував ноутбук з NVIDIA 5090 GPU, пристрій з єдиною пам’яттю 128 ГБ AMD Ryzen AI Max Pro та DGX Spark, а також використовував моделі Qwen3.5 35B та 122B для локального виведення. Зокрема, ноутбук з 5090 при роботі з моделлю 35B досягає приблизно 90 токенів/с, рішення на базі AMD — близько 51 токена/с, а DGX Spark — близько 60 токенів/с. Віталік зазначив, що він більше схиляється до створення локального AI-середовища на високопродуктивному ноутбуці, одночасно використовуючи інструменти llama-server, llama-swap та NixOS для побудови цілого робочого процесу. (Джерело: ODAILY)