Віталік поділився рішенням локальної приватної LLM, підкреслюючи пріоритет конфіденційності та безпеки

Новини ME: повідомлення від 2 квітня (UTC+8). Віталік Бутерін опублікував допис, у якому ділиться власним планом локального та приватного розгортання LLM станом на квітень 2026 року. Ключова мета — взяти за основу приватність, безпеку та самостійний контроль, максимально зменшити можливості контакту віддалених моделей та зовнішніх сервісів із персональними даними, а також за допомогою локального виведення (inferencing), локального зберігання файлів і ізоляції в пісочниці знизити ризики витоку даних, «виведення» моделі з-під контролю та використання шкідливого контенту. У частині апаратного забезпечення він протестував ноутбук із GPU NVIDIA 5090, пристрій із AMD Ryzen AI Max Pro на 128 GB уніфікованої пам’яті, а також такі рішення, як DGX Spark, і виконував локальне виведення за допомогою моделей Qwen3.5 35B та 122B. Зокрема, ноутбук на 5090 у разі моделі 35B досягає приблизно 90 tokens/s, рішення на AMD — близько 51 tokens/s, а DGX Spark — близько 60 tokens/s. Віталік зазначив, що він більш охоче будує локальне AI-середовище на базі високопродуктивних ноутбуків, одночасно використовуючи такі інструменти, як llama-server, llama-swap і NixOS, щоб зібрати загальний робочий процес. (Джерело: ODAILY)