Віталік поділився рішенням локальної приватної LLM, наголошуючи на пріоритеті приватності та безпеки

ChainCatcher повідомлення: Віталік Бутерін опублікував допис із розповіддю про своє рішення щодо локального, приватного розгортання LLM станом на квітень 2026 року. Його ключова мета — виходити з передумов конфіденційності, безпеки та автономного контролю, максимально зменшуючи можливості контакту віддалених моделей та зовнішніх сервісів із персональними даними, а також знижуючи ризики витоку даних, “jailbreak” моделей і використання шкідливого контенту завдяки локальному виведенню, локальному зберіганню файлів та ізоляції в пісочниці.

Що стосується апаратного забезпечення, він протестував ноутбук із GPU NVIDIA 5090, пристрій із єдиною пам’яттю AMD Ryzen AI Max Pro 128 GB та рішення DGX Spark тощо, а також виконував локальне виведення за допомогою моделей Qwen3.5 35B і 122B.

Зокрема, ноутбук із 5090 у разі моделі 35B досягає приблизно 90 tokens/s, AMD-схема — близько 51 tokens/s, DGX Spark — приблизно 60 tokens/s. Віталік зазначив, що він більш схильний до побудови локального AI-середовища на базі високопродуктивних ноутбуків, а також використовує такі інструменти, як llama-server, llama-swap і NixOS, щоб зібрати цілісний робочий процес.