Виталик поделился решением локальной частной LLM, подчеркнув приоритет конфиденциальности и безопасности

ME News Новости, 2 апреля (UTC+8), Виталик Бутерин опубликовал статью, в которой делится своим планом локализации и приватизации развертывания LLM до апреля 2026 года, основная цель которого — поставить приватность, безопасность и автономию в приоритет, максимально снизить возможность контакта личных данных с удаленными моделями и внешними сервисами, а также снизить риски утечки данных, побега модели и использования вредоносного контента с помощью локальных вычислений, хранения файлов на устройстве и изоляции в песочнице.
В отношении аппаратного обеспечения он протестировал ноутбуки с GPU NVIDIA 5090, устройства с единой памятью AMD Ryzen AI Max Pro 128 ГБ и DGX Spark, а также использовал модели Qwen3.5 35B и 122B для локальных вычислений.
В частности, ноутбук с 5090 при работе с моделью 35B достигает примерно 90 токенов/с, решение на базе AMD — около 51 токена/с, а DGX Spark — около 60 токенов/с.
Виталик отметил, что он склонен строить локальную AI-среду на базе высокопроизводительных ноутбуков, а также использовать инструменты такие как llama-server, llama-swap и NixOS для организации общего рабочего процесса. (Источник: ODAILY)