Виталик поделился решением локальной частной LLM, подчеркнув приоритет конфиденциальности и безопасности

robot
Генерация тезисов в процессе

ME Новости, сообщение от 2 апреля (UTC+8): Vitalik Buterin опубликовал пост, в котором поделился своей локализованной и приватизированной схемой развертывания LLM по состоянию на апрель 2026 года. Ключевая цель — исходить из приватности, безопасности и автономного контроля, по возможности сокращая шансы на то, что удаленные модели и внешние сервисы будут контактировать с персональными данными. Для снижения рисков утечек данных, «джейлбрейка» модели и использования вредоносного контента он предлагает использовать локальный вывод, локальное хранение файлов и изоляцию в песочнице. В части оборудования он протестировал ноутбуки с GPU NVIDIA 5090, устройства с унифицированной памятью AMD Ryzen AI Max Pro объемом 128 GB, а также такие варианты, как DGX Spark. Он выполнял локальный вывод с моделями Qwen3.5 35B и 122B. При этом 5090-ноутбук на модели 35B достигает примерно 90 tokens/s, AMD-вариант — около 51 tokens/s, а DGX Spark — около 60 tokens/s. Vitalik отмечает, что ему более предпочтительно строить локальную AI-среду на базе высокопроизводительного ноутбука, а для сборки общего рабочего процесса использовать такие инструменты, как llama-server, llama-swap и NixOS. (Источник: ODAILY)

Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закрепить