Проект Darkbloom: превращение простаивающих Mac в инфраструктуру ИИ

Каждый раз, когда используется инструмент ИИ, запрос проходит через несколько уровней инфраструктуры, прежде чем достигнуть реального оборудования, выполняющего работу.
Обычно поток идет через разные уровни дата-центров, системы охлаждения, GPU-оборудование и уровни маржи → Всё это заложено в стоимость, которую вы платите.
Команда @eigenlabs называет это налогом на вывод.
Darkbloom — их исследовательская инициатива для решения этой проблемы.
Предпосылка: уже существует более 100 миллионов Mac с Apple Silicon, которые уже оплачены и большую часть дня простаивают. А что если эту вычислительную мощность можно организовать в удобную сеть для вывода, с реальными гарантиями конфиденциальности и лучшей экономикой?
- - - - -
Почему Apple Silicon
Apple Silicon не только широко распространен, но и технически хорошо подходит для вывода в важнейших аспектах:
• Объединенная память: ЦП и ГПУ используют один общий пул, устраняя узкие места дискретной ГПУ
• Эффективность модели: Apple Silicon обрабатывает только те части модели, которые активно нужны для каждого запроса, а не всю модель → Более крупные модели работают быстрее и дешевле
• Энергоэффективность: примерно 30 Вт для запуска модели на 60 миллиардов параметров, против множества ватт на дата-центровых ГПУ
• Предельная стоимость для владельца Mac: в основном электроэнергия, так как оборудование уже приобретено
- - - - -
Трудная часть: сделать это надежным
Один из основных вопросов — что мешает злоумышленнику читать запрос, если он выполняется на чужом Mac?
Ответ Darkbloom — сделать прослушивание архитектурно невозможным, а не только юридически запрещенным:
• Отладчики: блокируются на уровне ядра
• Чтение памяти: запрещено через Hardened Runtime
• Подделка бинарных файлов: нарушает подпись кода, и macOS отказывается его запускать
• Узлы будут повторно проверяться через 4-уровневую аттестацию каждые 5 минут → Защищенная среда, Apple MDM, сертификаты устройств, постоянный вызов вызова-ответа
Единственный способ нарушить эти защиты — физически перезагрузить машину, что немедленно останавливает процесс и стирает все данные. Apple использует тот же подход в своей инфраструктуре Private Cloud Compute.
- - - - -
Что это значит для Eigen
Darkbloom не будет самостоятельным продуктом, а служит доказательством концепции и сигналом о том, куда движется Eigen в стеке инфраструктуры ИИ.
Основная идея EigenLayer всегда заключалась в восстановлении доверия к децентрализованным системам.
Darkbloom расширяет это в область вычислений ИИ, делая выводы проверяемыми, а не просто доступными. Если удастся доказать, что стороннее потребительское оборудование можно криптографически доверять для чувствительных задач, откроется дверь к новому классу децентрализованной инфраструктуры ИИ, которая не зависит от доверия облачному провайдеру или оператору дата-центра.
Это начало того, что Eigen будет играть в рынке приватности как инфраструктуры.
- - - - -
Некоторые мысли
Несколько моментов, которые стоит иметь в виду при ознакомлении с исследовательской работой Darkbloom:
• Координатор пока остается доверенным центральным уровнем; команда открыто об этом говорит, но полностью устранить его еще не удалось
• Модель безопасности предполагает отсутствие неустраненных уязвимостей ядра macOS
• Модели сетевого трафика все еще могут раскрывать приблизительные детали вашего запроса (например, его длительность, сложность), даже если содержимое скрыто
Настоящее испытание — смогут ли гарантии конфиденциальности выдержать, когда в сеть присоединится больше узлов, и смогут ли люди доверять ей настолько, чтобы запускать чувствительные задачи без стимулов.
Ключевое слово: без стимулов
Самая большая преграда — доверие; убедить кого-то достаточно доверять чужому оборудованию и запросам. Это сложная задача, и очень немногие проекты даже пытаются решить ее всерьез.
Несмотря на все это, математика кажется вполне оправданной, когда команда @mementoresearch рассчитала это → Ознакомьтесь с приложенными страницами
Раскрытие информации: Проект Darkbloom — исследовательская инициатива Eigen Labs: Доступ здесь + я являюсь держателем $EIGEN