Проєкт Darkbloom: перетворення бездіяльних Mac у інфраструктуру штучного інтелекту

Кожного разу, коли використовується інструмент ШІ, запит проходить через кілька рівнів інфраструктури, перш ніж досягти фактичного обладнання, яке виконує роботу.
Зазвичай потік проходить через різні рівні дата-центрів, систем охолодження, GPU-обладнання та рівні маржі → Все це враховано у ціні, яку ви платите.
Команда @eigenlabs називає це "Податком на Виведення" (Inference Tax).
Darkbloom — їхня дослідницька ініціатива для вирішення цієї проблеми.
Підстава: вже існує понад 100 мільйонів Apple Silicon Mac, які вже оплачено, і вони більшу частину дня просто бездіють. Що, якби цю обчислювальну потужність можна було організувати у корисну мережу виведення, з реальними гарантіями приватності та кращою економікою?
- - - - -
Чому Apple Silicon
Apple Silicon не лише багатий ресурс, але й технічно добре підходить для виведення у способах, що мають значення:
• Об’єднана пам’ять: ЦП і ГПУ ділять один пул, усуваючи вузькі місця у дискретних GPU
• Ефективність моделі: Apple Silicon обробляє лише ті частини моделі, які активно потрібні для запиту, а не всю модель → Великі моделі працюють швидше і дешевше
• Енергоефективність: ~30 Вт для запуску 60-мільярдної моделі, тоді як у дата-центрах — у кілька разів більше
• Маргінальні витрати для власника Mac: головним чином електроенергія, оскільки обладнання вже куплено
- - - - -
Складна частина: зробити це надійним
Одне з основних питань — якщо запит виконується на чужому Mac, що заважає їм його прочитати?
Відповідь Darkbloom — зробити прослуховування архітектурно неможливим, а не просто забороненим контрактом:
• Дебагери: блокуються на рівні ядра
• Читання пам’яті: заборонені через Hardened Runtime
• Підробка бінарних файлів: порушує підпис коду, і тоді macOS відмовляється його запускати
• Вузли будуть повторно перевірятися через 4-шаровий атестаційний механізм кожні 5 хвилин → Secure Enclave, Apple MDM, сертифікати пристроїв, підписані Apple, безперервний виклик виклику-відповіді
Єдиний спосіб зламати ці захисти — фізично перезавантажити машину, що негайно припиняє процес і стирає все. Apple використовує той самий підхід у своїй приватній хмарній обчислювальній інфраструктурі.
- - - - -
Що це означає для Eigen
Darkbloom не буде самостійним продуктом, а швидше демонстрацією концепції та сигналом про те, куди рухається Eigen у стеку інфраструктури ШІ.
Основна теза EigenLayer завжди полягала у відновленні довіри до децентралізованих систем.
Darkbloom розширює це у сферу обчислень ШІ, роблячи виведення перевіреним, а не просто доступним. Якщо доведено, що стороннє апаратне забезпечення для споживачів можна криптографічно довіряти для чутливих навантажень, це відкриває двері до нового класу децентралізованої інфраструктури ШІ, яка не залежить від довіри до хмарного провайдера або оператора дата-центру.
Це ознаменовує початок участі Eigen у ринку приватності як інфраструктури.
- - - - -
Деякі думки
Кілька речей, які варто пам’ятати, коли ми ознайомлювалися з дослідницькою статтею Darkbloom:
• Координатор залишається довіреним центральним рівнем наразі; команда про це відкрито говорить, але це ще не усунуто
• Модель безпеки наразі передбачає відсутність незап patched уразливостей ядра macOS
• Моделі мережевого трафіку все ще можуть розкривати приблизні деталі вашого запиту (наприклад, скільки він тривав, наскільки складний), навіть якщо сам вміст приховано
Головний тест — чи витримають гарантії приватності, коли приєднається більше вузлів, і чи справді люди довірятимуть їм достатньо, щоб запускати чутливі навантаження без стимулів.
Ключове слово: без стимулів
Найбільша перешкода — довіра; зробити так, щоб хтось був достатньо комфортним, щоб запускати свої дані та запити через чужу машину. Це важкий продаж, і дуже мало проектів навіть намагаються серйозно його вирішити.
Незважаючи на все це, математика здається досить гарною, коли команда @mementoresearch її прорахувала → Перевірте додані сторінки
Розкриття інформації: Проєкт Darkbloom — дослідницька ініціатива Eigen Labs: доступ тут + я є власником $EIGEN