AI x DePIN: Які нові можливості з'являться в результаті зіткнення гарячих треків?

Автори: Цинік, Сігеру

Це другий том серії дослідницьких звітів Web3 x AI, а вступна частина детально описана в «Від паралелі до конвергенції: дослідження нової хвилі цифрової економіки на чолі з конвергенцією Web3 та штучного інтелекту»

Оскільки світ продовжує прискорювати цифрову трансформацію, штучний інтелект і DePIN (фізична інфраструктура децентралізації) стали основоположними технологіями, які сприяють змінам у різних галузях. Інтеграція штучного інтелекту та DePIN не тільки сприятиме швидкій ітерації та застосуванню технологій, але й відкриє більш безпечну, прозору та ефективну модель обслуговування, що принесе далекосяжні зміни у світову економіку.

DePIN: Децентралізація від віртуальної до реальної, основа цифрової економіки

DePIN – це абревіатура від Decentralization Decentralized Physical Infrastructure (децентралізована фізична інфраструктура). У вузькому сенсі DePIN в основному відноситься до розподіленої мережі традиційної фізичної інфраструктури, що підтримується технологією розподіленого реєстру, такої як електромережі, мережі зв’язку, мережі позиціонування тощо. У широкому сенсі, всі розподілені мережі, що підтримуються фізичними пристроями, такі як мережі зберігання даних і обчислювальні мережі, можна назвати DePIN.

від: Messari

Якщо криптовалюта приносить децентралізацію на фінансовий рівень, то DePIN – це рішення для децентралізації в реальній економіці. Можна сказати, що PoW Mining Rig – це свого роду DePIN. DePIN є основним стовпом Web3 з першого дня.

Три елементи ШІ - алгоритм, обчислювальна потужність і дані, DePIN займає виключно друге місце

Вважається, що розвиток штучного інтелекту спирається на три ключові елементи: алгоритм, обчислювальну потужність і дані. Алгоритми відносяться до математичних моделей і програмної логіки, які керують системами штучного інтелекту, обчислювальна потужність відноситься до обчислювальних ресурсів, необхідних для виконання цих алгоритмів, а дані є основою для навчання та оптимізації моделей ШІ.

Який з трьох елементів найважливіший?До появи chatGPT люди зазвичай думали, що це Algorithm, інакше наукові конференції та журнальні статті не заповнювалися б тонкою настройкою одного алгоритму за іншим. Однак, коли було представлено chatGPT і велику мовну модель LLM, яка лежить в основі його інтелекту, люди почали усвідомлювати важливість двох останніх. Обчислювальна потужність є обов’язковою умовою для моделей, якість і різноманітність даних мають вирішальне значення для створення надійних та ефективних систем штучного інтелекту, а вимоги до алгоритмів більше не є такими точними, як зазвичай.

В епоху великих моделей штучний інтелект перетворився з скрупульозної майстерності на енергійні літаючі цеглини, і попит на обчислювальні потужності та дані зростає з кожним днем, і DePIN може забезпечити саме це. Стимули для токенів використовують ринок з довгим хвостом, а масивні обчислювальні потужності та сховища споживчого класу стануть найкращою їжею для великих моделей.

Децентралізація ШІ не факультативна, а обов’язкова

Звичайно, деякі люди запитають, обчислювальна потужність і дані доступні в комп’ютерному залі AWS, і вони кращі за DePIN з точки зору стабільності та користувацького досвіду, чому варто вибрати DePIN замість централізованих сервісів?

Це твердження, природно, має сенс, адже протягом усього сьогодення майже всі великі моделі прямо чи опосередковано розробляються великими інтернет-компаніями, chatGPT стоїть за Microsoft, Gemini – за Google, китайські інтернет-виробники майже у всіх є великі моделі. Чому? Тому що тільки великі інтернет-компанії мають достатню кількість якісних даних і потужну фінансову підтримку обчислювальних потужностей. Але це неправильно, люди більше не хочуть, щоб ними маніпулювали інтернет-гіганти.

З одного боку, централізований ШІ має ризики для конфіденційності та безпеки даних, які можуть піддаватися цензурі та контролю, а з іншого боку, штучний інтелект інтернет-гігантів ще більше підвищить залежність людей, призведе до концентрації ринку та підвищить бар’єри для інновацій.

З:

Людству не потрібен Мартін Лютер в епоху штучного інтелекту, і люди повинні мати право говорити безпосередньо з Богом.

DePIN з точки зору бізнесу: зниження витрат та підвищення ефективності є ключовими

Навіть якщо не брати до уваги ціннісні дебати між децентралізацією та централізацією, з точки зору бізнесу, використання DePIN для штучного інтелекту все ще має свої переваги.

Перш за все, ми повинні чітко розуміти, що хоча інтернет-гіганти мають у своїх руках велику кількість ресурсів відеокарт високого класу, комбінація відеокарт споживчого класу, розкиданих у приватному секторі, також може утворити дуже значну обчислювальну мережу, тобто довгостроковий ефект обчислювальної потужності. Швидкість простою такої відеокарти споживчого класу насправді дуже висока. Поки стимул, наданий DePIN, перевищує рахунок за електроенергію, користувачі мотивовані вносити обчислювальні потужності в мережу. При цьому всі фізичні об’єкти управляються самими користувачами, і мережі DePIN не потрібно нести операційні витрати, яких не можуть уникнути централізовані постачальники, а лише фокусується на самому дизайні протоколу.

Що стосується даних, мережі DePIN можуть розкрити доступність потенційних даних і знизити витрати на їх передачу за допомогою периферійних обчислень та інших методів. У той же час більшість розподілених мереж зберігання даних мають можливості автоматичної дедуплікації, що скорочує роботу з очищення навчальних даних ШІ.

Нарешті, криптоекономіка, запроваджена DePIN, розширює простір відмовостійкості системи, що, як очікується, забезпечить безпрограшну ситуацію для постачальників, споживачів і платформ.

від: Каліфорнійський університет в Лос-Андже

Якщо ви не впевнені, останнє дослідження Каліфорнійського університету в Лос-Анджелесі показує, що використання децентралізованих обчислень досягає в 2,75 рази продуктивності в порівнянні з традиційними кластерами графічних процесорів при тій же вартості, зокрема в 1,22 рази швидше і в 4,83 рази дешевше.

У чому полягають проблеми AIxDePIN?

У цьому десятилітті ми вирішили полетіти на Місяць і зайнятися іншими справами не тому, що вони легкі, а тому, що вони важкі.

Побудова моделей штучного інтелекту без довіри з використанням розподіленого сховища та розподілених обчислень DePIN все ще створює багато проблем.

Перевірка вакансії

По суті, моделі глибинного навчання обчислень і майнінг PoW є обчисленнями загального призначення, а найнижчий рівень - це зміна сигналу між вентилями. Макроскопічно майнінг PoW — це «марні обчислення», які намагаються отримати хеш-значення з префіксом n нулів за допомогою незліченної генерації випадкових чисел і обчислень хеш-функцій, тоді як обчислення глибинного навчання — це «корисне обчислення», яке обчислює значення параметрів кожного рівня глибинного навчання за допомогою прямого та зворотного виведення, щоб побудувати ефективну модель штучного інтелекту.

Справа в тому, що «марні обчислення» на кшталт PoW Mining використовують хеш-функції, і легко обчислити зображення з преобразу, і складно обчислити преобраз з образу, тому будь-хто може легко і швидко перевірити валідність обчислень, в той час як для обчислення моделі Depth learning, завдяки ієрархічній структурі, вихідні дані кожного шару використовуються як вхідні дані наступного шару, тому перевірка валідності обчислень вимагає всієї попередньої роботи, і не може бути перевірена просто і ефективно.

від: AWS

Перевірка роботи має вирішальне значення, інакше провайдер обчислень може просто подати випадково згенерований результат без обчислень.

Один з типів ідей полягає в тому, щоб різні сервери виконували одне і те ж обчислювальне завдання і перевіряли достовірність роботи, повторюючи її і перевіряючи, що вона однакова. Однак переважна більшість модельних розрахунків є недетермінованими, і одні й ті ж результати не можуть бути відтворені навіть в одному і тому ж обчислювальному середовищі, і можуть бути досягнуті тільки статистичні подібності. Крім того, подвійний підрахунок призводить до стрімкого зростання витрат, що не узгоджується з ключовою метою DePIN - зниженням витрат і підвищенням ефективності.

Іншим типом ідей є механізм Optimistic, який спочатку оптимістично вірить, що результат обчислюється обґрунтовано, і в той же час дозволяє будь-кому перевірити результати розрахунку, а в разі виявлення помилки можна подати доказ шахрайства, а протокол скорочує шахрая та винагороджує викривача.

Розпаралелювання

Як згадувалося раніше, DePIN використовує в основному ринок обчислювальних потужностей споживчого класу, який приречений на обмежену обчислювальну потужність, яку може забезпечити один пристрій. Для великих моделей штучного інтелекту навчання на одному пристрої може бути дуже тривалим, і необхідно використовувати розпаралелювання, щоб скоротити час, необхідний для навчання.

Основна складність розпаралелювання навчання глибинного навчання полягає в залежності між завданнями спереду і ззаду, що ускладнить досягнення розпаралелювання.

В даний час розпаралелювання навчання глибинному навчанню в основному поділяється на паралелізм даних і паралелізм моделей.

Паралелізм даних відноситься до розподілу даних між декількома машинами, кожна машина зберігає всі параметри моделі, використовує локальні дані для навчання і, нарешті, агрегує параметри кожної машини. Паралелізм даних добре працює, коли є велика кількість даних, але для агрегування параметрів потрібен синхронний зв’язок.

Паралелізм моделі означає, що коли розмір моделі занадто великий, щоб поміститися в одну машину, модель може бути розділена на кілька машин, і кожна машина зберігає частину параметрів моделі. Пряме та зворотне поширення вимагає зв’язку між різними машинами. Паралелізм моделі має переваги, коли модель велика, але накладні витрати на зв’язок великі при поширенні назад і вперед.

Що стосується інформації про градієнт між різними шарами, його можна розділити на синхронне оновлення та асинхронне оновлення. Синхронні оновлення є простими, але збільшують час очікування; асинхронне оновлення Час очікування алгоритму короткий, але створює проблеми зі стабільністю.

від: Стенфордський університет, паралельне та розподілене глибоке навчання

Конфіденційність

Світ започатковує тенденцію мислення щодо захисту приватного життя, і уряди в усьому світі посилюють захист конфіденційності персональних даних. Хоча штучний інтелект широко використовує загальнодоступні набори даних, саме дані користувачів для конкретного підприємства дійсно розділяють різні моделі штучного інтелекту.

Як я можу отримати переваги конфіденційних даних під час навчального процесу, не розкриваючи конфіденційність, і як я можу гарантувати, що параметри моделі штучного інтелекту, яку я створюю, не будуть витоку?

Це два аспекти приватності, конфіденційності даних та конфіденційності моделі. Конфіденційність даних захищає користувачів, тоді як конфіденційність моделі захищає організацію, яка будує модель. У нинішньому сценарії конфіденційність даних набагато важливіша, ніж конфіденційність моделі.

Кілька варіантів намагаються вирішити проблеми конфіденційності. Федеративне навчання забезпечує конфіденційність даних, навчаючись у джерелі даних, зберігаючи дані локальними під час передачі параметрів моделі; Zero-Knowledge Proof може стати висхідною зіркою.

Case Study: Які якісні проекти є на ринку?

Генсин

Gensyn – це розподілена обчислювальна мережа для навчання моделей штучного інтелекту. Мережа використовує блокчейн рівня 1 на основі Polkadot, щоб перевірити, чи правильно виконані завдання глибинного навчання, і ініціювати платежі за допомогою команд. Заснована у 2020 році, у червні 2023 року вона оголосила про раунд фінансування серії А на суму 43 мільйони доларів США під керівництвом a16z.

Gensyn використовує метадані процесу оптимізації на основі градієнта для побудови сертифіката виконаної роботи, і послідовно виконується багатодеталізованим протоколом точності на основі графів і перехресним оцінювачем, щоб дозволити повторно виконати роботу з валідації та порівняти узгодженість, і в кінцевому підсумку підтвердити сам ланцюжок, гарантуючи валідність обчислень. Щоб ще більше зміцнити надійність proof-of-work, Gensyn запровадив стейкінг для створення стимулів.

Існує чотири типи учасників системи: заявники, вирішувачі, валідатори та викривачі.

• Заявник є кінцевим користувачем системи, надає завдання, які будуть розраховані, і оплачує одиниці виконаних робіт.
• Розв’язувач є основним працівником системи, який виконує навчання моделі та генерує докази для перевірки верифікатора.
• Валідатор є ключем до зв’язку недетермінованого процесу навчання з детермінованими лінійними обчисленнями, реплікації частини доведення розв’язувача та порівняння відстані з очікуваним порогом.
• Викривачі є останньою лінією захисту, перевіряючи роботу валідаторів і ставлячи виклики, а винагороди присуджуються при проходженні челенджів.

Розв’язувач повинен внести заставу, і викривач перевіряє роботу розв’язувача, якщо він знаходить зло, він оскаржує його, а після того, як виклик пройдено, токен, заставлений вирішувачем, конфіскується, а викривач отримує винагороду.

Згідно з прогнозами Gensyn, очікується, що це рішення знизить вартість навчання до 1/5 від вартості централізованих постачальників.

від: Gensyn

FedML

FedML — це платформа децентралізованого спільного машинного навчання для децентралізації та спільного штучного інтелекту в будь-якому масштабі та в будь-якому місці. Зокрема, FedML надає екосистему MLOps для навчання, розгортання, моніторингу та постійного вдосконалення моделей машинного навчання, одночасно працюючи над об’єднаними даними, моделями та обчислювальними ресурсами зі збереженням конфіденційності. Заснована у 2022 році, компанія FedML у березні 2023 року оголосила про раунд початкового фінансування на суму 6 мільйонів доларів.

FedML складається з двох ключових компонентів: FedML-API та FedML-ядра, які представляють високорівневий API та базовий API відповідно.

FedML-core складається з двох окремих модулів: Distributed Communication і Model Training. Комунікаційний модуль відповідає за базову комунікацію між різними працівниками/клієнтами та базується на MPI; модуль навчання моделі базується на PyTorch.

FedML-API побудований на основі FedML-ядра. За допомогою FedML-ядра можна легко реалізувати нові розподілені алгоритми, використовуючи клієнт-орієнтовані програмні інтерфейси.

Остання робота команди FedML доводить, що висновок про модель штучного інтелекту на графічному процесорі споживчого класу RTX 4090 за допомогою FedML Nexus AI у 20 разів дешевший і в 1,88 раза швидший, ніж A100.

від: FedML

Перспективи на майбутнє: DePIN демократизує штучний інтелект

Одного дня штучний інтелект перетвориться на AGI, а обчислювальна потужність стане де-факто універсальною валютою, а DePIN зробить це швидше.

Зближення AI та DePIN відкрило нову точку технологічного зростання та надало величезні можливості для розвитку штучного інтелекту. DePIN надає величезні обсяги розподіленої обчислювальної потужності та даних для штучного інтелекту, допомагаючи навчати більші моделі та досягати більшого інтелекту. У той же час DePIN також дозволяє штучному інтелекту стати більш відкритим, безпечним і надійним, зменшуючи залежність від єдиної централізованої інфраструктури.

У майбутньому штучний інтелект і DePIN продовжуватимуть розвиватися в синергії. Розподілені мережі забезпечать міцну основу для навчання дуже великих моделей, що, в свою чергу, буде грати важливу роль в застосуванні DePIN. Захищаючи конфіденційність і безпеку, штучний інтелект також допоможе оптимізувати мережеві протоколи та алгоритми DePIN. Ми з нетерпінням чекаємо на більш ефективний, справедливий і надійний цифровий світ зі штучним інтелектом і DePIN.

Посилання:

_reports/живопліт_usmani.pdf