Написано після конференції GTC, чи може Web3 вирішити проблему обмеженої обчислювальної потужності ШІ?

Автор: Zuo Ye

Мода циклічна, як і Web 3.

Near “re” став публічною мережею штучного інтелекту. Як один із засновників Transformer, він зміг відвідати конференцію NVIDIA GTC і поговорити з одягненим у шкіру Лао Хуангом про майбутнє генеративного штучного інтелекту. Solana успішно перетворилася на місце збору для io.net, Bittensor і Render Network.Щодо концептуального ланцюга штучного інтелекту, також є нові гравці, які займаються обчисленнями GPU, такі як Akash, GAIMIN і Gensyn.

Якщо підвищити приціл, то в той час, як ціна на валюту зростає, можна виявити кілька цікавих фактів:

1. **Битва за обчислювальну потужність GPU прийшла до децентралізованої платформи. Чим більше обчислювальної потужності, тим сильніший обчислювальний ефект. ЦП, сховище та графічний процесор пов’язані один з одним; **
2. Обчислювальна парадигма переходить від хмаризації до децентралізації. За цим стоїть зміна попиту від навчання штучного інтелекту до міркування. Он-чейн моделі більше не пусті балачки;
3. **Базовий склад програмного та апаратного забезпечення та операційна логіка архітектури Інтернету принципово не змінилися, і рівень децентралізованої обчислювальної потужності відіграє більшу роль у стимулюванні мереж. **

Давайте спочатку зробимо концептуальне розмежування. Потужність хмарних обчислень у світі Web3 народилася в епоху хмарного майнінгу. Це відноситься до упаковки та продажу обчислювальної потужності машин для майнінгу, усуваючи величезні витрати користувачів на придбання машин для майнінгу. Однак обчислення виробники електроенергії часто «перепродають», наприклад, змішування та продаж обчислювальної потужності 100 машин для майнінгу 105 людям з метою отримання надприбутків, зрештою, робить цей термін еквівалентним брехні.

Потужність хмарних обчислень у цій статті стосується саме обчислювальних ресурсів постачальників хмарних технологій на базі GPU. Питання тут полягає в тому, чи є децентралізована обчислювальна потужна платформа маріонеткою переднього кінця постачальника хмарних технологій чи оновленням наступної версії.

Інтеграція між традиційними хмарними постачальниками та блокчейном глибша, ніж ми собі уявляли. Наприклад, публічні вузли ланцюга, розробка та щоденне зберігання в основному обертатимуться навколо AWS, Alibaba Cloud і Huawei Cloud, усуваючи дорогі інвестиції у придбання фізичного обладнання. Однак проблеми Причину не можна ігнорувати.У крайніх випадках від’єднання мережевого кабелю призведе до розриву публічного ланцюга, що серйозно порушує дух децентралізації.

З іншого боку, децентралізовані обчислювальні потужні платформи або безпосередньо створюють «комп’ютерні кімнати» для підтримки стабільності мережі, або безпосередньо створюють мережі стимулів, такі як стратегія airdrop IO.NET для збільшення кількості графічних процесорів і сховище Filecoin для надсилання токенів FIL. вихідною точкою є не задоволення потреб використання, а розширення можливостей токенів.Одним із доказів є те, що великі виробники, окремі особи чи академічні установи рідко фактично використовують їх для навчання ML, міркувань або відтворення графіки, що призводить до серйозної трати ресурсів.

**Просто в умовах зростання цін на валюту та настроїв FOMO всі звинувачення в тому, що децентралізована обчислювальна потужність є шахрайством з хмарними обчисленнями, зникли. **

Чи мають два типи обчислювальної потужності однакову назву й удачу?

Висновок і FLOPS, кількісна оцінка обчислювальної потужності GPU

**Вимоги до обчислювальної потужності моделей ШІ змінюються від навчання до висновків. **

Візьмемо для прикладу Sora від OpenAI. Хоча він також виготовлений на основі технології Transformer, розмір його параметрів порівнюється з трильйонами GPT-4. В академічних колах припускають, що він менший за сотні мільярдів. Ян Лікунь навіть сказав, що це лише 3 мільярди, тобто навчання Вартість низька, що також дуже легко зрозуміти Обчислювальні ресурси, необхідні для невеликої кількості параметрів, також пропорційно зменшуються.

Але, у свою чергу, Sora може потребувати сильніших можливостей «розумування». Міркування можна розуміти як здатність генерувати конкретні відео згідно з інструкціями. Відео давно вважалися творчим контентом, тому вони вимагають потужніших можливостей розуміння ШІ, а навчання є відносно простим Це можна розуміти як узагальнення правил на основі наявного вмісту, накопичення обчислювальної потужності без мізків і наполегливу роботу над створенням чудес.

У минулому обчислювальна потужність штучного інтелекту в основному використовувалася для навчання, з невеликою кількістю для міркувань, і в основному покривалася різними продуктами NVIDIA.Однак після появи Groq LPU (Language Processing Unit) все почало змінюватися. і кращі можливості міркування, накладені великі моделі для зменшення та підвищення точності, а також наявність розуму для розмовної логіки повільно стають мейнстрімом.

Крім того, я хотів би додати класифікацію графічних процесорів. Часто можна помітити, що ШІ рятують ті, хто грає в ігри. Сенс полягає в тому, що високий попит на високопродуктивні графічні процесори на ігровому ринку охоплює дослідження та розробки. Наприклад, можна використовувати відеокарти 4090, ті, хто грає в ігри та алхімію штучного інтелекту, але слід зазначити, що ігрова карта та обчислювальна карта поступово будуть відокремлені.Цей процес подібний до розробки машин для майнінгу біткойнів із персональних комп’ютерів до спеціалізованих машин для майнінгу, а використовувані чіпи також слідують у порядку від CPU, GPU, FPGA та ASIC.

Спеціальна картка LLM розробляється…

У міру того як технологія штучного інтелекту, особливо шлях LLM, розвивається та розвивається, буде все більше подібних спроб TPU, DPU та LPU. Звичайно, поточним основним продуктом є GPU NVIDIA. Усі обговорення нижче також базуються на GPU та LPU Waiting for more — це доповнення до GPU, і для його повної заміни знадобиться деякий час.

** Конкуренція за децентралізовану обчислювальну потужність не змагається за канали придбання GPU, а намагається створити нову модель прибутку. **

На даний момент написання NVIDIA майже стала головним героєм. По суті, NVIDIA займає 80% ринку відеокарт. Суперечка між картою N і картою A існує лише в теорії. Насправді всі говорять про цілісність.

Абсолютна монополія створила жорстку конкуренцію за графічні процесори, від споживчого рівня RTX 4090 до корпоративного рівня A100/H100, і різноманітні хмарні постачальники є основною силою в запасах. Проте компанії, пов’язані зі штучним інтелектом, такі як Google, Meta, Tesla та OpenAI, усі мають дії або планують виробляти власноруч виготовлені мікросхеми, а вітчизняні компанії звернулися до вітчизняних виробників, таких як Huawei, і трек GPU все ще надзвичайно переповнений.

Для традиційних хмарних постачальників те, що вони продають, — це фактично обчислювальна потужність і простір для зберігання, тому використання власних чіпів не є таким актуальним, як компанії зі штучним інтелектом.Однак щодо проектів децентралізованої обчислювальної потужності вони зараз перебувають у першій половині, тобто Виробники конкурують за обчислювальну потужність, зосереджуючись на дешевих і легких для отримання обчислювальних потужностей.Однак, як і майнінг біткойнів у майбутньому, мало шансів на появу чіпів Web3 AI.

Додатковий коментар: відколи Ethereum перейшов на PoS, у валютному колі стало все менше спеціального обладнання. Такі ринки, як мобільні телефони Saga, апаратне прискорення ZK і DePIN, надто малі. Я сподіваюся, що децентралізовану обчислювальну потужність можна вивчити для виділені карти обчислювальної потужності AI Створіть унікальний шлях для Web3.

**Децентралізована обчислювальна потужність є наступним кроком або доповненням до хмари. **

Обчислювальну потужність графічного процесора зазвичай порівнюють у промисловості з FLOPS (операції з плаваючою точкою в секунду), який є найбільш часто використовуваним показником швидкості обчислення. Незалежно від технічних характеристик графічного процесора чи заходів оптимізації, таких як паралелізм додатків, це остаточно на основі FLOPS на високому та низькому рівні.

Від локальних обчислень до переходу в хмару минуло близько півстоліття, і концепція розподілу існувала з моменту народження комп’ютерів. Керуючись LLM, поєднання децентралізації та обчислювальної потужності вже не таке розпливчасте, як раніше. Я буду Узагальніть якомога більше існуючих децентралізованих проектів обчислювальної потужності лише з двома вимірами:

1. Кількість графічних процесорів та іншого обладнання, тобто вимірюється швидкість обчислення. Відповідно до закону Мура, чим новіший графічний процесор, тим сильніша обчислювальна потужність. Чим більше число за однакових специфікацій, тим сильніша обчислювальна потужність;
2. Метод організації рівня заохочення, який є галузевою характеристикою Web 3. Подвійні токени, додаткові функції керування, стимули airdrop тощо дозволяють легше зрозуміти довгострокову цінність кожного проекту, замість того, щоб приділяти занадто багато уваги короткочасним У довгостроковій перспективі, дивлячись лише на те, чи можете ви володіти або скільки графічних процесорів планувати.

З цієї точки зору, децентралізована обчислювальна потужність все ще є маршрутом DePIN на основі «існуючого апаратного забезпечення + стимулюючої мережі», або архітектура Інтернету все ще є нижнім рівнем, а рівень децентралізованої обчислювальної потужності є монетизацією після «апаратної віртуалізації», зосередженою на доступі без дозволу Справжня мережа все ще вимагає взаємодії апаратного забезпечення.

Обчислювальна потужність має бути децентралізованою, а GPU – централізованим.

За допомогою фреймворку трилеми блокчейну безпека децентралізованої обчислювальної потужності не потребує особливого розгляду. Основними питаннями є децентралізація та масштабованість. Остання є метою мереж GPU, яка зараз є передовою в ШІ. .

Починаючи з парадоксу, якщо проект децентралізованої обчислювальної потужності має бути завершено, кількість графічних процесорів у мережі має бути якомога більшою. Інших причин немає. Параметри великих моделей, таких як GPT, стрімко зростають, і є відсутність графічного процесора певного масштабу Не може мати ефектів навчання чи висновку.

Звичайно, порівняно з абсолютним контролем хмарних постачальників, на поточному етапі проекти децентралізованих обчислювальних потужностей можуть принаймні налаштувати такі механізми, як відсутність доступу та вільна міграція ресурсів GPU.Однак завдяки покращенню ефективності капіталу чи буде бути схожим майнінг-пулом у майбутньому? Продукт може бути іншим.

З точки зору масштабованості, GPU можна використовувати не лише для штучного інтелекту, але й хмарні обчислення та візуалізація також є можливими шляхами. Наприклад, Render Network зосереджується на роботі з рендерингом, тоді як Bittensor та інші зосереджуються на забезпеченні навчання моделі. З більш простої точки зору, масштабованість еквівалентна сценаріям і цілям використання.

Таким чином, до графічного процесора та мережі стимулів можна додати два додаткові параметри, а саме децентралізацію та масштабованість, щоб сформувати індикатор порівняння з чотирьох кутів.Зверніть увагу, що цей метод відрізняється від технічного порівняння та є суто малюнком.

Мережа стимулювання кількості графічних процесорів проекту Децентралізована масштабованість Неоголошений токен Gensyn + механізм перевірки для оцінки навчання ШІ та висновків після запуску Мережа візуалізації 12 000 графічних процесорів + 503 маркери ЦП + додаткова основа стимулів + пропозиція + візуалізація з відкритим кодом + навчання ШІ Akash 20 000 ЦП + 262 маркери графічного процесора + токени системи застави в повному обігу Висновок штучного інтелекту io.net 180 000 графічних процесорів + 28 000 процесорів графічного процесора в обмін на невипущені монети, які не випущені, висновок штучного інтелекту + навчання.

У вищезазначених проектах Render Network насправді дуже особлива. Це, по суті, розподілена мережа рендерингу, і її зв’язок із штучним інтелектом не є прямим. У навчанні та міркуванні штучного інтелекту всі зв’язки взаємопов’язані, будь то SGD (стохастичний градієнтний спуск). , такі алгоритми, як стохастичний градієнтний спуск) або зворотне поширення вимагають узгодженості, але рендеринг та інші завдання не обов’язково мають бути такими. Відео та зображення часто сегментовані, щоб полегшити розподіл завдань.

Його навчальні можливості штучного інтелекту в основному інтегровані з io.net і існують як плагін io.net. У будь-якому випадку, графічний процесор працює, як би важко це не було, що більш перспективним є його перехід до Solana на момент недооцінки. Пізніше було доведено, що Solana більше підходить для вимог високої продуктивності рендерингу та інших мереж.

Другий – масштабний шлях розробки io.net із насильницькою заміною графічного процесора. На даний момент на офіційному веб-сайті зазначено повні 180 000 графічних процесорів. Це перший рівень проекту децентралізованої обчислювальної потужності. Є різниця на порядок з іншими опонентами, і in Що стосується масштабованості, io.net зосереджується на міркуваннях ШІ, а навчання штучному інтелекту є практичним способом роботи.

Строго кажучи, навчання ШІ не підходить для розподіленого розгортання. Навіть для легких LLM абсолютна кількість параметрів не буде набагато меншою. Централізований обчислювальний метод є більш економічно ефективним з точки зору економічних витрат. Web 3 і точка інтеграції Штучний інтелект під час навчання — це більше конфіденційність даних і операції шифрування, такі як технології ZK і FHE, і великий потенціал має AI inference Web 3. З одного боку, він має відносно низькі вимоги до обчислювальної продуктивності графічного процесора та може допускати певний ступінь втрат. , З іншого боку, міркування штучного інтелекту ближче до прикладної сторони, а стимули з точки зору користувача є істотнішими.

Інша компанія, яка майнить та обмінює токени, Filecoin, також уклала угоду про використання графічного процесора з io.net. Filecoin використовуватиме свої 1000 графічних процесорів паралельно з io.net. Це можна розглядати як спільну роботу попередників. Бажаю вам обом удачі…

Далі йде Gensyn, який ще не запущено. Ми також переходимо до хмари для оцінки. Оскільки воно все ще перебуває на ранніх стадіях побудови мережі, кількість графічних процесорів не повідомляється. Однак основним сценарієм його використання є навчання ШІ . Особисто я вважаю, що кількість високопродуктивних графічних процесорів не мала. , принаймні за межами рівня Render Network. Порівняно з висновками AI, навчання AI має прямі конкурентні відносини з хмарними постачальниками, і конкретна конструкція механізму буде складніше.

Зокрема, Gensyn має забезпечити ефективність навчання моделей. У той же час, щоб підвищити ефективність навчання, він використовує парадигми обчислень поза ланцюгом у великому масштабі. Таким чином, верифікація моделі та системи захисту від шахрайства вимагають багатосторонньої ролі ігри:

• Подавачі: ініціатори завдань, які зрештою оплачують витрати на навчання.
• Розв’язувачі: навчіть модель і надайте докази ефективності.
• Верифікатори: Перевірте валідність моделі.
• Інформатори: перевірте роботу валідатора.

Загалом, метод роботи схожий на PoW майнінг + оптимістичний механізм перевірки. Архітектура дуже складна. Можливо, перенесення обчислень у оф-ланцюг може заощадити витрати, але складність архітектури призведе до додаткових операційних витрат. Наразі основна децентралізована обчислювальна потужність Зосереджуючись на стику міркувань ШІ, я також бажаю Генсину удачі.

Нарешті, є стара Akash, яка в основному починалася разом із Render Network. Akash зосередилася на децентралізації центрального процесора, а Render Network була першою, хто зосередився на децентралізації графічного процесора. Неочікувано, після спалаху AI, обидві сторони увійшли в сфера обчислень GPU + AI Різниця Akash більше стурбована міркуваннями.

Ключ до омолодження Akash полягає в тому, щоб придивитися до проблем майнінгу після оновлення Ethereum. Неактивний графічний процесор може використовуватися студентками коледжу не лише як вживаний для особистого користування, але тепер вони також можуть разом працювати над ШІ. У будь-якому випадку, всі вони роблять внесок у людську цивілізацію.

Однак одна хороша річ про Akash полягає в тому, що токени в основному повністю циркулюють. Зрештою, це дуже старий проект, і він також активно використовує систему ставок, яка зазвичай використовується в PoS. Однак команда, здається, більш буддистська, і вони не такі молоді, як відчуває io.net.

Крім того, є THETA для периферійних хмарних обчислень, Phoenix для надання нішевих рішень для обчислювальної потужності штучного інтелекту, а також старі та нові обчислювальні компанії, такі як Bittensor і Ritual. Через обмежений простір ми не можемо перерахувати їх усіх. Головним чином тому, що деякі з них дійсно важко знайти Менше, ніж кількість графічних процесорів та інші параметри.

Висновок

Протягом історії розвитку комп’ютерів можна створювати децентралізовані версії різних обчислювальних парадигм. Єдине, на що шкода, що вони не впливають на звичайні додатки. Нинішній обчислювальний проект Web3 є переважно саморекламою в галузі. Засновник Near пішов до конференція GTC Це також через авторство Transformer, а не через статус засновника Near.

Ще більш песимістичним є те, що поточний розмір ринку хмарних обчислень і гравці надто потужні. Чи може io.net замінити AWS? Якщо є достатньо графічних процесорів, це справді можливо. Зрештою, AWS уже давно використовує Redis з відкритим кодом як основу компонент.

У певному сенсі потужність відкритого коду та децентралізації не однакові.Децентралізовані проекти надмірно зосереджені у фінансових сферах, таких як DeFi, і ШІ може бути ключовим шляхом для виходу на основний ринок.

посилання:

_2024-03-06_Ai.pdf