Наша стаття містить досить багато матеріалу, тому щоб зрозуміти його легше (а також уникнути обмежень розміру, які накладають провайдери електронної пошти), я вирішив розділити її на декілька частин і поступово ділитися ними впродовж наступного місяця. А зараз давайте почнемо!

Одне величезне пропущене, яке я ніколи не можу забути.

Цей інцидент переслідує мене донині, тому що це очевидна можливість, яку може побачити будь-хто на ринку, але я її упустив і не вклав ні копійки.

Ні, це не наступний вбивця Solana, і не мемкойн з смішною собакою у капелюсі.

Це так...... NVIDIA。

Динаміка цін акцій NVDA з початку року. Джерело: Google

За один рік ринкова капіталізація NVIDIA зросла з 1 трильйона до 3 трильйонів доларів, ціна акцій зросла утричі, навіть перевершивши виступ BTC за той самий період.

Звісно, частина цього є підтримкою хвилі штучного інтелекту. Але ще важливіше те, що цей ріст має міцну реальну основу. NVIDIA заробляє 600 мільярдів доларів у фінансовому році 2024 року, що на 126% більше, ніж у 2023 році. За цим дивовижним зростанням стоїть глобальна боротьба великих технологічних компаній за придбання GPU для виграшу переваги в загальному змаганні за штучний загальний інтелект (AGI).

Чому я пропустив?

Протягом останніх двох років моє увага була повністю зосереджена на Криптовалютному сегменті, і я не слідкував за динамікою в галузі шифрування AI. Це велика помилка, яку я досі сумую.

Але на цей раз я не зроблю тієї ж помилки.

Сьогодні Crypto AI, дай мені відчуття деїння, яке мені знайоме.

Ми стоїмо на межі вибуху інновацій. Це дивовижно схоже на золоту лихоманку середини 19 століття в Каліфорнії - галузь та місто виростають як гриби після дощу, інфраструктура стрімко розвивається, а сміливі люди заробляють гору золота.

Як і в разі раннього NVIDIA, Crypto AI у майбутньому буде виглядати настільки очевидним.

Crypto AI: необмежені можливості інвестицій

· Багато людей все ще вважають його "пустими обіцянками".

· Криптовалютний штучний інтелект наразі знаходиться на початковій стадії, і можливо, до піку спекуляцій залишилося 1-2 роки.

· Ця галузь має потенціал зростання щонайменше на 2300 мільярдів доларів США.

Crypto AI це поєднання штучного інтелекту з шифруванням. Це дозволяє йому розвиватися по траєкторії зростання штучного інтелекту, а не загального ринку шифрування. Тому, щоб залишатися на передовій, вам потрібно підписатися на останні дослідження зі штучного інтелекту на Arxiv та спілкуватися зі засновниками, які вірять, що вони будують наступну велику подію.

Чотири ключові галузі Crypto AI

У другій частині моєї дисертації я буду акцентувати увагу на чотирьох найбільш перспективних підгалузях Crypto AI:

Децентралізація обчислень: навчання моделей, інференція та ринок торгівлі GPU
Мережа даних
Перевірка AI

4.在у блокчейні运行的 AI 智能体

Ця стаття є результатом кількотижневих глибоких досліджень та спілкування з засновником та командою Crypto AI. Вона не є детальним аналізом кожної галузі, але є загальним планом, який стимулює вашу цікавість, допомагає вам вдосконалити напрямок досліджень та керувати вашими інвестиційними рішеннями.

Екологічна мапа криптоштучного інтелекту

Я уявляю екосистему штучного інтелекту як багаторівневу структуру: від децентралізованого обчислення та відкритої мережі даних з одного боку, що надають основу для тренування моделей штучного інтелекту.

Всі вхідні та вихідні дані усіх інференсів підтверджуються криптографічно, шифруванням економічними стимулами та оцінками мережі. Ці підтверджені результати потіком подаються у самостійних AI-агентах, яким можна довіряти, на блокчейні, а також в споживацьких та корпоративних AI-додатках.

Координаційна мережа об'єднує весь екосистему, забезпечуючи безшовну комунікацію та співпрацю.

У цій візії будь-яка команда, що займається розробкою штучного інтелекту, може підключитися до одного або декількох рівнів екосистеми відповідно до своїх потреб. Ця екосистема надає різноманіття вибору, чи то для навчання моделей з використанням Децентралізація обчислень, чи то для забезпечення високоякісного виведення за допомогою оцінювальних мереж.

Завдяки комбінуванню блокчейну я вірю, що ми рухаємося до модульного майбутнього. Кожен рівень буде високо спеціалізованим, протокол буде оптимізований для конкретних функцій, а не використовуватиме інтегроване рішення.

У останні роки на кожному рівні стеку технологій Децентралізація AI з'являються багато стартапів, що свідчить про «камбрійський» зріст. Більшість з цих компаній були засновані всього 1-3 роки тому. Це свідчить про те, що ми все ще знаходимося на початковому етапі розвитку галузі.

В екосистемі стартапів Crypto AI, яку я бачив, найбільш повну та актуальну версію підтримує Casey з topology.vc та її команда. Це невід'ємний ресурс для кожної людини, яка бажає відстежувати розвиток цієї галузі.

Коли я глибоко вивчаю різні підгалузі Crypto AI, я завжди думаю: наскільки великі тут можливості? Я підписуюсь не на невеликий ринок, а на великі можливості, які можуть розширитися до сотень мільярдів доларів.

Розмір ринку

Під час оцінки ринкового обсягу я питаю себе: ця підгалузь створює новий ринок, чи руйнує існуючий ринок?

На прикладі Децентралізація можна побачити, що це типова руйнівна галузь. Ми можемо оцінити його потенціал за допомогою існуючого ринку хмарних обчислень. На даний момент обсяг ринку хмарних обчислень становить близько 6800 мільярдів доларів, і до 2032 року очікується досягнення позначки в 2,5 трильйона доларів.

У порівнянні, новий ринок, такий як штучний інтелект AI, є складнішим у квантифікації. За відсутності історичних даних ми можемо лише оцінити його здатність вирішувати проблеми за допомогою інтуїтивної оцінки та розумних припущень. Однак важливо пам'ятати, що іноді продукт, що здається новим ринком, насправді може бути лише "рішенням проблеми".

2. Момент

Часування є ключем до успіху. Хоча технології зазвичай постійно вдосконалюються та дешевшають з часом, проте темпи прогресу в різних галузях відрізняються значно.

В певній підгалузі, наскільки зрілою є технологія? Чи вона вже достатньо зріла для широкомасштабного застосування? Або все ще перебуває на стадії досліджень і до її практичного застосування залишилося кілька років? Час визначає, чи варто безпосередньо вкладатися в цю галузь, чи краще спостерігати зараз.

На прикладі повного гомоморфного шифрування (Fully Homomorphic Encryption, FHE) його потенціал незаперечний, але технічні можливості наразі є занадто повільними, що ускладнює впровадження масштабних застосувань. Можливо, нам знадобиться кілька років, щоб побачити його на ринку. Тому я буду переважно підписуватися на області, де технології вже наближаються до масштабних застосувань, і зосереджуватиму свій час і енергію на можливостях, які набирають оберт.

Якщо ці підгалузі зобразити на графіку «розмір ринку проти можливості», то це може бути розташування. Варто зазначити, що це лише концептуальний ескіз, а не жорсткі керівні принципи. Усередині кожної галузі також існує складність - наприклад, у перевірці доведеності різних методів (таких як zkML та opML) знаходяться на різних етапах технологічної зрілості.

Тим не менш, я твердо вірю, що майбутнє штучного інтелекту буде надзвичайно великим. Навіть те, що сьогодні може здатися «нішевим», має потенціал перетворитися на значний ринок у майбутньому.

Водночас, ми також маємо розуміти, що технологічний прогрес не завжди є лінійним розвитком - він часто рухається стрибкоподібним шляхом. Коли появляються нові технологічні прориви, мої погляди на ринкові можливості та масштаб також змінюються.

На основі цієї рамки ми будемо розбиратися з різними підгалузями Crypto AI, досліджувати їх потенціал для розвитку та інвестиційні можливості.

Область 1: Децентралізація обчислень

Загальний висновок

· Обчислення - це основа всього штучного інтелекту Децентралізація.

· Ринок GPU, тренування та інференція, децентралізація тісно пов'язані між собою, спільно розвиваються.

· Постачальниками є в основному власники невеликих та середніх дата-центрів та звичайні споживачі GPU-обладнання.

· Попит наразі є невеликим, але поступово зростає, основними його складовими є користувачі, яким важливо ціну, не дуже вимогливі до затримок, а також деякі невеликі початкові AI-компанії.

· Найбільшим викликом, з яким стикається поточний ринок Web3 GPU, є те, як зробити ці мережі дійсно ефективними.

· Для координації використання GPU в мережі Децентралізація потрібні передові інженерні технології та надійний дизайн мережевої архітектури.

1.1 Ринок GPU / Обчислювальна мережа

Зараз деякі команди Crypto AI будують мережі GPU з Децентралізація, щоб використовувати недостатньо використані обчислювальні ресурси по всьому світу, щоб вирішити проблему дефіциту пропозиції відносно попиту на GPU.

Основна вартість ринку GPU може бути узагальнена до трьох основних аспектів:

Вартість обчислень може бути нижчою на 90% в порівнянні з AWS. Це низькі витрати походять з двох основних джерел: відсутність посередників і відкритість постачальників. Ці ринки дозволяють користувачам мати доступ до обчислювальних ресурсів з найнижчою маржинальною вартістю в світі.

Не потрібно укладати довгостроковий контракт, проходити ідентифікацію (KYC) або чекати на затвердження.
Здатність протистояти перевірці
Для вирішення проблеми пропозиції на ринку ці ринки отримують обчислювальні ресурси з таких джерел:

· Корпоративні GPU: наприклад, високопродуктивні GPU, такі як A100 і H100, ці пристрої часто походять з невеликих дата-центрів (вони важко знайти достатньо клієнтів, коли вони працюють самостійно) або від BTCМайнер, які прагнуть диверсифікувати джерела доходу. Крім того, деякі команди використовують великі інфраструктурні проекти, що фінансуються урядом, як частину технологічного розвитку, для будівництва великої кількості дата-центрів. Ці постачальники зазвичай мають стимули постійно підключати GPU до мережі, щоб допомогти компенсувати витрати на знос пристроїв.

· Графічний процесор для споживачів: Мільйони гравців та домашніх користувачів підключають свої комп'ютери до мережі та отримують доход у вигляді винагороди TOKEN.

Наразі попит на розподілене обчислення включає наступні категорії користувачів: потребує перерахувань

1. Для користувачів, які чутливі до цін та не потребують високих показників затримки: наприклад, обмежені бюджетом дослідники, розробники AI, які працюють в одиночку тощо. Вони більше звертають увагу на вартість, а не на миттєві можливості обробки. З обмеженим бюджетом вони часто не можуть дозволити собі високі витрати на традиційних гігантів хмарних сервісів (таких як AWS або Azure). Для точного маркетингу до цієї групи користувачів дуже важливо.

2. Малі стартапи зі штучним інтелектом: Ці компанії потребують гнучких та масштабованих обчислювальних ресурсів, але вони не бажають укладати довгострокові угоди з великими провайдерами хмарних послуг. Для привернення цієї групи потрібно посилити співпрацю, оскільки вони активно шукають альтернативні рішення поза традиційним хмарним обчисленням.

3. КриптоШІ стартапи: Ці компанії розробляють продукти штучного інтелекту, проте без власних обчислювальних ресурсів вони змушені покладатися на ці мережі Децентралізація.

4. Хмарні ігри: Хоча вони не мають прямого відношення до ШІ, але попит на ресурси GPU для хмарних ігор швидко зростає.

Важливо пам'ятати одне: розробники завжди надають перевагу вартості та надійності。

Справжнє виклик: попит, а не пропозиція

Багато стартапів вважають масштаб мережі постачання GPU ознакою успіху, але насправді це лише «показник марнотратства».

Справжня перешкода полягає в боці попиту, а не пропозиції. Ключовим показником успіху є не кількість GPU в мережі, а використання GPU та фактична кількість орендованих GPU.

Token стимулююча система дуже ефективна в мобілізації ресурсів для мережі, але вона не вирішує проблему недостатнього попиту. Справжній випробування полягає в тому, чи можна вдосконалити продукт до належного рівня, щоб збудити потенційний попит.

Як сказав Haseeb Qureshi (від Dragonfly), ось що є ключовим.

Зробіть обчислювальну мережу дійсно працюючою

Зараз найбільшим викликом для ринку розподіленого GPU Web3 є те, як зробити ці мережі дійсно ефективно працюють.

Це не така проста річ.

Координація GPU в розподіленій мережі є надзвичайно складним завданням, яке включає в себе кілька технічних проблем, таких як розподіл ресурсів, динамічне розширення робочого навантаження, балансування навантаження між Нода та GPU, управління затримкою, передача даних, стійкість до збоїв, а також обробка різноманітного апаратного забезпечення, розповсюдженого по всьому світу. Ці проблеми нарощуються одна на одну, утворюючи величезні інженерні виклики.

Для вирішення цих проблем потрібні дуже міцні інженерні технічні здібності, а також міцна та раціонально спроектована мережева архітектура.

Щоб краще зрозуміти це, можна звернутися до системи Kubernetes від Google. Kubernetes широко вважається золотим стандартом в галузі контейнерного оркестрування, він може автоматизувати завдання, такі як балансування навантаження та масштабування в розподілених середовищах, що дуже схожі на проблеми, з якими стикаються розподілені мережі GPU. Слід зазначити, що Kubernetes розроблено на основі досвіду Google в галузі розподілених обчислень понад десять років, і навіть у цьому випадку знадобилося кілька років постійного вдосконалення, щоб довести до досконалості.

Зараз деякі вже запущені на ринок обчислення GPU можуть обробляти невеликі навантаження, але якщо спробувати розширити їх до більших масштабів, проблеми виявляться. Це може бути через фундаментальні дефекти їх архітектурного дизайну.

Проблема довіри: виклики та можливості

Іншою важливою проблемою, яку потрібно вирішити в обчислювальних мережах, що працюють за принципом Децентралізація, є те, як забезпечити довіру до Нода, тобто як перевірити, чи кожен Нода дійсно надає ту обчислювальну потужність, яку він стверджує. На сьогоднішній день цей процес перевірки в основному ґрунтується на системі репутації у мережі, іноді постачальники обчислень ранжируються відповідно до рейтингу репутації. Технологія блокчейн має природні переваги у цій галузі, оскільки вона може забезпечити механізм перевірки без потреби в довірі. Деякі стартапи, такі як Gensyn та Spheron, досліджують способи вирішення цієї проблеми за допомогою механізмів перевірки без потреби в довірі.

Наразі багато команд Web3 все ще працюють над вирішенням цих викликів, що також означає, що у цій галузі є величезні можливості.

Розмір ринку обчислювальної децентралізації

那么，Децентралізація計算网络的市场到底有多大？

Наразі вона може складати лише дуже малу частку ринку хмарного обчислення по всьому світу (оцінюється від 6800 млрд до 2,5 трлн доларів). Однак, якщо вартість децентралізованого обчислення буде нижчою, ніж у традиційних постачальників хмарних послуг, попит обов'язково буде присутнім, навіть якщо існують деякі додаткові тертя в користуванні.

Я думаю, що в найближчий до середньостроковий термін вартість Децентралізація обчислень залишатиметься на низькому рівні. Це головним чином завдяки двом факторам: першим є компенсація токенів, а другим - розблокування постачання від користувачів, які не чутливі до цін. Наприклад, якщо я можу здавати в оренду свій ігровий ноутбук, щоб заробити додатковий дохід, мені буде задоволення незалежно від того, чи це 20 доларів на місяць, чи 50 доларів.

Потенціал зростання децентралізації обчислювальної мережі та значне розширення її ринкових масштабів будуть залежати від наступних ключових факторів:

**1.可Децентралізаціяність навчання моделей штучного інтелекту: **Коли мережа Децентралізація може підтримувати навчання моделей штучного інтелекту, це призведе до великого попиту на ринку.

**2. Вибух попиту на міркування: ** Зі зростанням попиту на міркування штучного інтелекту, існуючі центри обробки даних можуть не впоратися з цим попитом. Насправді, ця тенденція вже почала проявлятися. Дженсон Хуанг з NVIDIA заявив, що попит на міркування зростатиме «мільярди разів».

3. Введення протоколу рівня обслуговування (SLA): Наразі Децентралізація обчислень переважно надає послуги в режимі «наполегливості», тому користувачі можуть стикатися з невизначеністю якості обслуговування (таких, як нормальний час роботи). За допомогою SLA ці мережі можуть надавати стандартизовані показники надійності та продуктивності, що допомагає подолати ключові перешкоди для впровадження Децентралізації обчислень як раціональної альтернативи традиційному хмарному обчисленню.

Децентралізація, безліцензійний обчислювальний процес, є основою екосистеми Децентралізація AI і однією з її найважливіших інфраструктур.

Незважаючи на постійний розвиток обладнання, такого як GPU, вірю, що ми все ще на початку епохи «інтелекту людини». У майбутньому попит на обчислювальну потужність буде нескінченним.

Будьте уважні, 01928374656574839201 може стати ключовою точкою, яка може спровокувати переоцінку ринку GPU - ця точка може настати дуже скоро.

Інші примітки:

· На ринку виключно GPU конкуренція дуже жорстока, тут не тільки відбувається боротьба між Децентралізація платформами, але також зустрічається сильний ріст нових хмарних платформ Web2 AI (наприклад, Vast.ai та Lambda).

· Малі Нода (наприклад, з 4 GPU H100) мають обмежене застосування та не мають великого попиту на ринку. Але якщо ви хочете знайти постачальника великих кластерів, то майже неможливо, оскільки попит на них все ще дуже високий.

· Чи будуть обчислювальні ресурси протоколу децентралізовані та розподілені по різних ринках, чи будуть вони інтегровані під одним головним управлінням? Я нахиляюся до першого варіанту і вважаю, що кінцевий результат буде містити степеневий розподіл, оскільки інтеграція зазвичай покращує ефективність інфраструктури. Звичайно, цей процес потребує часу, і під час його тривалості ринок буде продовжувати бути розпорошеним і хаотичним.

Розробникам більше хотілося б зосередитися на побудові додатків, а не витрачати час на вирішення проблем з розгортанням та налаштуванням. Тому ринку обчислень потрібно спростити цю складність і зменшити тертя для користувачів при отриманні обчислювальних ресурсів.

1.2 Децентралізація навчання

Загальний висновок

· Якщо закони масштабування працюють, то в майбутньому фізично неможливо навчати передові AI-моделі на наступному поколінні в одному центрі обробки даних.

· Тренування моделей штучного інтелекту вимагає великого обсягу передачі даних між GPU, а низька швидкість мережі розподіленого GPU часто є найбільшою технічною перепоною.

· Дослідники досліджують різні рішення та досягають деяких проривних досягнень (таких як Open DiLoCo та DisTrO). Ці технологічні інновації відкриють шлях до прискореного розвитку децентралізації тренування.

Майбутнє навчання може більше спрямовуватися на створення невеликих спеціалізованих моделей, призначених для конкретних галузей, а не на передові моделі, спрямовані на AGI.

· За поширенням моделей OpenAI, таких як o1, попит на міркування буде зростати експоненційно, що створює великі можливості для децентралізації мережі міркування.

Уявіть собі: величезну, змінюючу світ модель штучного інтелекту, яка не розробляється в таємних флагштокових лабораторіях, але створюється мільйонами звичайних людей. Геймери використовують свої GPU не тільки для візуалізації красивих графічних ефектів у Call of Duty, але і для підтримки більш великої мети - власної моделі штучного інтелекту, відкритої для всіх і не має жодного централізованого регулювальника.

У такому майбутньому базові AI-моделі вже не є виключною прерогативою передових лабораторій, вони стають результатом участі громадян.

Проте, повертаючись до реальності, зараз більшість важливого навчання штучного інтелекту все ще зосереджена в централізованих центрах обробки даних, ця тенденція, можливо, не зміниться протягом певного часу.

Компанії, такі як OpenAI, постійно розширюють масштаб своєї величезної кластерної системи GPU. Останнім часом Елон Маск виклав, що xAI незабаром завершить будівництво дата-центру, обсяг GPU в якому становить приблизно 200 тисяч одиниць H100.

Але проблема не тільки в кількості GPU. У дослідженні PaLM від Google 2022 року було запропоновано ключовий показник - використання FLOPS моделі (Model FLOPS Utilization, MFU), який вимірює фактичний рівень використання максимальної обчислювальної потужності GPU. Дивно, але це використання зазвичай становить лише 35-40%.

Чому це так низько? Незважаючи на швидке зростання продуктивності ГПВ за законом Мура, поліпшення мережі, пам'яті та засобів зберігання значно відстають і створюють значні обмеження. В результаті ГПВ часто перебувають в режимі очікування, чекаючи завершення передачі даних.

Наразі, є лише одна основна причина, чому навчання штучного інтелекту є високоцентралізованим - ефективність.

Навчання великих моделей залежить від наступних ключових технологій:

· Паралельна обробка даних: Розбиття набору даних на кілька GPU для паралельної обробки з метою прискорення процесу навчання.

**· Модельне паралелізм: **розподіл різних частин моделі на кілька GPU для подолання обмежень пам'яті.

Ці технології вимагають частої обміну даними між GPU, тому швидкість з'єднання (тобто швидкість передачі даних в мережі) є критично важливою.

Коли вартість навчання моделі штучного інтелекту може сягати 10 мільярдів доларів, кожен виграш в ефективності набуває критичного значення.

Децентралізація данных центрів, завдяки своїй високошвидкісній технології взаємозв'язку, може забезпечити швидку передачу даних між GPU, що значно зменшить витрати на навчання. Це ще не може конкурувати з мережею Децентралізація... принаймні наразі.

Подолання повільної швидкості з'єднання

Якщо ви спілкуєтеся з фахівцями в галузі штучного інтелекту, багато людей можуть сказати, що тренування Децентралізація не працює.

У архітектурі Децентралізація, кластер GPU не розташований у одному фізичному місці, що призводить до повільної передачі даних між ними та стає головним обмеженням. Процес навчання потребує синхронізації та обміну даними між GPU на кожному кроці. Чим далі, тим більша затримка. А вища затримка означає повільнішу швидкість навчання та збільшення вартості.

Завдання навчання, яке може бути завершено за кілька днів у централізованому центрі обробки даних, може зайняти два тижні у середовищі децентралізації, і вимагатиме вищих витрат. Це, очевидно, не є практичним.

Проте ця ситуація змінюється.

Захоплююче, що зацікавленість дослідженням розподіленого навчання швидко набуває Підйомі. Дослідники ведуть дослідження з кількох напрямків одночасно, а велика кількість останніх досліджень і наукових статей є свідченням цього. Ці технологічні досягнення сприятимуть накладенню ефектів, що прискорить розвиток Децентралізація навчання.

Крім того, тестування в реальних умовах виробництва також є надзвичайно важливим, оскільки воно допомагає нам пройти через існуючі технічні обмеження.

На сьогоднішній день деякі технології тренування Децентралізація вже можуть обробляти моделі невеликого масштабу в умовах низькопропускної інтерконектувальної середовища. Водночас передові дослідження спрямовані на розширення цих методів на більш масштабні моделі.

· Наприклад, стаття Prime Intellect про Open DiCoLo запропонувала практичний метод: розділити GPU на "острови", кожний з яких виконує 500 місцевих обчислень перед синхронізацією, що зменшує потребу в пропускній здатності до Падіння на 1/500. Ця техніка спочатку була досліджена Google DeepMind для невеликих моделей, а тепер успішно розширилася на навчання моделі з 100 мільярдами параметрів, і нещодавно була повністю Відкритий вихідний код.

Фреймворк DisTrO від Nous Research подальшим чином просувається вперед, зменшуючи вимоги до комунікації між GPU до 10 000 разів завдяки оптимізації технології, успішно тренуючи модель з 12 мільярдами параметрів.

· Цей тренд продовжується. Недавно Nous оголосила, що вони завершили передшкільну підготовку моделі з 15 млрд параметрів, графік втрат та швидкість збіжності якої перевершує навіть виступ централізованого тренування.

(деталі твіту)

Крім того, методи, такі як SWARM Parallelism та DTFMHE, також досліджуються, як навчати великомасштабні AI-моделі на різних типах пристроїв, навіть якщо швидкість і умови підключення цих пристроїв відрізняються.

Ще одним викликом є управління різноманітним апаратним забезпеченням GPU, особливо споживчими GPU, які часто зустрічаються в мережах Децентралізація, ці пристрої зазвичай мають обмежену кількість пам'яті. За допомогою технології паралельного моделювання (розподілення різних шарів моделі на кілька пристроїв), ця проблема поступово вирішується.

Децентралізація训练的未来

Наразі модельний масштаб методу децентралізації набагато відстає від передових моделей (за даними GPT-4, кількість параметрів досягає приблизно одного трильйона, що в 100 разів більше, ніж модель Prime Intellect з 10 мільярдами параметрів). Для досягнення справжнього масштабування нам потрібно зробити значні прориви в проектуванні архітектури моделі, мережевій інфраструктурі та стратегії розподілу завдань.

Але ми можемо сміливо уявити: у майбутньому навчання Децентралізація може об'єднати навіть більше обчислювальної потужності GPU, ніж найбільші централізовані центри обробки даних.

Pluralis Research (команда, яка дійсно варта підписатися в області Децентралізація навчання) вважає, що це не лише можливо, але й необхідно. Централізовані центри даних обмежені фізичними умовами, такими як простір та постачання електроенергії, тоді як Децентралізація мережі може використовувати практично нескінченні ресурси у всьому світі.

Навіть Дженсен Хуанг від NVIDIA зазначив, що асинхронне навчання може бути ключем до розкриття потенціалу розширення штучного інтелекту. Крім того, розподілені мережі навчання мають більш високу стійкість до помилок.

Таким чином, в одній з можливих майбутніх перспектив, найпотужніші моделі штучного інтелекту в світі будуть навчатися способом Децентралізація.

Ця перспектива захоплює, але наразі я все ще залишаюся обережним. Нам потрібні більш переконливі докази, щоб підтвердити, що тренування моделей великої масштабу Децентралізація технічно та економічно можливе.

Я вважаю, що найкращими сценаріями застосування для навчання Децентралізація можуть бути менші, спеціалізовані моделі Відкритий вихідний код, які призначені для конкретних сценаріїв застосування, а не для конкуренції з великими передовими моделями, спрямованими на AGI. Деякі архітектури, зокрема не трансформаторні моделі, вже довели, що вони дуже підходять для середовища Децентралізація.

Крім того, механізм стимулювання токенів також стане важливою складовою майбутнього. Якщо Децентралізація навчання стане можливим на великій шкалі, токени зможуть ефективно стимулювати та винагороджувати учасників, тим самим сприяючи розвитку цих мереж.

Незважаючи на довгий шлях, поточні досягнення є дуже обнадійливими. Прориви у навчанні Децентралізація не тільки полегшать мережу Децентралізація, але також відкриють нові можливості для великих технологічних компаній та провідних лабораторій штучного інтелекту...

1.3 Децентралізація розуміння

Наразі більшість обчислювальних ресурсів штучного інтелекту зосереджена на тренуванні великих моделей. Топові лабораторії зі штучного інтелекту знаходяться у змагальній гонці, метою якої є розробка найпотужнішої базової моделі та нарешті досягнення AGI.

Але я вважаю, що ця концентрація обчислювальних ресурсів на навчанні поступово перейде до мислення в майбутні роки. З розвитком технології штучного інтелекту, яка все більше впроваджується в наші повсякденні застосунки - від охорони здоров'я до розважальної індустрії - зростатиме потреба в величезних обчислювальних ресурсах для підтримки мислення.

Цей тренд не виник з порожнечі. Масштабування обчислень під час випробування (Inference-time Compute Scaling) вже стало популярною темою у сфері штучного інтелекту. Недавно OpenAI випустила прев'ю/міні-версію своєї найновішої моделі o1 (кодове ім'я: Strawberry), яка відрізняється особливістю «думати часу». Конкретно, вона аналізує, які кроки потрібно вжити, щоб відповісти на питання, і поступово реалізовує ці кроки.

Ця модель призначена для більш складних завдань з планування, таких як вирішення кросвордів, і може обробляти завдання, які потребують Глибина міркування. Хоча вона працює повільніше, результати є більш детальними й обдуманими. Однак такий дизайн також призводить до високих витрат на обчислення, витрати на міркування у 25 разів перевищують GPT-4.

З цього тренду видно, що наступний стрибок продуктивності AI залежатиме не тільки від навчання більших моделей, але й від розширення обчислювальної потужності на етапі розуміння.

Якщо ви хочете дізнатися більше, дослідження вже показали декілька фактів:

· Завдяки повторному вибірковому розширенню обчислень міркування можна отримати значне поліпшення продуктивності в багатьох завданнях.

· В етапі розумового виведення також дотримуються закону масштабування з експоненційним зростанням.

Як тільки потужні моделі штучного інтелекту завершать навчання, їх інференційні завдання (тобто фактична етап застосування) можуть бути відвантажені в обчислювальну мережу Децентралізація. Цей підхід дуже привабливий з наступних причин:

· Вимоги до ресурсів для міркування відмінно від вимог до навчання. Після завершення навчання модель може бути стиснута та оптимізована за допомогою квантифікації, відсічення або дистиляції. Навіть можна розбити модель за допомогою паралельного тензору або паралельного конвеєра, щоб вона працювала на звичайних пристроях для споживачів. Для міркування не потрібно використовувати високопродуктивні GPU.

· Ця тенденція уже починає проявлятися. Наприклад, Exo Labs вже знайшла спосіб запустити модель Llama3 з 450 мільярдами параметрів на споживчому обладнанні, такому як MacBook і Mac Mini. Шляхом розподілу завдань між кількома пристроями, навіть великі обчислювальні потреби можна ефективно та недорого задовольнити.

· Кращий досвід користувача: розгортання обчислювальної потужності ближче до користувача може суттєво знизити Падіннязатримка, що є вкрай важливим для реального часу застосунків, таких як ігри, доповнена реальність (AR) або автономні автомобілі — в цих сценаріях кожна мілісекунда затримки може призвести до різного використання.

Ми можемо порівняти Децентралізація з розумінням штучного інтелекту (AI) CDN (мережа розподілу контенту). Традиційні CDN прискорюють передачу вмісту веб-сайту, підключаючись до найближчих серверів, тоді як Децентралізація використовує місцеві обчислювальні ресурси для швидкої генерації відповіді AI. Таким чином, додатки з штучним інтелектом стають ефективнішими, відповіді швидшими й надійнішими.

Цей тренд вже почав проявлятися. Новий чіп M4 Pro від Apple вже майже дорівнює NVIDIA RTX 3070 Ti - колишньому високопродуктивному GPU, який колись був ексклюзивним для важких геймерів. І зараз наше щоденне обладнання стає все більш здатним обробляти складні робочі навантаження зі штучним інтелектом.

Значуща вартість криптовалюти

Щоб зробити Децентралізація розумової мережі дійсно успішною, необхідно забезпечити достатньо привабливі економічні стимули для учасників. Вузли обчислення в мережі Нода повинні отримувати справедливу компенсацію за свій внесок до обчислювальних можливостей, а система повинна також гарантувати справедливість та ефективність розподілу винагород. Крім того, географічне розмаїття також є дуже важливим. Воно не тільки зменшує затримку обчислювальних завдань, але й підвищує стійкість мережі, посилюючи загальну стійкість.

Так яким є найкращим способом створення мережі Децентралізація? Відповідь - Криптоактиви.

TOKEN - це потужний інструмент, який може об'єднати інтереси всіх учасників, забезпечуючи, що кожен працює на спільну мету: збільшення масштабів мережі та підвищення вартості TOKEN.

Крім того, токени можуть значно прискорити розвиток мережі. Вони допомагають вирішити багато класичних проблем, з якими стикаються мережі на ранніх стадіях свого розвитку, таких як класичне питання «що було раніше: курка чи яйце». Шляхом винагородження ранніх приймачів, токени можуть забезпечити залучення більшої кількості людей до будівництва мережі з самого початку.

Успіх BTC та Ethereum довів ефективність цього механізму – вони накопичили найбільший пул обчислювальних потужностей на планеті.

Децентралізація мережі розуміння стане наступним спадкоємцем. Через географічну різноманітність ці мережі можуть зменшити затримку, підвищити стійкість до помилок та наблизити послуги штучного інтелекту до користувачів. А завдяки механізму стимулювання, що працює за допомогою криптовалюти, швидкість та ефективність розширення мережі Децентралізація буде далеко перевершувати традиційні мережі.

Віддана шана

Тень Ян

У наступних статтях ми детально розглянемо мережі даних та дослідимо, як вони допомагають подолати проблему обмеження даних у штучному інтелекті.

Заява про відповідальність

Цей текст надається лише для освітніх цілей і не складає жодних фінансових порад. Це не є підтримкою активів або фінансових рішень. Під час вибору інвестицій обов'язково робіть власне дослідження та залишайтеся обережними.

Посилання на оригінал

：

Застереження: інформація на цій сторінці може походити зі сторонніх джерел і надається виключно для ознайомлення. Вона не відображає позицію чи думку Gate і не є фінансовою, інвестиційною чи юридичною консультацією. Торгівля віртуальними активами пов’язана з високим ризиком. Будь ласка, не покладайтеся лише на інформацію з цієї сторінки під час прийняття рішень. Детальніше дивіться у Застереженні.

Прокоментувати

0/400

Немає коментарів