Наша крипто-тезисная работа по искусственному интеллекту (часть II): децентрализованное вычисление - король

Автор оригинала: Teng Yan, исследователь шифрования

Исходный текст: DeepTechFlow

Доброе утро! Он наконец-то пришел.

Содержание нашей статьи довольно обширное, и чтобы сделать его более понятным (и избежать превышения ограничений по размеру почтовых служб), я решил разделить его на несколько частей и постепенно делиться ими в течение следующего месяца. Итак, погнали!

Одна огромная потеря, которую я никак не могу забыть.

Это дело до сих пор держит меня в раздумьях, потому что это явно была возможность, которую мог видеть любой человек на рынке, но я ее упустил, не вложив ни копейки.

Нет, это не убийца Solana, и это не memecoin с собакой в смешной шляпе.

Так и есть...... NVIDIA。

NVDA курс акций с начала года. Источник: Google

Только за год рыночная капитализация NVIDIA выросла с 1 триллиона долларов до 3 триллионов долларов, акции утроились, и даже превзошли BTC за тот же период.

Конечно, часть этого обусловлена волной интереса к искусственному интеллекту. Но самое важное - это рост, основанный на прочных основаниях реальности. Доходы NVIDIA в финансовом году 2024 достигли 60 миллиардов долларов, что на 126% больше, чем в 2023 году. За этим потрясающим ростом стоит глобальная гонка технологических гигантов за приобретением GPU для того, чтобы занять лидирующее положение в гонке вооружений в области искусственного общего интеллекта (AGI).

Почему я упустил?

В течение последних двух лет я полностью сосредоточился на сфере Криптоактивы и не следил за развитием в области искусственного интеллекта. Это была огромная ошибка, и до сих пор я сожалею об этом.

Но на этот раз я больше не сделаю ту же ошибку.

Сегодняшний Crypto AI дает мне ощущение дежавю.

Мы находимся на пороге взрывного инновационного прорыва. Он поразительно похож на золотую лихорадку середины XIX века в Калифорнии - отрасли и города взлетают за одну ночь, развивается инфраструктура, а рисковавшие люди зарабатывают немало.

Как и ранее у NVIDIA, в будущем станет очевидно, насколько важен Crypto AI при взгляде в прошлое.

Crypto AI: потенциально неограниченные инвестиционные возможности

· Многие до сих пор считают его «воздушным замком».

· Crypto AI находится на ранней стадии, до возможного пика спекуляций еще 1-2 года.

· В этой области есть потенциал роста как минимум на 2300 миллиардов долларов.

Ядро Crypto AI заключается в объединении искусственного интеллекта с шифровальной инфраструктурой. Это позволяет ему развиваться по экспоненциальному росту искусственного интеллекта, а не следовать более общему рынку шифрования. Поэтому, чтобы оставаться на передовой, вам нужно следовать за последними исследованиями в области искусственного интеллекта на Arxiv и общаться с теми основателями, которые верят, что они строят следующее большое событие.

Четыре основных области крипто-ИИ

Во второй части моей работы я сосредоточусь на анализе четырех наиболее перспективных подразделений Crypto AI:

1.Децентрализация вычислений: обучение модели, вывод и рынок торговли GPU

2.сеть данных

3. Проверяемый ИИ

4. AI агент, работающий в блокчейне

Эта статья является результатом нескольких недель глубокого изучения и общения с основателями и командой в области Crypto AI. Она не представляет собой детального анализа каждой области, а является высокоуровневой дорожной картой, направленной на то, чтобы разжечь ваше любопытство, помочь оптимизировать вашу направленность и направить ваши инвестиционные решения.

Экосистема Crypto AI

Я представляю экосистему Децентрализация AI как иерархическую структуру, начиная от расчетов Децентрализация и открытых сетей данных, которые обеспечивают основу для обучения моделей Децентрализация AI, в одном конце.

Все входы и выходы рассуждений проверяются с использованием криптографии, экономического стимулирования шифрования и оценки сети. Проверенные результаты направляются в блокчейне самостоятельно работающего интеллектуального агента ИИ и доверенных пользовательских и корпоративных приложений ИИ.

Сеть координации соединяет весь экосистему, обеспечивая беспрепятственное общение и сотрудничество.

В этом видении любая команда, занимающаяся разработкой искусственного интеллекта, может подключить один или несколько уровней экосистемы в соответствии со своими потребностями. Независимо от того, используется ли Децентрализация вычислений для обучения моделей или сети оценки для обеспечения высококачественного вывода, эта экосистема предоставляет разнообразные варианты.

Благодаря комбинируемости блокчейна, я верю, что мы движемся в сторону модульного будущего. Каждый уровень будет высоко специализированным, Протокол будет оптимизирован для конкретных функций, а не использовать интегрированное решение.

В последние годы на каждом уровне стека технологий Децентрализации искусственного интеллекта возникло множество стартапов, что привело к росту, напоминающему кембрийский взрыв. Большинство из этих компаний были основаны всего 1-3 года назад, что свидетельствует о том, что мы все еще находимся на ранней стадии этой отрасли.

В экосистеме Crypto AI стартапов, которую я видел, самая полная и актуальная версия поддерживается Кейси и ее командой из topology.vc. Это необходимый ресурс для любого, кто хочет отслеживать развитие этой области.

Когда я углубляюсь в изучение различных подобластей Crypto AI, я всегда задаюсь вопросом: насколько велики здесь возможности? Я следую не за небольшими рынками, а за теми, которые могут расшириться до сотни миллиардов долларов.

1. Размер рынка

При оценке рыночного масштаба я спрашиваю себя: это подразделение создало новый рынок или разрушает существующий рынок?

На примере Децентрализация можно увидеть, что это типичная область дисруптивных технологий. Мы можем оценить её потенциал, исходя из текущего рынка облачных вычислений. На сегодняшний день оценивается, что рынок облачных вычислений составляет около 680 млрд долларов, а к 2032 году ожидается достижение отметки в 25 трлн долларов.

В то же время новые рынки, такие как AI-агенты, более сложно квантифицировать. Из-за отсутствия исторических данных мы можем только оценивать их способность решать проблемы на основе интуитивного суждения и разумных предположений. Однако стоит быть осторожными, поскольку иногда продукты, кажущиеся новым рынком, на самом деле могут быть всего лишь результатом поиска решений для проблемы.

2. Время

Время - ключ к успеху. Хотя технологии обычно постепенно улучшаются и становятся дешевле с течением времени, скорость прогресса в различных областях сильно различается.

В определенной сфере, насколько зрелы технологии? Являются ли они достаточно зрелыми для масштабного применения? Или они все еще находятся в стадии исследований и требуют нескольких лет для практического применения? Время определяет, стоит ли вложиться в эту область и следовать за ней сейчас, или лучше наблюдать.

На примере полностью гомоморфного шифрования (Fully Homomorphic Encryption, FHE) его потенциал неоспорим, но текущая производительность технологии все еще слишком медленная, чтобы реализовать масштабное применение. Мы можем потребовать еще несколько лет, чтобы увидеть его на рынке. Поэтому я предпочитаю следовать технологиям, которые уже близки к масштабному применению, и сосредотачивать свое время и энергию на возможностях, которые набирают обороты.

Если нарисовать эти подобласти на графике «размер рынка по сравнению с возможностью», то может получиться такая компоновка. Следует отметить, что это всего лишь концептуальный набросок, а не строгий план. Внутри каждой области также существует сложность — например, в верифицируемом выводе различные методы (такие как zkML и opML) находятся на разных этапах технической зрелости.

Тем не менее, я уверен, что масштаб будущего искусственного интеллекта будет чрезвычайно велик. Даже области, которые сегодня кажутся «маленькими», могут в будущем стать важным рынком.

В то же время, мы также должны понимать, что технический прогресс не всегда является линейным развитием - он часто движется скачками вперед. Когда появляются новые технологические прорывы, мое мнение о рыночных возможностях и масштабе также будет корректироваться.

На основе вышеупомянутой структуры, мы будем пошагово разбирать каждую подобласть Crypto AI, исследуя их потенциал развития и инвестиционные возможности.

Область 1: Децентрализация вычислений

Резюме

· Децентрализация вычислений является основой всей Децентрализация AI.

· Рынок GPU, децентрализованное обучение и децентрализованное вывод тесно связаны, взаимодействуют друг с другом.

· Поставщиками являются в основном малые и средние центры обработки данных и устройства GPU обычных потребителей.

· В настоящее время спрос относительно небольшой, но растет, главным образом, включает в себя пользователей, чувствительных к цене и не требующих задержек, а также некоторые небольшие стартапы в области искусственного интеллекта.

· Ключевым вызовом, с которым сталкивается текущий рынок Web3 GPU, является то, как обеспечить эффективную работу этих сетей.

· Для координации использования GPU в сети Децентрализация требуется передовая инженерная техника и надежная архитектура сети.

1.1 Рынок GPU / Вычислительные сети

В настоящее время некоторые команды Crypto AI строят GPU-сети Децентрализация, чтобы использовать недостаточно используемый глобальный пул вычислительных ресурсов для борьбы с ситуацией, когда спрос на GPU значительно превышает предложение.

Основная ценность рынка графических процессоров может быть суммирована в следующих трех аспектах:

Стоимость вычислений может быть на 90% ниже, чем у AWS. Это низкая стоимость обусловлена двумя факторами: отсутствием посредников и открытостью поставщиков. Эти рынки позволяют пользователям получить доступ к вычислительным ресурсам с самой низкой маржинальной стоимостью в мире.

1. Не требуется заключение долгосрочного контракта, отсутствует проверка личности (KYC), не нужно ждать одобрения.

2. Способность к противодействию проверке

3. Чтобы решить проблему предложения на рынке, эти рынки получают вычислительные ресурсы из следующих источников:

· Корпоративные GPU: такие как A100 и H100, высокопроизводительные GPU, которые обычно поставляются от небольших дата-центров (которым трудно найти достаточно клиентов, чтобы они могли работать независимо) или от BTC Майнеров, которые хотят диверсифицировать свои источники дохода. Кроме того, некоторые команды используют крупные проекты государственного финансирования, которые строятся в качестве части технологического развития, и которые включают в себя большое количество дата-центров. Эти поставщики обычно стимулируются продолжать подключать GPU к сети, чтобы помочь компенсировать стоимость износа оборудования.

· Потребительский GPU: Миллионы игроков и домашних пользователей подключают свои компьютеры к сети и получают доход в виде награды TOKEN.

В настоящее время основными категориями пользователей, которые нуждаются в децентрализации вычислений, являются:

1. Для пользователей, которые чувствительны к цене и не требуют высокой задержки: например, исследователи с ограниченным бюджетом, независимые разработчики ИИ и т. д. Они предпочитают следовать за издержками, а не за способностью обработки в реальном времени. Из-за ограничений бюджета им часто трудно позволить себе высокие расходы на традиционных облачных гигантов (такие как AWS или Azure). Точная маркетинговая стратегия для этой группы пользователей крайне важна.

2. Небольшие стартапы по искусственному интеллекту: Этим компаниям требуются гибкие и масштабируемые вычислительные ресурсы, но они не хотят заключать долгосрочные контракты с крупными облачными сервис-провайдерами. Привлечение этой группы требует укрепления бизнес-сотрудничества, поскольку они активно ищут альтернативные решения вне традиционного облачного вычисления.

3. Криптовалютные ИИ-стартапы: Эти компании разрабатывают продукты по Децентрализация искусственного интеллекта, но, если у них нет собственных вычислительных ресурсов, им приходится полагаться на эти Децентрализация сети.

4. Облачные игры: Хотя они не имеют непосредственной связи с искусственным интеллектом, но спрос на ресурсы GPU в облачных играх растет быстро.

Один важный момент, который следует запомнить, - разработчики всегда приоритетно учитывают стоимость и надежность.

Настоящий вызов: спрос, а не предложение

Многие стартапы считают масштаб поставки GPU в сеть признаком успеха, но на самом деле это всего лишь "показатель тщеславия".

Настоящим узким местом является спрос, а не предложение. Ключевым показателем успешности является не количество GPU в сети, а эффективность использования GPU и фактическое количество арендованных GPU.

Механизм поощрения TOKEN очень эффективен в привлечении ресурсов к сети, но он не может напрямую решить проблему нехватки спроса. Подлинное испытание заключается в том, насколько хорошо продукт будет отполирован, чтобы вызвать потенциальный спрос.

Как сказал Хасиб Куреши (из Dragonfly), в этом и заключается суть.

Запустите вычислительную сеть на полную мощность

В настоящее время главной проблемой рынка распределенных графических процессоров Web3 является то, как действительно эффективно запустить эту сеть.

Это не такое уж простое дело.

Координация GPU в распределенной сети - это крайне сложная задача, которая включает в себя несколько технических сложностей, таких как распределение ресурсов, динамическое масштабирование рабочей нагрузки, балансировка нагрузки Узла и GPU, управление задержкой, передача данных, отказоустойчивость, а также обработка разнообразных аппаратных средств, распределенных по всему миру. Эти проблемы накладываются друг на друга, представляя собой огромные инженерные вызовы.

Для решения этих проблем необходимы надежные инженерно-технические навыки и хорошо спроектированная сетевая архитектура.

Для лучшего понимания этого можно обратиться к системе Kubernetes от Google. Kubernetes широко признан золотым стандартом в области контейнерного планирования, автоматизируя задачи, такие как балансировка нагрузки и масштабирование в распределенной среде, что очень похоже на вызовы, стоящие перед распределенной сетью GPU. Следует отметить, что Kubernetes основан на более чем десятилетнем опыте Google в области распределенных вычислений и даже с этим ушло несколько лет постоянных итераций, чтобы довести его до совершенства.

В настоящее время некоторые рынки вычислений GPU, которые уже вышли на рынок, могут обрабатывать небольшие рабочие нагрузки, но как только попытаться масштабировать их до более крупных масштабов, проблемы начнут проявляться. Это может быть связано с фундаментальными дефектами их архитектурного проектирования.

Проблема доверия: вызовы и возможности

Другая важная проблема, которую необходимо решить в Децентрализация вычислительной сети, - это как обеспечить доверенность Узел, то есть как проверить, действительно ли каждый Узел предоставляет заявленные им вычислительные возможности. В настоящее время этот процесс проверки в основном зависит от репутационной системы сети, иногда поставщики вычислений ранжируются в соответствии с оценками репутации. Технология блокчейн имеет естественные преимущества в этой области, поскольку она способна обеспечить механизм проверки без необходимости доверия. Некоторые стартапы, такие как Gensyn и Spheron, в настоящее время исследуют методы решения этой проблемы без необходимости доверия.

В настоящее время многие команды Web3 все еще борются с этими вызовами, что также означает, что возможности в этой области остаются очень широкими.

Размер рынка вычислений децентрализованной сети

Так что, насколько велик рынок Децентрализации вычислительных сетей?

В настоящее время он может занимать лишь крайне малую долю всемирного рынка облачных вычислений (оцениваемого в 6,8 триллиона до 25 триллионов долларов). Тем не менее, если стоимость вычислений в Децентрализация окажется ниже, чем у традиционных поставщиков облачных услуг, спрос обязательно будет существовать, даже если это повлечет за собой некоторые дополнительные трения в пользовательском опыте.

Я считаю, что в краткосрочной и среднесрочной перспективе стоимость вычислений в Децентрализация останется на относительно низком уровне. Это в основном благодаря двум аспектам: первый - это TOKEN субсидии, второй - разблокировка предложения от пользователей, которые не чувствительны к ценам. Например, если бы я мог сдавать в аренду свой игровой ноутбук и зарабатывать дополнительный доход, мне было бы все равно, будь то 20 долларов в месяц или 50 долларов, я был бы доволен.

Реальный потенциал роста децентрализованной вычислительной сети и значительное расширение ее рыночного масштаба будут зависеть от нескольких ключевых факторов:

1. Возможность децентрализации обучения моделей искусственного интеллекта: Когда сеть Децентрализация сможет поддерживать обучение моделей искусственного интеллекта, это приведет к огромному спросу на рынке.

2. Взрыв спроса на рассуждение: Поскольку спрос на рассуждение ИИ стремительно растет, существующие центры обработки данных могут быть не в состоянии удовлетворить этот спрос. Фактически, этот тренд уже начал проявляться. Дженсен Хуанг из NVIDIA заявил, что спрос на рассуждение увеличится в "десять миллиардов раз".

3. Введение протоколов уровня обслуживания (SLAs): В настоящее время вычисления Децентрализация в основном предоставляются по принципу «постараться сделать все возможное», что может привести к неопределенности качества обслуживания (например, нормальное время работы). С помощью SLAs эти сети могут предоставлять стандартные показатели надежности и производительности, что позволяет преодолеть ключевые препятствия, с которыми сталкиваются предприятия и сделать вычисления Децентрализация жизнеспособной альтернативой традиционного облачного вычисления.

Децентрализация、бесразрешительные вычисления - это один из основных уровней экосистемы Децентрализации и одна из ее самых важных инфраструктур.

Несмотря на то, что блокчейн поставок, такие как GPU и другие аппаратные средства, продолжают развиваться, я верю, что мы все еще находимся в ранней стадии «эпохи искусственного интеллекта». В будущем потребность в вычислительной мощности будет безграничной.

Please следовать может вызвать критический переломный момент в переоценке рынка графических процессоров – и этот переломный момент может наступить в ближайшее время.

Другие замечания：

· Рынок чистых GPU очень конкурентен, и он сталкивается не только с соперничеством платформ Децентрализация, но и с мощным восхождением новых облачных платформ Web2 AI (например, Vast.ai и Lambda).

· Маленький узел (например, 4 карты H100 GPU) имеет ограниченное применение и не имеет большого спроса на рынке. Однако, если вы хотите найти поставщика для продажи большого кластера, это почти невозможно, потому что спрос на них все еще очень высокий.

· Будет ли предложение вычислительных ресурсов ДецентрализацияПротокола интегрировано каким-то доминирующим игроком, или останется разбросанным по нескольким рынкам? Я склоняюсь к первому варианту и считаю, что в конечном итоге результат будет иметь степенное распределение, поскольку интеграция обычно повышает эффективность инфраструктуры. Конечно, этот процесс займет время, и в это время разнообразие и хаос на рынке будут продолжаться.

Разработчики предпочитают сосредоточиться на создании приложений, а не тратить время на решение проблем с развертыванием и настройкой. Поэтому рынок вычислений нуждается в упрощении этих сложностей и минимизации трения пользователей при получении вычислительных ресурсов.

1.2 Децентрализация обучения

Обзор

· Если действует закон масштабирования, то в будущем физическое обучение передовых ИИ-моделей следующего поколения в одном центре обработки данных станет невозможным.

Обучение модели искусственного интеллекта требует большого объема передачи данных между GPU, а скорость межсетевого соединения распределенной сети GPU обычно является главным техническим препятствием.

· Исследователи ищут различные решения и достигают прорывов (например, Open DiLoCo и DisTrO). Эти технологические инновации будут иметь кумулятивный эффект и ускорят развитие децентрализации обучения.

· Будущее обучения децентрализации, возможно, будет сконцентрировано больше на небольших специализированных моделях, разработанных для конкретных областей, а не на передовых моделях AGI.

· С распространением моделей, таких как o1 от OpenAI, спрос на вывод будет расти взрывными темпами, что также создает огромные возможности для децентрализации инференционных сетей.

Представьте: огромная, изменяющая мир модель искусственного интеллекта, которая не разрабатывается в секретных лабораториях, а создается миллионами обычных людей. Геймерские GPU больше не используются только для создания потрясающей графики в Call of Duty, а используются для поддержки более грандиозных целей - модели искусственного интеллекта, которая открыта и принадлежит коллективно, без централизованных контролеров.

В таком будущем базовые масштабные модели искусственного интеллекта больше не будут прерогативой только передовых лабораторий, а станут результатом участия всего общества.

Однако, возвращаясь к реальности, большая часть весомого обучения ИИ по-прежнему сосредоточена в централизованных центрах данных, и эта тенденция, вероятно, не изменится в ближайшее время.

Компании, такие как OpenAI, продолжают расширять масштаб своего огромного кластера GPU. Илон Маск недавно раскрыл, что xAI скоро завершит строительство центра обработки данных, общее количество GPU в котором будет эквивалентно 20 тысячам H100.

Однако проблема не только в количестве GPU. Google в статье PaLM 2022 года предложил ключевой показатель - утилизацию FLOPS модели (Model FLOPS Utilization, MFU), который используется для измерения фактической эффективности максимальной вычислительной мощности GPU. Удивительно, что эта утилизация обычно составляет всего 35-40%.

Почему так низко? Несмотря на быстрый рост производительности GPU в соответствии с законом Мура, улучшение сетевого, памятного и хранилищного оборудования значительно отстает, что приводит к значительным ограничениям. В результате GPU часто находятся в режиме ожидания завершения передачи данных.

В настоящее время основная причина высокой централизации обучения искусственного интеллекта заключается в одном - эффективности.

Обучение больших моделей зависит от следующих ключевых технологий:

· Параллельная обработка данных: Разделение набора данных на несколько графических процессоров для параллельной обработки и ускорения процесса обучения.

· Параллельная модель: разделение различных частей модели на несколько GPU для преодоления ограничений памяти.

Эти технологии требуют частого обмена данными между GPU, поэтому скорость взаимодействия (т. е. скорость передачи данных в сети) крайне важна.

Когда стоимость обучения модели ИИ может достигать 1 миллиарда долларов, каждое увеличение эффективности имеет огромное значение.

Централизованный центр обработки данных благодаря своим технологиям высокоскоростного взаимодействия может обеспечить быстрый обмен данными между GPU, что значительно сокращает затраты на обучение. Это то, что сети Децентрализация пока не могут превзойти... по крайней мере, пока что.

Преодоление медленной скорости взаимодействия

Если вы общаетесь с представителями AI, многие, возможно, скажут, что обучение в Децентрализация не работает.

В архитектуре Децентрализация, кластеры GPU не находятся в одном физическом месте, что приводит к медленной скорости передачи данных между ними, что является основным узким местом. В процессе обучения GPU должны синхронизировать и обмениваться данными на каждом шаге. Чем дальше, тем выше задержка. Более высокая задержка означает более медленную скорость обучения и увеличение затрат.

Задача обучения, которая занимает всего несколько дней в централизованном центре обработки данных, может занять две недели в среде Децентрализация и обойдется дороже. Это явно не является выполнимым.

Однако это начинает меняться.

Вдохновляющим является то, что интенсивность исследований распределенного обучения быстро Подъем. Исследователи одновременно исследуют из различных направлений, и недавно появившиеся множество научных результатов и статей являются подтверждением этому. Этот технологический прогресс будет иметь кумулятивный эффект и ускорит развитие Децентрализация обучения.

Кроме того, важно проводить тестирование в реальной производственной среде, которое может помочь нам преодолеть существующие технологические границы.

В настоящее время некоторые технологии обучения Децентрализация уже способны обрабатывать модели малого масштаба в условиях низкоскоростной взаимосвязи. В то же время передовые исследования направлены на расширение этих методов на более масштабные модели.

· Например, в статье Prime Intellect 'Open DiCoLo' предложен практический метод: путем разделения GPU на «острова», каждый из которых выполняет 500 локальных вычислений перед синхронизацией, достигается падение потребности в пропускной способности до 1/500. Эта технология изначально была исследованием Google DeepMind для небольших моделей, теперь она успешно расширена для обучения модели с 100 миллиардами параметров и полностью открыта исходный код в последнее время.

Фреймворк DisTrO от Nous Research еще дальше продвинулся, сократив потребность в коммуникации между GPU до 10 000 раз с помощью оптимизатора, одновременно успешно обучив модель с 12 миллиардами параметров.

· Этот тренд продолжается. Недавно компания Nous объявила, что они завершили предварительное обучение модели с 150 миллиардами параметров, их кривая потерь и скорость сходимости даже превзошли производительность традиционного централизованного обучения.

(детали твита)

Кроме того, методы, такие как SWARM Parallelism и DTFMHE, также исследуют, как тренировать сверхмасштабные AI-модели на разных типах устройств, даже если их скорость и условия подключения различны.

Еще одной проблемой является управление разнообразным аппаратным обеспечением GPU, особенно распространенными в потребительских сетях GPU с ограниченной памятью. Эта проблема постепенно решается с помощью технологии параллельного моделирования (распределение различных слоев модели на несколько устройств).

Будущее обучения Децентрализация

В настоящее время модельный масштаб методов Децентрализация обучения все еще значительно отстает от передовых моделей (по сообщениям, объем параметров GPT-4 приближается к одному триллиону, что в 100 раз больше, чем 10 миллиардов параметров модели Prime Intellect). Для реализации истинного масштабирования нам нужно добиться значительного прорыва в проектировании архитектуры модели, сетевой инфраструктуре и стратегии распределения задач.

Но мы можем смело предположить: в будущем, Децентрализация обучения, возможно, сможет объединить больше вычислительных мощностей GPU, чем самый крупный централизованный центр данных.

Команда Pluralis Research (которая заслуживает следовать в области децентрализации) считает, что это не только возможно, но и неизбежно. Централизованные центры обработки данных ограничены физическими условиями, такими как пространство и энергоснабжение, в то время как децентрализованные сети могут использовать практически неограниченные ресурсы по всему миру.

Даже Дженсен Хуан из NVIDIA упомянул, что асинхронное Децентрализация обучение может быть ключом к раскрытию потенциала AI. Кроме того, распределенные сети обучения имеют более высокую отказоустойчивость.

Таким образом, в одной из возможных будущих сценариев самая мощная модель искусственного интеллекта в мире будет обучаться с использованием Децентрализация.

Эта перспектива вдохновляет, но пока я сохраняю сдержанность. Нам нужно больше убедительных доказательств, чтобы показать, что обучение моделей сверхбольшого масштаба в рамках Децентрализация технически и экономически возможно.

Я считаю, что лучшая область применения Децентрализация обучения, возможно, в малых, специализированных моделях с Открытый исходный код, которые разработаны для конкретных сценариев использования, а не для конкуренции с крупными фронтовыми моделями, нацеленными на AGI. Некоторые архитектуры, особенно не Трансформерные модели, уже доказали свою приспособленность к среде Децентрализация.

Кроме того, механизм поощрения токенов будет важной частью в будущем. Как только Децентрализация обучения станет жизнеспособной в масштабах, токен может эффективно поощрять и вознаграждать участников, тем самым стимулируя развитие этих сетей.

Несмотря на долгий путь, текущие достижения вдохновляют. Прорыв в обучении Децентрализация не только принесет пользу Децентрализация сети, но также откроет новые возможности для крупных технологических компаний и ведущих лабораторий искусственного интеллекта...

1.3 Децентрализация推理

В настоящее время большинство вычислительных ресурсов искусственного интеллекта сосредоточены на обучении крупных моделей. Между ведущими лабораториями искусственного интеллекта ведется гонка вооружений с целью разработки самой мощной базовой модели и в конечном итоге достижения AGI.

Однако я считаю, что вложения в централизованные вычислительные ресурсы для обучения будут постепенно переходить к выводу в ближайшие годы. С развитием технологий искусственного интеллекта, которые все больше внедряются в наши повседневные приложения - от медицинского обслуживания до развлекательной индустрии - потребуется огромное количество вычислительных ресурсов для поддержки вывода.

Эта тенденция не появилась из ниоткуда. Масштабирование вычислений во время вывода (Inference-time Compute Scaling) стало популярной темой в области искусственного интеллекта. OpenAI недавно выпустила предварительную версию/мини-версию своей новейшей модели o1 (кодовое имя: Strawberry), которая отличается тем, что она "думает" в течение некоторого времени. Конкретно, она анализирует, какие шаги необходимо предпринять для ответа на вопрос, а затем постепенно выполняет эти шаги.

Эта модель предназначена для более сложных и требующих планирования задач, таких как решение кроссвордов, и способна обрабатывать задачи, требующие глубокого мышления. Хотя она генерирует ответы медленнее, результаты более детальные и продуманные. Однако такая конструкция также имеет высокую операционную стоимость, стоимость рассуждения которой в 25 раз превышает стоимость GPT-4.

Из этой тенденции можно заключить, что следующий скачок в производительности искусственного интеллекта будет зависеть не только от обучения более крупных моделей, но также от расширения вычислительных возможностей на этапе вывода.

Если вы хотите узнать больше, несколько исследований уже доказали:

· Повторное выборочное расширение вычислительного вывода может значительно улучшить производительность во многих задачах.

В фазе расследования также соблюдается закон масштабирования по экспоненте.

Как только мощная модель искусственного интеллекта будет обучена, её задачи рассуждения (то есть фактический этап применения) могут быть выгружены в распределенную вычислительную сеть. Этот подход является очень привлекательным по следующим причинам:

· Требования к ресурсам для рассуждения гораздо ниже, чем для обучения. После завершения обучения модель может быть сжата и оптимизирована с помощью таких техник, как квантование (Quantization), обрезка (Pruning) или дистилляция (Distillation). Модель даже может быть разделена с использованием тензорного параллелизма (Tensor Parallelism) или параллелизма по конвейеру (Pipeline Parallelism), чтобы работать на обычных потребительских устройствах. Для рассуждения не требуется использование высокопроизводительных GPU.

· Этот тренд уже начал проявляться. Например, Exo Labs уже нашли способ запустить модель Llama3 с 450 миллиардами параметров на потребительском оборудовании, таком как MacBook и Mac Mini. За счет распределения задач вывода на нескольких устройствах даже большие вычислительные требования могут быть эффективно и недорого выполнены.

· Улучшенный пользовательский опыт: размещение вычислительных мощностей ближе к пользователям может значительно снизить задержку, что крайне важно для реального времени приложений, таких как игры, дополненная реальность (AR) или автономные автомобили - в этих сценариях каждая миллисекунда задержки может повлиять на пользовательский опыт.

Мы можем рассматривать Децентрализация как CDN (сеть доставки контента) для искусственного интеллекта. Традиционные CDN обеспечивают быструю доставку содержимого веб-сайтов, подключаясь к ближайшим серверам, в то время как Децентрализация использует локальные вычислительные ресурсы для быстрого создания ответов искусственного интеллекта. Таким образом, приложения искусственного интеллекта могут работать более эффективно, реагировать быстрее и быть более надежными.

Этот тренд уже начинает проявляться. Новый чип M4 Pro от Apple, его производительность уже близка к NVIDIA RTX 3070 Ti - это был высокопроизводительный графический процессор, который раньше был эксклюзивно для хардкорных геймеров. И сейчас наше повседневное оборудование становится все более способным обрабатывать сложные рабочие нагрузки искусственного интеллекта.

Предоставление ценности криптовалюты

Чтобы действительно добиться успеха в децентрализации логических сетей, необходимо предоставить участникам достаточно привлекательных экономических стимулов. Вычислительные узлы в сети должны получать разумное вознаграждение за свой вклад в вычислительные мощности, при этом система должна обеспечивать справедливость и эффективность распределения наград. Кроме того, географическое разнообразие также является ключевым фактором. Оно не только может сократить задержки в задачах рассуждения, но и повысить устойчивость сети в целом, улучшая ее общую стабильность.

Итак, каков лучший способ создания сети Децентрализация? Ответ: Криптоактивы.

TOKEN - это мощный инструмент, который способен объединить интересы всех участников, обеспечивая усилия каждого в достижении общей цели: увеличение масштабов сети и повышение стоимости TOKEN.

Кроме того, Token также способствует значительному ускорению роста сети. Они помогают решить множество классических проблем, с которыми сталкиваются сети на ранних этапах развития, таких как «что появилось раньше - курица или яйцо». Путем вознаграждения ранних пользователей Token может с самого начала стимулировать большее количество людей к участию в создании сети.

Успех BTC и Ethereum уже доказал эффективность этого механизма - они уже собрали самый большой пул вычислительной мощности на Земле.

Децентрализация推理网络将是下一个接棒者。通过地理多样性的特性，这些网络能够减少задержка、提升容错能力，并将 AI 服务更贴近用户。而借助Криптовалюта驱动的激励机制，Децентрализация网络的扩展速度和效率将远远超过传统网络。

В честь

Тэн Иэнь

В следующих статьях мы более подробно рассмотрим сети данных и исследуем, как они помогают преодолеть проблему ограничений данных, с которыми сталкивается искусственный интеллект.

Отказ от ответственности

Эта статья предназначена только для образовательных целей и не является финансовым советом. Она не поддерживает покупку или продажу активов или финансовых решений. Пожалуйста, будьте осторожны и самостоятельно исследуйте, прежде чем принимать инвестиционные решения.

Ссылка на оригинал

：