Написано после конференции GTC: Может ли Web3 решить проблему ограниченной вычислительной мощности ИИ?

Автор: Цзо Е

Мода циклична, как и Web 3.

Почти «re» стала публичной сетью искусственного интеллекта. Будучи одним из основателей Transformer, он смог присутствовать на конференции Nvidia GTC и поговорить с одетым в кожу Лао Хуаном о будущем генеративного искусственного интеллекта. Солана успешно трансформировалась в собрание место для io.net, Bittensor и Render Network. Что касается концептуальной цепочки искусственного интеллекта, есть также новые игроки, занимающиеся вычислениями на графических процессорах, такие как Akash, GAIMIN и Gensyn.

Если поднять взгляд, пока цена валюты растет, то можно обнаружить несколько интересных фактов:

1. **Битва за вычислительную мощность графического процессора пришла на децентрализованную платформу. Чем больше вычислительная мощность, тем сильнее вычислительный эффект. ЦП, хранилище и графический процессор связаны друг с другом; **
2. Парадигма вычислений переходит от облачности к децентрализации. За этим стоит изменение спроса от обучения ИИ к рассуждениям. Ончейн-модели больше не являются пустыми разговорами;
3. ** Базовый состав программного и аппаратного обеспечения, а также логика работы архитектуры Интернета фундаментально не изменились, а уровень децентрализованных вычислительных мощностей играет большую роль в стимулировании сетей. **

Давайте сначала проведем концептуальное различие. Мощь облачных вычислений в мире Web3 зародилась в эпоху облачного майнинга. Это относится к упаковке и продаже вычислительной мощности майнинговых машин, что исключает огромные расходы пользователей на покупку майнинговых машин. Однако вычисления производители электроэнергии часто «перепродают», например, смешивание и продажа вычислительной мощности 100 майнинговых машин 105 людям с целью получения сверхприбыли в конечном итоге делает этот термин эквивалентным лжи.

Вопрос здесь в том, является ли платформа децентрализованных вычислительных мощностей внешней марионеткой поставщика облачных вычислений или обновлением следующей версии.

Интеграция между традиционными поставщиками облачных услуг и блокчейном глубже, чем мы предполагали. Например, узлы общедоступной сети, разработка и ежедневное хранилище будут в основном вращаться вокруг AWS, Alibaba Cloud и Huawei Cloud, что устраняет дорогостоящие инвестиции в приобретение физического оборудования. Однако проблемы В крайних случаях отключение сетевого кабеля приведет к выходу из строя общедоступной сети, что серьезно нарушает дух децентрализации.

С другой стороны, децентрализованные вычислительные платформы либо напрямую создают «компьютерные залы» для поддержания стабильности сети, либо напрямую создают сети стимулирования, такие как стратегия airdrop IO.NET для увеличения количества графических процессоров и хранилище Filecoin для отправки токенов FIL. Одним из свидетельств является то, что крупные производители, частные лица или академические учреждения редко используют их для обучения, рассуждений или графического рендеринга ML, что приводит к серьезной трате ресурсов.

**Просто перед лицом растущих цен на валюту и настроений FOMO все обвинения в том, что децентрализованные вычислительные мощности — это мошенничество с облачными вычислениями, исчезли. **

Имеют ли два типа вычислительной мощности одно и то же имя и удачу?

Выводы и FLOPS, количественная оценка вычислительной мощности графического процессора

**Требования к вычислительной мощности моделей ИИ меняются от обучения к выводу. **

Давайте возьмем Sora от OpenAI в качестве примера. Хотя он также производится на основе технологии Transformer, размер его параметров сравнивается с триллионами GPT-4. Академические круги предполагают, что он ниже сотен миллиардов. Ян Ликунь даже сказал, что это всего 3 миллиарда, то есть обучение. Стоимость низкая, что тоже очень легко понять. Вычислительные ресурсы, необходимые для небольшого количества параметров, также пропорционально уменьшены.

Но, в свою очередь, Соре могут потребоваться более сильные способности «рассуждения». Рассуждение можно понимать как способность создавать конкретные видеоролики в соответствии с инструкциями. Видео уже давно считается творческим контентом, поэтому они требуют более сильных способностей понимания ИИ, а обучение относительно просто. Это можно понимать как обобщение правил на основе существующего контента, объединение вычислительных мощностей без участия мозгов и усердную работу над созданием чудес.

Раньше вычислительная мощность ИИ в основном использовалась для обучения, а небольшая часть использовалась для рассуждений и в основном покрывалась различными продуктами NVIDIA. Однако после появления Groq LPU (Language Processing Unit) ситуация начала меняться. и улучшенные способности к рассуждению, наложение больших моделей для уменьшения веса и повышения точности, а также умение рассуждать логически, постепенно становятся мейнстримом.

Кроме того, хотелось бы добавить классификацию графических процессоров.Часто можно увидеть, что именно те, кто играет в игры, спасают ИИ.Что имеет смысл, так это то, что высокий спрос на высокопроизводительные графические процессоры на игровом рынке покрывает исследования и разработки затраты. Например, можно использовать видеокарты 4090, те, кто играет в игры и алхимию искусственного интеллекта, но следует отметить, что игровая карта и вычислительная карта постепенно будут разделены. Этот процесс аналогичен разработке машин для майнинга биткойнов из от персональных компьютеров до специализированных машин для майнинга, а используемые чипы также следуют по порядку от ЦП, графического процессора, FPGA и ASIC.

Специальная карта LLM находится в разработке…

По мере развития и развития технологий искусственного интеллекта, особенно направления LLM, будет все больше и больше подобных попыток TPU, DPU и LPU. Конечно, в настоящее время основным продуктом является графический процессор NVIDIA. Все приведенные ниже обсуждения также основаны на графических процессорах и LPU. Ждём ещё дополнения к GPU, а для его полной замены потребуется некоторое время.

**Конкуренция за децентрализованные вычислительные мощности не конкурирует за каналы приобретения графических процессоров, а пытается создать новую модель получения прибыли. **

На данный момент NVIDIA почти стала главным героем. По сути, NVIDIA занимает 80% рынка видеокарт. Спор между картой N и картой A существует только в теории. В действительности все говорят о целостности.

Абсолютная монополия создала жесткую конкуренцию за графические процессоры, от RTX 4090 потребительского уровня до A100/H100 корпоративного уровня, и различные поставщики облачных технологий являются основной силой в закупках. Тем не менее, компании, связанные с искусственным интеллектом, такие как Google, Meta, Tesla и OpenAI, действуют или планируют производить самодельные чипы, а отечественные компании обратились к отечественным производителям, таким как Huawei, и рынок графических процессоров по-прежнему чрезвычайно переполнен.

Для традиционных поставщиков облачных услуг на самом деле они продают вычислительную мощность и пространство для хранения, поэтому вопрос использования собственных чипов не так актуален, как для компаний, занимающихся искусственным интеллектом. по сравнению с традиционными облаками Производители конкурируют за вычислительную мощность, уделяя особое внимание дешевым и простым в получении вычислительным мощностям. Однако, как и в случае с майнингом биткойнов в будущем, вероятность появления чипов Web3 AI маловероятна.

Дополнительный комментарий: с тех пор, как Ethereum перешел на PoS, в валютном круге стало все меньше и меньше специализированного оборудования.Рынки, такие как мобильные телефоны Saga, аппаратное ускорение ZK и DePIN, слишком малы.Я надеюсь, что децентрализованные вычислительные мощности можно будет изучить для выделенные карты вычислительной мощности AI. Создайте уникальный путь для Web3.

**Децентрализованные вычислительные мощности — это следующий шаг или дополнение к облаку. **

Вычислительную мощность графического процессора обычно сравнивают в отрасли с FLOPS (операций с плавающей запятой в секунду), который является наиболее часто используемым показателем скорости вычислений. Независимо от характеристик графического процессора или мер оптимизации, таких как параллелизм приложений, в конечном итоге это на основе FLOPS на высоком и низком уровне.

От локальных вычислений до перехода в облако прошло около полувека, а концепция распределения существует с момента рождения компьютеров. Благодаря LLM сочетание децентрализации и вычислительной мощности больше не является таким расплывчатым, как раньше. Я буду Обобщите как можно больше существующих проектов децентрализованной вычислительной мощности, используя только два измерения:

1. Количество графических процессоров и другого оборудования, то есть измеряется скорость вычислений. Согласно закону Мура, чем новее графический процессор, тем выше вычислительная мощность. Чем больше их количество при одинаковых спецификациях, тем выше вычислительная мощность;
2. Метод организации уровня стимулирования, который является отраслевой характеристикой Web3. Двойные токены, дополнительные функции управления, стимулы раздачи и т. д. облегчают понимание долгосрочной ценности каждого проекта, а не уделяют слишком много внимания краткосрочным срочные цены в валюте. В долгосрочной перспективе нужно смотреть только на то, можете ли вы владеть или сколько графических процессоров запланировать.

С этой точки зрения, децентрализованная вычислительная мощность по-прежнему является маршрутом DePIN, основанным на «существующем оборудовании + сеть стимулов», или архитектура Интернета по-прежнему является нижним уровнем, а уровень децентрализованной вычислительной мощности — это монетизация после «аппаратной виртуализации», с упором на доступ. без разрешения. Реальная сеть по-прежнему требует взаимодействия с оборудованием.

Вычислительные мощности должны быть децентрализованы, а графический процессор — централизован.

С помощью структуры трилеммы блокчейна нет необходимости специально рассматривать безопасность децентрализованных вычислительных мощностей.Основными проблемами являются децентрализация и масштабируемость.Последнее является целью сети графических процессоров, которая в настоящее время находится на переднем крае развития искусственного интеллекта. .

Исходя из парадокса, если проект децентрализованной вычислительной мощности должен быть завершен, количество графических процессоров в сети должно быть как можно большим. Другой причины нет. Параметры больших моделей, таких как GPT, стремительно растут, и есть нет графического процессора определенного масштаба. Не может иметь эффектов обучения или вывода.

Конечно, по сравнению с абсолютным контролем поставщиков облачных услуг, на текущем этапе проекты децентрализованной вычислительной мощности могут, по крайней мере, создать такие механизмы, как отсутствие доступа и свободная миграция ресурсов графических процессоров.Однако из-за повышения эффективности использования капитала будут будет ли аналогичный пул майнинга в будущем?Продукт может быть другим.

С точки зрения масштабируемости, графический процессор можно использовать не только для искусственного интеллекта, но также возможны облачные вычисления и рендеринг. Например, Render Network фокусируется на рендеринге, а Bittensor и другие — на обучении моделей. масштабируемость эквивалентна сценариям и целям использования.

Таким образом, к графическому процессору и сети стимулов можно добавить два дополнительных параметра, а именно децентрализацию и масштабируемость, чтобы сформировать показатель сравнения с четырех сторон.Обратите внимание, что этот метод отличается от технического сравнения и представляет собой чисто картинку.

Проект Сеть стимулирования количества графических процессоров, децентрализованная масштабируемость Необъявленный токен Gensyn + механизм проверки для оценки обучения ИИ и вывода после запуска Сеть рендеринга 12 000 графических процессоров + 503 токена ЦП + дополнительная основа стимулирования + предложение + рендеринг с открытым исходным кодом + обучение ИИ Akash 20 000 ЦП + 262 токена ГП + токены системы залога в полном обращении AI inference io.net 180 000 GPU + 28 000 CPUGPU в обмен на сброшенные по воздуху невыпущенные монеты AI inference + обучение.

В вышеупомянутых проектах Render Network на самом деле является очень особенной. По сути, это сеть распределенного рендеринга, и ее связь с ИИ не является прямой. При обучении и рассуждениях ИИ все ссылки взаимосвязаны, будь то SGD (стохастический градиентный спуск). , Алгоритмы, такие как стохастический градиентный спуск) или обратное распространение ошибки, требуют согласованности, но рендеринг и другие задачи не обязательно должны быть таковыми. Видео и изображения часто сегментируются, чтобы облегчить распределение задач.

Его возможности обучения ИИ в основном интегрированы с io.net и существуют как плагин io.net. В любом случае, графический процессор работает, как бы тяжело ему ни было, что более перспективно, так это его переход на Солану на момент недооценки., позже было доказано, что Solana больше подходит под высокопроизводительные требования рендеринга и других сетей.

Второй - это масштабный путь развития io.net по насильственной замене графического процессора. В настоящее время на официальном сайте перечислено полных 180 000 графических процессоров. Это первый уровень проекта децентрализованной вычислительной мощности. Существует разница на порядок с другими противниками, и С точки зрения масштабируемости, io.net фокусируется на рассуждениях ИИ, а обучение ИИ — это практический способ работы.

Строго говоря, обучение ИИ не подходит для распределенного развертывания.Даже для легких LLM абсолютное количество параметров будет не намного меньше.Метод централизованных вычислений более рентабелен с точки зрения экономической стоимости.Web 3 и Точка интеграции Обучение ИИ — это больше операций по конфиденциальности данных и шифрованию, таких как технологии ZK и FHE, а большой потенциал имеет AI-вывод Web 3. С одной стороны, он имеет относительно низкие требования к производительности вычислений на графическом процессоре и может допускать определенную степень потерь. С другой стороны, рассуждения ИИ ближе к прикладной стороне, и стимулы с точки зрения пользователя более существенны.

Другая компания, занимающаяся майнингом и обменом токенов, Filecoin, также заключила соглашение об использовании графических процессоров с io.net. Filecoin будет использовать свои 1000 графических процессоров параллельно с io.net. Это можно рассматривать как совместные усилия предшественников. Желаю вам обоим удачи. .

Далее идет Gensyn, который еще не запущен. Мы также приходим в облако для оценки. Поскольку он все еще находится на ранних стадиях построения сети, количество графических процессоров не объявлено. Однако его основной сценарий использования — обучение искусственного интеллекта. Лично я считаю, что количество высокопроизводительных графических процессоров немало. По крайней мере, за пределами сети рендеринга. По сравнению с выводом ИИ, обучение ИИ имеет прямую конкурентную связь с поставщиками облачных вычислений, и конкретная конструкция механизма будет более сложный.

В частности, Gensyn необходимо обеспечить эффективность обучения моделей. В то же время, чтобы повысить эффективность обучения, он в больших масштабах использует парадигмы автономных вычислений. Поэтому системы проверки моделей и борьбы с мошенничеством требуют многосторонней роли. игры:

• Отправители: инициаторы задач, которые в конечном итоге оплачивают расходы на обучение.
• Решатели: обучите модель и предоставьте доказательство эффективности.
• Верификаторы: проверьте достоверность модели.
• Информаторы: проверьте задания валидаторов.

В целом метод работы аналогичен PoW-майнингу + механизм оптимистического доказательства.Архитектура очень сложная.Возможно, перевод вычислений в оффчейн может сэкономить затраты, но сложность архитектуры принесет дополнительные эксплуатационные расходы.В настоящее время основные децентрализованные вычислительная мощность Говоря о рассуждениях об искусственном интеллекте, я также желаю Gensyn удачи.

Наконец, есть старый Akash, который, по сути, начинался вместе с Render Network. Akash сосредоточился на децентрализации ЦП, а Render Network был первым, кто сосредоточился на децентрализации графического процессора. Неожиданно после появления ИИ обе стороны вошли в рынок. область вычислений на графическом процессоре + ИИ. Разница Акаш больше связана с рассуждениями.

Ключом к возрождению Акаша является увлечение проблемами майнинга после обновления Эфириума. все они вносят вклад в человеческую цивилизацию.

Тем не менее, в Akash есть одна хорошая вещь: токены практически полностью распространены. В конце концов, это очень старый проект, и он также активно применяет систему ставок, обычно используемую в PoS. Однако команда, похоже, более буддистская, и они не такие молодые, как кажется в io.net.

Кроме того, существуют THETA для периферийных облачных вычислений, Phoenix для предоставления нишевых решений для вычислительных мощностей искусственного интеллекта, а также старые и новые компьютерные компании, такие как Bittensor и Ritual. Из-за ограниченности места мы не можем перечислить их все. Главным образом потому, что некоторые из них действительно сложно найти.Меньше количества графических процессоров и других параметров.

Заключение

На протяжении всей истории развития компьютеров можно было создавать децентрализованные версии различных вычислительных парадигм. Единственное сожаление заключается в том, что они не оказывают никакого влияния на основные приложения. Текущий проект вычислений Web3 - это, главным образом, самореклама внутри отрасли. Основатель Near отправился в Конференция GTC Это также из-за авторства Transformer, а не статуса основателя Near.

Еще более пессимистично то, что текущий размер рынка облачных вычислений и игроки слишком сильны. Может ли io.net заменить AWS? Если есть достаточное количество графических процессоров, это действительно возможно. В конце концов, AWS уже давно использует Redis с открытым исходным кодом в качестве базовой платформы. компонент.

В некотором смысле сила открытого исходного кода и децентрализации не равны.

Рекомендации:

_2024-03-06_Ai.pdf