AI x DePIN: Какие новые возможности появятся в результате столкновения горячих трасс?

Авторы: Cynic, Shigeru

Это второй том серии исследовательских отчетов Web3 x AI, а вводная часть подробно описана в статье «От параллельности к конвергенции: изучение новой волны цифровой экономики во главе с конвергенцией Web3 и ИИ»

По мере того, как мир продолжает ускорять цифровую трансформацию, искусственный интеллект и DePIN (децентрализованная физическая инфраструктура) стали основополагающими технологиями, которые стимулируют изменения в различных отраслях. Интеграция искусственного интеллекта и DePIN не только будет способствовать быстрой итерации и применению технологий, но и откроет более безопасную, прозрачную и эффективную модель обслуживания, что приведет к далеко идущим изменениям в мировой экономике.

DePIN: Децентрализация от виртуального к реальному, основа цифровой экономики

DePIN — это аббревиатура от Decentralization Decentralized Physical Infrastructure (децентрализованная физическая инфраструктура). В узком смысле DePIN в основном относится к распределенной сети традиционной физической инфраструктуры, поддерживаемой технологией распределенного реестра, такой как электросети, сети связи, сети позиционирования и т. д. Вообще говоря, все распределенные сети, поддерживаемые физическими устройствами, такие как сети хранения данных и вычислительные сети, можно назвать DePIN-кодами.

от: Messari

Если Crypto приносит децентрализацию на финансовом уровне, то DePIN — это решение для децентрализации в реальной экономике. Можно сказать, что PoW Mining Rig — это своего рода DePIN. DePIN был основным столпом Web3 с самого первого дня.

Три элемента ИИ - Алгоритм, Вычислительная мощность и Данные, DePIN занимает исключительно второе место

Обычно считается, что развитие ИИ опирается на три ключевых элемента: алгоритм, вычислительная мощность и данные. Алгоритмы относятся к математическим моделям и программной логике, которые управляют системами ИИ, вычислительная мощность относится к вычислительным ресурсам, необходимым для выполнения этих алгоритмов, а данные являются основой для обучения и оптимизации моделей ИИ.

Какой из трех элементов самый важный?До появления chatGPT люди обычно думали, что это Алгоритм, иначе научные конференции и журнальные статьи не были бы заполнены одной тонкой настройкой Алгоритма за другой. Однако, когда был представлен chatGPT и большая языковая модель LLM, лежащая в основе его интеллекта, люди начали осознавать важность последних двух. Вычислительная мощность является необходимым условием для моделей, качество и разнообразие данных имеют решающее значение для создания надежных и эффективных систем ИИ, а требования к алгоритмам уже не так точны, как обычно.

В эпоху больших моделей искусственный интеллект превратился из скрупулезного мастерства в энергичные летающие кирпичи, а спрос на вычислительные мощности и данные растет день ото дня, и DePIN может обеспечить именно это. Стимулы в виде токенов используют рынок с длинным хвостом, а массивные вычислительные мощности и хранилища потребительского класса станут лучшим питанием для больших моделей.

Децентрализация ИИ не необязательна, а обязательна

Конечно, некоторые люди спросят, вычислительные мощности и данные доступны в компьютерном зале AWS, и они лучше, чем DePIN с точки зрения стабильности и пользовательского опыта, зачем выбирать DePIN вместо централизованных сервисов?

Это утверждение, естественно, имеет смысл, ведь на протяжении всего настоящего времени практически все крупные модели прямо или косвенно разрабатываются крупными интернет-компаниями, chatGPT отстает от Microsoft, Gemini от Google, китайские интернет-производители почти у всех имеют крупные модели. Почему? Потому что только крупные интернет-компании обладают достаточным количеством качественных данных и мощным финансовым обеспечением вычислительных мощностей. Но это не так, люди больше не хотят, чтобы ими манипулировали интернет-гиганты.

С одной стороны, централизованный ИИ несет в себе риски конфиденциальности и безопасности данных, которые могут подвергаться цензуре и контролю, а с другой стороны, ИИ, созданный интернет-гигантами, еще больше увеличит зависимость людей, приведет к концентрации рынка и повысит барьеры для инноваций.

От:

Человечество не должно нуждаться в Мартине Лютере в эпоху искусственного интеллекта, и люди должны иметь право говорить напрямую с Богом.

DePIN с точки зрения бизнеса: снижение затрат и повышение эффективности — ключ к успеху

Даже если оставить в стороне дебаты о ценности между децентрализацией и централизацией, с точки зрения бизнеса, использование DePIN для ИИ по-прежнему имеет свои достоинства.

Прежде всего, нужно четко понимать, что хотя интернет-гиганты имеют в своих руках большое количество ресурсов высококлассных видеокарт, комбинация видеокарт потребительского класса, разбросанных по частному сектору, также может сформировать весьма значительную сеть вычислительных мощностей, то есть эффект длинного хвоста вычислительной мощности. Частота простоя такого рода видеокарт потребительского класса на самом деле очень высока. До тех пор, пока стимул, предоставляемый DePIN, превышает счет за электроэнергию, пользователи мотивированы вносить вычислительную мощность в сеть. При этом все физические объекты управляются самими пользователями, и сети DePIN не нужно нести операционные расходы, которых не избежать централизованным вендорам, а лишь сосредоточиться на самом дизайне протокола.

Что касается данных, сети DePIN могут высвободить доступность потенциальных данных и снизить затраты на передачу с помощью периферийных вычислений и других методов. В то же время большинство распределенных сетей хранения данных имеют возможности автоматической дедупликации, что сокращает работу по очистке обучающих данных ИИ.

Наконец, криптоэкономика, вызванная DePIN, расширяет пространство отказоустойчивости системы, что, как ожидается, приведет к беспроигрышной ситуации для провайдеров, потребителей и платформ.

откуда: Калифорнийский университет в Лос-Анджелесе

Если вы не уверены, последние исследования Калифорнийского университета в Лос-Анджелесе показывают, что использование децентрализованных вычислений обеспечивает производительность в 2,75 раза по сравнению с традиционными кластерами GPU при той же цене, в частности, в 1,22 раза быстрее и в 4,83 раза дешевле.

В чем заключаются трудности AIxDePIN?

Мы решили отправиться на Луну в этом десятилетии и заняться другими вещами не потому, что это легко, а потому, что это трудно» (Джон Фицджеральд Кеннеди).

Создание моделей ИИ без доверия с использованием распределенного хранилища и распределенных вычислений DePIN по-прежнему сопряжено со многими проблемами.

Проверка работы

По сути, вычислительные модели глубинного обучения и PoW-майнинг являются вычислениями общего назначения, а самый нижний уровень — это изменение сигнала между вентилиями. С макроскопической точки зрения, PoW-майнинг — это «бесполезное вычисление», которое пытается получить хеш-значение с префиксом n нулей с помощью бесчисленной генерации случайных чисел и вычислений хеш-функций, в то время как вычисления глубинного обучения — это «полезные вычисления», которые вычисляют значения параметров каждого уровня глубинного обучения с помощью прямой и обратной деривации, чтобы построить эффективную модель ИИ.

Дело в том, что «бесполезные вычисления», такие как PoW Mining, используют хеш-функции, и легко вычислить изображение из прообраза, и вычислить прообраз из изображения сложно, поэтому любой желающий может легко и быстро проверить валидность вычисления, в то время как для вычисления модели Depth learning, из-за иерархической структуры, выход каждого слоя используется в качестве входных данных следующего слоя, поэтому проверка валидности вычисления требует всей предыдущей работы, и не может быть проверена просто и эффективно.

От: AWS

Проверка работы имеет решающее значение, в противном случае поставщик вычислений может просто отправить случайно сгенерированный результат без вычислений.

Одна из идей заключается в том, чтобы разные серверы выполняли одну и ту же вычислительную задачу и проверяли правильность работы, повторяя ее и проверяя, что она одна и та же. Однако подавляющее большинство модельных расчетов являются недетерминированными, и одни и те же результаты не могут быть воспроизведены даже в одной и той же вычислительной среде, и может быть достигнуто только статистическое сходство. Кроме того, двойной учет приводит к быстрому росту затрат, что несовместимо с ключевой целью DePIN по снижению затрат и повышению эффективности.

Другой тип идей — это оптимистичный механизм, который сначала оптимистично верит, что результат рассчитан правильно, и в то же время позволяет любому проверить результаты расчета, и если ошибка найдена, может быть представлено доказательство мошенничества, и протокол рубит мошенника и вознаграждает информатора.

Распараллеливание

Как упоминалось ранее, DePIN использует в основном рынок вычислительных мощностей потребительского класса, который обречен на ограниченную вычислительную мощность, которую может обеспечить одно устройство. Для больших моделей ИИ обучение на одном устройстве может быть очень долгим, и для сокращения времени, необходимого для обучения, необходимо использовать распараллеливание.

Основная сложность распараллеливания обучения Depth Learning заключается в зависимости между фронтальными и задними задачами, что затруднит распараллеливание.

В настоящее время распараллеливание обучения Depth Learning в основном делится на параллелизм данных и параллелизм моделей.

Параллелизм данных относится к распределению данных между несколькими компьютерами, каждый компьютер хранит все параметры модели, использует локальные данные для обучения и, наконец, агрегирует параметры каждой машины. Параллелизм данных хорошо работает при наличии большого объема данных, но для агрегирования параметров требуется синхронное взаимодействие.

Параллелизм модели означает, что если размер модели слишком велик, чтобы поместиться на одном компьютере, модель может быть разделена на несколько компьютеров, и каждый компьютер сохраняет часть параметров модели. Прямое и обратное распространение требует связи между различными машинами. Параллелизм модели имеет преимущества, когда модель большая, но накладные расходы на обмен данными велики при распространении вперед и назад.

Информацию о градиенте между различными слоями можно разделить на синхронное обновление и асинхронное обновление. Синхронные обновления просты, но увеличивают время ожидания; асинхронное обновление Время ожидания алгоритма невелико, но приводит к проблемам со стабильностью.

от: Стэнфордский университет, Параллельное и распределенное глубокое обучение

Конфиденциальность

В мире наблюдается тенденция к защите частной жизни, и правительства по всему миру усиливают защиту конфиденциальности персональных данных. Несмотря на то, что ИИ широко использует общедоступные наборы данных, именно корпоративные пользовательские данные действительно разделяют различные модели ИИ.

Как я могу получить преимущества проприетарных данных в процессе обучения, не подвергая риску конфиденциальность, и как я могу гарантировать, что параметры модели ИИ, которую я создаю, не утекают?

Это два аспекта конфиденциальности: конфиденциальность данных и конфиденциальность модели. Конфиденциальность данных защищает пользователей, в то время как конфиденциальность модели защищает организацию, которая создает модель. В текущем сценарии конфиденциальность данных гораздо важнее, чем конфиденциальность модели.

Существует несколько вариантов, направленных на решение проблем конфиденциальности. Федеративное обучение обеспечивает конфиденциальность данных за счет обучения в источнике данных, сохраняя данные локальными во время передачи параметров модели; Доказательство с нулевым разглашением может стать восходящей звездой.

Кейс: Какие качественные проекты представлены на рынке?

Генсин

Gensyn — это распределенная вычислительная сеть для обучения моделей ИИ. Сеть использует блокчейн уровня 1 на основе Polkadot для проверки правильности выполнения задач глубинного обучения и запуска платежей с помощью команд. Основанная в 2020 году, она раскрыла раунд финансирования серии А на сумму 43 миллиона долларов в июне 2023 года, возглавляемый a16z.

Gensyn использует метаданные процесса оптимизации на основе градиента для создания сертификата выполненной работы и выполняется согласованно с помощью протокола точности на основе графов с несколькими грануляриями и перекрестной оценки, что позволяет повторно запускать работу по проверке и сравнивать согласованность, и в конечном итоге подтверждается самой цепочкой, гарантируя достоверность вычислений. Чтобы еще больше повысить надежность proof-of-work, Gensyn ввел стейкинг для создания поощрений.

В системе есть четыре типа участников: сабмиттеры, солверы, валидаторы и информаторы.

• Отправитель является конечным пользователем системы, предоставляет задачи, которые будут рассчитаны, и оплачивает выполненные единицы работы.
• Решатель является основным работником системы, выполняющим обучение модели и генерирующим доказательства для проверки верификатором.
• Валидатор является ключом к связыванию недетерминированного процесса обучения с детерминированными линейными вычислениями, воспроизведению части доказательства решателя и сравнению расстояния с ожидаемым порогом.
• Осведомители являются последней линией обороны, проверяя работу валидаторов и задавая вызовы, а награды начисляются при прохождении челленджей.

Решателю нужно внести залог, а осведомитель тестирует работу решателя, если он находит зло, он оспаривает его, и после того, как вызов пройден, Токен, заложенный решателем, конфискуется, а осведомитель получает вознаграждение.

По прогнозам Gensyn, ожидается, что это решение снизит стоимость обучения до 1/5 от стоимости централизованных вендоров.

от: Gensyn

FedML

FedML — это платформа децентрализации для совместной работы с машинным обучением для децентрализации и совместного использования ИИ в любом масштабе и в любом месте. В частности, FedML предоставляет экосистему MLOps для обучения, развертывания, мониторинга и непрерывного улучшения моделей машинного обучения при совместной работе над объединенными данными, моделями и вычислительными ресурсами с сохранением конфиденциальности. Основанная в 2022 году, FedML объявила о посевном раунде финансирования в размере 6 миллионов долларов в марте 2023 года.

FedML состоит из двух ключевых компонентов: FedML-API и FedML-core, которые представляют высокоуровневый API и базовый API соответственно.

FedML-ядро состоит из двух отдельных модулей: Distributed Communication и Model Training. Модуль коммуникации отвечает за базовую коммуникацию между различными рабочими процессами/клиентами и основан на MPI; модуль обучения модели основан на PyTorch.

FedML-API построен на основе FedML-ядра. С помощью FedML-ядра можно легко реализовать новые распределенные алгоритмы с помощью клиент-ориентированных интерфейсов программирования.

Последняя работа команды FedML доказывает, что вывод модели искусственного интеллекта на графическом процессоре потребительского класса RTX 4090 с использованием искусственного интеллекта FedML Nexus в 20 раз дешевле и в 1,88 раза быстрее, чем A100.

от: FedML

Перспективы на будущее: DePIN демократизирует искусственный интеллект

Когда-нибудь искусственный интеллект еще больше превратится в AGI, а вычислительные мощности станут де-факто универсальной валютой, и DePIN сделает это быстрее.

Конвергенция ИИ и DePIN открыла новую технологическую точку роста и предоставила огромные возможности для развития искусственного интеллекта. DePIN предоставляет огромные объемы распределенных вычислительных мощностей и данных для ИИ, помогая обучать более крупные модели и достигать более высокого интеллекта. В то же время DePIN также позволяет ИИ стать более открытым, безопасным и надежным, снижая зависимость от единой централизованной инфраструктуры.

В дальнейшем искусственный интеллект и DePIN будут продолжать развиваться в синергии. Распределенные сети обеспечат прочную основу для обучения очень больших моделей, которые, в свою очередь, будут играть важную роль в применении DePIN. Защищая конфиденциальность и безопасность, ИИ также поможет оптимизировать сетевые протоколы и алгоритмы DePIN. Мы надеемся на более эффективный, справедливый и надежный цифровой мир с искусственным интеллектом и DePIN.

Ссылки:

_reports/hedge_usmani.pdf