Важность данных в блокчейнахДанные имеют решающее значение в технологии блокчейн, служа основой для разработки децентрализованных приложений (dApps). В то время как большая часть текущих разговоров вращается вокруг доступности данных (DA) — обеспечения того, чтобы данные о последних транзакциях были доступны каждому участнику сети для проверки, — есть еще один не менее важный аспект, который часто упускается из виду: доступность данных.
В эпоху модульных блокчейнов решения DA стали незаменимыми. Эти решения гарантируют, что данные о транзакциях доступны всем участникам, что позволяет проводить проверку в режиме реального времени и поддерживать целостность сети. Однако слои DA функционируют скорее как рекламные щиты, чем как базы данных. Это означает, что данные не хранятся бесконечно; Со временем он удаляется, подобно тому, как плакаты на рекламных щитах в конечном итоге заменяются новыми.
С другой стороны, доступность данных фокусируется на возможности извлекать исторические данные, что необходимо для разработки децентрализованных приложений и проведения анализа блокчейна. Этот аспект имеет решающее значение для задач, требующих доступа к прошлым данным для обеспечения точного представления и выполнения. Несмотря на свою важность, доступность данных обсуждается реже, но она так же важна, как и доступность данных. Оба выполняют различные, но дополняющие друг друга роли в экосистеме блокчейна, и комплексный подход к управлению данными должен быть направлен на поддержку надежных и эффективных приложений блокчейна.
Как ранее были получены данные БлокчейнС момента своего появления блокчейны произвели революцию в инфраструктуре и позволили создавать децентрализованные приложения (dApps) в различных областях, таких как игры, финансы и социальные сети. Однако создание этих децентрализованных приложений требует доступа к большим объемам данных блокчейна, что может быть как сложным, так и дорогостоящим.
Одним из вариантов для разработчиков dApp является host и запуск собственных архивных remote procedure call узлов. Эти узлы хранят все исторические данные блокчейна с самого начала, обеспечивая полный доступ к данным. Однако обслуживание архивного узла является дорогостоящим и имеет ограниченные возможности запросов, что делает невозможным запрос данных в формате, необходимом разработчикам. Несмотря на то, что можно использовать менее дорогие узлы, эти узлы имеют ограниченные возможности извлечения данных, что может затруднить работу dApp.
Другой подход заключается в использовании коммерческих поставщиков узлов remote procedure call (Remote Procedure Call). Эти поставщики управляют узлами, предоставляя данные через конечные точки Remote Procedure Call. Общедоступные конечные точки remote procedure call бесплатны, но имеют ограничения скорости, которые могут негативно повлиять на пользовательский опыт dApp. Частные конечные точки Remote Procedure Call обеспечивают более высокую производительность за счет уменьшения перегрузки, но они требуют большого количества обмена данными даже для простого извлечения данных. Это делает их требовательными и неэффективными для сложных запросов данных. Кроме того, частные конечные точки Remote Procedure Call часто испытывают трудности с масштабируемостью и несовместимы с различными сетями.
Превосходная альтернатива: Блокчейн ИндексаторыБлокчейн индексаторы играют решающую роль в организации в блокчейне данных и отправке их в базу данных для упрощения запросов, поэтому их часто называют «Google блокчейнов». Они работают, индексируя данные блокчейна и делая их легко доступными через язык запросов, похожий на SQL, используя такие API, как GraphQL. Предоставляя унифицированный интерфейс для запросов данных, индексаторы позволяют разработчикам использовать стандартизированные языки запросов для быстрого и точного извлечения необходимой информации, значительно упрощая процесс.
Различные типы индексаторов оптимизируют извлечение данных различными способами:
- Индексаторы полных узлов: Эти индексаторы запускают полный узел блокчейна и извлекают данные непосредственно из него, обеспечивая полные и точные данные, но требуя значительной мощности хранения и обработки.- Упрощенные индексаторы: эти индексаторы полагаются на полные узлы для получения определенных данных по мере необходимости, что снижает требования к хранилищу, но потенциально увеличивает время запроса.- Выделенные индексаторы: Эти индексаторы, специализирующиеся на определенных типах данных или конкретных блокчейнах, оптимизируют извлечение данных для конкретных вариантов использования, таких как данные NFT или транзакции DeFi.- Агрегирующие индексаторы: эти индексаторы извлекают данные из нескольких блокчейнов и источников, включая информацию вне блокчейна, обеспечивая унифицированный интерфейс запросов, что особенно полезно для многоцепочечных децентрализованных приложений.
Только для Ethereum требуется 3 ТБ хранилища с архивным узлом Erigon с растущим хранилищем данных по мере роста цепочек с течением времени. Протоколы индексаторов развертывают несколько индексаторов, обеспечивая эффективное индексирование и запросы больших объемов данных на высоких скоростях, чего не могут достичь RPC.
Индексаторы также позволяют выполнять сложные запросы, легко фильтровать данные на основе различных критериев и анализировать данные после извлечения. Некоторые индексаторы также позволяют агрегировать данные из нескольких источников, что позволяет не развертывать несколько API в многоцепочечном dApp. Распределяясь между несколькими узлами, индексаторы обеспечивают повышенную безопасность и производительность по сравнению с поставщиками Remote Procedure Call, которые могут сталкиваться с перебоями и простоями из-за их централизованного характера.
В целом, индексаторы повышают эффективность и надежность извлечения данных по сравнению с поставщиками узлов Remote Procedure Call, а также снижают затраты, связанные с развертыванием отдельных узлов. Это делает протоколы индексаторов блокчейна предпочтительным выбором для разработчиков dApp.
Варианты использования индексатораКак упоминалось ранее, создание децентрализованных приложений требует извлечения и чтения данных блокчейна для запуска своего сервиса. Это включает в себя любой тип dApp, включая DeFi, платформы NFT, игры и даже социальные сети, поскольку эти платформы требуют считывания данных, прежде чем они смогут выполнять другие транзакции.
DeFiDeFi протоколам требуется различная информация, прежде чем они смогут указать конкретные цены, коэффициенты, комиссии и многое другое для своих пользователей. Автоматизированным маркет-мейкерам (AMM) требуется информация о ценах и ликвидности определенных пулов для расчета ставок свопа, в то время как протоколы кредитования требуют коэффициентов использования для определения ставок кредитования/заимствования и коэффициентов задолженности для ликвидации. Передача информации в их dApp имеет важное значение перед тем, как они рассчитают тарифы, которые пользователи будут выполнять.
ИгровойGameFi требует быстрой индексации и доступа к данным, чтобы обеспечить плавный игровой процесс для пользователей. Только благодаря молниеносному извлечению данных и исполнению игры Web3 могут сравниться со своими аналогами Web2 по производительности, чтобы привлечь больше пользователей. Для этих игр требуются такие данные, как владение землей, баланс внутриигровых токенов, внутриигровые действия и многое другое. Используя индексаторы, они могут лучше обеспечить стабильный поток данных и стабильное время безотказной работы, чтобы обеспечить безупречный игровой процесс.
NFTNFT маркетплейсы и платформы кредитования требуют доступа к индексированным данным доступа к различной информации, такой как метаданные NFT, данные о праве собственности и передаче, информация о роялти и многое другое. Быстрая индексация таких данных избавляет от необходимости просматривать каждый NFT по отдельности для поиска данных о праве собственности или атрибутах NFT.
Будь то DeFi Автоматический маркетмейкер (AMM), которому требуется информация о ценах и ликвидности, или SocialFi приложение, которому требуются обновления о сообщениях новых пользователей, возможность быстрого получения данных имеет важное значение для обеспечения хорошей работы децентрализованных приложений. С помощью индексаторов они обеспечивают эффективное и правильное извлечение данных, обеспечивая бесперебойную работу пользователей.
АналитикаИндексаторы предоставляют средства для извлечения определенных данных из необработанных данных блокчейна, включая события смарт-контрактов в каждом блоке. Это открывает возможность для более точного анализа данных для получения всесторонней информации.
Например, протоколы бессрочной торговли могут выяснить, какие токены имеют высокие объемы торгов, которые генерируют комиссию на ведущих DEX, чтобы решить, следует ли включать эти токены в список в качестве бессрочных контрактов на своей платформе. Разработчики DEX могут создавать информационные панели для своих собственных продуктов, давая представление о том, какие пулы имеют самую высокую доходность или самую глубокую ликвидность. Также можно создавать общедоступные информационные панели, что дает разработчикам свободу и гибкость в запросах любого типа данных для отображения на графике.
Поскольку существует несколько индексаторов блокчейна, определение различий между протоколами индексирования имеет решающее значение для того, чтобы разработчики выбрали индексатор, который наилучшим образом соответствует их потребностям.
Обзор индексаторов Блокчейн
Взгляд на индексаторы### The GraphThe Graph был первым индексатором, Протокол, который впервые был запущен на Ethereum что позволило легко запрашивать данные о транзакциях, которые ранее были недоступны. Используя подграфы, он определяет и фильтрует подмножество данных, собранных из блокчейна, таких как все транзакции, связанные с пулом Uniswap v3 USDC/ETH.
Используя Proof of Indexing, индексаторы застейкают нативный токен GRT для индексации и запросов сервисов, с помощью которых делегаторы могут застейкать свои токены. Кураторы получают доступ к высококачественным подграфам, чтобы помочь индексаторам определить, для каких подграфов следует индексировать данные, чтобы получить максимальную плату за запросы. При переходе к большей децентрализации The Graph в конечном итоге прекратит свою размещенную службу и потребует обновления подграфов в своей сети, предоставляя индексатор upgrade.
Его инфраструктура обеспечивает среднюю стоимость запроса в размере 40 долларов США за миллион запросов, что значительно дешевле, чем у узлов с собственным хостингом. Используя файловые источники данных, он также поддерживает параллельное индексирование данных как в блокчейне, так и вне блокчейна одновременно для эффективного извлечения данных.
Если посмотреть на вознаграждение индексатора The Graph, то оно неуклонно растет в течение последних нескольких кварталов. Отчасти это связано с увеличением количества запросов, но также связано с ростом цены токенов из-за их планов по интеграции запросов с помощью искусственного интеллекта в будущем.
SubsquidSubsquid — это одноранговое, горизонтально масштабируемое децентрализованное озеро данных, которое эффективно агрегирует большие объемы как в блокчейне, так и вне блокчейна данных, защищенных zk-доказательствами. Децентрализованная рабочая сеть, каждый узел отвечает за хранение данных из определенного подмножества блоков, ускоряя процесс извлечения данных за счет быстрого определения узлов, содержащих необходимые данные.
Subsquid также поддерживает индексацию в реальном времени, позволяя индексировать блоки до того, как они будут завершены. Он также позволяет хранить данные в выбранных разработчиками форматах, что упрощает аналитику с помощью таких инструментов, как BigQuery, Parquet или CSV. Кроме того, подграфы могут быть развернуты в Subsquid Network без миграции на Squid SDK, что обеспечивает развертывание без кода.
Все еще находясь на стадии тестовой сети, Subsquid достиг впечатляющей статистики: более 80 000 пользователей тестовой сети, более 60 000 развернутых индексаторов Squid и более 20 000 проверенных разработчиков в сети. Совсем недавно, 3 июня, Subsquid запустил основную сеть своего озера данных.
В дополнение к индексированию, озеро данных Subsquid Network предназначено для замены RPC в таких случаях использования, как аналитика, сопроцессоры ZK/TEE, агенты искусственного интеллекта и оракулы.
SubQuery SubQuery— это децентрализованная инфраструктурная сеть промежуточного ПО, которая предоставляет как remote procedure call, так и индексированные службы данных. Первоначально поддерживая сети Polkadot и Substrate, теперь он расширился до более чем 200 цепочек. Он работает аналогично The Graph с использованием Proof of Indexing, с индексаторами, которые индексируют данные и предоставляют запросы запросов, и делегаторами, которые застейкают в индексаторы. Однако вместо кураторов он вводит потребителей, которые отправляют заказы на покупку, чтобы сигнализировать о гарантированном доходе для индексаторов.
Он представит Узел данных SubQuery, который поддерживает сегментирование для предотвращения постоянной синхронизации новых данных между каждым узлом, тем самым оптимизируя эффективность запросов и двигаясь в сторону большей децентрализации. Пользователи могут выбрать оплату за вычисления в размере около 1 токена SQT за 1000 запросов или настроить пользовательские сборы для индексаторов с помощью соглашений.
Несмотря на то, что SubQuery запустила свой токен только в начале этого года, вознаграждения за эмиссию как для узлов, так и для делегаторов также увеличивают Q/Q в USD, что также представляет собой растущее количество услуг запросов, предоставляемых на их платформе. Общая сумма SQT в стейкинге увеличилась с 6 млн до 125 млн с момента TGE, что подчеркивает рост участия их сети.
Covalent Covalent— это децентрализованная сеть индексаторов, которая создает реплику данных блокчейна узлами сети Блок производителей образцов (BSP) с помощью метода массового экспорта и публикует доказательство в блокчейне Covalent L1. Затем эти данные уточняются узлами блока Result Producer (BRP) для фильтрации данных на основе заданных правил.
Благодаря унифицированному API разработчики могут легко извлекать соответствующие данные блокчейна в согласованном формате запроса и ответа, что избавляет от необходимости писать пользовательские сложные запросы для доступа к данным. Эти предварительно настроенные наборы данных могут быть получены от сетевых операторов, использующих токены CQT в качестве платежного средства, расчеты по которым производятся на Moonbeam.
Вознаграждения Covalent, похоже, находятся в общей тенденции роста с 1 квартала 23 года по 1 квартал 24 года, что частично связано с увеличением цены на токен Covalent CQT.
Рекомендации по выбору индексатора### Настраиваемость данныхНекоторые индексаторы, такие как Covalent, являются индексаторами общего назначения, которые предоставляют только стандартные предварительно настроенные наборы данных через API. Несмотря на то, что они могут быть быстрыми, они не обеспечивают гибкости для разработчиков, которым требуются настраиваемые наборы данных. Используя платформы индексирования, он позволяет выполнять более настраиваемую обработку данных в соответствии с потребностями, специфичными для приложений.
БезопасностьИндексированные данные должны быть защищены, иначе децентрализованные приложения, построенные на этих индексаторах, также подвержены атакам. Например, если можно манипулировать транзакциями и балансом кошелька, децентрализованные приложения рискуют лишиться ликвидности, что повлияет на их пользователей. Несмотря на то, что все индексаторы используют ту или иную форму безопасности путем стейкинга токенов индексаторами, другие решения индексеров могут использовать доказательства для дополнительной безопасности.
Subsquid предоставляет возможность использования optimistic и zk-proof, в то время как Covalent также публикует доказательство, содержащее хеш блока. Graph предоставляет периоды оспаривания запросов индексатора в оптимистичном стиле периода периода запроса, в то время как SubQuery генерирует доказательства горы Меркла для каждого блока для вычисления хеша для каждого блока всех данных, хранящихся в их базе данных.
Скорость и масштабируемостьПо мере роста блокчейнов со временем добавляется все больше транзакций, что делает индексирование больших объемов данных более утомительным, поскольку требуется больше вычислительной мощности и хранилища. Поддерживать эффективность по мере роста блокчейн-сетей становится все труднее, но протоколы индексаторов предлагают решения, удовлетворяющие этим растущим требованиям.
Например, Subsquid обеспечивает горизонтальную масштабируемость за счет добавления большего количества узлов для хранения данных, предлагая возможность масштабирования вместе с аппаратными улучшениями. Graph предлагает распараллеленные потоковые данные для более быстрой синхронизации данных, в то время как SubQuery вводит сегментирование узлов для ускорения процесса синхронизации.
Поддерживаемые сетиХотя большая часть блокчейн-активности по-прежнему находится в пределах Ethereum, различные блокчейны со временем набирают все большую популярность. Например, блокчейны Layer 2, Solana, Move и экосистемы Биткойна имеют свой собственный набор растущих разработчиков и деятельность, которые также потребуют услуг индексации.
Предоставление поддержки определенным цепочкам, которые не поддерживаются другими протоколами индексирования, может привлечь больше комиссий за долю рынка. Индексация сетей с большим объемом данных, таких как Solana, - непростая задача, и до сих пор только Subsquid удалось обеспечить поддержку индексации для них.
ЗаключениеНесмотря на широкое распространение индексаторов для разработки dApp, потенциал индексаторов остается огромным, особенно с интеграцией ИИ. По мере того, как ИИ продолжает распространяться как в Web2, так и в Web3, его способность улучшать зависит от доступа к соответствующим данным для обучения моделей и разработки агентов ИИ. Обеспечение целостности данных имеет решающее значение для приложений ИИ, поскольку оно предотвращает передачу моделям предвзятой или неточной информации.
В области решений для индексаторов Subsquid показал значительный прогресс в своей производительности и пользовательских метриках. Пользователи уже начали экспериментировать с Subsquid, чтобы создавать агентов искусственного интеллекта, демонстрируя универсальность и потенциал платформы в развивающемся ландшафте индексирования данных. Кроме того, такие инструменты, как AutoAgora, облегчают индексаторам, предлагая динамические цены для сервисов запросов на The Graph с использованием ИИ, в то время как SubQuery поддерживает несколько сетей ИИ, таких как OriginTrail и Oraichain, для прозрачной индексации данных.
Интеграция ИИ с индексерами обещает повысить доступность и удобство использования данных в блокчейн-экосистемах. Используя технологии искусственного интеллекта, индексаторы могут обеспечить более эффективный и точный поиск данных, позволяя разработчикам создавать более сложные децентрализованные приложения и инструменты аналитики. По мере того, как искусственный интеллект и индексаторы продолжают развиваться вместе, мы сохраняем оптимизм в отношении будущего индексирования данных и его роли в формировании децентрализованного цифрового ландшафта.
Отказ от ответственности:
- Эта статья перепечатана с [medium]. Все авторские права принадлежат оригинальному автору [DFG Official]. Если у вас есть возражения против этой перепечатки, пожалуйста, свяжитесь с командой Gate Learn, и они оперативно разберутся с этим.- Отказ от ответственности: Взгляды и мнения, выраженные в этой статье, принадлежат исключительно автору и не являются какими-либо инвестиционными рекомендациями.- Переводом статьи на другие языки занимается команда Gate Learn. Если не указано иное, копирование, распространение или плагиат переведенных статей запрещены.
