Évolution de l’indexation des données de la blockchain : du nœud au service de données intelligentes sur l’ensemble de la chaîne

1 Introduction

Depuis la naissance des premières applications décentralisées (dApp) en 2017, l’écosystème Blockchain a développé une riche diversité d’applications financières, de jeux et sociales. En discutant de ces applications sur la chaîne, avons-nous réfléchi aux différentes sources de données qu’elles utilisent ?

En 2024, l’intelligence artificielle et le Web3 deviennent des points focaux. Dans le domaine de l’IA, les données sont comme la source de vie de sa croissance et de son évolution. Tout comme les plantes ont besoin de lumière et d’eau, les systèmes d’IA dépendent également de masses de données pour apprendre et réfléchir en continu. Sans le soutien des données, même les algorithmes d’IA les plus raffinés ont du mal à réaliser leur intelligence et leur efficacité.

Cet article analysera en profondeur l’évolution de l’indexation des données blockchain dans le processus de développement de l’industrie, sous l’angle de l’accessibilité des données blockchain, et comparera les anciens protocoles d’indexation des données avec les nouveaux protocoles de services de données blockchain, en explorant particulièrement les similitudes et les différences des nouveaux protocoles combinant les technologies AI en termes de services de données et de caractéristiques de l’architecture produit.

2 La complexité et la simplicité de l’indexation des données : des nœuds de la Blockchain à la base de données complète

2.1 Source de données : Nœud Blockchain

La blockchain est souvent décrite comme un registre décentralisé. Les nœuds de la blockchain constituent la base de l’ensemble du réseau, responsables de l’enregistrement, du stockage et de la diffusion de toutes les données des transactions sur la chaîne. Chaque nœud possède une copie complète des données de la blockchain, garantissant les caractéristiques décentralisées du réseau. Cependant, pour les utilisateurs ordinaires, créer et maintenir un nœud n’est pas une tâche facile, nécessitant non seulement des compétences techniques professionnelles, mais aussi des coûts matériels et de bande passante élevés. Les capacités de requête des nœuds ordinaires sont également limitées, rendant difficile la satisfaction des besoins des développeurs. Ainsi, bien que théoriquement tout le monde puisse faire fonctionner un nœud, en réalité, les utilisateurs dépendent largement des services tiers.

Pour résoudre ce problème, les fournisseurs de nœuds RPC ont vu le jour. Ils prennent en charge les coûts et la gestion des nœuds, fournissant des données via des points de terminaison RPC, permettant aux utilisateurs d’accéder aux données de la blockchain sans avoir à créer leurs propres nœuds. Les points de terminaison RPC publics sont gratuits mais ont des limitations de taux, ce qui peut affecter l’expérience utilisateur des dApp. Les points de terminaison RPC privés offrent de meilleures performances, mais sont inefficaces pour les requêtes complexes et difficiles à étendre et à rendre compatibles entre réseaux. Cependant, l’interface API standardisée des fournisseurs de nœuds réduit la barrière d’accès des utilisateurs aux données sur la chaîne, posant ainsi les bases pour l’analyse des données et les applications ultérieures.

2.2 Analyse des données : des données prototypes aux données utilisables

Les données brutes fournies par les nœuds de la blockchain sont généralement cryptées et encodées. Bien que ces données conservent l’intégrité et la sécurité de la blockchain, elles augmentent la difficulté d’analyse. Pour les utilisateurs ordinaires ou les développeurs, traiter directement ces données prototypes nécessite une quantité importante de connaissances techniques et de ressources de calcul.

Le processus d’analyse des données est particulièrement important dans ce contexte. En transformant des données prototypes complexes en un format facile à comprendre et à manipuler, les utilisateurs peuvent tirer un meilleur parti de ces données. Le succès ou l’échec de l’analyse des données influence directement l’efficacité et l’impact des applications de données Blockchain, constituant une étape clé dans tout le processus d’indexation des données.

2.3 L’évolution des indexeurs de données

Avec l’augmentation du volume de données de la Blockchain, la demande d’indexeurs augmente de manière croissante. Les indexeurs jouent un rôle clé dans l’organisation des données sur la chaîne et leur envoi vers une base de données pour interrogation. Leur fonctionnement consiste à indexer les données de la Blockchain et à les rendre disponibles via un langage de requête similaire à SQL ( tel que GraphQL ). En offrant une interface de requête unifiée, les indexeurs permettent aux développeurs de récupérer rapidement et précisément les informations nécessaires en utilisant un langage standardisé, simplifiant considérablement le processus.

Différents types d’indexeurs optimisent la récupération des données de diverses manières :

1. Indexeur de nœud complet : extrait directement les données des nœuds de la blockchain complète, garantissant l’exactitude et l’intégralité des données, mais nécessitant une grande capacité de stockage et de traitement.
2. Indexeur léger : s’appuie sur des nœuds complets pour obtenir des données spécifiques à la demande, réduisant les besoins de stockage mais pouvant augmenter le temps de requête.
3. Indexeur dédié : optimisation de la recherche pour des types de données spécifiques ou des Blockchain, comme les données NFT ou les transactions DeFi.
4. Agrégateur d’index: extrait des données de plusieurs Blockchains et sources, y compris des informations hors chaîne, fournit une interface de requête unifiée, adaptée aux dApps multi-chaînes.

Actuellement, les exigences de stockage des nœuds d’archives Ethereum varient de 3 To à 13,5 To selon les clients. Avec la croissance de la Blockchain, les besoins de stockage continueront d’augmenter. Face à un volume de données énorme, les protocoles d’indexation mainstream non seulement supportent l’indexation multi-chaînes, mais ont également personnalisé des cadres d’analyse de données en fonction des besoins d’application.

L’apparition des indexeurs a considérablement amélioré l’efficacité de l’indexation et des requêtes de données. Par rapport aux points de terminaison RPC traditionnels, les indexeurs peuvent indexer efficacement de grandes quantités de données et prendre en charge des requêtes à grande vitesse. Les utilisateurs peuvent exécuter des requêtes complexes, filtrer et analyser les données facilement. Certains indexeurs prennent également en charge l’agrégation de plusieurs sources de données de Blockchain, évitant ainsi le problème du déploiement de plusieurs API pour les dApps multichaînes. Grâce à un fonctionnement distribué, les indexeurs offrent une sécurité et des performances renforcées, réduisant les risques potentiels associés aux fournisseurs RPC centralisés.

En revanche, les indexeurs permettent aux utilisateurs d’accéder directement aux informations nécessaires sans avoir à traiter les données complexes sous-jacentes grâce à un langage de requête prédéfini. Ce mécanisme améliore considérablement l’efficacité et la fiabilité de la récupération des données, représentant une innovation importante dans l’accès aux données de la blockchain.

2.4 Base de données Blockchain : alignement prioritaire au flux

L’utilisation d’un nœud d’index pour interroger des données est généralement considérée comme le seul moyen de traiter les données sur la blockchain via une API. Cependant, lorsque les projets se développent, il est souvent nécessaire d’avoir des sources de données plus flexibles, et les API standardisées ont du mal à répondre à ce besoin. Avec la complexification des demandes d’applications, les indexeurs de données de base et leurs formats standardisés deviennent progressivement incapables de satisfaire les besoins variés en matière de requêtes, telles que la recherche, l’accès inter-chaînes ou la cartographie des données hors chaîne.

Dans l’architecture moderne des pipelines de données, la méthode “priorité au flux” est devenue une solution pour surmonter les limitations du traitement par lots traditionnel, permettant l’ingestion, le traitement et l’analyse des données en temps réel. Ce changement de paradigme permet aux organisations de réagir instantanément aux données entrantes, d’en tirer des insights rapidement et de prendre des décisions. De même, les fournisseurs de services de données Blockchain évoluent également vers la construction de flux de données, les principaux fournisseurs de services d’indexation ayant tous lancé des produits de flux de données Blockchain en temps réel.

Ces services visent à répondre à la demande d’analyse en temps réel des transactions sur la Blockchain et à fournir des capacités de requête plus complètes. Tout comme l’architecture “flux prioritaire” a révolutionné les méthodes de traitement des données traditionnelles, ces fournisseurs de services de flux de données Blockchain espèrent également soutenir le développement de davantage d’applications et aider à l’analyse des données en chaîne grâce à des sources de données avancées et éprouvées.

Redéfinir les défis des données on-chain sous l’angle des pipelines de données modernes nous permet d’examiner le potentiel de gestion, de stockage et de fourniture des données on-chain sous un nouveau jour. En considérant l’indexeur comme un flux de données dans le pipeline de données plutôt que comme une sortie finale, nous pouvons envisager un monde possible où des ensembles de données haute performance peuvent être personnalisés pour n’importe quel cas d’utilisation.

3 IA + Base de données ? Analyse approfondie des principaux protocoles

3.1 Un protocole d’indexation célèbre

Le réseau réalise des services d’indexation et de requête de données multi-chaînes grâce à un réseau de nœuds décentralisés, facilitant aux développeurs l’indexation des données de la Blockchain et la construction d’applications décentralisées. Son modèle de produit principal est le marché d’exécution des requêtes de données et le marché de cache d’indexation des données, servant essentiellement les besoins de requête de produit des utilisateurs.

Le réseau est composé de quatre rôles clés : l’indexeur, le conservateur, le mandataire et le développeur, qui fournissent ensemble un soutien en données pour les applications web3. Les responsabilités de chaque rôle sont les suivantes :

• Indexeur: opérateur de nœud dans le réseau, participant au réseau par le biais du staking, fournissant des services d’indexation et de traitement des requêtes.
• Mandant : Utilisateur qui engage des jetons en les déposant auprès d’un nœud d’index pour soutenir son fonctionnement, gagnant ainsi une partie des récompenses via le nœud délégué.
• Curateur : responsable de quels sous-graphes de signal doivent être indexés par le réseau, s’assurant que les sous-graphes précieux sont traités en priorité.
• Développeurs : en tant que demandeurs, ils sont les principaux utilisateurs du réseau. Ils créent et soumettent des sous-graphes au réseau, en attendant que les besoins en données soient satisfaits.

Actuellement, le réseau a évolué vers un service de gestion de sous-graphes entièrement décentralisé, avec des incitations économiques circulantes entre les différentes parties prenantes pour assurer le bon fonctionnement du système.

Les produits de ce protocole se développent rapidement dans le courant de l’IA. L’un de ses principaux équipes de développement est dédiée à l’optimisation de la tarification des index et de l’expérience de requête utilisateur grâce aux technologies de l’IA, et a développé plusieurs outils pour améliorer les performances de l’écosystème, tels que des mécanismes de tarification dynamique, des optimiseurs de répartition des ressources et des outils de requête en langage naturel.

3.2 Un réseau de données tout-en-un

Ceci est une plateforme intégrant toutes les données de Blockchain, facilitant ainsi aux développeurs la construction et la maintenance d’applications. Ses fonctionnalités uniques incluent :

• Lac de données en temps réel : fournit un lac de données en temps réel spécialement conçu pour les flux de données Blockchain, permettant un accès instantané aux données.
• Architecture à double chaîne : basée sur une certaine technologie, construit une couche d’exécution, formant une architecture à double chaîne parallèle avec l’algorithme de consensus. Cela renforce la programmabilité et la combinabilité des données inter-chaînes, supporte un haut débit, une faible latence et une finalité, et améliore la sécurité du réseau grâce à un modèle de double mise.
• Norme de format de données innovante : introduction d’une nouvelle norme de format de données, optimisant la structuration et l’utilisation des données dans l’industrie de la cryptographie.
• Modèle du monde cryptographique : combiner la technologie des modèles d’IA pour créer un modèle d’IA capable de comprendre, de prédire les transactions Blockchain et d’interagir avec elles.

Ces fonctionnalités permettent à ce réseau de se démarquer dans le protocole d’indexation Blockchain, en mettant particulièrement l’accent sur l’accessibilité des données en temps réel, des formats de données innovants, ainsi que la création de modèles plus intelligents pour améliorer les insights grâce à la combinaison de données on-chain et off-chain.

Son modèle d’IA est basé sur un modèle développé par une certaine entreprise, combinant des données on-chain et off-chain ainsi que des activités spatio-temporelles, apprenant et analysant les motifs cryptographiques, réagissant par le raisonnement causal, et approfondissant l’exploration de la valeur potentielle et des règles des données on-chain, afin de fournir aux utilisateurs des services de données plus intelligents.

3.3 Une couche de calcul vérifiable

Ce projet vise à créer une couche de calcul vérifiable, en étendant les preuves à divulgation nulle de connaissance sur un entrepôt de données décentralisé, afin de fournir un traitement de données fiable pour les contrats intelligents, les grands modèles de langage et les entreprises.

Dans le domaine de l’indexation et de la validation des données, ce projet introduit une technologie innovante de preuve à divulgation nulle de connaissance, garantissant que les requêtes SQL exécutées sur des entrepôts de données décentralisés sont à l’abri des falsifications et vérifiables. Cette technologie génère des preuves cryptographiques, validant l’intégrité et l’exactitude des résultats des requêtes. Contrairement aux réseaux blockchain traditionnels qui dépendent des mécanismes de consensus, cette technologie met en œuvre une méthode de validation des données plus efficace, un nœud étant responsable de l’acquisition des données, tandis que les autres nœuds vérifient l’authenticité des données par le biais de la technologie de preuve à divulgation nulle de connaissance, améliorant ainsi les performances globales du système.

En même temps, le projet collabore étroitement avec un laboratoire d’IA pour accélérer le développement d’outils d’IA générative, facilitant aux utilisateurs l’accès aux données Blockchain par le traitement du langage naturel. Les utilisateurs peuvent entrer des requêtes en langage naturel, l’IA les convertira automatiquement en SQL et exécutera la requête, présentant le résultat final.

Conclusion et perspectives

La technologie d’indexation des données de Blockchain a évolué depuis les sources de données des nœuds, à travers le développement de l’analyse des données et des indexeurs, pour aboutir finalement à un service de données de chaîne complet habilité par l’IA, après un processus d’amélioration progressive. Cette évolution constante des technologies a non seulement amélioré l’efficacité et la précision de l’accès aux données, mais a également offert aux utilisateurs une expérience d’intelligence sans précédent.

En regardant vers l’avenir, avec le développement continu de nouvelles technologies telles que l’IA et les preuves à divulgation nulle de connaissance, les services de données Blockchain deviendront encore plus intelligents et sécurisés. Nous avons des raisons de croire que les services de données Blockchain continueront à jouer un rôle important en tant qu’infrastructure, fournissant un soutien solide à l’avancement et à l’innovation de l’industrie.