Evolução do índice de dados da Blockchain: de Nós a Serviços de Dados Inteligentes de toda a Cadeia

1 Introdução

Desde o surgimento das primeiras aplicações descentralizadas (dApp) em 2017, o ecossistema Blockchain desenvolveu uma variedade rica de dApps financeiros, de jogos e sociais. Ao explorar estas aplicações em cadeia, já nos questionámos sobre a origem dos diversos tipos de dados que elas utilizam?

Em 2024, a inteligência artificial e o Web3 tornam-se o foco. No campo da IA, os dados são como a fonte de vida para seu crescimento e evolução. Assim como as plantas precisam de luz solar e água, os sistemas de IA também dependem de enormes quantidades de dados para aprender e pensar continuamente. Sem o suporte de dados, mesmo os algoritmos de IA mais sofisticados têm dificuldade em mostrar a inteligência e a eficácia que deveriam.

Este artigo analisará aprofundadamente a evolução do índice de dados da Blockchain no processo de desenvolvimento da indústria, a partir da perspectiva da acessibilidade dos dados da Blockchain, comparando os antigos protocolos de índice de dados com os novos protocolos de serviços de dados da Blockchain, e discutindo particularmente as semelhanças e diferenças dos novos protocolos que combinam a tecnologia de IA em termos de serviços de dados e características da arquitetura de produtos.

2 A complexidade e simplicidade do índice de dados: do nó da blockchain ao banco de dados de toda a cadeia

2.1 Fonte de dados: Nó Blockchain

A blockchain é frequentemente descrita como um livro de registro descentralizado. Os nós da blockchain são a base de toda a rede, responsáveis por registrar, armazenar e disseminar todos os dados de transações na cadeia. Cada nó possui uma cópia completa dos dados da blockchain, garantindo a característica de descentralização da rede. No entanto, para o usuário comum, construir e manter um nó não é uma tarefa fácil, pois não só requer habilidades técnicas especializadas, mas também envolve altos custos de hardware e largura de banda. A capacidade de consulta dos nós comuns também é limitada, o que dificulta a satisfação das necessidades dos desenvolvedores. Assim, embora teoricamente qualquer um possa operar um nó, na prática, os usuários tendem a depender de serviços de terceiros.

Para resolver esse problema, os provedores de nós RPC surgiram. Eles assumem os custos e a gestão dos nós, fornecendo dados através de pontos finais RPC, permitindo que os usuários acessem dados da blockchain sem precisar construir seus próprios nós. Os pontos finais RPC públicos são gratuitos, mas têm limitações de taxa, o que pode afetar a experiência do usuário dApp. Os pontos finais RPC privados têm melhor desempenho, mas são ineficientes para consultas complexas e difíceis de escalar e compatíveis entre redes. No entanto, as interfaces API padronizadas dos provedores de nós reduziram a barreira de acesso dos usuários aos dados on-chain, estabelecendo uma base para a subsequente análise de dados e aplicações.

2.2 Análise de Dados: dos Dados Protótipos aos Dados Utilizáveis

Os dados brutos fornecidos pelos nós da blockchain geralmente são processados por meio de criptografia e codificação. Embora esses dados mantenham a integridade e a segurança da blockchain, aumentam a dificuldade de análise. Para usuários comuns ou desenvolvedores, lidar diretamente com esses dados primários requer uma grande quantidade de conhecimento técnico e recursos computacionais.

O processo de análise de dados torna-se especialmente importante neste contexto. Ao converter dados de protótipos complexos em um formato fácil de entender e manipular, os usuários podem utilizar esses dados de forma mais intuitiva. O sucesso ou fracasso da análise de dados afeta diretamente a eficiência e a eficácia da aplicação de dados em Blockchain, sendo um passo crucial em todo o processo de indexação de dados.

2.3 A evolução do indexador de dados

Com o aumento da quantidade de dados da Blockchain, a demanda por indexadores está a crescer. Os indexadores desempenham um papel crucial na organização dos dados na cadeia e na sua transferência para uma base de dados para consulta. O seu funcionamento consiste em indexar os dados da Blockchain e torná-los disponíveis através de linguagens de consulta semelhantes ao SQL (, como o GraphQL ). Ao fornecer uma interface de consulta unificada, os indexadores permitem que os desenvolvedores recuperem rapidamente e com precisão as informações necessárias, simplificando significativamente o processo.

Diferentes tipos de indexadores otimizam a recuperação de dados de várias maneiras:

1. Indexador de nó completo: extrai dados diretamente de nós completos da Blockchain, garantindo que os dados sejam completos e precisos, mas requer uma grande capacidade de armazenamento e processamento.
2. Indexador leve: depende de nós completos para obter dados específicos sob demanda, reduzindo a necessidade de armazenamento, mas pode aumentar o tempo de consulta.
3. Indexador dedicado: otimização da pesquisa para tipos de dados ou Blockchain específicos, como dados NFT ou transações DeFi.
4. Agregador de indexação: extrai dados de várias blockchains e fontes, incluindo informações off-chain, oferecendo uma interface de consulta unificada, adequada para dApps multichain.

Atualmente, as necessidades de armazenamento de nós de arquivo do Ethereum variam entre 3TB e 13,5TB em diferentes clientes. À medida que o Blockchain cresce, as necessidades de armazenamento continuarão a aumentar. Diante de grandes volumes de dados, os protocolos de indexação mais utilizados não apenas suportam indexação de múltiplas cadeias, mas também personalizaram estruturas de análise de dados para diferentes necessidades de aplicações.

O surgimento do indexador melhorou significativamente a eficiência de indexação e consulta de dados. Comparado aos pontos finais RPC tradicionais, o indexador pode indexar grandes volumes de dados de forma eficiente e suportar consultas em alta velocidade. Os usuários podem executar consultas complexas, filtrando e analisando dados facilmente. Alguns indexadores também suportam a agregação de múltiplas fontes de dados de blocos, evitando o problema do despliegue de múltiplas APIs em dApps de várias cadeias. Através da execução distribuída, o indexador oferece maior segurança e desempenho, reduzindo os riscos que os provedores de RPC centralizados podem trazer.

Em comparação, o indexador permite que os usuários acessem diretamente as informações necessárias sem lidar com dados complexos subjacentes, através de uma linguagem de consulta predefinida. Este mecanismo melhora significativamente a eficiência e a fiabilidade da recuperação de dados, sendo uma inovação importante no acesso a dados Blockchain.

2.4 Base de Dados de Blockchain: Alinhamento Prioritário ao Fluxo

Consultar dados usando nós de índice geralmente faz com que a API seja vista como a única maneira de processar dados na blockchain. No entanto, à medida que os projetos se expandem, muitas vezes é necessário ter fontes de dados mais flexíveis, e as APIs padronizadas têm dificuldade em atender a essa demanda. Com a complexificação das demandas de aplicação, os indexadores de dados primários e seus formatos padronizados tornam-se gradualmente inadequados para atender às diversas necessidades de consulta, como pesquisa, acesso entre cadeias ou mapeamento de dados fora da cadeia.

Na arquitetura moderna de pipelines de dados, a abordagem “prioridade ao fluxo” tornou-se uma solução para as limitações do processamento em lote tradicional, permitindo a ingestão, processamento e análise de dados em tempo real. Essa mudança de paradigma permite que as organizações respondam instantaneamente aos dados que chegam, obtenham insights rapidamente e tomem decisões. Da mesma forma, os provedores de serviços de dados em blockchain também estão avançando na construção de fluxos de dados, com os principais fornecedores de indexadores lançando produtos de fluxo de dados em blockchain em tempo real.

Estes serviços visam resolver a necessidade de análise em tempo real de transações em Blockchain e fornecer uma capacidade de consulta mais abrangente. Assim como a arquitetura “prioridade de fluxo” revolucionou os métodos tradicionais de processamento de dados, esses provedores de serviços de fluxo de dados em Blockchain também esperam apoiar o desenvolvimento de mais aplicações e auxiliar na análise de dados on-chain através de fontes de dados avançadas e maduras.

Redefinir os desafios dos dados on-chain a partir da perspectiva dos modernos pipelines de dados nos permite ver o potencial da gestão, armazenamento e fornecimento de dados on-chain de uma nova forma. Ao considerar o indexador como um fluxo de dados dentro do pipeline, em vez de uma saída final, podemos imaginar um mundo onde conjuntos de dados de alto desempenho podem ser personalizados para qualquer caso de uso.

3 AI + Base de Dados? Comparação profunda dos principais protocolos

3.1 Um conhecido protocolo de índice

A rede implementa serviços de indexação e consulta de dados multichain através de uma rede de nós descentralizados, facilitando para os desenvolvedores a indexação de dados de blockchain e a construção de aplicações descentralizadas. O seu principal modelo de produto é o mercado de execução de consultas de dados e o mercado de cache de indexação de dados, servindo essencialmente à demanda de consulta de produtos dos usuários.

A rede é composta por quatro papéis chave: indexador, curador, delegado e desenvolvedor, que juntos fornecem suporte de dados para aplicações web3. As responsabilidades de cada papel são as seguintes:

• Indexador: operadores de nó na rede, que participam da rede através de staking, fornecendo serviços de indexação e processamento de consultas.
• Delegante: Usuários que apostam tokens em nós de índice para apoiar sua operação, ganhando uma parte das recompensas através do nó delegado.
• Curador: responsável por quais subgrafos do sinal devem ser indexados pela rede, garantindo que subgrafos valiosos sejam priorizados.
• Desenvolvedores: como parte demandante, são os principais usuários da rede. Eles criam e submetem subgráficos à rede, aguardando que a demanda de dados seja atendida.

Atualmente, a rede adotou um serviço de hospedagem de subgrupos descentralizado completo, com incentivos econômicos circulantes entre diferentes participantes para garantir o funcionamento do sistema.

Os produtos do protocolo também estão a evoluir rapidamente na onda da IA. Uma das suas equipas de desenvolvimento central está dedicada a otimizar a precificação de índices e a experiência de consulta do utilizador utilizando tecnologia de IA, tendo desenvolvido várias ferramentas para melhorar o desempenho do ecossistema, como mecanismos de precificação dinâmica, otimizadores de alocação de recursos e ferramentas de consulta em linguagem natural.

3.2 Uma rede de dados de blockchain completa

Esta é uma plataforma que integra todos os dados da Blockchain, facilitando para os desenvolvedores construírem e manterem aplicações de forma mais simples. As suas funcionalidades únicas incluem:

• Lago de dados em tempo real: fornece um lago de dados em tempo real dedicado ao fluxo de dados da blockchain, permitindo que os dados sejam acessados instantaneamente.
• Arquitetura de Dupla Cadeia: baseada em certa tecnologia, constrói uma camada de execução, formando uma arquitetura de dupla cadeia em paralelo com o algoritmo de consenso. Isso aumenta a programabilidade e a combinabilidade dos dados entre cadeias, suporta alta taxa de transferência, baixa latência e finalização, e melhora a segurança da rede através de um modelo de dupla garantia.
• Padrão de formato de dados inovador: Introdução de novos padrões de formato de dados, otimizando a estrutura e a utilização de dados na indústria de criptografia.
• Modelo de mundo criptográfico: combinar tecnologia de modelos de IA para criar modelos de IA que possam compreender, prever e interagir eficazmente com transações em Blockchain.

Estas funcionalidades fazem com que a rede se destaque no protocolo de indexação de Blockchain, com foco especial na acessibilidade de dados em tempo real, formatos de dados inovadores e na criação de modelos mais inteligentes para melhorar a percepção através da combinação de dados on-chain e off-chain.

O modelo de IA é baseado em um modelo desenvolvido por uma certa empresa, que combina dados on-chain e off-chain, assim como atividades espaço-temporais, para aprender e analisar padrões criptográficos, respondendo através de raciocínio causal, aprofundando a exploração do valor e das regras potenciais dos dados on-chain, para oferecer serviços de dados mais inteligentes aos usuários.

3.3 Uma camada de computação verificável

Este projeto visa criar uma camada de computação verificável, expandindo provas de conhecimento zero em armazéns de dados descentralizados, para fornecer processamento de dados confiável para contratos inteligentes, grandes modelos de linguagem e empresas.

No campo da indexação e validação de dados, o projeto introduziu uma inovadora tecnologia de prova de conhecimento zero, garantindo que as consultas SQL executadas em repositórios de dados descentralizados sejam à prova de adulteração e verificáveis. Esta tecnologia gera provas criptográficas que validam a integridade e a precisão dos resultados das consultas. Ao contrário das redes tradicionais de Blockchain que dependem de mecanismos de consenso, esta tecnologia implementa uma forma de validação de dados mais eficiente, onde um nó é responsável pela obtenção de dados, enquanto os outros nós verificam a autenticidade dos dados através da tecnologia de conhecimento zero, melhorando o desempenho geral do sistema.

Ao mesmo tempo, o projeto colabora de perto com um laboratório de IA para acelerar o desenvolvimento de ferramentas de IA generativa, facilitando aos usuários a consulta de dados de blockchain por meio do processamento de linguagem natural. Os usuários podem inserir consultas em linguagem natural, e a IA irá automaticamente converter para SQL e executar a consulta, apresentando o resultado final.

Conclusão e Perspectivas

A tecnologia de indexação de dados em Blockchain evoluiu desde a fonte de dados dos nós, passando pelo desenvolvimento de parsers e indexadores, até chegar a um serviço de dados em cadeia completo capacitado por IA, passando por um processo de aprimoramento gradual. Essa evolução contínua das tecnologias não só melhorou a eficiência e a precisão do acesso aos dados, mas também trouxe aos usuários uma experiência de inteligência sem precedentes.

Olhando para o futuro, com o desenvolvimento contínuo de novas tecnologias como a tecnologia de IA e provas de conhecimento zero, os serviços de dados em Blockchain se tornarão ainda mais inteligentes e seguros. Temos razões para acreditar que os serviços de dados em Blockchain continuarão a desempenhar um papel importante como infraestrutura, fornecendo um forte apoio ao progresso e inovação na indústria.