Após a atualização do Dencun, como resolver o problema de armazenamento e acesso a longo prazo dos dados históricos do Ethereum?

Problema de Inflação de Dados de Estado do Ethereum e Soluções

Com a crescente popularidade da rede Ethereum e o aumento da demanda por aplicativos, os dados de status histórico estão crescendo rapidamente. Para lidar com esse problema, o Ethereum tem progredido gradualmente, passando de um nó completo inicial para um cliente leve e, mais recentemente, a atualização de Dencun introduziu a função de expiração de status para limpar automaticamente os dados não utilizados por longos períodos.

Um dos objetivos de longo prazo do Ethereum é reduzir a carga em uma única cadeia de blocos, dispersando os dados em diferentes cadeias de blocos por meio da implementação de fragmentação. A EIP-4844 implementada no upgrade Dencun é um passo importante para a implementação completa da fragmentação na rede Ethereum. A EIP-4844 introduz o tipo de dados temporários ‘blobs’, permitindo que o Rollup envie mais dados para a cadeia principal do Ethereum com custo menor. Para controlar a inflação dos dados de estado, o Ethereum exclui os dados blobs do armazenamento dos nós de consenso após cerca de 18 dias.

Para além das melhorias no Ethereum, existem projetos como Celestia, Avail e EigenDA a desenvolver soluções para melhorar os problemas de dados. Eles oferecem soluções eficazes de disponibilidade de dados a curto prazo (DA), melhorando a operação em tempo real e a escalabilidade da blockchain. No entanto, essas soluções não abordam as necessidades de aplicações que requerem acesso a dados históricos a longo prazo, como dApps que dependem do armazenamento a longo prazo de dados de autenticação de utilizadores ou dApps que necessitam de treino de modelos de inteligência artificial.

Para lidar com os desafios de armazenamento de dados a longo prazo no ecossistema Ethereum, projetos como EthStorage, Pinax e Covalent propuseram soluções. O EthStorage fornece um armazenamento de dados a longo prazo para Rollup, garantindo que os dados possam ser acessados e utilizados por um longo período de tempo. Pinax, The Graph e StreamingFast desenvolveram em conjunto uma solução para armazenamento e recuperação de pacotes de dados blobs a longo prazo. A Ethereum Wayback Machine (EWM) da Covalent não é apenas uma solução de armazenamento de dados a longo prazo, mas também um sistema completo que permite consultas e análises de dados.

Com o avanço da inteligência artificial como a tendência dominante no desenvolvimento tecnológico global, a sua combinação com a tecnologia blockchain é vista como a direção futura. Esta tendência tem levado a um aumento constante na demanda de acesso e análise de dados históricos. Neste contexto, a EWM demonstra as suas vantagens únicas. A EWM oferece arquivamento e processamento de dados históricos do Ethereum, permitindo aos utilizadores recuperar estruturas de dados complexas e realizar análises aprofundadas e consultas sobre o estado interno de contratos inteligentes, resultados de transações, registos de eventos, entre outros.

Introdução à Máquina do Tempo Ethereum (EWM)

Ethereum Wayback Machine（EWM） draws inspiration from the concept of the Wayback Machine, preserving historical data on the Ethereum and making it accessible and verifiable. The Wayback Machine is a digital archive project created by the Internet Archive, aimed at recording and preserving the history of the internet. This tool allows users to view archived versions of a website at different points in the past, helping people understand the historical changes in website content.

O histórico de dados é a razão fundamental para o nascimento da Blockchain, não só suporta a arquitetura técnica da Blockchain, mas também é a pedra angular do seu modelo econômico. Desde o início do design da Blockchain, o objetivo era fornecer um registro histórico público e imutável. Por exemplo, o Bitcoin foi criado para estabelecer um livro-razão descentralizado e não adulterável, que registra o histórico de cada transação para garantir transparência e segurança. A demanda por dados históricos é muito ampla, mas atualmente falta um método de armazenamento eficiente e verificável. EWM, como uma solução de Arquivo de Dados de Longo Prazo, é capaz de armazenar dados permanentemente, incluindo dados de blob, para lidar com problemas de acessibilidade a dados históricos devido à expiração de estado e fragmentação de dados. EWM se concentra no arquivamento e na acessibilidade de longo prazo dos dados históricos na Ethereum, suportando consultas a estruturas de dados complexas. A seguir, discutiremos em detalhes como o EWM, por meio do seu processo de manipulação de dados exclusivo, alcança esse objetivo.

O processo de processamento de dados da EWM: extração, refinamento e indexação

Covalent é uma plataforma que fornece serviços de acesso e consulta a dados de blockchain para usuários. Ele captura e indexa dados de blockchain e os armazena em vários nós na rede, garantindo armazenamento confiável e acesso rápido aos dados. O Covalent processa dados por meio da Ethereum Wayback Machine (EWM), garantindo a acessibilidade contínua de dados históricos de blockchain. O processo de processamento de dados do EWM inclui três etapas principais: extração e exportação, refinamento, indexação e consulta.

1. Extrair e exportar: Esta é a primeira etapa do processo e envolve a extração de dados históricos de transações diretamente da rede Blockchain. Esta etapa é realizada por uma entidade especializada, a Bloco Produtores de Espécimes (BSP). A principal tarefa de um BSP é criar e salvar “Bloco Samples”, que são instantâneos originais de Blockchain dados. Essas amostras Bloco servem como uma representação canônica do estado histórico do Blockchain, e a chave é manter a integridade e a precisão dos dados. Uma vez criados, esses exemplos de Bloco são carregados em um servidor distribuído (construído em FIL) e publicados e verificados por meio do contrato ProofChain. Isso não só garante a segurança dos dados, mas também fornece um sinal para outras pessoas de que os dados foram mantidos com segurança.
2. Refinação: Depois que os dados são extraídos, eles são refinados por Bloco Results Producers (BRP). O BRP é responsável por transformar os dados subjacentes em uma forma mais útil. Os métodos tradicionais de acesso a dados Blockchain geralmente fornecem apenas informações limitadas e não são fáceis de consultar estruturas de dados complexas. Ao reexecutar e transformar os dados, a BRP é capaz de fornecer informações mais detalhadas, como o estado interno do contrato, o caminho de execução da transação, etc. Além disso, o BRP reduz significativamente a necessidade de executar novamente o Nó completo com cada consulta ou análise de dados, pré-processando e armazenando os dados processados, aumentando a velocidade da consulta e Gota os custos de armazenamento e computação. Neste ponto, o “Bloco Sample” original é transformado em uma forma de “Bloco Resultado” que é mais fácil de consultar e analisar. Este processo não só acelera o desempenho da rede Covalente, mas também fornece mais possibilidades longo para consulta e análise adicionais dos dados.
3. Índices e Consultas : Por fim, os operadores de consulta (Query Operators) processam os dados organizados e os guardam em locais fáceis de encontrar. Conforme as necessidades dos usuários da API, os dados são extraídos dos servidores distribuídos para garantir que tanto os dados históricos quanto os em tempo real possam ser usados para responder às consultas da API. Isso permite que os usuários acessem e utilizem efetivamente os dados da blockchain armazenados na rede Covalent.

Covalent oferece a API GoldRush unificada, que suporta o acesso a dados históricos de várias blockchains (como Ethereum, Polygon, Solana, etc.). Esta API GoldRush fornece uma solução de dados de balcão único para desenvolvedores, permitindo que eles obtenham facilmente o saldo de tokens ERC20 e dados NFT de uma conta através de uma única chamada, simplificando muito o processo de desenvolvimento de carteiras de criptomoedas e NFTs (como Rainbow, Zerion). Além disso, o acesso aos dados DA via API consome créditos, com diferentes tipos de solicitações classificadas em diferentes categorias (Tipo A, Tipo B, Tipo C, etc.), cada uma com seus próprios custos de crédito específicos. Essa receita é usada para apoiar a rede operadora.

Perspectivas Futuras

Com o rápido desenvolvimento da IA, a tendência de combinação entre IA e blockchain está se tornando cada vez mais evidente. A tecnologia de blockchain fornece à IA uma fonte de dados imutável e verificada de forma distribuída, aumentando a transparência e a confiabilidade dos dados, tornando os modelos de IA mais precisos e confiáveis na análise de dados e tomada de decisões. Através da análise de dados na cadeia, a IA pode otimizar algoritmos e prever tendências, executando diretamente tarefas e transações complexas, aumentando significativamente a eficiência e reduzindo os custos do dApp. Com a EWM, os modelos de IA podem acessar um amplo conjunto de dados estruturados da Web3 na cadeia, e esses dados são completos e verificáveis. A EWM, como ponte entre os modelos de IA e a blockchain, facilita enormemente a recuperação e utilização de dados para os desenvolvedores de IA.

Atualmente, alguns projetos de IA já integraram Covalent:

• SmartWhales: Uma plataforma que utiliza tecnologia de IA para otimizar estratégias de investimento em cópia. O investimento em cópia depende da análise de dados históricos para identificar padrões e estratégias de negociação bem-sucedidos. Covalent fornece conjuntos de dados abrangentes e detalhados da blockchain, e SmartWhales utiliza esses dados para analisar o comportamento e os resultados das negociações passadas, identificando quais estratégias se saíram bem em condições de mercado específicas e recomendando-as aos usuários.
• BotFi: Robô de negociação DeFi. Analisa as tendências do mercado e automatiza as estratégias de negociação através da integração dos dados da Covalent, realizando automaticamente compras e vendas de acordo com as mudanças do mercado.
• Laika AI：Utilização de IA para análise abrangente na cadeia. A plataforma Laika AI utiliza dados estruturados de blockchain fornecidos pela Covalent para alimentar seus modelos de IA e ajudar os usuários a realizar análises complexas de dados na cadeia.
• Entendre Finance: Gestão automatizada de ativos DeFi, fornecendo insights em tempo real e análises preditivas. Seu AI utiliza dados estruturados Covalent para simplificar e automatizar a gestão de ativos, como monitorar e gerenciar a posse de ativos digitais, executar automaticamente estratégias de negociação específicas, entre outras coisas.

EWM também está constantemente a melhorar e a evoluir com a mudança das necessidades. O engenheiro da Covalent, Pranay Valson, afirmou que no futuro, EWM expandirá as especificações do protocolo para suportar outras blockchains como Polygon e Arbitrum, e integrará a fork do BSP em clientes Ethereum, como Nethermind e Besu, para alcançar uma maior compatibilidade e aplicabilidade. Além disso, ao lidar com transações de blob na cadeia beacon, o EWM usará compromissos KZG para melhorar a eficiência de armazenamento e recuperação de dados, reduzindo os custos de armazenamento.