Después de la actualización de Dencun, ¿cómo se resuelve el problema de almacenamiento y acceso a largo plazo de los datos históricos de Ethereum?

Problema de inflación de datos de estado de Ethereum y soluciones

Con la creciente popularidad de la red de Ethereum y el aumento de la demanda de aplicaciones, los datos de estado histórico están creciendo rápidamente. Para abordar este problema, Ethereum ha mejorado gradualmente, desde los nodos completos iniciales hasta los clientes ligeros y, más recientemente, la actualización Dencun ha introducido la función de expiración de estado para limpiar automáticamente los datos no utilizados durante mucho tiempo.

Uno de los objetivos a largo plazo de Ethereum es reducir la carga de una sola cadena de bloques mediante la implementación de la fragmentación para dispersar los datos en diferentes cadenas de bloques. La actualización de Dencun, EIP-4844, es un paso importante hacia la implementación completa de la fragmentación en la red de Ethereum. EIP-4844 introduce el tipo de datos temporal ‘blobs’, que permite a Rollup enviar más datos a la cadena principal de Ethereum a un costo menor. Para controlar la inflación de los datos de estado, Ethereum eliminará los datos de blobs almacenados en los nodos de consenso después de aproximadamente 18 días.

Además de las mejoras en Ethereum, hay proyectos como Celestia, Avail y EigenDA que están construyendo soluciones para mejorar los problemas de datos. Estos proyectos ofrecen soluciones eficientes de disponibilidad de datos a corto plazo (DA), mejorando la operación en tiempo real y la escalabilidad de la cadena de bloques. Sin embargo, estas soluciones no abordan las necesidades de aplicaciones que requieren acceso a datos históricos a largo plazo, como dApps que dependen del almacenamiento a largo plazo de datos de autenticación de usuarios o dApps que requieren entrenamiento de modelos de inteligencia artificial.

Para resolver los desafíos de almacenamiento a largo plazo de datos en el ecosistema de Ethereum, proyectos como EthStorage, Pinax y Covalent han propuesto soluciones. EthStorage proporciona un almacenamiento de datos a largo plazo para Rollup, garantizando que los datos puedan ser accedidos y utilizados durante mucho tiempo. Pinax, The Graph y StreamingFast han colaborado en el desarrollo de un sistema para el almacenamiento a largo plazo y la recuperación de paquetes de datos blobs. La Máquina del Tiempo de Ethereum (EWM) de Covalent no solo es una solución de almacenamiento de datos a largo plazo, sino también un sistema completo que permite la consulta y análisis de datos.

Con el desarrollo de la inteligencia artificial convirtiéndose en la tendencia principal en el desarrollo tecnológico global, su combinación con la tecnología blockchain se considera una dirección futura. Esta tendencia ha llevado a un crecimiento continuo en la demanda de acceso y análisis de datos históricos. En este contexto, EWM muestra sus ventajas únicas. EWM proporciona archivos y procesamiento de datos históricos de Ethereum, lo que permite a los usuarios recuperar estructuras de datos complejas y realizar análisis y consultas en profundidad sobre el estado interno de los contratos inteligentes, los resultados de las transacciones, los registros de eventos, etc.

Introducción a Ethereum Wayback Machine (EWM)

La Máquina del Tiempo de Ethereum (EWM) se inspira en el concepto de la Máquina del Tiempo para guardar datos históricos en Ethereum y permitir su acceso y verificación. La Máquina del Tiempo es un proyecto de archivo digital creado por el Archivo de Internet, con el objetivo de registrar y preservar la historia de Internet. Esta herramienta permite a los usuarios ver versiones archivadas de un sitio web en diferentes momentos del pasado, lo que ayuda a comprender los cambios históricos en el contenido del sitio web.

Los datos históricos son la razón fundamental del nacimiento de la cadena de bloques, no solo soportan la arquitectura técnica de la cadena de bloques, sino que también son la piedra angular de su modelo económico. Desde el diseño inicial de la cadena de bloques, su objetivo ha sido proporcionar un registro histórico público e inmutable. Por ejemplo, Bitcoin fue creado para establecer un libro de cuentas descentralizado e inalterable que registra el historial de cada transacción, garantizando así la transparencia y seguridad de las operaciones. La demanda de datos históricos es muy amplia, pero actualmente carecemos de un método de almacenamiento eficiente y verificable. EWM, como solución a largo plazo de DA, puede almacenar datos de forma permanente, incluidos los datos de blob, para hacer frente a los problemas de accesibilidad a los datos históricos causados por la expiración del estado y la fragmentación de datos. EWM se centra en archivar datos históricos y garantizar su accesibilidad a largo plazo en Ethereum, con soporte para consultas de estructuras de datos complejas. A continuación, analizaremos en detalle cómo EWM logra este objetivo a través de su exclusivo proceso de manipulación de datos.

El proceso de procesamiento de datos de EWM: extracción, refinamiento e indexación

Covalent es una plataforma que proporciona acceso y servicios de consulta de datos de blockchain a los usuarios. Captura e indexa los datos de blockchain y los almacena en varios nodos en la red, lo que garantiza un almacenamiento confiable y un acceso rápido a los datos. Covalent utiliza Ethereum Wayback Machine (EWM) para procesar los datos y garantizar la accesibilidad continua de los datos históricos de blockchain. El proceso de procesamiento de datos de EWM incluye tres pasos clave: extracción y exportación, refinamiento, e indexación y consulta.

1. Extraer y exportar: Este es el primer paso del proceso e implica extraer datos históricos de transacciones directamente de la red de cadenas de bloques. Este paso es realizado por una entidad especializada, los Productores de Muestras de Bloqueo (BSP). La tarea principal de un BSP es crear y guardar “Bloquear muestras”, que son instantáneas originales de datos de cadena de bloques. Estas muestras de bloqueo sirven como una representación canónica del estado histórico de la cadena de bloques, y la clave es mantener la integridad y precisión de los datos. Una vez creadas, estas muestras de bloqueo se cargan en un servidor distribuido (basado en FIL) y se publican y verifican a través del contrato de ProofChain. Esto no solo garantiza la seguridad de los datos, sino que también proporciona una señal a los demás de que los datos se han guardado de forma segura.
2. Refinación: Después de extraer los datos, se refinan bloqueando a los productores de resultados (BRP). El BRP es responsable de transformar los datos subyacentes en una forma más útil. Los métodos tradicionales de acceso a datos de cadena de bloques a menudo proporcionan solo información limitada y no son fáciles de consultar estructuras de datos complejas. Al volver a ejecutar y transformar los datos, BRP puede proporcionar información más detallada, como el estado interno del contrato, la ruta de ejecución de la transacción, etc. Además, BRP reduce significativamente la necesidad de volver a ejecutar el nodo completo con cada consulta o análisis de datos mediante el preprocesamiento y almacenamiento de los datos procesados, lo que aumenta la velocidad de consulta y solta los costos de almacenamiento y cómputo. En este punto, la “Muestra de bloqueo” original se transforma en una forma de “Resultado de bloqueo” que es más fácil de consultar y analizar. Este proceso no solo acelera el rendimiento de la red covalente, sino que también proporciona más posibilidades largas para una mayor consulta y análisis de los datos.
3. Índices y consultas：Por último, los operadores de consulta procesarán y almacenarán los datos preparados en una ubicación fácil de encontrar. Según las necesidades de los usuarios de la API, se extraerán datos de servidores distribuidos para garantizar que tanto los datos históricos como los datos en tiempo real estén disponibles para responder a las consultas de la API. De esta manera, los usuarios podrán acceder y utilizar de manera efectiva los datos de la cadena de bloques almacenados en la red de Covalent.

Covalent ofrece una API unificada de GoldRush que admite la obtención de datos históricos de múltiples blockchains (como Ethereum, Polygon, Solana, entre otras). Esta API de GoldRush proporciona una solución de datos integral para desarrolladores, permitiéndoles obtener saldos de tokens ERC20 y datos NFT de cuentas a través de una sola llamada, lo que facilita enormemente el proceso de desarrollo de monederos de criptomonedas y NFT (como Rainbow, Zerion). Además, el acceso a los datos de la DA a través de la API requiere un consumo de créditos (Credit), y las diferentes solicitudes se dividen en diferentes categorías (Clase A, Clase B, Clase C, etc.), cada una con su propio costo de crédito específico. Este ingreso se utiliza para apoyar la operación de la red.

Perspectivas futuras

Con el rápido desarrollo de la inteligencia artificial, la tendencia de la combinación de la inteligencia artificial y la cadena de bloques es cada vez más evidente. La tecnología de la cadena de bloques proporciona a la inteligencia artificial una fuente de datos inmutable y verificada de forma distribuida, mejorando la transparencia y la confiabilidad de los datos, lo que permite que los modelos de inteligencia artificial sean más precisos y confiables en el análisis de datos y la toma de decisiones. La inteligencia artificial, mediante el análisis de datos en la cadena, puede optimizar algoritmos y predecir tendencias, lo que permite la ejecución directa de tareas y transacciones complejas, mejorando significativamente la eficiencia y reduciendo los costos de las dApp. A través de EWM, los modelos de inteligencia artificial pueden acceder a un amplio conjunto de datos estructurados de Web3 en la cadena, y estos datos tienen integridad y verificabilidad. EWM, como puente entre los modelos de inteligencia artificial y la cadena de bloques, facilita en gran medida la recuperación y utilización de datos para los desarrolladores de inteligencia artificial.

Actualmente, algunos proyectos de IA han integrado Covalent:

• SmartWhales: una plataforma que utiliza tecnología de IA para optimizar estrategias de inversión de copia (copy trading). El copy trading se basa en el análisis de datos históricos para identificar patrones y estrategias de trading exitosos. Covalent proporciona conjuntos de datos de blockchain completos y detallados, y SmartWhales utiliza estos datos para analizar el comportamiento y los resultados de transacciones pasadas, identificando las estrategias que funcionan bien en condiciones de mercado específicas y recomendándolas a los usuarios.
• BotFi: Robot de trading DeFi. Analiza las tendencias del mercado y las estrategias de trading automatizadas mediante la integración de los datos de Covalent, y realiza operaciones de compra y venta automáticamente en función de los cambios del mercado.
• Laika AI: Análisis integral en cadena utilizando IA. La plataforma Laika AI impulsa sus modelos de IA mediante la integración de datos estructurados de blockchain proporcionados por Covalent, para ayudar a los usuarios en el análisis complejo de datos en cadena.
• Entendre Finance: gestión automatizada de activos DeFi que ofrece información y análisis de pronóstico en tiempo real. Su inteligencia artificial utiliza los datos estructurados de Covalent para simplificar y automatizar la gestión de activos, como monitorear y administrar la tenencia de activos digitales, ejecutar automáticamente estrategias de negociación específicas, entre otros.

EWM también se está mejorando y actualizando constantemente a medida que cambian las necesidades. El ingeniero de Covalent, Pranay Valson, dijo que en el futuro, EWM ampliará las especificaciones del protocolo para admitir otras cadenas de bloques como Polygon y Arbitrum, e integrará la bifurcación BSP en clientes de Ethereum como Nethermind y Besu para lograr una mayor compatibilidad y aplicaciones más amplias. Además, cuando EWM procesa transacciones de blob en la cadena de señal, utilizará compromisos KZG para mejorar la eficiencia de almacenamiento y recuperación de datos y reducir los costos de almacenamiento.