Як вирішити проблему довгострокового зберігання та доступу до історичних даних Ethereum після оновлення Dencun?

Проблема розширення даних стану Ethereum та рішення

Зі зростанням популярності та збільшенням потреб у застосуванні мережі Ethereum, дані її історичного стану починають швидко зростати. Щоб відповісти на це питання, Ethereum поступово поліпшується, від повного вузла до легкого клієнта, а також оновлення Dencun зі введенням функції автоматичного очищення довгострокових не використовуваних даних.

Однією з лонг-термінових цілей Ethereum є зниження навантаження на один Блокчейн шляхом впровадження Шардинг для розподілу даних між різними блокчейнами, а впровадження EIP-4844 в оновленні Dencun є важливим кроком на шляху до повної реалізації Шардинг в мережі Ethereum. EIP-4844 вводить тимчасовий тип даних “blobs”, що дозволяє роллапи надсилати Ethereum основний блокчейн більше лонг даних за нижчою ціною. Щоб контролювати роздуття даних стану, Ethereum видаляє дані blobs приблизно через 18 днів зберігання на вузлах Консенсус шару.

Крім вдосконалення самої Ethereum, існують такі проекти, як Celestia, Avail та EigenDA, які також працюють над створенням рішень для покращення проблем з даними. Вони надають ефективні рішення для короткострокової доступності даних (DA), що підвищує реальний час роботи та масштабованість блокчейну. Однак ці рішення не вирішують потреб додатків, які потребують довгострокового доступу до історичних даних, таких як dApp, які залежать від довгострокового зберігання даних автентифікації користувачів, або dApp, які потребують навчання моделей штучного інтелекту.

Для вирішення проблем з тривалим зберіганням даних в екосистемі Ethereum проекти, такі як EthStorage, Pinax, Covalent, запропонували рішення. EthStorage забезпечує тривале зберігання довірчих активів для Rollup, щоб забезпечити довготривалий доступ до даних. Pinax, The Graph і StreamingFast спільно розробили рішення для тривалого зберігання і витягування пакетів даних blobs. Ethereum Wayback Machine (EWM) від Covalent не тільки є рішенням для тривалого зберігання даних, а й цілим системою, яка дозволяє запитувати та аналізувати дані.

З огляду на те, що штучний інтелект стає головним трендом у світовому розвитку технологій, його поєднання з технологією блокчейн також розглядається як напрямок майбутнього розвитку. Цей тренд призводить до постійного зростання попиту на доступ і аналіз історичних даних. У такому контексті EWM виявляє свої унікальні переваги. EWM забезпечує доступ до архіву та обробки історичних даних Ethereum, що дозволяє користувачам отримувати складні структури даних для глибинного аналізу та запитів до внутрішнього стану розумних контрактів, результатів торгів, журналів подій тощо.

Вступ до Машини часу Ethereum (EWM)

Ethereum Wayback Machine (EWM) запозичив концепцію Wayback Machine, зберігає історичні дані на Ethereum та робить їх доступними та перевіреними. Wayback Machine - це цифровий архівний проект, створений Internet Archive, з метою зберігання історії Інтернету. Цей інструмент дозволяє користувачам переглядати архівні версії веб-сайтів на різних точках часу в минулому, що допомагає зрозуміти історичні зміни контенту веб-сайту.

Історичні дані - це корінна причина виникнення блокчейну, які не лише підтримують технічну архітектуру блокчейну, але й є його економічною основою. Початкове проектування блокчейну передбачало створення відкритого та незмінного історичного запису. Наприклад, біткойн створений для створення незмінного, децентралізованого реєстру, який фіксує історію кожної транзакції з метою забезпечення прозорості та безпеки угод. Потреба в історичних даних дуже широка, але наразі відсутній ефективний та перевірений засіб зберігання. EWM, як довгострокове рішення для DA, може назавжди зберігати дані, включаючи blob-дані, що дозволяє вирішувати проблеми доступності історичних даних, що виникають через закінчення строку дії стану та розподіл даних. EWM фокусується на архівуванні і довгостроковій доступності історичних даних на Ethereum, підтримуючи складні запити до структури даних. Наступним кроком буде докладне обговорення того, як EWM здійснює цю мету через свій унікальний процес обробки даних.

Процес обробки даних EWM: екстракція, очищення та індексація

Covalent - це платформа, яка надає користувачам доступ до даних блокчейну та послуги їх пошуку. Вона забезпечує надійне зберігання та швидкий доступ до даних, захоплюючи та індексуючи їх блокчейн, а потім зберігаючи на кількох вузлах в мережі. Covalent використовує Ethereum Wayback Machine (EWM) для обробки даних, що гарантує постійний доступ до історичних даних блокчейну. Процес обробки даних EWM включає три ключові кроки: видобуток та експорт, очищення, індексація та запити.

1. Вилучення та експорт - це перший крок у процесі, який включає в себе безпосереднє вилучення історичних даних про транзакції з мережі блокчейн. Цей крок виконується спеціалізованим суб’єктом, а саме виробниками зразків блоків (BSP). Основним завданням BSP є створення та збереження “зразків блоків”, тобто оригінальних знімків даних блокчейну. Ці зразки блоків слугують нормативним виявленням історичного стану блокчейну, ключовим є збереження цілісності та точності даних. Після створення ці зразки блоків будуть завантажені на розподілені сервери (побудовані на основі IPFS) та опубліковані та перевірені за допомогою контракту ProofChain. Це не тільки забезпечує безпеку даних, але також надає сигнал іншим про те, що дані були безпечно збережені.
2. Уточнення：після витягування даних це робить Block Results Producers (BRP). BRP відповідають за перетворення базових даних в більш корисну форму. Традиційні методи доступу до даних блокчейну зазвичай здатні надати лише обмежену інформацію, і складно опитувати складні структури даних. Шляхом повторного виконання та перетворення даних, BRP може забезпечити більш детальну інформацію, таку як внутрішній стан контракту, шлях виконання операцій тощо. Крім того, шляхом попередньої обробки та зберігання оброблених даних BRP значно зменшують потребу у повторному запуску повного вузла для кожного запиту або аналізу даних, що покращує швидкість запитів та знижує витрати на зберігання та обчислення. Таким чином, початковий «зразок блоку» перетворюється в форму «результат блоку», яка легко опитується та аналізується. Цей процес не лише прискорює продуктивність мережі Covalent, але й відкриває більше можливостей для подальшого опитування та аналізу даних.
3. Індексування та запити: Нарешті, оператори запитів (Query Operators) оброблять та збережуть дані в зручному для пошуку місці. Згідно з потребами користувачів API, дані витягуються з розподілених серверів, забезпечуючи доступність як історичних, так і поточних даних для відповіді на запити API. Таким чином, користувачі можуть ефективно отримувати доступ до даних блокчейну, збережених в мережі Covalent.

Covalent надає єдиний GoldRush API, який підтримує отримання історичних даних з різних блокчейнів (таких як Ethereum, Polygon, Solana тощо). Цей GoldRush API надає розробникам всеукраїнське рішення для отримання даних, що дозволяє розробникам легко отримувати баланс ERC20 токенів та NFT-дані для облікових записів за допомогою одного виклику, спрощуючи процес розробки криптовалютних та NFT-гаманців (наприклад, Rainbow, Zerion). Крім того, для доступу до даних DA потрібно витратити кредитні бали (Credit), різні типи запитів розділені на різні категорії (категорія A, категорія B, категорія C тощо), кожна з яких має власні кредитні витрати. Цей дохід використовується для підтримки мережі операторів.

Перспективи майбутнього

Зі швидким розвитком штучного інтелекту поєднання штучного інтелекту та блокчейну стає все більш очевидним. Технологія блокчейн надає штучному інтелекту незмінне та розподілене джерело даних, що посилює прозорість та довіру до даних, роблячи моделі штучного інтелекту більш точними та надійними під час аналізу даних та прийняття рішень. Штучний інтелект, аналізуючи дані у ланцюжку, може оптимізувати алгоритми та прогнозувати тенденції, тим самим безпосередньо виконуючи складні завдання та угоди, значно підвищуючи ефективність та знижуючи витрати додатків. За допомогою EWM моделі штучного інтелекту можуть отримати доступ до широкого набору структурованих веб-даних у ланцюжку, причому ці дані мають цілісність та перевірність. EWM, як міст між моделями штучного інтелекту та блокчейном, значно полегшує пошук та використання даних розробникам штучного інтелекту.

Наразі деякі проекти з штучним інтелектом вже інтегрують Covalent:

• SmartWhales: використовує штучний інтелект для оптимізації стратегії інвестування в копіювання угод (copy trading). Копіювання угод ґрунтується на аналізі історичних даних для визначення успішних торгових моделей та стратегій. Covalent надає всебічний та детальний набір даних блокчейну, SmartWhales аналізує ці дані про минулі торгові операції та їх результати, визначає, які стратегії показали себе добре в конкретних ринкових умовах, і рекомендує їх користувачам.
• BotFi: торговий робот DeFi. Аналізує ринкові тенденції та автоматизовані стратегії торгівлі, і автоматично здійснює купівлю-продаж на основі змін на ринку, інтегруючи дані від Covalent.
• Laika AI: Використовує штучний інтелект для всебічного аналізу на блокчейні. Платформа Laika AI використовує структуровані дані на блокчейні, надані Covalent, для приводу своєї моделі штучного інтелекту, щоб допомогти користувачам аналізувати складні дані на блокчейні.
• Entendre Finance: автоматизоване управління активами DeFi, надає реальний інсайт та прогнозну аналітику. Його штучний інтелект використовує структуровані дані Covalent для спрощення та автоматизації управління активами, такими як моніторинг та управління утриманням цифрових активів, автоматичне виконання певних торгових стратегій тощо.

EWM також постійно вдосконалюється і оновлюється відповідно до змін потреб. Інженер Covalent Pranay Valson вказує, що у майбутньому EWM розширить протокольні специфікації, щоб підтримувати інші блокчейни, такі як Polygon та Arbitrum, і інтегрує форк BSP в Ethereum-клієнти, такі як Nethermind і Besu, для забезпечення більш широкої сумісності та застосування. Крім того, при обробці транзакцій blob на сигнальній мережі, EWM використовуватиме зобов’язання KZG, щоб покращити ефективність зберігання та отримання даних і знизити витрати на зберігання.