Khi các ứng dụng blockchain mở rộng quy mô, dữ liệu trên chuỗi đã trở thành nguồn lực nền tảng cho DeFi, phân tích trên chuỗi, tác nhân AI và các ứng dụng đa chuỗi. Tuy nhiên, dữ liệu blockchain thô thường tồn tại dưới dạng khối, giao dịch và nhật ký sự kiện, buộc các nhà phát triển phải trải qua quy trình trích xuất và xử lý phức tạp trước khi có thể sử dụng. Vì vậy, truy cập hiệu quả dữ liệu trên chuỗi đã trở thành thách thức cốt lõi trong phát triển cơ sở hạ tầng Web3.
Subsquid (SQD) nổi lên như một mạng dữ liệu phi tập trung được thiết kế để giải quyết vấn đề này. Khác với các nút RPC truyền thống, vốn đọc trạng thái blockchain trực tiếp, SQD cung cấp kiến trúc dịch vụ dữ liệu xoay quanh một kho dữ liệu (data lake), nút Worker và lớp truy vấn Portal, cho phép nhà phát triển truy cập dữ liệu trên chuỗi đã được cấu trúc và lập chỉ mục thông qua một giao diện thống nhất.
Truy vấn dữ liệu SQD là gì?
Truy vấn dữ liệu SQD là quy trình nhà phát triển truy xuất dữ liệu trên chuỗi thông qua mạng SQD. Thay vì yêu cầu dữ liệu trực tiếp từ các nút blockchain, truy vấn SQD trả về dữ liệu đã được tiền xử lý và lập chỉ mục, giúp phản hồi nhanh chóng trước những yêu cầu phức tạp.
Ví dụ: bảng điều khiển DeFi cần tổng hợp khối lượng giao dịch vài tháng qua, tác nhân AI cần đọc biến động tài sản trên nhiều địa chỉ, hay nền tảng phân tích cần truy vấn toàn bộ lịch sử sự kiện của một hợp đồng thông minh cụ thể. Đây đều là những kịch bản truy vấn dữ liệu điển hình.
Ý tưởng cốt lõi của SQD là chuyển khối xử lý dữ liệu nặng nề sang giai đoạn đầu, để ứng dụng có thể truy cập trực tiếp dữ liệu có cấu trúc mà không phải tự xử lý lượng lớn dữ liệu khối thô.
Cách dữ liệu trên chuỗi đi vào mạng SQD
Điểm khởi đầu của một truy vấn thực ra diễn ra trước khi nhà phát triển gửi yêu cầu.
Khi các mạng blockchain liên tục tạo ra khối mới, mạng SQD thu thập dữ liệu thô——gồm khối, giao dịch, sự kiện nhật ký và thay đổi trạng thái hợp đồng thông minh——theo thời gian thực qua hệ thống thu thập dữ liệu của mình. Dữ liệu này sau đó được chuẩn hóa để xử lý và lưu trữ.
Do SQD hỗ trợ nhiều blockchain, lớp thu thập dữ liệu của nó phải đồng bộ liên tục các luồng dữ liệu từ các hệ sinh thái khác nhau, đồng thời đảm bảo tính toàn vẹn và nhất quán. Sau khi chuẩn hóa, dữ liệu được ghi vào lớp lưu trữ của mạng.
Cách kho dữ liệu lưu trữ thông tin trên chuỗi
Kho dữ liệu là cơ sở hạ tầng lưu trữ cốt lõi trong mạng SQD.
Không giống cơ sở dữ liệu truyền thống, vốn dành cho dữ liệu có cấu trúc, kho dữ liệu có thể xử lý lượng lớn dữ liệu thô và bán cấu trúc. Lịch sử blockchain, dữ liệu giao dịch, nhật ký sự kiện và ảnh chụp nhanh trạng thái đều được lưu trữ trong lớp này.
Ưu điểm của kho dữ liệu là lưu giữ toàn bộ dữ liệu lịch sử đồng thời cho phép xử lý và phân tích hạ nguồn linh hoạt. Với các ứng dụng cần truy vết hàng triệu giao dịch, phương pháp lưu trữ này hiệu quả hơn nhiều so với truy vấn trực tiếp từ nút blockchain.
Kho dữ liệu đóng vai trò như bộ nhớ dài hạn của mạng SQD, cung cấp dữ liệu cho việc lập chỉ mục và truy vấn tiếp theo.
Cách nút Worker xử lý yêu cầu truy vấn
Nút Worker là lớp thực thi trong mạng SQD.
Khi dữ liệu đi vào mạng, nút Worker lập chỉ mục, phân loại và tối ưu hóa để truy xuất nhanh. Quá trình lập chỉ mục giống như tạo bảng mục lục cho một bộ bách khoa toàn thư——không cần quét lại từ đầu cho mỗi truy vấn.
Ngoài xây dựng chỉ mục, nút Worker còn thực thi các tác vụ truy vấn. Khi nhà phát triển yêu cầu dữ liệu cụ thể, nút Worker nhanh chóng định vị bản ghi liên quan qua chỉ mục, sau đó lọc, tổng hợp và tính toán kết quả.
Nhờ nhiều nút Worker có thể chạy song song, mạng xử lý đồng thời nhiều truy vấn, tăng hiệu suất và khả năng mở rộng tổng thể.
Cách Portal nhận yêu cầu từ nhà phát triển
Portal là điểm đầu vào thống nhất để nhà phát triển truy cập mạng SQD.
Nhà phát triển thường gửi truy vấn qua API hoặc SDK mà không cần kết nối trực tiếp với các nút bên dưới. Khi yêu cầu đến Portal, hệ thống phân tích truy vấn và xác định nút Worker phù hợp nhất để xử lý.
Portal hoạt động như một bộ cân bằng tải trên internet. Nhà phát triển chỉ tương tác với một giao diện duy nhất, trong khi việc lập lịch tài nguyên phức tạp và lựa chọn nút diễn ra tự động ở hậu trường.
Thiết kế này đơn giản hóa việc phát triển và nâng cao hiệu quả tài nguyên tổng thể của mạng.
Cách kết quả truy vấn được trả về ứng dụng
Sau khi nút Worker hoàn tất xử lý, kết quả được gửi lại lớp Portal.
Portal định dạng kết quả theo nhu cầu và gửi dữ liệu cuối cùng đến ứng dụng. Nhà phát triển nhận được dữ liệu đã có cấu trúc——ví dụ: đối tượng JSON hoặc kết quả phân tích——sẵn sàng cho hiển thị giao diện người dùng, logic kinh doanh hoặc suy luận AI.
Toàn bộ quy trình thường trong suốt với người dùng cuối. Họ chỉ thấy trang tải hoặc kết quả phân tích xuất hiện, trong khi ở hậu trường, nhiều bước từ thu thập dữ liệu đến thực thi truy vấn đã diễn ra.
Cách Hotblocks hỗ trợ truy vấn dữ liệu thời gian thực
Ngoài truy vấn lịch sử, nhiều ứng dụng cần thông tin trên chuỗi theo thời gian thực.
Ví dụ: hệ thống giám sát trên chuỗi cần phát hiện giao dịch bất thường, chiến lược tự động cần lắng nghe sự kiện hợp đồng thông minh, và tác nhân AI cần cập nhật điều kiện thị trường mới nhất. Những kịch bản này yêu cầu dữ liệu có sẵn ngay khi một khối mới được tạo ra.
Hotblocks là lớp dữ liệu thời gian thực do SQD cung cấp, được thiết kế riêng cho các khối mới và sự kiện trực tiếp. So với dữ liệu lịch sử trong kho dữ liệu, Hotblocks tập trung vào độ trễ thấp và phản hồi nhanh, cho phép nhà phát triển xây dựng các ứng dụng thời gian thực.
Sự khác biệt giữa truy vấn SQD và truy vấn RPC truyền thống
Cả hai phương pháp đều có thể truy cập dữ liệu trên chuỗi, nhưng logic cơ bản rất khác nhau.
Các nút RPC truyền thống giống như truy vấn trực tiếp cơ sở dữ liệu blockchain. Mỗi yêu cầu phải tra cứu dữ liệu tương ứng từ trạng thái trên chuỗi hoặc bản ghi lịch sử. Khi phạm vi truy vấn mở rộng, áp lực hiệu suất và chi phí tăng theo.
Ngược lại, SQD sử dụng kiến trúc lập chỉ mục trước. Dữ liệu đã được tổ chức và lập chỉ mục ngay khi vào mạng, do đó truy vấn không cần quét lại toàn bộ lịch sử. Với phân tích phức tạp, tổng hợp dữ liệu đa chuỗi và thống kê lịch sử dài hạn, SQD thường mang lại hiệu quả cao hơn nhiều.
| Tiêu chí |
SQD |
RPC Truyền thống |
| Nguồn dữ liệu |
Dữ liệu lập chỉ mục trước |
Đọc trên chuỗi thời gian thực |
| Hiệu quả truy vấn |
Cao |
Trung bình |
| Phân tích dữ liệu lịch sử |
Lợi thế vượt trội |
Phức tạp hơn |
| Hỗ trợ đa chuỗi |
Mạnh |
Phụ thuộc nhiều nút |
| Chi phí cơ sở hạ tầng |
Thấp hơn |
Cao hơn |
| Đọc trạng thái thời gian thực |
Được hỗ trợ |
Được hỗ trợ |
Tầm quan trọng của quy trình truy vấn SQD đối với tác nhân AI
Tác nhân AI đang trở thành ứng dụng chủ chốt trong cơ sở hạ tầng Web3 và truy cập dữ liệu là nền tảng cho hoạt động của chúng.
Nếu một tác nhân AI cần phân tích hành vi ví, theo dõi trạng thái giao thức hoặc thực hiện hành động trên chuỗi, nó phải liên tục có được dữ liệu chính xác và có cấu trúc. Truy vấn RPC truyền thống có thể cung cấp dữ liệu thô, nhưng thường yêu cầu xử lý và chuyển đổi bổ sung.
Giao diện dữ liệu thống nhất do SQD cung cấp giúp giảm độ phức tạp cho tác nhân AI trong việc lấy thông tin trên chuỗi. Với kết quả truy vấn được chuẩn hóa, hệ thống AI có thể dành nhiều sức mạnh tính toán hơn cho phân tích và ra quyết định thay vì xử lý dữ liệu.
Khi AI và Web3 tiếp tục hội tụ, tầm quan trọng của các lớp dữ liệu phi tập trung sẽ chỉ ngày càng tăng.
Tổng kết
Một truy vấn dữ liệu SQD không chỉ đơn thuần là thao tác đọc dữ liệu——đó là một quy trình làm việc hoàn chỉnh với sự phối hợp của lớp thu thập dữ liệu, kho dữ liệu, nút Worker và lớp Portal. Dữ liệu blockchain thô đầu tiên được thu thập và lưu trữ, sau đó được lập chỉ mục và tối ưu hóa, cuối cùng được phân phối đến nhà phát triển thông qua giao diện thống nhất.
Mô hình xử lý phân tán, lập chỉ mục trước này giúp SQD đạt hiệu quả cao cho các truy vấn phức tạp, phân tích đa chuỗi và truy cập dữ liệu thời gian thực. Khi DeFi, nền tảng phân tích trên chuỗi và tác nhân AI ngày càng đòi hỏi nhiều dữ liệu hơn, kiến trúc lớp dữ liệu mà SQD đại diện đang trở thành phần không thể thiếu của cơ sở hạ tầng Web3.
Câu hỏi thường gặp
Sự khác biệt giữa truy vấn dữ liệu SQD và truy vấn API thông thường là gì?
API thông thường thường do nhà cung cấp tập trung duy trì, trong khi truy vấn SQD chạy trên mạng dữ liệu phi tập trung. Dữ liệu SQD đến từ các hệ thống thu thập và lập chỉ mục trên chuỗi, mang lại khả năng truy cập dữ liệu mở và có thể xác minh hơn.
Tại sao tốc độ truy vấn SQD nhanh hơn một số yêu cầu RPC?
SQD hoàn tất lập chỉ mục và tổ chức trước, do đó truy vấn không cần quét lại lượng lớn lịch sử khối. Với các tác vụ phân tích phức tạp và dữ liệu lịch sử, SQD thường nhanh hơn nhiều.
Nút Worker đóng vai trò gì trong quy trình truy vấn?
Nút Worker xử lý lập chỉ mục, lọc, tổng hợp và tính toán. Khi Portal nhận được yêu cầu truy vấn, các nút Worker liên quan thực hiện xử lý dữ liệu thực tế.
Sự khác biệt giữa kho dữ liệu và cơ sở dữ liệu là gì?
Cơ sở dữ liệu thường lưu trữ dữ liệu có cấu trúc, trong khi kho dữ liệu có thể lưu trữ khối lượng lớn dữ liệu thô và bán cấu trúc. SQD sử dụng kho dữ liệu để lưu trữ toàn bộ lịch sử trên chuỗi, hỗ trợ truy vấn và phân tích linh hoạt.
Hotblocks có thể thay thế truy vấn dữ liệu lịch sử không?
Không. Hotblocks được thiết kế cho truy cập dữ liệu thời gian thực; truy vấn lịch sử vẫn dựa vào kho dữ liệu và hệ thống lập chỉ mục. Cả hai cùng nhau tạo nên khả năng dịch vụ dữ liệu đầy đủ của SQD.
Những ứng dụng nào phù hợp nhất với dịch vụ truy vấn SQD?
Bảng điều khiển DeFi, trình khám phá blockchain, nền tảng phân tích trên chuỗi, hệ thống giám sát thời gian thực, ứng dụng đa chuỗi và tác nhân AI——bất kỳ kịch bản nào cần truy cập dữ liệu trên chuỗi thường xuyên——đều là lựa chọn lý tưởng cho dịch vụ truy vấn SQD.
