Coinbase tổng kết lại sự cố gián đoạn dịch vụ ngày 14 tháng 7: cấu hình sai gây lỗi trong 50 phút, quỹ của người dùng không bị ảnh hưởng

Odaily星球日报讯 Coinbase đã công bố báo cáo rà soát sự cố gián đoạn dịch vụ ngày 14 tháng 7, cho biết sự cố lần này xuất phát từ một cấu hình sai của thành phần mạng then chốt do cập nhật cấu hình định kỳ gây ra, thời gian ảnh hưởng kéo dài khoảng 50 phút và trong suốt thời gian đó, tiền của người dùng luôn được bảo đảm an toàn.

Coinbase cho biết, vào 12:34 ngày 14 tháng 7 theo giờ Bắc Kinh (12:34 theo giờ miền Đông của Mỹ), công ty đã triển khai một thay đổi cấu hình định kỳ lên cụm Kubernetes sản xuất dùng chung, nơi vận hành dịch vụ cơ sở hạ tầng lõi. Bản cập nhật này ban đầu dự kiến phục vụ cho việc chuyển đổi sang mô hình triển khai dịch vụ mới nhằm nâng cao hiệu năng và độ tin cậy của hệ thống.

Tuy nhiên, do cơ chế kiểm tra trong môi trường tiền sản xuất không phát hiện xung đột tên tài nguyên, việc chỉnh sửa cấu hình lần này ngoài dự kiến đã tác động đến các tài nguyên Kubernetes liên quan đến Istio Ingress Gateway (cổng vào) trong cụm, khiến thành phần mạng này không khả dụng. Khoảng 3 phút sau, toàn bộ lưu lượng vào cụm bị gián đoạn, khiến các dịch vụ nội bộ không thể truy cập nhiều thành phần cơ sở hạ tầng.

Coinbase cho biết, do nhiều quy trình làm việc bất đồng bộ phụ thuộc vào các dịch vụ cơ sở hạ tầng này, bao gồm các luồng thanh toán giao dịch, chuyển tiền và ủy quyền giao dịch thẻ ngân hàng, nên nhiều mảng kinh doanh bị ảnh hưởng. Các dịch vụ bị ảnh hưởng gồm:

Người dùng bán lẻ không thể hoàn tất giao dịch ngoài chuỗi, nạp tiền và rút tiền; một số giao dịch đang xử lý hiển thị bị kẹt, và sau khi dịch vụ khôi phục thì hoàn tất;

Giao dịch thẻ ghi nợ Coinbase Card tạm thời thất bại; thanh toán bằng thẻ tín dụng không bị ảnh hưởng, nhưng một số chức năng quản lý thẻ không khả dụng;

Dịch vụ trao đổi on-chain của Coinbase DEX trên Base và Solana bị tạm dừng;

Coinbase Exchange và khách hàng tổ chức Prime gặp lỗi hoặc bị chậm trong chuyển khoản và thanh toán;

Khách hàng Coinbase Developer Platform không thể hoàn tất mở tài khoản, chuyển tiền và nạp tiền.

Coinbase cho biết Ingress Gateway được khôi phục vào 13:20 theo giờ miền Đông của Mỹ và sự cố được giảm thiểu vào 13:23. Sau đó hệ thống bắt đầu xử lý các tác vụ tồn đọng, và phần lớn dịch vụ nhanh chóng trở lại bình thường; các tác vụ còn lại trong hàng đợi được hoàn tất trong vài giờ tiếp theo. Trong quá trình khôi phục, Coinbase gặp hai thách thức bổ sung. Thứ nhất, chính công cụ triển khai lại phụ thuộc vào Ingress Gateway bị ảnh hưởng, khiến quy trình rollback thông thường không thể thực hiện, tạo ra vòng lặp phụ thuộc “công cụ khắc phục ảnh hưởng sự cố”. Thứ hai, quy trình khôi phục khẩn cấp (break-glass access) dù có hiệu quả, nhưng việc xác thực quyền và quy trình kiểm tra thủ công làm tăng thời gian khôi phục.

Coinbase cho biết sự kiện này không liên quan đến rủi ro an toàn tài sản, nhưng đã cho thấy các hạ tầng tài chính quy mô lớn vẫn cần tiếp tục tối ưu về triển khai tự động, sự phụ thuộc của hệ thống và cơ chế khôi phục sau thảm họa. Công ty sẽ tiếp tục tăng cường xây dựng độ bền vững của hệ thống nhằm giảm xác suất xảy ra các sự cố tương tự trong tương lai.