Coinbase repasa el incidente de la interrupción del servicio del 14 de julio: un error de configuración causó una caída de 50 minutos, los fondos de los usuarios no se vieron afectados

Odaily星球日报消息: Coinbase publicó el informe de revisión posterior al incidente de interrupción del servicio ocurrido el 14 de julio. La empresa indicó que el accidente fue causado por una configuración errónea de un componente de red clave, provocada por una actualización de configuración rutinaria. La interrupción tuvo una duración de aproximadamente 50 minutos y, durante todo el tiempo, los fondos de los usuarios permanecieron seguros.

Coinbase señaló que, a las 12:34 (hora de Beijing del 14 de julio; 12:34 hora del Este de EE. UU.), la empresa desplegó un cambio de configuración rutinario en un clúster compartido de producción Kubernetes que aloja los servicios de infraestructura central. El cambio estaba previsto originalmente para migrar a un nuevo modelo de despliegue de servicios, con el fin de mejorar el rendimiento y la fiabilidad del sistema.

Sin embargo, debido a que un mecanismo de detección en el entorno de preproducción no detectó un conflicto de nombres de recursos, esta modificación de configuración afectó de forma inesperada a los recursos de Kubernetes relacionados con el Istio Ingress Gateway (Ingress Gateway) en el clúster, lo que dejó ese componente de red no disponible. Aproximadamente 3 minutos después, se interrumpió todo el tráfico entrante del clúster, impidiendo que los servicios internos accedieran a varios componentes de infraestructura.

Coinbase indicó que, como una gran cantidad de flujos de trabajo asíncronos dependen de estos servicios de infraestructura, incluidas operaciones como liquidación de transacciones, transferencias de fondos y autorizaciones de transacciones con tarjetas, varias líneas de negocio se vieron afectadas. Los servicios afectados incluyen:

Los usuarios minoristas no pudieron completar transacciones fuera de la cadena, recargas y retiros; algunas transacciones en proceso mostraron que estaban “bloqueadas” y, tras la recuperación del servicio, se completaron;

Las transacciones con la tarjeta de débito Coinbase Card fallaron temporalmente; los pagos con tarjeta de crédito no se vieron afectados, pero algunas funciones de administración de tarjetas no estuvieron disponibles;

Se suspendieron los servicios de intercambio on-chain de Coinbase DEX en Base y Solana;

Coinbase Exchange y los clientes institucionales Prime presentaron fallos o demoras en transferencias y liquidaciones;

Los clientes de Coinbase Developer Platform no pudieron completar aperturas de cuenta, transferencias de fondos y servicios de depósitos.

Coinbase informó que el Ingress Gateway se restableció a las 13:20 (hora del Este de EE. UU.) y que el incidente se mitigó a las 13:23. Posteriormente, el sistema comenzó a procesar las tareas acumuladas; la mayoría de los servicios se recuperó rápidamente y las colas restantes se completaron en las horas siguientes. Durante el proceso de recuperación, Coinbase enfrentó dos desafíos adicionales. Primero, la propia herramienta de despliegue dependía de la operación del Ingress Gateway afectado, lo que impidió ejecutar el proceso de rollback habitual, creando una dependencia cíclica de “herramienta de reparación del impacto del fallo”. Segundo, aunque el proceso de recuperación de emergencia (break-glass access) fue efectivo, la verificación de permisos y el flujo de revisión manual incrementaron el tiempo de recuperación.

Coinbase indicó que este incidente no implicó riesgos para la seguridad de los activos, pero puso de manifiesto que la infraestructura financiera de gran escala aún necesita seguir optimizando la automatización de despliegues, las dependencias del sistema y los mecanismos de recuperación ante desastres. La empresa reforzará aún más la construcción de resiliencia del sistema para reducir la probabilidad de que ocurran incidentes similares en el futuro.