Diálogo de Amazon Web Services Mai-Lan: El próximo campo de batalla de S3, cómo hacer frente a la ola de consumo de datos en la era de los Agentes

nulo

A principios de año, el auge de OpenClaw en el mercado chino mostró a todos el gran potencial del Agente. Pero lo que siguió fue una pregunta que todos los proveedores de la nube deben responder: cuando el Agente comience a reproducirse de manera frenética como un cangrejo cibernético y a realizar llamadas de datos de alta frecuencia, ¿está preparada la infraestructura de la nube de IA, especialmente la capa de datos?

Por ejemplo, cuando los equipos de datos empresariales implementan el Agente en producción, a menudo enfrentan cuellos de botella en la capa de datos. Construir agentes en plataformas diferentes como bases de datos vectoriales, bases de datos relacionales, bases de datos de grafos y lagos de datos requiere sincronizar los canales de datos para mantener la actualidad de la información contextual. Pero en entornos de producción reales, esta información contextual se vuelve obsoleta con el tiempo.

La urgencia de este problema proviene de los patrones de consumo de datos del Agente, que son radicalmente diferentes a los de los ingenieros humanos.

“El Agente está consumiendo datos de una manera extremadamente activa y agresiva, su frecuencia de llamadas a almacenes de datos o lagos de datos es sorprendente.”

La vicepresidenta de tecnología de Amazon Web Services, Mai-Lan Tomsen Bukovec, señaló en una reciente conversación conmigo que el Agente es un modo de trabajo de “selección paralela preferencial”, es decir: no una sola consulta a la vez, sino decenas o incluso cientos en paralelo, comparando para encontrar la mejor ruta. Esto hace que el Agente sea un consumidor de datos mucho más agresivo que los humanos, con varias órdenes de magnitud en frecuencia de llamadas y un crecimiento exponencial en el rendimiento de datos.

Mai-Lan agregó además: “Ahora, los clientes desean construir infraestructura para el Agente, y el costo o, mejor dicho, la relación calidad-precio, ya no son factores secundarios, sino que se vuelven decisivos. En los próximos seis meses a un año, con la explosión del Agente, la elección de los servicios de datos subyacentes será crucial.”

Hoy, la euforia de OpenClaw está disminuyendo, dejando una advertencia sobre la prueba de esfuerzo de la capacidad de almacenamiento y cómputo subyacente de los proveedores de la nube. Mai-Lan cree que AWS tiene ventajas naturales en este campo, y que la escala de Amazon S3, junto con la eficiencia en costos de Amazon Redshift y Amazon Athena en altas concurrencias, están diseñadas precisamente para este modo de interacción de datos de escala y frecuencia ultra altas del Agente.

En el 20º aniversario del nacimiento de Amazon S3, en respuesta a las demandas de los clientes en la era de la IA en cuanto al procesamiento de datos, Amazon S3 ha implementado recientemente tres grandes innovaciones: S3 Table (formato de tabla), S3 Files (archivos) y S3 Vector (vectores).

Por ejemplo, S3 Table soporta de forma nativa Apache Iceberg. Mai-Lan señaló que, al procesar datos, el Agente prefiere interactuar directamente con datos en formato Iceberg mediante SQL. La lógica subyacente es que el Agente está construido sobre modelos grandes, que durante su entrenamiento ya han desarrollado capacidades maduras para manejar sintaxis SQL y formatos de datos Iceberg. Al almacenar todas las tablas en formato Iceberg en S3, el Agente puede procesar datos de manera eficiente sin aprender múltiples API complejas de acceso. Actualmente, el Agente muestra una alta compatibilidad con S3 e Iceberg.

Cuando se introduce la capacidad de Iceberg en S3, se desencadenó una nueva ola de innovación: fuentes de datos como Postgres y Oracle comenzaron a escribir directamente en Iceberg, y los sistemas de Agente pueden interactuar directamente con estas tablas. Además, con el lanzamiento de S3 Vectors, cada vez más aplicaciones de IA comienzan a usar vectores como portadores de memoria compartida, inyectando “estado” en la experiencia de interacción con IA.

Mai-Lan también señaló que los vectores han sido incorporados como un tipo de dato nativo en S3. La aplicación principal de los vectores se centra en dos dimensiones: primero, construir información contextual a partir de vectores para los datos almacenados en S3; segundo, usar vectores como memoria compartida. En los cinco meses posteriores al lanzamiento de S3 Vectors, la retroalimentación del mercado fue conforme a lo esperado. Muchos clientes comenzaron a usar esta función, generando vectores mediante modelos embebidos para enriquecer el contexto de los datos. La tasa de uso del espacio de memoria de los sistemas Agente con S3 Vectors ha experimentado un crecimiento explosivo.

Cabe destacar que S3 Files fue lanzado hace unas semanas, permitiendo que el Agente procese datos en S3 mediante el estándar POSIX, es decir, a través del sistema de archivos. En los sistemas de Agente, los modelos grandes prestan mucha atención a la forma “archivo”: ya sea en bibliotecas Python o scripts Shell, son contenidos familiares durante el entrenamiento de los modelos, y el Agente tiende naturalmente a usar archivos como interfaz de datos.

Para ello, el diseño de S3 Files consiste en montar un sistema de archivos EFS sobre el bucket de S3. Gracias a este mecanismo, los usuarios pueden tratar los datos en S3 usando el estándar POSIX en el sistema de archivos: archivos pequeños se aceleran mediante caché EFS, y archivos grandes se transmiten en streaming directamente desde S3. Esto permite que el Agente interactúe de forma nativa con los datos en S3 usando un lenguaje familiar de sistema de archivos, y que el sistema de archivos compartido sea visto como un “espacio de memoria compartida” proveniente de S3.

Desde la perspectiva del desarrollo de la memoria de los modelos grandes, este avance es de gran importancia. La experiencia actual en IA está comenzando a incorporar diálogos más profundos y personalización en la interacción—ya sea entre Agentes, entre humanos y Agentes, o entre Agentes y datos, el rendimiento de los modelos continúa evolucionando. La expansión adicional del sistema de memoria del Agente a través de la interfaz natural del sistema de archivos promete una mejora aún más profunda en sus capacidades de memoria.

El autor nota que, desde 2006, con datos semiestructurados como imágenes, hasta los datos analíticos posteriores, desde los primeros almacenes de datos hasta la aparición de lagos de datos, AWS está impulsando activamente a Amazon S3 como la base clave para cargas de trabajo de IA, para satisfacer las demandas actuales de los clientes. Mai-Lan opina que el núcleo del diseño de S3 es promover el crecimiento de tipos de datos principales de manera económica, manteniendo siempre la disponibilidad, durabilidad y resiliencia de los datos. Esa ha sido la razón por la cual los clientes han confiado sus negocios de datos a S3 durante 20 años, y también será la base para su posible crecimiento en los próximos 20 años.

(Autor del artículo | Yang Li, Editor | Yang Lin)