Diálogo com Mai-Lan da Amazon Web Services: O próximo campo de batalha do S3, como lidar com a onda de consumo de dados na era do Agent

nulo

No início do ano, o sucesso do OpenClaw no mercado chinês mostrou a todos o enorme potencial do Agent. Mas, em seguida, veio uma questão que todos os provedores de nuvem devem responder: quando o Agent começar a se reproduzir de forma selvagem, como um赛博龙虾, e fazer chamadas de dados de alta frequência, a infraestrutura de nuvem de IA, especialmente a camada de dados, estará preparada?

Por exemplo, as equipes de dados empresariais frequentemente enfrentam gargalos na camada de dados ao implantar o Agent em ambientes de produção. Construir plataformas diferentes como bancos de dados vetoriais, bancos de dados relacionais, bancos de dados de grafos e lagos de dados para o Agent exige sincronizar pipelines de dados para manter a atualidade das informações de contexto. Mas, em ambientes de produção reais, essas informações de contexto tendem a ficar desatualizadas com o tempo.

A urgência desse problema decorre do modo de consumo de dados do Agent, que é completamente diferente do dos engenheiros humanos.

“Agent está consumindo dados de uma maneira extremamente ativa e agressiva, com uma frequência de chamadas a data warehouses ou lagos de dados que é surpreendente.”

Recentemente, em uma conversa com o autor, Mai-Lan Tomsen Bukovec, vice-presidente de tecnologia da Amazon Web Services, apontou que o Agent funciona com um modo de trabalho de “seleção paralela”, ou seja: não uma consulta de cada vez, mas dezenas ou centenas de consultas paralelas ao mesmo tempo, comparando para encontrar o melhor caminho. Isso faz do Agent um consumidor de dados muito mais agressivo do que os humanos — com uma frequência de chamadas várias ordens de magnitude maior, e uma taxa de transferência de dados exponencial.

Mai-Lan acrescentou ainda: “Hoje, os clientes estão muito interessados em construir infraestrutura para o Agent, e o custo ou, melhor dizendo, a relação custo-benefício, deixou de ser um fator secundário, tornando-se um fator decisivo. Nos próximos seis meses a um ano, com a explosão do Agent, a escolha dos serviços de dados subjacentes será crucial.”

Atualmente, a celebração do OpenClaw está diminuindo, deixando um alerta de teste de resistência às capacidades de armazenamento e computação subjacentes dos provedores de nuvem. Mai-Lan acredita que a AWS possui vantagens naturais nesse campo, com a escala do Amazon S3, a eficiência de custo do Amazon Redshift e do Amazon Athena sob alta concorrência, tudo preparado para esse modo de interação de dados de escala e frequência extremas do Agent.

No aniversário de 20 anos do lançamento do Amazon S3, em resposta às demandas dos clientes na era da IA por processamento de dados, o Amazon S3 também realizou recentemente três grandes inovações: S3 Table (tabela), S3 Files (arquivos) e S3 Vector (vetores).

Por exemplo, o suporte nativo do S3 Table ao Apache Iceberg. Mai-Lan destacou que, ao processar dados, o Agent tende a interagir diretamente com dados no formato Iceberg via SQL. A lógica subjacente é que o Agent é construído sobre grandes modelos, que durante o treinamento já desenvolveram capacidades maduras de manipulação de sintaxe SQL e formato de dados Iceberg. Armazenar todas as tabelas em formato Iceberg no S3 permite que o Agent processe os dados de forma eficiente, sem precisar aprender múltiplas APIs complexas de acesso. Atualmente, há uma alta compatibilidade entre o Agent, o S3 e o Iceberg.

Quando a capacidade do Iceberg foi integrada ao S3, uma nova onda de inovação foi desencadeada: fontes de dados como Postgres e Oracle começaram a escrever diretamente em Iceberg, e o sistema do Agent pode interagir diretamente com essas tabelas. Com o lançamento do S3 Vectors, cada vez mais aplicações de IA passaram a usar vetores como portadores de memória compartilhada, injetando “estado” na experiência de interação com IA.

Mai-Lan também apontou que os vetores foram introduzidos como um tipo de dado nativo do S3. Sua aplicação se concentra em dois aspectos principais: primeiro, construir informações de contexto a partir de vetores para dados armazenados no S3; segundo, usar vetores como memória compartilhada. Dentro de cinco meses após o lançamento do S3 Vectors, o feedback do mercado foi conforme o esperado. Muitos clientes começaram a usar essa funcionalidade, gerando vetores por meio de embeddings de modelos para enriquecer o contexto dos dados. Como resultado, o uso do S3 Vectors como espaço de memória do sistema do Agent cresceu de forma explosiva.

Vale destacar que o S3 Files foi lançado há algumas semanas, permitindo que o Agent processe dados no S3 usando o padrão POSIX, ou seja, como um sistema de arquivos. No sistema do Agent, os grandes modelos dão alta prioridade à forma “arquivo”: seja uma biblioteca Python ou um script Shell, ambos são conteúdos familiares durante o treinamento do grande modelo, e o Agent tende naturalmente a tratar arquivos como interfaces de dados.

Para isso, a ideia do S3 Files foi montar um sistema de arquivos EFS sobre o bucket do S3. Assim, os usuários podem manipular dados do S3 usando o padrão POSIX: arquivos pequenos podem ser acelerados com cache EFS, enquanto arquivos grandes são transmitidos em fluxo direto do S3. Isso permite que o Agent interaja nativamente com os dados do S3 usando uma linguagem familiar de sistema de arquivos, e veja o sistema de arquivos compartilhado como um “espaço de memória compartilhada” vindo do S3.

Do ponto de vista do desenvolvimento da memória de grandes modelos, esse avanço é de grande importância. A experiência de IA está sendo gradualmente enriquecida com contextos de diálogo mais profundos e interações personalizadas — seja entre agentes, entre humanos e agentes, ou entre agentes e dados. Com a expansão dessa interface natural de sistema de arquivos, a capacidade de memória do sistema do Agent deve evoluir para níveis mais profundos.

O autor nota que, desde 2006, com dados semi-estruturados como imagens, até os dados analíticos posteriores, passando pelo surgimento de data warehouses e data lakes, a AWS vem promovendo fortemente o Amazon S3 como uma base fundamental para cargas de trabalho de IA, atendendo às demandas atuais dos clientes. Mai-Lan acredita que o núcleo do design do S3 é impulsionar o crescimento de tipos de dados principais de forma econômica, mantendo sempre os princípios de disponibilidade, durabilidade e resiliência dos dados. Essa é a razão pela qual os clientes continuam confiando suas operações de dados ao S3 ao longo de 20 anos, e por que ele pode sustentar seus próximos 20 anos.

(Autor do artigo | Yang Li, Editor | Yang Lin)