Diálogo com Mai-Lan da Amazon Web Services: O próximo campo de batalha do S3, como enfrentar a onda de consumo de dados na era do Agent

null

No início do ano, o sucesso do OpenClaw no mercado chinês mostrou a todos o enorme potencial do Agent. Mas, em seguida, veio uma questão que todos os fornecedores de nuvem devem responder: quando o Agent começar a se multiplicar de forma frenética, como um赛博龙虾, e a fazer chamadas de dados de alta frequência, a infraestrutura de nuvem de IA, especialmente a camada de dados, está preparada?

Por exemplo, as equipes de dados empresariais frequentemente enfrentam gargalos na camada de dados ao implantar o Agent em ambientes de produção. Construir agentes em plataformas diferentes, como bancos de dados vetoriais, bancos de dados relacionais, bancos de dados de grafos e lagos de dados, requer pipelines de dados sincronizados para manter a atualidade das informações de contexto. Mas, em ambientes de produção reais, essas informações de contexto tendem a ficar desatualizadas com o tempo.

A urgência desse problema decorre do modo de consumo de dados do Agent ser completamente diferente do dos engenheiros humanos.

“Agent está consumindo dados de uma maneira extremamente ativa e agressiva, com uma frequência de chamadas a data warehouses ou lagos de dados que é surpreendente.”

Recentemente, durante uma conversa com o autor, Mai-Lan Tomsen Bukovec, vice-presidente de tecnologia da Amazon Web Services, destacou que o Agent funciona com um modo de trabalho de “seleção paralela preferencial”, ou seja: não uma consulta de cada vez, mas dezenas ou centenas de consultas paralelas ao mesmo tempo, comparando para encontrar o melhor caminho. Isso faz do Agent um consumidor de dados muito mais agressivo do que os humanos — com uma frequência de chamadas várias ordens de magnitude maior, e uma taxa de transferência de dados exponencial.

Mai-Lan acrescentou ainda: “Hoje, os clientes desejam construir infraestrutura para o Agent, e o custo ou, melhor dizendo, a relação custo-benefício, deixou de ser um fator secundário, tornando-se um fator decisivo. Nos próximos seis meses a um ano, com a explosão do Agent, a escolha dos serviços de dados subjacentes será crucial.”

Atualmente, a celebração do OpenClaw está diminuindo, deixando um alerta de teste de resistência às capacidades de armazenamento e processamento subjacentes dos fornecedores de nuvem. Mai-Lan acredita que a AWS possui vantagens naturais nesse campo, com a escala do Amazon S3, a eficiência de custo do Amazon Redshift e do Amazon Athena sob alta concorrência, tudo preparado para esse modo de interação de dados de escala massiva e alta frequência do Agent.

No aniversário de 20 anos do lançamento do Amazon S3, a Amazon também anunciou recentemente três grandes inovações relacionadas às demandas de processamento de dados na era da IA: S3 Table (formato de tabela), S3 Files (arquivos) e S3 Vector (vetores).

Por exemplo, o suporte nativo do S3 ao Apache Iceberg. Mai-Lan destacou que, ao processar dados, o Agent tende a interagir diretamente com dados no formato Iceberg via SQL. A lógica subjacente é que o Agent é construído sobre grandes modelos, que já possuem uma capacidade madura de lidar com a sintaxe SQL e o formato de dados Iceberg durante o treinamento. Armazenar todas as tabelas em formato Iceberg no S3 permite que o Agent processe os dados de forma eficiente, sem precisar aprender múltiplas APIs complexas de acesso. Atualmente, há uma alta compatibilidade entre o Agent, o S3 e o Iceberg.

Quando a capacidade do Iceberg foi integrada ao S3, uma nova onda de inovação foi desencadeada: fontes de dados como Postgres e Oracle começaram a escrever diretamente em Iceberg, e o sistema do Agent pode interagir diretamente com essas tabelas. Com o lançamento do S3 Vectors, cada vez mais aplicações de IA passaram a usar vetores como veículos de memória compartilhada, conferindo uma “situação” ao sistema de interação de IA.

Mai-Lan também apontou que os vetores foram introduzidos como um tipo de dado nativo do S3. Sua aplicação concentra-se em duas dimensões: uma, construir informações de contexto a partir de vetores para dados armazenados no S3; duas, usar vetores como memória compartilhada. Nos cinco meses após o lançamento do S3 Vectors, o feedback do mercado foi conforme o esperado. Muitos clientes começaram a usar essa funcionalidade, gerando vetores por meio de embeddings de modelos para enriquecer o contexto dos dados. Como resultado, a taxa de uso do S3 Vectors como espaço de memória do sistema do Agent explodiu.

Vale destacar que o S3 Files foi lançado há algumas semanas, permitindo que o Agent processe dados no S3 usando o padrão POSIX, ou seja, como um sistema de arquivos. No sistema do Agent, os grandes modelos dão alta prioridade à forma “arquivo”: seja uma biblioteca Python ou um script Shell, ambos são conteúdos familiares durante o treinamento do grande modelo, e o Agent tende naturalmente a tratar arquivos como interfaces de dados.

Para isso, a ideia do S3 Files é montar um sistema de arquivos EFS sobre o bucket do S3. Assim, os usuários podem manipular dados no S3 usando o padrão POSIX: arquivos pequenos podem ser acelerados por cache EFS, enquanto arquivos grandes são transmitidos em streaming diretamente do S3. Isso permite que o Agent interaja nativamente com os dados do S3 usando uma linguagem familiar de sistema de arquivos, e veja o sistema de arquivos compartilhado como um “espaço de memória compartilhada” vindo do S3.

Do ponto de vista do desenvolvimento da memória de grandes modelos, esse avanço é de grande importância. A experiência de IA atual está gradualmente incorporando contextos de diálogo mais profundos e interações personalizadas — seja entre agentes, entre humanos e agentes, ou entre agentes e dados —, e o desempenho dos modelos continua a evoluir. Com a expansão dessa interface natural de sistema de arquivos, a capacidade de memória do sistema do Agent deve alcançar níveis mais profundos.

O autor nota que, desde 2006, com dados semi-estruturados como imagens, até os dados analíticos posteriores, passando pelo surgimento de data warehouses e data lakes, a AWS está atualmente promovendo fortemente o Amazon S3 como uma base fundamental para cargas de trabalho de IA, para atender às demandas atuais dos clientes. Mai-Lan acredita que o núcleo do design do S3 é impulsionar o crescimento de tipos de dados principais de forma econômica, mantendo sempre os princípios de disponibilidade, durabilidade e resiliência dos dados. Essa é a razão pela qual os clientes continuam confiando suas operações de dados ao S3 há 20 anos, e por que ele pode sustentar seus negócios de dados pelos próximos 20 anos.

(Autor do artigo | Yang Li, Editor | Yang Lin)