Dialogue Amazon Web Services Mai-Lan : Le prochain champ de bataille de S3, comment faire face à la vague de consommation de données à l'ère des agents

null

Au début de l’année, le succès d’OpenClaw sur le marché chinois a montré à tous le potentiel énorme de l’Agent. Mais ce qui a suivi, c’est une question à laquelle tous les fournisseurs de cloud doivent répondre : lorsque l’Agent commence à se reproduire de manière folle comme un cyber-homard, avec des appels de données à haute fréquence, l’infrastructure cloud IA, en particulier la couche de données, est-elle prête ?

Par exemple, lorsque l’équipe de données d’une entreprise déploie l’Agent en production, elle rencontre souvent des goulots d’étranglement au niveau des données. Construire des agents sur différentes plateformes telles que les bases de données vectorielles, relationnelles, graphiques et les lacs de données nécessite de synchroniser les pipelines de données pour maintenir la pertinence des informations contextuelles. Mais dans un environnement de production réel, ces informations contextuelles deviennent progressivement obsolètes.

L’urgence de ce problème provient du mode de consommation des données de l’Agent, radicalement différent de celui des ingénieurs humains.

« L’Agent consomme des données de manière extrêmement active et agressive, avec une fréquence d’appel aux entrepôts de données ou aux lacs de données qui est stupéfiante. »

Lors d’un échange récent avec l’auteur, Mai-Lan Tomsen Bukovec, vice-présidente technique d’Amazon Web Services, a souligné que l’Agent fonctionne selon un mode de travail « par sélection parallèle », c’est-à-dire : pas une seule requête à la fois, mais plusieurs dizaines ou centaines en parallèle, comparant pour trouver le meilleur chemin. Cela fait de l’Agent un consommateur de données bien plus agressif que l’humain — avec une fréquence d’appel plusieurs ordres de grandeur plus élevée, et un débit de données croissant de façon exponentielle.

Mai-Lan a ajouté : « Aujourd’hui, les clients souhaitent vivement construire une infrastructure pour l’Agent, le coût ou plutôt le rapport coût-efficacité n’étant plus un facteur secondaire, mais un facteur décisif. Dans les six à douze prochains mois, avec l’explosion de l’Agent, le choix des services de données sous-jacents deviendra crucial. »

Aujourd’hui, la fête d’OpenClaw commence à s’essouffler, laissant place à une mise à l’épreuve de la capacité de stockage et de calcul des fournisseurs cloud. Mai-Lan pense qu’Amazon Web Services possède un avantage naturel dans ce domaine : la scalabilité d’Amazon S3 (Amazon Simple Storage Service), la rentabilité d’Amazon Redshift et d’Amazon Athena en situation de forte concurrence, sont précisément conçues pour ce mode d’interaction de données à très grande échelle et à haute fréquence.

À l’occasion du 20e anniversaire d’Amazon S3, Amazon a récemment lancé trois grandes innovations pour répondre aux besoins des clients dans l’ère de l’IA : S3 Table (format tabulaire), S3 Files (fichiers) et S3 Vector (vecteurs).

Par exemple, S3 Table supporte nativement Apache Iceberg. Mai-Lan explique que, lors du traitement des données, l’Agent préfère interagir directement avec les données au format Iceberg via SQL. La logique sous-jacente repose sur le fait que l’Agent, construit sur de grands modèles, a déjà développé une capacité mature à traiter la syntaxe SQL et le format Iceberg lors de sa phase d’entraînement. Stocker toutes les données sous forme de tables Iceberg dans S3 permet à l’Agent de traiter efficacement les données sans apprendre plusieurs API d’accès complexes. Actuellement, l’Agent montre une forte compatibilité avec S3 et Iceberg.

L’introduction de la capacité Iceberg dans S3 a déclenché une nouvelle vague d’innovation : des sources de données comme Postgres ou Oracle commencent à écrire directement dans Iceberg, permettant à l’Agent d’interagir directement avec ces tables. Avec le lancement de S3 Vectors, de plus en plus d’applications IA utilisent les vecteurs comme vecteur de mémoire partagée, injectant ainsi un « état » dans l’expérience d’interaction IA.

Mai-Lan souligne également que les vecteurs ont été intégrés comme type de données natif dans S3. Leur application se concentre principalement sur deux dimensions : d’une part, construire un contexte à partir des vecteurs pour les données stockées dans S3, et d’autre part, utiliser ces vecteurs comme mémoire partagée. En cinq mois depuis la sortie de S3 Vectors, le retour du marché a été conforme aux attentes. De nombreux clients commencent à utiliser cette fonctionnalité, en générant des vecteurs via des modèles d’embedding pour enrichir le contexte des données. La fréquence d’utilisation de S3 Vectors comme espace de mémoire pour le système d’Agent connaît une croissance explosive.

Il est également intéressant de noter que S3 Files a été lancé il y a quelques semaines, permettant à l’Agent de traiter les données dans S3 via le standard POSIX, c’est-à-dire comme un système de fichiers. Dans le système d’Agent, les grands modèles accordent une importance particulière à la forme « fichier » — que ce soit dans les bibliothèques Python ou les scripts Shell, ce sont des éléments familiers lors de l’entraînement des grands modèles. L’Agent a une tendance naturelle à considérer les fichiers comme interface de données.

Pour cela, la conception de S3 Files consiste à monter un système de fichiers EFS sur le bucket S3. Grâce à ce mécanisme, l’utilisateur peut traiter les données S3 selon le standard POSIX : les petits fichiers sont accélérés via le cache EFS, tandis que les gros fichiers sont transférés en flux direct depuis S3. Cela permet à l’Agent d’interagir avec les données S3 en utilisant un langage de système de fichiers familier, en considérant le système de fichiers partagé comme un « espace de mémoire partagé » provenant de S3.

Du point de vue de l’évolution de la mémoire des grands modèles, cette avancée est significative. L’expérience IA actuelle introduit progressivement un contexte de dialogue plus profond et une interaction personnalisée — que ce soit entre agents, entre humains et agents, ou entre agents et données, la performance des modèles ne cesse d’évoluer. Grâce à l’extension de l’interface naturelle qu’est le système de fichiers, la capacité de mémoire des systèmes d’Agent pourrait atteindre un niveau encore plus profond.

L’auteur remarque qu’après avoir principalement traité des données semi-structurées comme des images en 2006, puis des données analytiques, depuis l’émergence des entrepôts de données et des lacs de données, Amazon Web Services pousse actuellement Amazon S3 à devenir la plateforme clé pour héberger les charges de travail IA, afin de répondre aux demandes actuelles des clients. Mai-Lan pense que le cœur de la conception d’Amazon S3 est de faire croître de manière économique les types de données principaux, tout en respectant toujours les principes de disponibilité, durabilité et résilience des données. C’est aussi la raison pour laquelle les clients ont confié leurs activités de données à S3 pendant 20 ans, et cela pourrait continuer pour les 20 prochaines années.