Les agents d'IA d'entreprise ont besoin de tests de résistance, pas de discours de vente

Abhishek Saxena, Directeur de la stratégie et de la croissance, Sentient.

La FinTech évolue rapidement. Les actualités sont partout, la clarté ne l’est pas.

FinTech Weekly rassemble les principales histoires et événements en un seul endroit.

Cliquez ici pour vous abonner à la newsletter de FinTech Weekly

Lue par des cadres chez JP Morgan, Coinbase, BlackRock, Klarna et d’autres.

L’intelligence artificielle d’entreprise souffre d’un problème de confiance que rien ne peut résoudre par le marketing. Les entreprises commencent à déployer des agents autonomes en production, où une seule mauvaise décision peut entraîner une violation de conformité, un paiement échoué, une erreur de trading, une perte financière ou une crise de réputation. Pourtant, la norme de l’industrie pour évaluer si un agent est prêt pour la production reste, en pratique, une démonstration impressionnante en scène.

Le lancement de NemoClaw par Nvidia cette semaine montre à quelle vitesse les agents autonomes passent de l’expérimentation aux flux de travail d’entreprise. La plateforme ajoute des contrôles importants de sécurité et de confidentialité, notamment le sandboxing et des garde-fous politiques. Mais un déploiement sécurisé ne signifie pas nécessairement prêt pour la production. La question plus difficile est de savoir si ces systèmes ont été testés pour fonctionner de manière fiable dans des situations ambiguës, des cas extrêmes et sous pression réglementaire.

Créer un agent capable d’accomplir une tâche dans un environnement contrôlé est relativement simple. Construire un agent capable de gérer l’ambiguïté, de se remettre d’entrées inattendues, de maintenir la cohérence sur des milliers d’interactions simultanées, et de faire tout cela sans violer les contraintes réglementaires est un problème d’ingénierie très différent.

C’est là que beaucoup de déploiements en entreprise rencontrent des difficultés. L’écart entre la performance en démonstration et la fiabilité en production est plus large que ce que la plupart des équipes anticipent.

Un agent qui gère parfaitement une requête de support client lors des tests peut halluciner une politique de remboursement inexistante face à un cas extrême qu’il n’a jamais rencontré. Un agent gérant des flux financiers peut performer parfaitement sur des données historiques mais prendre des décisions catastrophiques lorsque les conditions du marché sortent de sa distribution d’entraînement. Un agent logistique coordonnant une chaîne d’approvisionnement peut réussir en simulation mais peiner lorsque les retards réels et les signaux conflictuels commencent à s’accumuler.

Quiconque a soumis des agents à des environnements de test adverses reconnaîtra rapidement ces schémas. Les systèmes fonctionnent—jusqu’à ce qu’ils rencontrent le genre d’ambiguïté et de pression qui caractérisent la réalité opérationnelle.

C’est pourquoi la focalisation actuelle de l’industrie sur la construction de cadres d’agents supplémentaires manque une pièce essentielle du puzzle. La véritable limite n’est pas la rapidité avec laquelle les entreprises peuvent créer des agents. C’est leur capacité à les évaluer en toute confiance avant de leur confier de véritables responsabilités.

Ce dont l’IA d’entreprise a besoin, c’est d’une infrastructure rigoureuse et systématique de tests de résistance conçue spécifiquement pour les systèmes autonomes. Cela implique d’introduire délibérément des types d’entrées qui font échouer les agents en production. Cela consiste à évaluer comment les agents se comportent face à l’incertitude, aux informations conflictuelles et aux cas extrêmes qui n’apparaissent pas dans des jeux de données de référence propres. Et cela nécessite une évaluation continue, pas un test unique avant le lancement.

L’approche open-source de NemoClaw est une étape dans la bonne direction, car elle offre aux développeurs une visibilité sur le fonctionnement des agents. On ne peut pas tester correctement une boîte noire. Mais la visibilité seule ne suffit pas. L’infrastructure de test doit évoluer parallèlement aux systèmes qu’elle évalue.

Le développement d’agents doit supposer que les modes de défaillance sont inévitables et doivent être détectés dès le début. L’objectif n’est pas de prouver qu’un agent fonctionne une fois, mais de comprendre comment il se comporte lorsque les conditions deviennent imprévisibles. Cette mentalité modifie la façon dont les agents sont évalués, la conception des garde-fous, et la préparation des systèmes pour un déploiement dans des environnements à haute responsabilité.

Les enjeux ne feront qu’augmenter à mesure que les agents passeront de tâches isolées à des flux de travail complets. Les entreprises explorent déjà des agents qui négocient des contrats, exécutent des transactions financières, coordonnent des chaînes d’approvisionnement et gèrent des processus opérationnels complexes. Lorsque ces systèmes interviennent à plusieurs points de décision, l’impact d’une seule erreur peut rapidement se propager.

Un agent support client qui échoue perd un ticket. Un agent financier qui échoue peut perdre du capital. Un agent opérationnel qui échoue peut retarder toute une ligne de production.
Les entreprises qui réussiront finalement avec l’IA d’entreprise ne seront pas celles qui ont déployé des agents en premier, mais celles qui ont déployé des agents en lesquels elles peuvent réellement avoir confiance.

La confiance n’est pas une fonctionnalité que l’on ajoute à la fin du développement. C’est une discipline d’ingénierie—qui commence par la façon dont les systèmes sont testés, comment leur comportement est évalué sous pression, et comment leurs modes de défaillance sont compris bien avant qu’ils ne touchent une charge de travail en production.

Nvidia offre aux entreprises des outils puissants pour construire des agents autonomes. La question plus difficile—et celle qui déterminera si ces systèmes réussiront dans le monde réel—est de savoir si les organisations investissent autant dans l’infrastructure nécessaire pour prouver que ces agents sont prêts.

À propos de l’auteur

Abhishek Saxena est le responsable de la stratégie et de la croissance chez Sentient, une plateforme open-source d’IA construisant l’infrastructure pour des agents autonomes fiables. Auparavant, Abhishek a occupé des postes chez Polygon Technology, Apple et InMobi, et détient un MBA de la Harvard Business School.