Les agents IA d'entreprise ont besoin de tests de résistance, pas de discours de vente.

Abhishek Saxena, Responsable de la Stratégie et de la Croissance, Sentient.

La FinTech évolue vite. Les nouvelles sont partout, la clarté ne l'est pas.

FinTech Weekly rassemble les histoires et événements clés en un seul endroit.

Cliquez ici pour vous abonner à la newsletter de FinTech Weekly

Lu par des cadres de JP Morgan, Coinbase, BlackRock, Klarna et d'autres.

L'IA d'entreprise a un problème de confiance qu'aucune campagne marketing ne peut résoudre. Les entreprises commencent à déployer des agents autonomes dans des environnements de production où une seule mauvaise décision peut déclencher une violation de conformité, un échec de paiement, une erreur de trading, une perte financière ou une crise de réputation. Pourtant, le standard de l'industrie pour évaluer si un agent est prêt pour la production reste, en pratique, une démo impressionnante sur scène.

Le lancement de NemoClaw par Nvidia cette semaine montre à quelle vitesse les agents autonomes passent de l'expérimentation aux workflows d'entreprise. La plateforme ajoute des contrôles de sécurité et de confidentialité importants, notamment le sandboxing et les garde-fous de politique. Mais un déploiement sécurisé n'est pas synonyme de préparation à la production. La question plus difficile est de savoir si ces systèmes ont été testés pour fonctionner de manière fiable face à l'ambiguïté, aux cas limites et à la pression réglementaire.

Construire un agent capable d'effectuer une tâche dans un environnement contrôlé est relativement simple. Construire un agent capable de gérer l'ambiguïté, de se remettre d'entrées inattendues, de maintenir une cohérence à travers des milliers d'interactions simultanées, et tout cela sans violer les contraintes réglementaires, est un problème d'ingénierie très différent.

C'est cette différence qui cause des problèmes à de nombreux déploiements d'entreprise. L'écart entre la performance en démo et la fiabilité en production est plus large que ce que la plupart des équipes anticipent.

Un agent qui gère parfaitement une requête de support client en test peut halluciner une politique de remboursement qui n'existe pas lorsqu'il est confronté à un cas limite jamais vu. Un agent gérant des workflows financiers peut performer parfaitement sur des données historiques mais prendre des décisions catastrophiques lorsque les conditions du marché sortent de sa distribution d'entraînement. Un agent logistique coordonnant une chaîne d'approvisionnement peut réussir en simulation mais échouer lorsque des retards réels et des signaux contradictoires commencent à s'accumuler.

Quiconque a fait passer des agents dans des environnements de test adverses reconnaîtra rapidement ces schémas. Les systèmes fonctionnent, jusqu'à ce qu'ils rencontrent le type d'ambiguïté et de pression qui définissent les opérations réelles.

C'est pourquoi l'accent actuel de l'industrie sur la construction de plus de frameworks d'agents passe à côté d'une pièce cruciale du puzzle. Le vrai goulot d'étranglement n'est pas la rapidité avec laquelle les entreprises peuvent créer des agents. C'est la confiance avec laquelle elles peuvent les évaluer avant qu'ils ne reçoivent de réelles responsabilités.

Ce dont l'IA d'entreprise a besoin, c'est d'une infrastructure de test de stress rigoureuse et systématique, conçue spécifiquement pour les systèmes autonomes. Cela signifie introduire délibérément les types d'entrées qui font échouer les agents en production. Cela signifie évaluer comment les agents se comportent face à l'incertitude, aux informations contradictoires et aux cas limites qui n'apparaissent pas dans les ensembles de données de référence propres. Et cela signifie une évaluation continue, pas un test unique avant le lancement.

L'approche open-source de NemoClaw est un pas dans la bonne direction car elle donne aux développeurs une visibilité sur le fonctionnement des agents. On ne peut pas tester correctement une boîte noire. Mais la visibilité seule ne suffit pas. L'infrastructure de test elle-même doit évoluer en même temps que les systèmes qu'elle évalue.

Le développement d'agents devrait supposer que les modes de défaillance sont inévitables et doivent être révélés tôt. L'objectif n'est pas de prouver qu'un agent fonctionne une fois, mais de comprendre comment il se comporte lorsque les conditions deviennent imprévisibles. Cet état d'esprit change la façon dont les agents sont évalués, dont les garde-fous sont conçus, et dont les systèmes sont préparés pour le déploiement dans des environnements à forts enjeux.

Les enjeux ne feront qu'augmenter à mesure que les agents passeront de tâches isolées à des workflows de bout en bout. Les entreprises explorent déjà des agents qui négocient des contrats, exécutent des transactions financières, coordonnent des chaînes d'approvisionnement et gèrent des processus opérationnels complexes. Lorsque ces systèmes opèrent à travers de multiples points de décision, l'impact d'une seule erreur peut rapidement s'amplifier.

Un agent de support client qui échoue perd un ticket. Un agent financier qui échoue peut perdre du capital. Un agent opérationnel qui échoue peut retarder toute une ligne de production.
Les entreprises qui réussiront finalement avec l'IA d'entreprise ne seront pas celles qui ont déployé des agents en premier. Ce seront celles qui ont déployé des agents en lesquels elles pouvaient réellement avoir confiance.

La confiance n'est pas une fonctionnalité que l'on ajoute à la fin du développement. C'est une discipline d'ingénierie — qui commence par la façon dont les systèmes sont testés, dont leur comportement est évalué sous pression, et dont leurs modes de défaillance sont compris bien avant qu'ils ne touchent une charge de travail de production.

Nvidia donne aux entreprises des outils puissants pour construire des agents autonomes. La question la plus difficile — et celle qui déterminera si ces systèmes réussissent dans le monde réel — est de savoir si les organisations investissent de manière équivalente dans l'infrastructure nécessaire pour prouver que ces agents sont prêts.

À propos de l'auteur

Abhishek Saxena est le Responsable de la Stratégie et de la Croissance chez Sentient, une plateforme d'IA open-source construisant l'infrastructure pour des agents autonomes dignes de confiance. Auparavant, Abhishek a occupé des postes chez Polygon Technology, Apple et InMobi, et détient un MBA de la Harvard Business School.