La couche de jugement : pourquoi l'IA n'est pas intelligente tant que les dirigeants ne sont pas plus intelligents

Guillermo Delgado Aparicio est le responsable mondial de l'IA chez Nisum.

Découvrez les meilleures actualités et événements fintech !

Abonnez-vous à la newsletter de FinTech Weekly

Lu par des dirigeants de JP Morgan, Coinbase, Blackrock, Klarna et plus

L'IA dans la fintech couvre une gamme de cas d'utilisation, de la détection des fraudes et du trading algorithmique à la notation de crédit dynamique et aux recommandations de produits personnalisées. Pourtant, un rapport de la Financial Conduct Authority a révélé que parmi les 75 % des entreprises utilisant l'IA, seulement 34 % savent comment elle fonctionne.

Le problème n'est pas seulement un manque de sensibilisation. C'est une profonde méconnaissance de la puissance et de la portée de l'analyse de données, la discipline dont émerge l'IA. L'adoption massive des outils d'IA générative a porté le sujet au niveau de la direction. Mais beaucoup de ceux qui choisissent comment mettre en œuvre l'IA ne comprennent pas ses principes sous-jacents de calcul, de statistiques et d'algorithmes avancés.

Prenez la loi de Benford, un principe statistique simple qui signale la fraude en repérant des motifs dans les nombres. L'IA repose sur le même type de mathématiques, simplement étendu à des millions de transactions à la fois. Enlevez le battage médiatique, et le fondement reste les statistiques et les algorithmes.

C'est pourquoi la littératie en IA au niveau de la direction est importante. Les dirigeants qui ne peuvent pas distinguer où se termine l'analyse risquent de trop faire confiance à des systèmes qu'ils ne comprennent pas ou de les sous-utiliser par peur.

Et l'histoire montre ce qui se passe lorsque les décideurs interprètent mal la technologie : les régulateurs ont autrefois tenté d'interdire les appels IP internationaux, pour finalement voir la technologie dépasser les règles. La même dynamique se joue avec l'IA. On ne peut ni la bloquer ni l'adopter aveuglément ; il faut du jugement, du contexte et la capacité de la diriger de manière responsable.

Les dirigeants de la fintech doivent combler ces lacunes pour utiliser l'IA de manière responsable et efficace. Cela signifie comprendre où se termine l'analyse et où commence l'IA, développer les compétences nécessaires pour orienter ces systèmes, et appliquer un jugement solide pour décider quand et comment faire confiance à leurs résultats.

Les limites, angles morts et illusions de l'IA

L'analyse examine les données passées et présentes pour expliquer ce qui s'est passé et pourquoi. L'IA découle de cette base, en utilisant l'analyse avancée pour prédire ce qui se passera ensuite et, de plus en plus, pour décider ou agir automatiquement.

Avec ses compétences exceptionnelles en traitement des données, il est facile de comprendre pourquoi les dirigeants de la fintech considèrent l'IA comme leur solution miracle. Mais elle ne peut pas résoudre tous les problèmes. Les humains ont toujours un avantage inné dans la reconnaissance des formes, surtout lorsque les données sont incomplètes ou « sales ». L'IA peut avoir du mal à interpréter les nuances contextuelles que les humains peuvent saisir rapidement.

Pourtant, c'est une erreur de penser que des données imparfaites rendent l'IA inutile. Les modèles analytiques peuvent fonctionner avec des données incomplètes. Mais savoir quand déployer l'IA et quand s'appuyer sur le jugement humain pour combler les lacunes est le véritable défi. Sans cette supervision attentive, l'IA peut introduire des risques importants.

L'un de ces problèmes est le biais. Lorsque les fintechs entraînent l'IA sur d'anciens ensembles de données, elles héritent souvent du bagage qui les accompagne. Par exemple, le prénom d'un client peut involontairement servir de proxy pour le genre, ou le nom de famille donner des indices sur l'origine ethnique, faussant les scores de crédit d'une manière qu'aucun régulateur n'approuverait.

Ces biais, facilement cachés dans les calculs, nécessitent souvent une supervision humaine pour être détectés et corrigés.

Lorsque les modèles d'IA sont exposés à des situations pour lesquelles ils n'ont pas été entraînés, cela peut provoquer une dérive du modèle. La volatilité des marchés, les changements réglementaires, l'évolution des comportements des clients et les changements macroéconomiques peuvent tous avoir un impact sur l'efficacité d'un modèle sans surveillance humaine et recalibrage.

La difficulté de recalibrer les algorithmes augmente considérablement lorsque les fintechs utilisent des boîtes noires qui ne permettent pas de visualiser la relation entre les variables. Dans ces conditions, elles perdent la possibilité de transférer ces connaissances aux décideurs de la direction. De plus, les erreurs et les biais restent cachés dans des modèles opaques, ce qui nuit à la confiance et à la conformité.

Ce que les dirigeants de la fintech doivent savoir

Un sondage Deloitte a révélé que 80 % déclarent que leurs conseils d'administration ont peu ou pas d'expérience avec l'IA. Mais les dirigeants ne peuvent pas se permettre de traiter l'IA comme un « problème d'équipe technique ». La responsabilité de l'IA incombe à la direction, ce qui signifie que les dirigeants de la fintech doivent monter en compétences.

Maîtrise transanalytique

Avant de déployer l'IA, les dirigeants de la fintech doivent être capables de changer de vitesse — en examinant les chiffres, le business case, les opérations et l'éthique — et de voir comment ces facteurs se chevauchent et façonnent les résultats de l'IA. Ils doivent comprendre comment la précision statistique d'un modèle est liée à l'exposition au risque de crédit. Et reconnaître quand une variable qui semble financièrement solide (comme l'historique de remboursement) peut introduire un risque social ou réglementaire par corrélation avec une classe protégée, telle que l'âge ou l'origine ethnique.

Cette maîtrise de l'IA vient du fait de s'asseoir avec les responsables de la conformité pour décortiquer les réglementations, de discuter avec les chefs de produit de l'expérience utilisateur, et d'examiner les résultats des modèles avec les data scientists pour détecter les signes de dérive ou de biais.

Dans la fintech, éviter 100 % des risques est impossible, mais avec la maîtrise transanalytique, les dirigeants peuvent identifier quels risques valent la peine d'être pris et lesquels éroderont la valeur actionnariale. Cette compétence aiguise également la capacité d'un dirigeant à repérer et agir sur les biais, non seulement d'un point de vue conformité, mais aussi stratégique et éthique.

Par exemple, disons qu'un modèle de notation de crédit piloté par l'IA penche fortement vers un groupe de clients. Corriger ce déséquilibre n'est pas seulement une tâche de science des données ; cela protège la réputation de l'entreprise. Pour les fintechs engagées dans l'inclusion financière ou confrontées à un examen ESG, la conformité légale seule ne suffit pas. Le jugement signifie savoir ce qui est juste, pas seulement ce qui est autorisé.

Littératie en explicabilité

L'explicabilité est le fondement de la confiance. Sans elle, les décideurs, les clients et les régulateurs se demandent pourquoi un modèle est arrivé à une conclusion spécifique.

Cela signifie que les dirigeants doivent être capables de distinguer les modèles interprétables de ceux qui nécessitent des explications post-hoc (comme les valeurs SHAP ou LIME). Ils doivent poser des questions lorsque la logique d'un modèle n'est pas claire et reconnaître quand la « précision » seule ne peut justifier une décision en boîte noire.

Le biais n'apparaît pas de nulle part ; il émerge lorsque les modèles sont entraînés et déployés sans supervision suffisante. L'explicabilité donne aux dirigeants la visibilité nécessaire pour détecter ces problèmes tôt et agir avant qu'ils ne causent des dommages.

L'IA est comme le pilote automatique d'un avion. La plupart du temps, il fonctionne sans problème, mais quand une tempête arrive, le pilote doit prendre les commandes. En finance, ce même principe s'applique. Les équipes doivent pouvoir arrêter les transactions, ajuster une stratégie, ou même annuler le lancement d'un produit lorsque les conditions changent. L'explicabilité va de pair avec la capacité de dérogation, ce qui garantit que les dirigeants comprennent l'IA et restent en contrôle, même lorsqu'elle opère à grande échelle.

Pensée probabiliste des modèles

Les dirigeants sont habitués aux décisions déterministes, comme si un score de crédit est inférieur à 650, refuser la demande. Mais l'IA ne fonctionne pas ainsi et c'est un changement de paradigme mental majeur.

Pour les dirigeants, la pensée probabiliste nécessite trois capacités :

• Interpréter des fourchettes de risque plutôt que des résultats binaires oui/non.
• Peser le niveau de confiance d'une prédiction par rapport à d'autres considérations commerciales ou réglementaires.
• Savoir quand outrepasser l'automatisation et appliquer le discernement humain.

Par exemple, un modèle d'IA probabiliste d'une fintech pourrait signaler un client comme à haut risque, mais cela ne signifie pas nécessairement « refuser ». Cela peut signifier « enquêter davantage » ou « ajuster les conditions du prêt ». Sans cette nuance, l'automatisation risque de devenir un instrument brutal, érodant la confiance des clients tout en exposant les entreprises à des répercussions réglementaires.

Pourquoi la couche de jugement définira les gagnants de la fintech

L'avenir de la fintech ne sera pas décidé par ceux qui possèdent les modèles d'IA les plus puissants, mais plutôt par ceux qui les utilisent avec le jugement le plus affûté. Alors que l'IA se banalise, les gains d'efficacité deviennent des conditions de base. Ce qui distingue les gagnants, c'est la capacité d'intervenir lorsque les algorithmes se heurtent à l'incertitude, au risque et aux zones grises éthiques.

La couche de jugement n'est pas une idée abstraite. Elle se manifeste lorsque les dirigeants décident de suspendre le trading automatisé, de retarder le lancement d'un produit ou de passer outre un score de risque qui ne reflète pas le contexte réel. Ces moments ne sont pas des échecs de l'IA ; ils prouvent que la supervision humaine est la dernière ligne de création de valeur.

L'alignement stratégique est le lieu où le jugement s'institutionnalise. Une stratégie IA solide ne se contente pas de définir des feuilles de route techniques ; elle garantit que l'organisation revoit les initiatives, améliore les capacités IA des équipes, s'assure que l'entreprise dispose de l'architecture de données requise, et lie chaque déploiement à un résultat commercial clair. En ce sens, le jugement n'est pas épisodique mais intégré au mode opératoire et permet aux dirigeants de piloter une approche de leadership basée sur la valeur.

Les fintechs ont besoin de dirigeants qui savent équilibrer l'IA pour la vitesse et l'échelle, et les humains pour le contexte, la nuance et la vision à long terme. L'IA peut repérer des anomalies en quelques secondes, mais seules les personnes peuvent décider quand contester les calculs, repenser les hypothèses ou prendre un risque audacieux qui ouvre la porte à la croissance. Cette couche de jugement est ce qui transforme l'IA d'un outil en un avantage.

À propos de l'auteur :

Guillermo Delgado est le responsable mondial de l'IA chez Nisum et COO de Deep Space Biology. Avec plus de 25 ans d'expérience en biochimie, intelligence artificielle, biologie spatiale et entrepreneuriat, il développe des solutions innovantes pour le bien-être humain sur Terre et dans l'espace.

En tant que consultant en stratégie d'entreprise, il a contribué à la vision de l'IA de la NASA pour la biologie spatiale et a reçu des prix d'innovation. Il est titulaire d'un Master of Science en intelligence artificielle du Georgia Tech, obtenu avec mention. De plus, en tant que professeur d'université, il a enseigné des cours sur le machine learning, le big data et la science génomique.