Le risque des systèmes qui ne savent pas dire « Je ne sais pas »

L’un des aspects moins discutés des systèmes modernes basés sur les données concerne leur gestion de l’incertitude. La plupart des systèmes aujourd’hui sont conçus pour traiter des entrées, les valider et produire des sorties de manière cohérente et fiable. Cette structure fonctionne bien dans des environnements où les données sont claires et où les décisions peuvent être directement dérivées de celles-ci.

Mais toutes les situations ne correspondent pas à ce modèle.

Dans de nombreux cas réels, les données existent sans capturer entièrement le contexte nécessaire pour prendre une décision solide. L’information peut être précise mais incomplète, valide mais insuffisante. Ce sont des situations où l’incertitude n’est pas un défaut, mais une partie naturelle de l’environnement.

Le problème est que la plupart des systèmes ne sont pas conçus pour l’exprimer.

Au lieu de signaler l’incertitude, ils ont tendance à convertir toutes les données disponibles en une sortie exploitable.

La vérification garantit que les données sont authentiques, et une fois cette condition remplie, le système continue. Il n’existe pas de mécanisme intégré pour faire une pause et reconnaître que l’information disponible pourrait ne pas suffire à tirer une conclusion significative.

Cela crée une distorsion subtile mais importante.
De l’extérieur, tout semble certain. Les entrées sont validées, les sorties sont générées, et des décisions sont prises. Il n’y a aucune indication visible que les données sous-jacentes pourraient être incomplètes ou que des interprétations alternatives pourraient exister.
Au fil du temps, cela peut conduire à une forme de confiance mal placée.

Les utilisateurs commencent à se fier au système non seulement pour la vérification, mais aussi pour le jugement. La présence d’une sortie est interprétée comme un signe que le système dispose de suffisamment d’informations pour la soutenir, même si ce n’est pas forcément le cas.

Le problème n’est pas que le système soit incorrect.
C’est qu’il n’est pas conçu pour exprimer les limites de ce qu’il sait.

Dans les processus de prise de décision traditionnels, l’incertitude joue souvent un rôle visible. Les experts peuvent ne pas être d’accord, des informations supplémentaires peuvent être demandées, ou les décisions peuvent être retardées jusqu’à ce que plus de clarté soit obtenue. Ces mécanismes permettent de reconnaître et de gérer l’incertitude.

En revanche, les systèmes qui privilégient l’efficacité et la cohérence ont tendance à avancer dès que les conditions minimales sont remplies. Ils réduisent la friction en évitant l’hésitation, mais ce faisant, ils réduisent aussi la visibilité de l’incertitude.

Cela devient plus significatif à mesure que les systèmes évoluent et sont appliqués à des scénarios plus complexes.

La gamme de situations qu’ils rencontrent s’élargit, incluant des cas où les données sont ambiguës, conflictuelles ou incomplètes. Sans moyen de représenter l’incertitude, ces systèmes continuent de produire des sorties qui peuvent sembler tout aussi fiables, même lorsque les conditions sous-jacentes diffèrent considérablement.
C’est là que réside le risque.

Pas dans la défaillance du système, mais dans son incapacité à communiquer ses limites de connaissance.
Un système qui ne peut pas dire « Je ne sais pas » peut encore fonctionner correctement sur le plan technique. Mais il crée aussi un environnement où l’incertitude est dissimulée plutôt qu’abordée, et où les décisions peuvent être prises avec plus de confiance que ne le justifient réellement les données.

À long terme, le défi n’est pas seulement d’améliorer la vérification ou d’accroître l’efficacité.
C’est de trouver des moyens de rendre à nouveau l’incertitude visible.
Car sans cela, même des systèmes précis peuvent conduire à des résultats qui semblent certains, tout en reposant silencieusement sur une compréhension incomplète.