Ризик систем, які не вміють казати «Я не знаю»

Один із менш обговорюваних аспектів сучасних систем, орієнтованих на дані, — це те, як вони справляються з невизначеністю. Більшість систем сьогодні розроблені для обробки вхідних даних, їхньої валідації та вироблення результатів у послідовний та надійний спосіб. Така структура добре працює в середовищах, де дані чіткі, а рішення можна безпосередньо вивести з них.

Але не всі ситуації відповідають цій моделі.

У багатьох реальних випадках дані існують без повного врахування контексту, необхідного для прийняття обґрунтованого рішення. Інформація може бути точною, але неповною, валідною, але недостатньою. Це ті ситуації, коли невизначеність — не недолік, а природна частина навколишнього середовища.

Проблема в тому, що більшість систем не побудовані для вираження цього.

Замість сигналізування про невизначеність вони зазвичай перетворюють будь-які доступні дані у корисний результат.

Перевірка гарантує автентичність даних, і після виконання цієї умови система продовжує роботу. Вбудованого механізму для паузи та визнання того, що доступної інформації може бути недостатньо для обґрунтованого висновку, немає.

Це створює тонке, але важливе спотворення.
Ззовні все здається впевненим. Вхідні дані перевірені, результати згенеровані, рішення прийняті. Немає видимих ознак того, що базові дані можуть бути неповними або що існують альтернативні інтерпретації.
З часом це може призвести до форми неправильного почуття впевненості.

Користувачі починають покладатися на систему не лише для перевірки, а й для судження. Наявність результату інтерпретується як ознака того, що система має достатньо інформації для його підтримки, навіть якщо це не так.

Проблема не в тому, що система неправильна.
Вона в тому, що система не спроектована для вираження меж своїх знань.

У традиційних процесах прийняття рішень невизначеність часто відіграє помітну роль. Експерти можуть не погоджуватися, може бути запитана додаткова інформація або рішення можуть бути відкладені до отримання більшої ясності. Ці механізми дозволяють визнавати та керувати невизначеністю.

На відміну від цього, системи, що орієнтовані на ефективність і послідовність, зазвичай рухаються вперед, щойно виконуються мінімальні умови. Вони зменшують тертя, уникаючи вагань, але водночас зменшують видимість невизначеності.

Це стає більш значущим із масштабуванням систем і застосуванням їх до складніших сценаріїв.

Діапазон ситуацій, з якими вони стикаються, розширюється, включаючи випадки, коли дані є двозначними, конфліктними або неповними. Без способу представити невизначеність ці системи продовжують генерувати результати, які можуть здаватися однаково надійними, навіть коли умови суттєво різняться.
Саме тут і криється ризик.

Не у несправності системи, а у її неспроможності комунікувати межі своїх знань.
Система, яка не може сказати «Я не знаю», може й далі функціонувати правильно на технічному рівні. Але вона також створює середовище, де невизначеність приховується, а не вирішується, і де рішення можуть мати більше впевненості, ніж це підтримує реальна інформація.

У довгостроковій перспективі виклик полягає не лише у покращенні перевірки або підвищенні ефективності.
А у пошуку способів знову зробити невизначеність видимою.
Бо без цього навіть точні системи можуть призводити до результатів, які здаються впевненими, але тихо ґрунтуються на неповному розумінні.