Рівень судження: чому штучний інтелект не є розумним, поки лідери не стануть розумнішими

Гільєрмо Дельгадо Апарісіо є глобальним лідером у сфері ШІ в Nisum.

Відкривайте найкращі новини та події у фінансових технологіях!

Підпишіться на розсилку новин FinTech Weekly

Читають керівники у JP Morgan, Coinbase, Blackrock, Klarna та інших

ШІ у фінансових технологіях охоплює ряд випадків використання, від виявлення шахрайства та алгоритмічної торгівлі до динамічного кредитного оцінювання та персоналізованих рекомендацій продуктів. Проте звіт Управління з фінансового контролю виявив, що з 75% компаній, які використовують ШІ, лише 34% знають, як це працює.

Проблема полягає не лише у відсутності обізнаності. Це глибоке непорозуміння сили та обсягу аналітики даних, дисципліни, з якої виникає ШІ. Масове впровадження інструментів генеративного ШІ привело цю тему до рівня топ-менеджменту. Але багато з тих, хто обирає, як впроваджувати ШІ, не розуміють його основних принципів, таких як математичний аналіз, статистика та складні алгоритми.

Візьміть Закон Бенфорда, простий статистичний принцип, який виявляє шахрайство, виявляючи закономірності в числах. ШІ базується на такій же математиці, просто масштабованій до мільйонів транзакцій одночасно. Відкиньте гучні слова, і основою залишаться статистика та алгоритми.

Ось чому грамотність у сфері ШІ на рівні керівництва важлива. Лідери, які не можуть визначити, де закінчується аналітика, ризикують надмірно довіряти системам, які вони не розуміють, або недостатньо їх використовувати через страх. Історія показує, що трапляється, коли особи, що приймають рішення, неправильно інтерпретують технології: регулятори одного разу намагалися заборонити міжнародні IP-дзвінки, лише щоб спостерігати, як технологія перевищила правила. Така ж динаміка відбувається з ШІ. Ви не можете заблокувати або бездумно прийняти його; вам потрібні судження, контекст і здатність відповідально ним керувати.

Лідери фінансових технологій повинні закрити ці прогалини, щоб використовувати ШІ відповідально та ефективно. Це означає розуміння, де закінчується аналітика і де починається ШІ, формування навичок для керування цими системами та застосування здорового глузду, щоб вирішити, коли і як довіряти їхнім результатам.

Обмеження, сліпі плями та ілюзії ШІ

Аналітика аналізує минулі та теперішні дані, щоб пояснити, що сталося і чому. ШІ виростає з цієї основи, використовуючи розширену аналітику для прогнозування того, що станеться далі, і, все більше, щоб автоматично вирішувати або діяти.

Завдяки своїм винятковим навичкам обробки даних, легко зрозуміти, чому лідери фінансових технологій вважають ШІ своєю чарівною паличкою. Але він не може вирішити кожну проблему. Люди все ще мають вроджену перевагу в розпізнаванні закономірностей, особливо коли дані неповні або “брудні”. ШІ може мати труднощі з розумінням контекстуальних нюансів, які люди можуть швидко ухопити.

Проте, помилково вважати, що недосконалі дані роблять ШІ марним. Аналітичні моделі можуть працювати з неповними даними. Але знати, коли впроваджувати ШІ і коли покладатися на людський судження, щоб заповнити прогалини, є справжнім викликом. Без цього уважного нагляду ШІ може ввести значні ризики.

Однією з таких проблем є упередженість. Коли фінансові технології навчають ШІ на старих наборах даних, вони часто успадковують багаж, що з ними пов’язаний. Наприклад, ім’я клієнта може ненавмисно слугувати проксі для статі, або прізвище може натякати на етнічну приналежність, перекриваючи кредитні оцінки в способах, які жоден регулятор не затвердить. Ці упередження, які легко приховані в математиці, часто потребують людського нагляду для виявлення та виправлення.

Коли моделі ШІ піддаються ситуаціям, на яких їх не навчали, це може викликати викривлення моделі. Волатильність ринку, зміни в регулюванні, еволюційні зміни в поведінці клієнтів та макроекономічні зсуви можуть усі вплинути на ефективність моделі без людського моніторингу та перерахунку.

Складність перерахунку алгоритмів різко зростає, коли фінансові технології використовують чорні ящики, які не дозволяють бачити зв’язок між змінними. За таких умов вони втрачають можливість передавати ці знання особам, що приймають рішення в управлінні. Крім того, помилки та упередження залишаються прихованими в непрозорих моделях, підриваючи довіру та відповідність.

Що потрібно знати лідерам фінансових технологій

Опитування Deloitte показало, що 80% стверджують, що їхні ради мають мало або зовсім немає досвіду роботи з ШІ. Але керівники не можуть дозволити собі вважати ШІ “проблемою технічної команди”. Відповідальність за ШІ лежить на керівництві, що означає, що лідери фінансових технологій повинні підвищити свою кваліфікацію.

Крос-аналітична грамотність

Перед впровадженням ШІ, лідери фінансових технологій повинні вміти переключатися — дивитися на цифри, бізнес-кейс, операції та етику — і бачити, як ці фактори перетинаються та формують результати ШІ. Вони повинні зрозуміти, як статистична точність моделі пов’язана з кредитним ризиком. І усвідомлювати, коли змінна, яка виглядає фінансово здоровою (як-от історія виплат), може ввести соціальний чи регуляторний ризик через кореляцію з захищеним класом, таким як вік чи етнічна приналежність.

Ця грамотність у сфері ШІ виникає з того, що вони спілкуються з працівниками з відповідності, щоб розібратися в регуляціях, спілкуються з менеджерами продуктів про досвід користувачів, і переглядають результати моделей з даними вченими, щоб виявити ознаки викривлення або упередженості.

У фінансових технологіях 100% уникнення ризиків неможливе, але з крос-аналітичною грамотністю лідери можуть точно вказати, які ризики варто взяти на себе, а які зруйнують вартість для акціонерів. Ця навичка також підвищує здатність лідера виявляти та діяти на упередженість, не тільки з точки зору відповідності, але й з стратегічної та етичної.

Наприклад, скажімо, що модель кредитного оцінювання на основі ШІ сильно схиляється до однієї групи клієнтів. Виправлення цього дисбалансу — це не лише завдання для науки даних; це захищає репутацію компанії. Для фінансових технологій, які прагнуть до фінансової інклюзії або стикаються з перевіркою ESG, лише юридична відповідність недостатня. Судження означає знати, що є правильним, а не просто тим, що дозволено.

Грамотність у поясненні

Пояснювальність є основою довіри. Без неї особи, що приймають рішення, клієнти та регулятори залишаються зі запитанням, чому модель прийшла до конкретного висновку.

Це означає, що керівники повинні вміти розрізняти між моделями, які можна інтерпретувати, та тими, які потребують пояснень після факту (як-от значення SHAP або LIME). Вони повинні ставити запитання, коли логіка моделі не ясна, і визнавати, коли “точність” сама по собі не може виправдати рішення чорного ящика.

Упередженість не виникає з нізвідки; вона виникає, коли моделі навчаються і впроваджуються без достатнього нагляду. Пояснювальність дає лідерам можливість виявляти ці проблеми на ранніх стадіях і діяти, перш ніж вони завдадуть шкоди.

ШІ схожий на автопілот на літаку. Більшість часу він працює гладко, але коли настає шторм, пілот має взяти управління. У фінансах той же принцип застосовується. Команди повинні мати можливість зупинити торгівлю, відкоригувати стратегію або навіть відмовитися від запуску продукту, коли обставини змінюються. Пояснювальність працює разом з готовністю до перевищення, що забезпечує, що керівники розуміють ШІ та залишаються під контролем, навіть коли він працює в масштабах.

Мислення в термінах ймовірнісних моделей

Керівники звикли до детерміністських рішень, таких як: якщо кредитний бал нижчий за 650, відмовити в заявці. Але ШІ не працює таким чином, і це є великою зміною ментальної парадигми.

Для лідерів ймовірнісне мислення вимагає трьох здібностей:

*   Інтерпретація діапазонів ризику, а не бінарних результатів так/ні.
*   Вимірювання рівня впевненості прогнозу в порівнянні з іншими бізнес- або регуляторними міркуваннями.
*   Знання, коли перевищити автоматизацію та застосувати людську дискрецію.

Наприклад, ймовірнісна модель ШІ фінансових технологій може відзначити клієнта як високий ризик, але це не обов’язково означає “відмовити”. Це може означати “дослідити далі” або “відкоригувати умови кредиту”. Без цієї нюанси автоматизація ризикує стати тупим інструментом, підриваючи довіру клієнтів, одночасно піддаючи компанії регуляторним наслідкам.

Чому шар судження визначить переможців у фінансових технологіях

Майбутнє фінансових технологій не буде визначено тим, хто має найпотужніші моделі ШІ; скоріше, тим, хто використовує їх з найгострішим судженням. Коли ШІ стає товаром, приріст ефективності стає обов’язковим. Те, що відокремлює переможців, — це здатність втручатися, коли алгоритми стикаються з невизначеністю, ризиком та етичними сірими зонами.

Шар судження не є абстрактною ідеєю. Він з’являється, коли керівники вирішують призупинити автоматизовану торгівлю, затримати запуск продукту або перевищити ризиковий бал, який не відображає реальний контекст. Ці моменти не є невдачами ШІ; це доказ того, що людський нагляд є останньою лінією створення цінності.

Стратегічне узгодження — це те місце, де судження стає інституціоналізованим. Сильна стратегія ШІ не просто встановлює технічні дорожні карти; вона забезпечує, щоб організація переглядала ініціативи, покращувала можливості команди в галузі ШІ, забезпечувала наявність необхідної архітектури даних і пов’язувала кожне впровадження з чітким бізнес-результатом. У цьому сенсі судження не є епізодичним, а вбудоване в операційний режим і дозволяє керівникам вести підхід до лідерства, орієнтований на цінність.

Фінансовим технологіям потрібні лідери, які знають, як балансувати ШІ для швидкості та масштабності, а людей для контексту, нюансів та довгострокового бачення. ШІ може виявляти аномалії за секунди, але лише люди можуть вирішити, коли заперечити математиці, переглянути припущення або ризикнути сміливо, відкриваючи двері для зростання. Цей шар судження перетворює ШІ з інструмента на перевагу.

Про автора:

Гільєрмо Дельгадо є глобальним лідером у сфері ШІ для Nisum і COO Deep Space Biology. Має понад 25 років досвіду в біохімії, штучному інтелекті, космічній біології та підприємництві, він розробляє інноваційні рішення для добробуту людей на Землі та в космосі.

Як консультант з корпоративної стратегії, він зробив внесок у AI-візію NASA для космічної біології та отримав нагороди за інновації. Він має ступінь магістра в галузі штучного інтелекту від Georgia Tech, здобуту з відзнакою. Крім того, як професор університету, він викладав курси з машинного навчання, великих даних та геномної науки.