Упередженість ШІ у банківництві - Ризики, які неможливо ігнорувати

Дослідження показують, що фінансовий сектор очікує найбільший виграш від штучного інтелекту, поступаючись лише великим технологічним компаніям. Не дивно, що в цій галузі здійснюються величезні інвестиції — від чат-ботів на базі AI, що покращують обслуговування клієнтів, до передових моделей для KYC, AML, виявлення шахрайства, оцінки кредитного ризику та обробки страхових претензій. Крім того, AI сприяє створенню все більш персоналізованих сервісів, таких як інвестиційні поради, ціноутворення та рекомендації щодо наступних дій або продуктів.

Але з цим масштабним впровадженням нових технологій з’являється новий тип ризиків. AI вводить унікальні загрози, зокрема атаки з інжекцією запитів, ризики розкриття особистих та конфіденційних даних, а також хибні результати через галюцинації або внутрішню упередженість. Останній ризик — «упередженість» — і стане фокусом цього блогу.

Моделі AI — це не прості системи на основі правил. Більшість з них побудовані на складних архітектурах машинного навчання або глибокого навчання, статистичних «чорних ящиках», що складаються з величезних матриць ваг і параметрів. Ця складність ускладнює повне прогнозування або тестування всіх можливих результатів. Вона також ускладнює виявлення упередженості та її пояснення або виправлення.

Упередженість у AI — це не поверхневий збій. Вона виникає через глибоко закорінені проблеми у даних, припущеннях, дизайні моделей і соціокультурному контексті, у якому розвивається AI.

У фінансових послугах упередженість може мати реальні наслідки. Це не лише питання справедливості, а й управління ризиками. Вона може спричинити репутаційні втрати, регуляторний нагляд, юридичну відповідальність, втрату довіри клієнтів і, зрештою, несправедливе ставлення до осіб, які заслуговують на рівний доступ до фінансових послуг.

Більшість моделей AI у фінансах навчаються на історичних даних — минулих заявках на кредити, кредитних рейтингах, історіях транзакцій, демографічних даних. Але ці дані часто відображають структурні нерівності: недопозичання певним групам, соціально-економічні розриви, історичну дискримінацію… Коли модель навчається на таких даних, вона може закріплювати або навіть посилювати ці патерни.

Крім того, нові джерела даних, такі як поведінка транзакцій або використання мобільних додатків, також не позбавлені упередженості. Ці ознаки можуть корелювати з захищеними ознаками, такими як стать, етнічна приналежність або вік, навіть якщо ці атрибути явно не включені. Іншими словами, упередженість може проникати через так звані «нейтральні» змінні.

Оскільки моделі навчаються не лише на даних, а й на світогляді, закладеному у спосіб їх збору та маркування, упередженість стає глибоко вкоріненою.

Недавнє дослідження Гарварду ілюструє це. Вчені порівняли цінності ChatGPT із реальними даними людей і виявили, що його культурна орієнтація тісно відповідає Західній Європі або тому, що дослідження називає «WEIRD» — Захід, Освіта, Індустріалізація, Багатство і Демократія. Це логічно: більшість даних, на яких навчаються ці моделі, і більшість людей, що їх створюють, походять із WEIRD-спільнот. Тому навіть якщо модель «говорить» багатьма мовами, вона все одно мислить у межах однієї культури. AI несе не лише упередженість, а й світогляд, із закладеними у нього припущеннями про те, що є «нормальним», «раціональним» або «моральним».

Те саме стосується і фінансових послуг. Модель кредитного рейтингу, навчена на даних високорозвинених західноєвропейських користувачів, може неправильно інтерпретувати поведінку малодоступних або іммігрантських спільнот. Базові уявлення про «нормальне» просто не застосовуються.

Не дивно, що в Європі, відповідно до Регламенту ЄС щодо штучного інтелекту, багато фінансових застосунків AI (наприклад, моделі кредитного рейтингу) тепер класифікуються як високоризикові. Це означає, що постачальники повинні:

• використовувати високоякісні, репрезентативні набори даних
• документувати технічний дизайн і припущення
• впроваджувати прозорість і логування
• забезпечувати людський контроль і відповідальність

Звісно, повністю усунути упередженість може бути неможливо. Але фінансові компанії можуть і повинні вживати суттєвих заходів для її зменшення:

• Навчання на репрезентативних даних: забезпечити, щоб набори даних відображали населення, яке обслуговує модель, з урахуванням географії, соціально-економічного статусу, статі тощо.

• Аудит і тестування на справедливість: застосовувати аудити справедливості, аналіз підгрупової продуктивності та інструменти виявлення упередженості. Враховувати заходи щодо пом’якшення на всіх етапах: передобробці, обробці під час навчання і після.

• Створення різноманітних команд: залучати фахівців з даних, ризик-менеджменту, комплаєнсу, соціальних наук і представників спільнот, що постраждали. Різноманітність точок зору допомагає виявити сліпі зони.

• Залучення людського фактора: для важливих рішень (наприклад, схвалення кредитів) автоматизовані моделі мають підтримувати, а не замінювати людських рішенням.

• Підтримка пояснюваності: там, де можливо, використовувати інтерпретовані або гібридні моделі, навіть якщо це ускладнює систему.

• Постійний моніторинг: справедливість може змінюватися з часом через зміни у реальних даних. Перепідготовка, аудит і контроль мають бути безперервними.

Зменшення упередженості (наприклад, через збалансовані дані, обмеження моделей або заходи щодо пояснюваності) часто супроводжується додатковими витратами. Це не лише ускладнює модель і збільшує час її впровадження, а й може знижувати її продуктивність. Проте у фінансових послугах це — необхідний компроміс. Компанії мають балансувати між продуктивністю, справедливістю, відповідністю регуляторним вимогам і інклюзивністю. Ідеального рішення немає, але це не означає, що ми не повинні намагатися. Врешті-решт, шлях уперед полягає у визнанні того, що AI — це не просто технологія. Це дзеркало нас самих, наших цінностей, даних і систем.