ИИ-предвзятость в банковском деле - Риски, которые невозможно игнорировать

Исследования показывают, что финансовый сектор, уступая по выгодам только крупным технологическим компаниям, ожидает значительную пользу от ИИ. Неудивительно, что в отрасли вкладываются огромные средства — от чат-ботов, улучшающих обслуживание клиентов, до сложных моделей для KYC, AML, обнаружения мошенничества, оценки кредитных рисков и обработки страховых претензий. Кроме того, ИИ способствует созданию всё более персонализированных услуг, таких как инвестиционные советы, ценообразование и рекомендации следующего лучшего действия или продукта.

Но с этим масштабным внедрением новых технологий возникают новые категории рисков. ИИ вводит уникальные угрозы, включая атаки с инъекцией подсказок, риски раскрытия личных и конфиденциальных данных, а также ошибочные результаты из-за галлюцинаций или встроенных предвзятостей. Последняя из них — «предвзятость» — является фокусом этого блога.

Модели ИИ — это не простые системы на основе правил. Большинство из них построены на сложных архитектурах машинного обучения или глубокого обучения, статистических «черных ящиках», состоящих из огромных матриц весов и параметров. Эта сложность делает невозможным полное предсказание или тестирование всех возможных исходов. Также это усложняет обнаружение и объяснение предвзятостей, а также их исправление.

Предвзятость в ИИ — это не поверхностный сбой. Она проистекает из глубоких проблем в данных, предположениях, конструкции модели и социально-культурном контексте, в котором разрабатывается ИИ.

В финансовых услугах предвзятость может иметь реальные последствия. Это не только вопрос справедливости, но и риск-менеджмента. Она может привести к репутационным потерям, регуляторным штрафам, юридической ответственности, снижению доверия клиентов и, в конечном итоге, к несправедливому отношению к лицам, которым должна обеспечиваться равная доступность финансовых услуг.

Большинство моделей ИИ в финансах обучаются на исторических данных — заявках на кредиты, кредитных рейтингах, транзакциях, демографических данных. Но эти данные часто отражают структурные неравенства: недоиспользование кредитования определенных групп, социально-экономические различия, историческую дискриминацию… Когда модель учится на таких данных, она может закреплять или даже усиливать эти паттерны.

Кроме того, новые источники данных, такие как поведение при транзакциях или использование мобильных приложений, также не свободны от предвзятостей. Эти признаки могут коррелировать с защищенными характеристиками, такими как пол, этническая принадлежность или возраст, даже если эти атрибуты явно не указаны. Иными словами, предвзятость может проникать через казалось бы «нейтральные» переменные.

Поскольку модели учатся не только на данных, но и на мировоззрении, заложенном в способе их сбора и маркировки, предвзятость становится глубоко укорененной.

Недавнее исследование Гарварда иллюстрирует это. Исследователи сравнили ценности ChatGPT с реальными данными о людях и обнаружили, что его культурное соответствие тесно совпадает с Западной Европой или тем, что в исследовании называется «WEIRD» — Запад, Образование, Индустриализация, Богатство и Демократия.
Это логично: большинство данных, на которых обучаются эти модели, и большинство людей, их создающих, происходят из WEIRD обществ. Поэтому даже если модель «говорит» на многих языках, она всё равно думает в рамках одного мировоззрения. ИИ не только несет предвзятость, он несет мировоззрение с встроенными предположениями о том, что считается «нормальным», «рациональным» или «моральным».

То же самое применимо и в финансовых услугах. Модель кредитного скоринга, обученная на данных о пользователях с высоким доходом из Западной Европы, может неправильно интерпретировать поведение недообслуживаемых или иммигрантских сообществ. Базовые представления о «нормальности» просто не применимы.

Неудивительно, что в Европе, согласно Регламенту ЕС по ИИ, многие финансовые приложения (например, модели кредитного скоринга) теперь классифицируются как высокорискованные. Это означает, что поставщики должны:

• Использовать качественные, репрезентативные наборы данных
• Документировать технический дизайн и предположения
• Внедрять прозрачность и ведение журналов
• Обеспечивать человеческий контроль и ответственность

Конечно, полностью устранить предвзятость невозможно. Но финансовые компании могут и должны предпринимать значимые шаги для её снижения:

• Обучение на репрезентативных данных: обеспечить, чтобы наборы данных отражали население, которому предназначена модель, по географиям, социально-экономическим признакам, полу и другим характеристикам.
• Аудит и тестирование на справедливость: применять проверки справедливости, анализировать работу подгрупп и инструменты обнаружения предвзятостей. Рассматривать меры по их устранению на всех этапах: предварительной обработки, внутри модели и после её обучения.
• Создавать разнообразные команды: привлекать специалистов по данным, экспертов по рискам, сотрудников по соблюдению нормативов, социальных ученых и представителей затронутых сообществ. Более широкий спектр взглядов помогает выявить слепые зоны.
• Держать человека в цикле: для решений с высокой ставкой (например, одобрение кредитов) автоматизированные модели должны поддерживать, а не заменять, человеческих экспертов.
• Обеспечивать объяснимость: по возможности использовать интерпретируемые или гибридные модели, даже если это усложняет систему.
• Постоянный мониторинг: справедливость может смещаться по мере изменения реальных данных. Обучение, аудит и контроль должны быть непрерывными.

Снижение предвзятости (например, через сбалансированные данные, ограничения модели или меры объяснимости) зачастую связано с затратами. Не только по сложности и времени внедрения, но и по характеристикам самой модели. Тем не менее, в финансовых услугах это — необходимый компромисс. Финансовые компании должны балансировать между производительностью, справедливостью, соблюдением нормативов и инклюзивностью. Идеального решения нет, но это не значит, что не стоит стараться. В конечном итоге, путь вперед — это признание того, что ИИ — это не просто технология. Это зеркало нас самих, наших ценностей, данных и систем.