Уровень суждения: почему ИИ не является умным, пока лидеры не станут умнее

Гильермо Дельгадо Апарисио — Global AI Leader в Nisum.

Узнайте о ключевых новостях и мероприятиях в финтехе!

Подпишитесь на рассылку FinTech Weekly

Читают руководители в JP Morgan, Coinbase, Blackrock, Klarna и других

ИИ в финтехе охватывает целый спектр сценариев применения — от выявления мошенничества и алгоритмической торговли до динамического скоринга кредитоспособности и персонализированных рекомендаций по продуктам. Однако отчет Управления по финансовому регулированию (Financial Conduct Authority) показал, что из 75% компаний, использующих ИИ, лишь 34% знают, как он работает.

Проблема не только в недостатке осведомленности. Это глубокое непонимание силы и масштаба аналитики данных — той дисциплины, из которой возникает ИИ. Массовое внедрение инструментов генеративного ИИ вывело тему на уровень C-suite. Но многие те, кто решает, как внедрять ИИ, не понимают лежащих в основе его принципов математического анализа, статистики и продвинутых алгоритмов.

Возьмем закон Бенфорда — простую статистическую закономерность, которая выявляет мошенничество, обнаруживая паттерны в числах. ИИ опирается на ту же самую математику, только масштабированную сразу на миллионы транзакций. Уберите хайп — и основа все равно остается статистикой и алгоритмами.

Вот почему ИИ-грамотность на уровне руководителей так важна. Лидеры, которые не могут отличить, где заканчивается аналитика, рискуют чрезмерно доверять системам, которые не понимают, или недоиспользовать их из страха. И история показывает, что происходит, когда лица, принимающие решения, неверно читают технологию: регуляторы однажды пытались запретить международные звонки по IP, но затем оказалось, что технология опередила правила. Та же динамика происходит с ИИ. Его нельзя ни блокировать, ни слепо принимать — вам нужны суждение, контекст и способность направлять его ответственно.

Руководителям в финтехе нужно закрыть эти пробелы, чтобы использовать ИИ ответственно и эффективно. Это означает понимание того, где заканчивается аналитика и начинается ИИ, развитие навыков, необходимых для управления этими системами, и применение здравого суждения, чтобы решить, когда и как доверять их результатам.

Пределы, слепые зоны и иллюзии ИИ

Аналитика анализирует прошлые и текущие данные, чтобы объяснить, что произошло и почему. ИИ вырастает из этой основы, используя продвинутую аналитику для прогнозирования того, что произойдет дальше, и, все чаще, для принятия решения или автоматического действия на его основе.

Благодаря исключительным навыкам обработки данных легко понять, почему лидеры финтеха могли бы видеть в ИИ свою «волшебную пулю». Но он не может решить каждую проблему. У людей по-прежнему есть врожденное преимущество в распознавании паттернов, особенно когда данные неполные или «грязные». ИИ может испытывать трудности с интерпретацией контекстных нюансов, которые люди схватывают быстро.

Однако ошибочно думать, что несовершенные данные делают ИИ бесполезным. Аналитические модели могут работать с неполными данными. Но ключевая задача — понимать, когда внедрять ИИ, а когда опираться на человеческое суждение, чтобы восполнить пробелы. Без такого тщательного надзора ИИ может привнести существенные риски.

Одна из таких проблем — bias (смещение). Когда финтех-компании обучают ИИ на старых наборах данных, они часто наследуют сопутствующий им багаж. Например, имя клиента может непреднамеренно выступать прокси для пола, или подсказки, выводимые из фамилии, — для этничности, что искажает кредитные скоринги так, как не одобрил бы ни один регулятор. Эти смещения, легко скрываемые в математике, часто требуют человеческого надзора, чтобы их заметить и исправить.

Когда ИИ-модели сталкиваются с ситуациями, на которых их не обучали, это может вызвать model drift (дрейф модели). Рыночная волатильность, изменения в регулировании, меняющееся поведение клиентов и макроэкономические сдвиги могут повлиять на эффективность модели без человеческого мониторинга и перераспределения параметров.

Сложность перенастройки алгоритмов резко возрастает, когда финтех-компании используют «black boxes» (черные ящики), которые не дают прозрачности в отношении взаимосвязи между переменными. В таких условиях они теряют возможность передать это знание лицам, принимающим решения, в руководстве. Кроме того, ошибки и смещения остаются скрытыми в непрозрачных моделях, подрывая доверие и комплаенс.

Что лидерам финтеха нужно знать

Опрос Deloitte показал, что 80% говорят: у их советов директоров практически нет опыта с ИИ или его совсем нет. Но руководители C-suite не могут позволить себе относиться к ИИ как к «проблеме ИТ-команды». Ответственность за ИИ лежит на руководстве, а значит, руководителям в финтехе нужно повышать квалификацию.

Межаналитическая грамотность

Перед внедрением ИИ лидерам финтеха нужно уметь переключать режимы — смотреть на цифры, бизнес-кейс, операционные процессы и этику — и видеть, как эти факторы пересекаются и формируют результаты применения ИИ. Они должны понимать, как статистическая точность модели связана с риском кредитного портфеля. И уметь распознавать, когда финансово корректно выглядящая переменная (например, история погашений) может вводить социальный или регуляторный риск из-за корреляции с защищенной категорией, такой как возраст или этничность.

Эта ИИ-грамотность формируется через взаимодействие с офицерами по комплаенсу, чтобы разбирать регуляторные требования; через общение с менеджерами по продукту о пользовательском опыте; и через анализ результатов модели с дата-сайентистами, чтобы ловить признаки дрейфа или смещений.

В финтехе 100% избежание рисков невозможно, но с межаналитической грамотностью лидеры могут точно определить, какие риски стоит брать, а какие будут размывать ценность для акционеров. Этот навык также повышает способность руководителя замечать и действовать против смещений — не только с точки зрения комплаенса, но и с точки зрения стратегической и этической.

Например, предположим, что модель скоринга кредитоспособности на базе ИИ смещает оценки в значительной степени в сторону одной группы клиентов. Исправление этого дисбаланса — это не просто задача для дата-сайенс; это защищает репутацию компании. Для финтех-компаний, которые привержены финансовой инклюзии или сталкиваются с проверками в логике ESG, одной юридической комплаенс-обязанности недостаточно. Суждение означает знать, что правильно, а не только то, что разрешено.

Грамотность в объяснимости (Explainability Literacy)

Объяснимость — основа доверия. Без нее руководители, клиенты и регуляторы остаются в вопросах о том, почему модель пришла к конкретному выводу.

Это означает, что руководители должны уметь различать модели, которые интерпретируемы, и модели, которым нужны объяснения post-hoc (например, SHAP values или LIME). Они должны задавать вопросы, когда логика модели неясна, и признавать, что одной «точности» недостаточно, чтобы обосновать решение «black box».

Смещения не возникают из ниоткуда; они появляются, когда модели обучают и внедряют без достаточного надзора. Объяснимость дает руководителям возможность увидеть эти проблемы на ранней стадии и действовать до того, как они причинят ущерб.

ИИ похож на автопилот в самолете. В большинстве случаев он работает плавно, но когда ударяет шторм, пилот должен взять управление. В финансах применяется тот же принцип. Команды должны уметь остановить торговлю, скорректировать стратегию или даже «выдернуть вилку» у запуска продукта, когда меняются условия. Объяснимость работает в паре с готовностью к ручному контролю (override readiness), которая гарантирует, что руководители C-suite понимают ИИ и сохраняют контроль, даже когда он работает в масштабе.

Вероятностное мышление (Probabilistic Model Thinking)

Руководителям привычны детерминированные решения: например, если кредитный скоринг ниже 650 — отказать в подаче заявки. Но ИИ работает иначе, и это означает большой сдвиг в ментальной парадигме.

Для руководителей вероятностное мышление требует трех компетенций:

*   Интерпретировать диапазоны риска вместо исходов «да/нет» в бинарном виде.
*   Сопоставлять уровень уверенности прогноза с другими бизнес- или регуляторными соображениями.
*   Знать, когда нужно отменить автоматизацию и применить человеческое усмотрение.

Например, вероятностная AI-модель финтеха может пометить клиента как клиента с высоким риском, но это не обязательно означает «отказать». Возможно, это означает «провести дополнительную проверку» или «скорректировать условия кредита». Без этого нюанса автоматизация может стать тупым инструментом, подрывая доверие клиентов и одновременно подвергая компании регуляторной реакции.

Почему уровень суждения определит победителей в финтехе

Будущее финтеха не решит то, у кого самые мощные модели ИИ; скорее, решит то, кто использует их с самым точным суждением. По мере того как ИИ становится «коммодити», прирост эффективности превращается в обязательный минимум. Отделяет победителей от остальных способность вмешиваться, когда алгоритмы сталкиваются с неопределенностью, риском и этически «серыми зонами».

Уровень суждения — не абстрактная идея. Он проявляется, когда руководители принимают решение приостановить автоматизированную торговлю, отложить запуск продукта или отменить оценку риска, которая не отражает реалии контекста. Эти моменты — не провалы ИИ; это доказательство того, что человеческий надзор — последняя линия создания ценности.

Стратегическое согласование — там, где суждение становится институционализированным. Сильная стратегия по ИИ не только формирует технические дорожные карты; она гарантирует, что организация будет пересматривать инициативы, повышать навыки команд в области ИИ, обеспечит наличие требуемой архитектуры данных и будет связывать каждое внедрение с четким бизнес-результатом. В этом смысле суждение не является эпизодическим — оно встроено в рабочий режим и позволяет руководителям придерживаться подхода к лидерству, основанного на ценности.

Финтех-компаниям нужны руководители, которые знают, как сбалансировать ИИ ради скорости и масштаба, а людей — ради контекста, нюансов и долгосрочного видения. ИИ может выявлять аномалии за секунды, но только люди могут решить, когда нужно «упереться» в математику, пересмотреть допущения или пойти на смелый риск, который открывает дверь к росту. Именно этот слой суждения превращает ИИ из инструмента в преимущество.

Об авторе:

Гильермо Дельгадо — Global AI Leader для Nisum и COO Deep Space Biology. Имея более 25 лет опыта в биохимии, искусственном интеллекте, космической биологии и предпринимательстве, он разрабатывает инновационные решения для благополучия людей на Земле и в космосе.

Как корпоративный консультант по стратегии, он внес вклад в AI vision NASA для космической биологии и получил награды за инновации. Он имеет степень магистра наук в области искусственного интеллекта из Georgia Tech, полученную с отличием. Кроме того, будучи профессором в университете, он преподавал курсы по машинному обучению, большим данным и геномной науке.