Слой суждений: почему ИИ не станет умным, пока руководители не станут умнее

Guillermo Delgado Aparicio — глобальный лидер по ИИ в Nisum.

Откройте для себя главные новости и события финтеха!

Подпишитесь на рассылку FinTech Weekly

Читают руководители JP Morgan, Coinbase, Blackrock, Klarna и других компаний

ИИ в финтехе охватывает широкий спектр применений: от обнаружения мошенничества и алгоритмической торговли до динамического кредитного скоринга и персонализированных рекомендаций продуктов. Тем не менее, отчёт Управления по финансовому регулированию и надзору (FCA) показал, что из 75% компаний, использующих ИИ, только 34% понимают, как он работает.

Проблема не только в недостатке осведомлённости. Это глубокое непонимание возможностей и масштаба аналитики данных — дисциплины, из которой вырос ИИ. Массовое внедрение инструментов генеративного ИИ вынесло эту тему на уровень топ-менеджмента. Но многие из тех, кто решает, как внедрять ИИ, не понимают его базовых принципов: математического анализа, статистики и сложных алгоритмов.

Возьмём закон Бенфорда — простой статистический принцип, который выявляет мошенничество по закономерностям в числах. ИИ основан на той же математике, только масштабированной до миллионов транзакций одновременно. Отбросьте шумиху — в основе всё те же статистика и алгоритмы.

Вот почему ИИ-грамотность на уровне C-suite так важна. Лидеры, которые не могут определить, где заканчивается аналитика, рискуют либо чрезмерно доверять системам, которые не понимают, либо недоиспользовать их из страха. А история показывает, что происходит, когда лица, принимающие решения, неверно оценивают технологии: регуляторы однажды пытались запретить международные IP-звонки, но технология переросла правила. Та же динамика разворачивается сейчас с ИИ. Нельзя ни блокировать его, ни слепо внедрять — нужны рассудительность, контекст и способность ответственно им управлять.

Лидеры финтеха должны устранить эти пробелы, чтобы использовать ИИ ответственно и эффективно. Для этого нужно понимать, где заканчивается аналитика и начинается ИИ, развивать навыки управления этими системами и применять здравое суждение, чтобы решать, когда и как доверять их результатам.

Ограничения, слепые зоны и иллюзии ИИ

Аналитика анализирует прошлые и настоящие данные, чтобы объяснить, что произошло и почему. ИИ вырастает из этой основы, используя продвинутую аналитику для прогнозирования того, что произойдёт дальше, и всё чаще для автоматического принятия решений или действий.

Учитывая его исключительные способности к обработке данных, легко понять, почему лидеры финтеха видят в ИИ своё волшебное решение. Но он не может решить все проблемы. У людей по-прежнему есть врождённое преимущество в распознавании образов, особенно когда данные неполны или «грязны». ИИ может испытывать трудности с интерпретацией контекстуальных нюансов, которые человек легко улавливает.

Тем не менее, считать, что несовершенные данные делают ИИ бесполезным, — ошибка. Аналитические модели могут работать с неполными данными. Но знать, когда внедрять ИИ, а когда полагаться на человеческое суждение для восполнения пробелов, — вот настоящая задача. Без такого тщательного контроля ИИ может нести значительные риски.

Одна из таких проблем — предвзятость. Когда финтех-компании обучают ИИ на старых наборах данных, они часто наследуют сопутствующий «багаж». Например, имя клиента может непреднамеренно служить прокси для пола, а фамилия — содержать намёки на этническую принадлежность, искажая кредитные рейтинги так, что ни один регулятор не одобрит. Эти предвзятости, легко скрытые в математике, часто требуют человеческого контроля для выявления и исправления.

Когда модели ИИ сталкиваются с ситуациями, на которых их не обучали, это может вызвать дрейф модели. Волатильность рынка, изменения в регулировании, эволюция поведения клиентов и макроэкономические сдвиги — всё это может повлиять на эффективность модели без мониторинга и перенастройки со стороны человека.

Сложность перенастройки алгоритмов резко возрастает, когда финтех-компании используют «чёрные ящики», не позволяющие видеть взаимосвязи между переменными. В таких условиях они теряют возможность передавать эти знания лицам, принимающим решения в руководстве. Кроме того, ошибки и предвзятости остаются скрытыми в непрозрачных моделях, подрывая доверие и соблюдение нормативных требований.

Что нужно знать лидерам финтеха

Опрос Deloitte показал, что 80% респондентов заявляют, что их советы директоров почти не имеют опыта работы с ИИ. Но руководители C-level не могут позволить себе относиться к ИИ как к «проблеме IT-отдела». Ответственность за ИИ лежит на руководстве, а значит, лидерам финтеха необходимо повышать свою квалификацию.

Кросс-аналитическая грамотность

Прежде чем внедрять ИИ, лидеры финтеха должны уметь переключаться — смотреть на цифры, бизнес-кейсы, операции и этику — и видеть, как эти факторы пересекаются и влияют на результаты ИИ. Им нужно понимать, как статистическая точность модели соотносится с кредитным риском. И распознавать, когда переменная, которая выглядит финансово обоснованной (например, история погашения долгов), может создавать социальный или регуляторный риск из-за корреляции с защищённой категорией, такой как возраст или этническая принадлежность.

Эта ИИ-грамотность приобретается при общении с сотрудниками по комплаенсу для анализа нормативных актов, обсуждении с продакт-менеджерами пользовательского опыта и проверке результатов моделей с дата-сайентистами для выявления признаков дрейфа или предвзятости.

В финтехе полностью избежать рисков невозможно, но с кросс-аналитической грамотностью лидеры могут определить, на какие риски стоит идти, а какие подорвут акционерную стоимость. Этот навык также оттачивает способность лидера выявлять предвзятость и реагировать на неё не только с точки зрения комплаенса, но и со стратегической и этической позиции.

Например, предположим, что модель кредитного скоринга на основе ИИ сильно смещена в сторону одной группы клиентов. Исправление такого дисбаланса — не просто задача для дата-сайентистов; это защищает репутацию компании. Для финтех-компаний, приверженных финансовой инклюзивности или находящихся под пристальным вниманием ESG, одной юридической недостаточности мало. Рассудительность означает умение понимать, что правильно, а не только что разрешено.

Грамотность в области объяснимости

Объяснимость — основа доверия. Без неё лица, принимающие решения, клиенты и регуляторы остаются в недоумении, почему модель пришла к тому или иному выводу.

Это означает, что руководители должны уметь различать модели, которые интерпретируемы, и те, которые требуют постфактум объяснений (например, SHAP-значения или LIME). Им нужно задавать вопросы, когда логика модели неясна, и понимать, что одна лишь «точность» не может оправдать решение «чёрного ящика».

Предвзятость не возникает из ниоткуда; она проявляется, когда модели обучаются и развёртываются без достаточного контроля. Объяснимость даёт руководителям возможность видеть эти проблемы на раннем этапе и действовать, пока они не нанесли ущерб.

ИИ подобен автопилоту в самолёте. Большую часть времени он работает гладко, но когда начинается шторм, пилот берёт управление на себя. В финансах действует тот же принцип. Команды должны иметь возможность остановить торговлю, скорректировать стратегию или даже отозвать запуск продукта при изменении условий. Объяснимость работает в тандеме с готовностью к ручному управлению, гарантируя, что руководители C-level понимают ИИ и сохраняют контроль, даже когда он работает в масштабе.

Вероятностное мышление в моделях

Руководители привыкли к детерминированным решениям: если кредитный рейтинг ниже 650, отклонить заявку. Но ИИ работает иначе, и это серьёзный сдвиг в ментальной парадигме.

Для лидеров вероятностное мышление требует трёх способностей:

• Интерпретировать диапазоны риска, а не бинарные результаты «да/нет».
• Соотносить уровень уверенности прогноза с другими бизнес- или регуляторными соображениями.
• Знать, когда отменить автоматизацию и применить человеческое усмотрение.

Например, вероятностная модель ИИ финтех-компании может пометить клиента как высокорискованного, но это не обязательно означает «отказать». Это может означать «расследовать подробнее» или «скорректировать условия кредита». Без этого нюанса автоматизация рискует стать грубым инструментом, подрывая доверие клиентов и подвергая компании регуляторным последствиям.

Почему уровень суждений определит победителей в финтехе

Будущее финтеха решится не тем, у кого самые мощные модели ИИ, а тем, кто использует их с наиболее острым суждением. По мере коммодитизации ИИ повышение эффективности становится обязательным условием. Что отличает победителей, так это способность вмешиваться, когда алгоритмы сталкиваются с неопределённостью, риском и этическими серыми зонами.

Уровень суждений — не абстрактная идея. Он проявляется, когда руководители решают приостановить автоматическую торговлю, отложить запуск продукта или переопределить оценку риска, не отражающую реальный контекст. Эти моменты — не провалы ИИ; они доказывают, что человеческий контроль является последней линией создания ценности.

Стратегическое согласование — это то, где суждение институционализируется. Сильная ИИ-стратегия не просто задаёт технические дорожные карты; она гарантирует, что организация пересматривает инициативы, повышает ИИ-компетенции команд, обеспечивает необходимую архитектуру данных и увязывает каждое развёртывание с чётким бизнес-результатом. В этом смысле суждение не эпизодично, а встроено в операционную модель и позволяет руководителям применять подход лидерства, основанный на ценности.

Финтеху нужны лидеры, которые умеют балансировать между ИИ для скорости и масштаба и людьми для контекста, нюансов и долгосрочного видения. ИИ может за секунды выявлять аномалии, но только люди могут решить, когда оспорить математику, пересмотреть допущения или пойти на смелый риск, открывающий путь к росту. Именно этот уровень суждений превращает ИИ из инструмента в преимущество.

Об авторе:

Гильермо Дельгадо — глобальный лидер по ИИ в Nisum и COO Deep Space Biology. Обладая более чем 25-летним опытом в области биохимии, искусственного интеллекта, космической биологии и предпринимательства, он разрабатывает инновационные решения для благополучия человека на Земле и в космосе.

В качестве консультанта по корпоративной стратегии он внёс вклад в видение ИИ NASA для космической биологии и получил награды за инновации. Он имеет степень магистра наук в области искусственного интеллекта Технологического института Джорджии, полученную с отличием. Кроме того, как университетский профессор, он преподавал курсы по машинному обучению, большим данным и геномной науке.