A Camada de Julgamento: Porque é que a IA não é inteligente até que os líderes sejam mais inteligentes

Guillermo Delgado Aparicio é o Líder Global de IA na Nisum.

Descubra as principais notícias e eventos de fintech!

Subscreva a newsletter da FinTech Weekly

Lida por executivos da JP Morgan, Coinbase, Blackrock, Klarna e mais

A IA na fintech abrange uma série de casos de uso, desde a deteção de fraudes e negociação algorítmica até à pontuação de crédito dinâmica e recomendações personalizadas de produtos. No entanto, um relatório da Autoridade de Conduta Financeira (FCA) concluiu que, das 75% das empresas que utilizam IA, apenas 34% sabem como funciona.

O problema não é apenas a falta de consciencialização. É um profundo mal-entendido sobre o poder e o alcance da análise de dados, a disciplina da qual surge a IA. A adoção em massa de ferramentas de IA generativa trouxe o tema para a administração de topo. Mas muitos dos que escolhem como implementar a IA não compreendem os seus princípios subjacentes de cálculo, estatística e algoritmos avançados.

Veja-se a Lei de Benford, um princípio estatístico simples que sinaliza fraudes ao detetar padrões em números. A IA baseia-se no mesmo tipo de matemática, apenas ampliada para milhões de transações de uma só vez. Retire o entusiasmo e a base continua a ser estatística e algoritmos.

É por isso que a literacia em IA ao nível da administração é importante. Líderes que não conseguem distinguir onde termina a análise correm o risco de confiar excessivamente em sistemas que não compreendem ou de os subutilizar por medo. E a história mostra o que acontece quando os decisores interpretam mal a tecnologia: os reguladores tentaram proibir chamadas IP internacionais, apenas para ver a tecnologia ultrapassar as regras. A mesma dinâmica está a acontecer com a IA. Não se pode bloquear ou adotar cegamente; é preciso discernimento, contexto e a capacidade de a orientar de forma responsável.

Os líderes de fintech devem colmatar estas lacunas para utilizar a IA de forma responsável e eficaz. Isso significa compreender onde termina a análise e começa a IA, desenvolver as competências para orientar estes sistemas e aplicar um bom senso para decidir quando e como confiar nos seus resultados.

Os Limites, Pontos Cegos e Ilusões da IA

A análise analisa dados passados e presentes para explicar o que aconteceu e porquê. A IA cresce a partir dessa base, utilizando análise avançada para prever o que acontecerá a seguir e, cada vez mais, para decidir ou agir automaticamente.

Com as suas excecionais capacidades de processamento de dados, é fácil perceber porque é que os líderes de fintech veem a IA como a sua bala mágica. Mas ela não consegue resolver todos os problemas. Os humanos ainda têm uma vantagem inata no reconhecimento de padrões, especialmente quando os dados estão incompletos ou "sujos". A IA pode ter dificuldade em interpretar as nuances contextuais que os humanos captam rapidamente.

No entanto, é um erro pensar que dados imperfeitos tornam a IA inútil. Os modelos analíticos podem trabalhar com dados incompletos. Mas saber quando implementar a IA e quando confiar no julgamento humano para preencher as lacunas é o verdadeiro desafio. Sem esta supervisão cuidadosa, a IA pode introduzir riscos significativos.

Uma dessas questões é o preconceito. Quando as fintechs treinam a IA em conjuntos de dados antigos, muitas vezes herdam os seus problemas. Por exemplo, o nome próprio de um cliente pode servir involuntariamente como substituto do género, ou o apelido pode conter indícios sobre etnia, desvirtuando as pontuações de crédito de formas que nenhum regulador aprovaria. Estes preconceitos, facilmente ocultos na matemática, requerem frequentemente supervisão humana para serem detetados e corrigidos.

Quando os modelos de IA são expostos a situações para as quais não foram treinados, pode ocorrer deriva do modelo. A volatilidade do mercado, as alterações regulamentares, a evolução dos comportamentos dos clientes e as mudanças macroeconómicas podem afetar a eficácia de um modelo sem monitorização e recalibração humana.

A dificuldade de recalibrar algoritmos aumenta drasticamente quando as fintechs utilizam caixas negras que não permitem visibilidade na relação entre variáveis. Nestas condições, perde-se a possibilidade de transferir esse conhecimento para os decisores da gestão. Além disso, erros e preconceitos permanecem ocultos em modelos opacos, minando a confiança e a conformidade.

O que os Líderes de Fintech Precisam de Saber

Um inquérito da Deloitte concluiu que 80% afirmam que os seus conselhos de administração têm pouca ou nenhuma experiência com IA. Mas os executivos de topo não se podem dar ao luxo de tratar a IA como um "problema da equipa de TI". A responsabilidade pela IA recai sobre a liderança, o que significa que os líderes de fintech precisam de adquirir novas competências.

Fluência Analítica Transversal

Antes de implementar a IA, os líderes de fintech precisam de ser capazes de mudar de velocidade — olhando para os números, o caso de negócio, as operações e a ética — e ver como esses fatores se sobrepõem e moldam os resultados da IA. Precisam de compreender como a precisão estatística de um modelo se relaciona com a exposição ao risco de crédito. E reconhecer quando uma variável aparentemente sólida do ponto de vista financeiro (como o historial de pagamentos) pode introduzir risco social ou regulatório através da correlação com uma classe protegida, como idade ou etnia.

Esta fluência em IA advém de reuniões com responsáveis pela conformidade para descodificar regulamentos, conversas com gestores de produto sobre a experiência do utilizador e revisão dos resultados dos modelos com cientistas de dados para detetar sinais de deriva ou preconceito.

Nas fintechs, evitar 100% do risco é impossível, mas com fluência analítica transversal, os líderes podem identificar quais os riscos que vale a pena correr e quais irão corroer o valor para os acionistas. Esta competência também aguça a capacidade de um líder para detetar e agir sobre preconceitos, não apenas do ponto de vista da conformidade, mas também estratégico e ético.

Por exemplo, suponha que um modelo de pontuação de crédito baseado em IA tende fortemente para um determinado grupo de clientes. Corrigir esse desequilíbrio não é apenas uma tarefa de ciência de dados; protege a reputação da empresa. Para fintechs comprometidas com a inclusão financeira ou sujeitas a escrutínio ASG, a conformidade legal por si só não é suficiente. Discernimento significa saber o que é certo, não apenas o que é permitido.

Literacia em Explicabilidade

A explicabilidade é a base da confiança. Sem ela, os decisores, clientes e reguladores ficam a questionar-se porque é que um modelo chegou a uma conclusão específica.

Isso significa que os executivos devem ser capazes de distinguir entre modelos que são interpretáveis e aqueles que necessitam de explicações posteriores (como valores SHAP ou LIME). Precisam de fazer perguntas quando a lógica de um modelo não é clara e reconhecer quando a "precisão" por si só não justifica uma decisão de caixa negra.

O preconceito não aparece do nada; surge quando os modelos são treinados e implementados sem supervisão suficiente. A explicabilidade dá aos líderes a visibilidade para detetar esses problemas precocemente e agir antes que causem danos.

A IA é como o piloto automático de um avião. Na maioria das vezes, funciona sem problemas, mas quando surge uma tempestade, o piloto tem de assumir os comandos. Nas finanças, aplica-se o mesmo princípio. As equipas precisam da capacidade de parar negociações, ajustar uma estratégia ou até cancelar o lançamento de um produto quando as condições mudam. A explicabilidade anda de mãos dadas com a prontidão para anular, o que garante que os líderes de topo compreendem a IA e permanecem no controlo, mesmo quando esta opera à escala.

Pensamento Probabilístico de Modelo

Os executivos estão habituados a decisões determinísticas, como se uma pontuação de crédito for inferior a 650, rejeitar o pedido. Mas a IA não funciona assim, e esta é uma grande mudança de paradigma mental.

Para os líderes, o pensamento probabilístico requer três capacidades:

• Interpretar intervalos de risco em vez de resultados binários de sim/não.
• Ponderar o nível de confiança de uma previsão em relação a outras considerações empresariais ou regulamentares.
• Saber quando anular a automatização e aplicar o critério humano.

Por exemplo, o modelo probabilístico de IA de uma fintech pode sinalizar um cliente como de alto risco, mas isso não significa necessariamente "recusar". Pode significar "investigar mais" ou "ajustar os termos do empréstimo". Sem esta nuance, a automatização corre o risco de se tornar um instrumento contundente, corroendo a confiança do cliente e expondo as empresas a reações regulatórias.

Porque é que a Camada de Discernimento Definirá os Vencedores das Fintechs

O futuro das fintechs não será decidido por quem tem os modelos de IA mais poderosos, mas sim por quem os utiliza com o melhor discernimento. À medida que a IA se torna uma mercadoria, os ganhos de eficiência tornam-se o mínimo exigido. O que separa os vencedores é a capacidade de intervir quando os algoritmos se deparam com incerteza, risco e zonas cinzentas éticas.

A camada de discernimento não é uma ideia abstrata. Manifesta-se quando os executivos decidem pausar a negociação automatizada, adiar o lançamento de um produto ou anular uma pontuação de risco que não reflete o contexto do mundo real. Estes momentos não são falhas da IA; são prova de que a supervisão humana é a linha final de criação de valor.

O alinhamento estratégico é onde o discernimento se institucionaliza. Uma estratégia de IA sólida não se limita a definir roteiros técnicos; garante que a organização reavalia iniciativas, atualiza as capacidades de IA das equipas, assegura que a empresa tem a arquitetura de dados necessária e liga cada implementação a um resultado de negócio claro. Neste sentido, o discernimento não é episódico, mas sim incorporado no modo de funcionamento e permite que os executivos adotem uma liderança baseada em valor.

As fintechs precisam de líderes que saibam equilibrar a IA para velocidade e escala e os humanos para contexto, nuance e visão de longo prazo. A IA pode detetar anomalias em segundos, mas apenas as pessoas podem decidir quando contestar a matemática, repensar suposições ou assumir um risco ousado que abra portas ao crescimento. Essa camada de discernimento é o que transforma a IA de ferramenta em vantagem.

Sobre o autor:

Guillermo Delgado é o Líder Global de IA da Nisum e COO da Deep Space Biology. Com mais de 25 anos de experiência em bioquímica, inteligência artificial, biologia espacial e empreendedorismo, desenvolve soluções inovadoras para o bem-estar humano na Terra e no espaço.

Como consultor de estratégia corporativa, contribuiu para a visão de IA da NASA para a biologia espacial e recebeu prémios de inovação. É Mestre em Ciências em Inteligência Artificial pelo Georgia Tech, obtido com honras. Além disso, como professor universitário, lecionou cursos sobre aprendizagem automática, big data e ciência genómica.