A Camada de Julgamento: Por que a IA não é inteligente até que os líderes sejam mais inteligentes

Guillermo Delgado Aparicio é Líder Global de IA na Nisum.

Descubra as principais notícias e eventos de fintech!

Inscreva-se na newsletter da FinTech Weekly

Lida por executivos do JP Morgan, Coinbase, Blackrock, Klarna e muito mais

A IA em fintech abrange uma gama de casos de uso, desde a deteção de fraudes e negociação algorítmica até a pontuação de crédito dinâmica e recomendações de produtos personalizadas. No entanto, um relatório da Autoridade de Conduta Financeira revelou que dos 75% das empresas que utilizam IA, apenas 34% sabem como ela funciona.

A questão não é apenas a falta de consciência. É um profundo mal-entendido sobre o poder e o alcance da análise de dados, a disciplina da qual a IA surge. A adoção em massa de ferramentas de IA generativa trouxe o tema para a alta gestão. Mas muitos dos que decidem como implementar a IA não entendem seus princípios subjacentes de cálculo, estatística e algoritmos avançados.

Considere a Lei de Benford, um princípio estatístico simples que sinaliza fraudes ao detectar padrões em números. A IA baseia-se nesse mesmo tipo de matemática, apenas escalada para milhões de transações de uma só vez. Retire o exagero, e a fundação ainda é estatística e algoritmos.

É por isso que a literacia em IA ao nível da alta gestão é importante. Líderes que não conseguem distinguir onde a análise termina correm o risco de confiar excessivamente em sistemas que não compreendem ou de não os utilizar por medo. E a história mostra o que acontece quando os decisores interpretam mal a tecnologia: os reguladores já tentaram proibir chamadas IP internacionais, apenas para ver a tecnologia ultrapassar as regras. A mesma dinâmica está a acontecer com a IA. Não se pode bloquear ou adotar cegamente; é necessário julgamento, contexto e a capacidade de direcioná-la de forma responsável.

Os líderes de fintech devem fechar essas lacunas para utilizar a IA de forma responsável e eficaz. Isso significa compreender onde a análise termina e a IA começa, desenvolver as competências para orientar esses sistemas e aplicar um julgamento sólido para decidir quando e como confiar nos seus resultados.

Os Limites, Pontos Cegos e Ilusões da IA

A análise examina dados passados e presentes para explicar o que aconteceu e porquê. A IA cresce a partir dessa fundação, utilizando análises avançadas para prever o que acontecerá a seguir e, cada vez mais, para decidir ou agir automaticamente.

Com as suas excecionais habilidades de processamento de dados, é fácil perceber por que os líderes de fintech veriam a IA como a sua bala mágica. Mas ela não pode resolver todos os problemas. Os humanos ainda têm uma vantagem inata em reconhecimento de padrões, especialmente quando os dados são incompletos ou “sujos”. A IA pode ter dificuldades em interpretar as nuances contextuais que os humanos conseguem entender rapidamente.

No entanto, é um erro pensar que dados imperfeitos tornam a IA inútil. Modelos analíticos podem funcionar com dados incompletos. Mas saber quando implantar a IA e quando confiar no julgamento humano para preencher as lacunas é o verdadeiro desafio. Sem esta supervisão cuidadosa, a IA pode introduzir riscos significativos.

Um desses problemas é o viés. Quando as fintechs treinam a IA em conjuntos de dados antigos, muitas vezes herdam a bagagem que vem com eles. Por exemplo, o primeiro nome de um cliente pode, sem querer, servir como um proxy para o género, ou o sobrenome pode inferir pistas sobre etnia, inclinando as pontuações de crédito de uma maneira que nenhum regulador aprovaria. Esses vieses, facilmente ocultos na matemática, muitas vezes exigem supervisão humana para serem detectados e corrigidos.

Quando modelos de IA são expostos a situações para as quais não foram treinados, isso pode causar deriva do modelo. A volatilidade do mercado, mudanças regulatórias, comportamentos de clientes em evolução e mudanças macroeconómicas podem impactar a eficácia de um modelo sem monitoramento humano e recalibração.

A dificuldade de recalibrar algoritmos aumenta drasticamente quando as fintechs utilizam caixas pretas que não permitem visibilidade sobre a relação entre variáveis. Nessas condições, perdem a possibilidade de transferir esse conhecimento para os decisores na gestão. Além disso, erros e vieses permanecem ocultos em modelos opacos, minando a confiança e a conformidade.

O Que os Líderes de Fintech Precisam Saber

Uma pesquisa da Deloitte revelou que 80% dizem que os seus conselhos têm pouca ou nenhuma experiência com IA. Mas os executivos da alta gestão não podem tratar a IA como um “problema da equipe técnica”. A responsabilidade pela IA recai sobre a liderança, o que significa que os líderes de fintech precisam desenvolver novas competências.

Fluência Cross-analítica

Antes de implementar a IA, os líderes de fintech precisam ser capazes de mudar de marcha—analisando os números, o caso de negócio, as operações e a ética—e ver como esses fatores se sobrepõem e moldam os resultados da IA. Eles precisam entender como a precisão estatística de um modelo se relaciona com a exposição ao risco de crédito. E reconhecer quando uma variável que parece financeiramente sólida (como o histórico de pagamentos) pode introduzir risco social ou regulatório através da correlação com uma classe protegida, como idade ou etnia.

Essa fluência em IA vem de sentar-se com os oficiais de conformidade para desvendar regulamentos, conversar com gerentes de produto sobre a experiência do usuário e revisar os resultados do modelo com cientistas de dados para detectar sinais de deriva ou viés.

Em fintech, evitar 100% de risco é impossível, mas com fluência cross-analítica, os líderes podem identificar quais riscos valem a pena assumir e quais irão erodir o valor para os acionistas. Essa habilidade também aguça a capacidade de um líder de detectar e agir sobre o viés, não apenas do ponto de vista da conformidade, mas também de um ponto de vista estratégico e ético.

Por exemplo, digamos que um modelo de pontuação de crédito impulsionado por IA se desvie fortemente em direção a um grupo de clientes. Corrigir esse desequilíbrio não é apenas uma tarefa de ciência de dados; protege a reputação da empresa. Para fintechs comprometidas com a inclusão financeira ou enfrentando escrutínio ESG, a conformidade legal sozinha não é suficiente. O julgamento significa saber o que é certo, não apenas o que é permitido.

Literacia em Explicabilidade

A explicabilidade é a base da confiança. Sem ela, os decisores, clientes e reguladores ficam a questionar por que um modelo chegou a uma conclusão específica.

Isso significa que os executivos devem ser capazes de distinguir entre modelos que são interpretáveis e aqueles que necessitam de explicações pós-fato (como valores SHAP ou LIME). Eles precisam fazer perguntas quando a lógica de um modelo não está clara e reconhecer quando “precisão” sozinha não pode justificar uma decisão de caixa preta.

O viés não aparece do nada; ele surge quando os modelos são treinados e implantados sem supervisão suficiente. A explicabilidade dá aos líderes a visibilidade para detectar esses problemas cedo e agir antes que causem danos.

A IA é como o piloto automático de um avião. Na maior parte do tempo, funciona sem problemas, mas quando uma tempestade chega, o piloto tem que assumir o controle. Na finança, esse mesmo princípio se aplica. As equipes precisam da capacidade de parar a negociação, ajustar uma estratégia ou até mesmo cancelar o lançamento de um produto quando as condições mudam. A explicabilidade trabalha em conjunto com a prontidão para sobrepor, o que garante que os líderes da alta gestão entendam a IA e permaneçam no controle, mesmo quando ela está a operar em grande escala.

Pensamento de Modelo Probabilístico

Os executivos estão habituados a decisões determinísticas, como se uma pontuação de crédito estiver abaixo de 650, rejeitar a aplicação. Mas a IA não funciona dessa maneira e isso representa uma grande mudança de paradigma mental.

Para os líderes, o pensamento probabilístico requer três capacidades:

*   Interpretar faixas de risco em vez de resultados binários sim/não.
*   Pesar o nível de confiança de uma previsão em relação a outras considerações comerciais ou regulatórias.
*   Saber quando sobrepor a automação e aplicar discrição humana.

Por exemplo, um modelo probabilístico de IA de uma fintech pode classificar um cliente como de alto risco, mas isso não significa necessariamente “negar”. Pode significar “investigar mais” ou “ajustar os termos do empréstimo”. Sem essa nuance, a automação corre o risco de se tornar um instrumento contundente, erodindo a confiança do cliente enquanto expõe as empresas a repercussões regulatórias.

Por Que a Camada de Julgamento Definirá os Vencedores em Fintech

O futuro das fintechs não será decidido por quem tem os modelos de IA mais poderosos; antes, por quem os utiliza com o julgamento mais aguçado. À medida que a IA se torna uma mercadoria, os ganhos de eficiência tornam-se um requisito básico. O que separa os vencedores é a capacidade de intervir quando os algoritmos enfrentam incertezas, riscos e zonas cinzentas éticas.

A camada de julgamento não é uma ideia abstrata. Ela se manifesta quando os executivos decidem pausar a negociação automatizada, adiar o lançamento de um produto ou sobrepor uma pontuação de risco que não reflete o contexto do mundo real. Esses momentos não são falhas da IA; são provas de que a supervisão humana é a última linha de criação de valor.

O alinhamento estratégico é onde o julgamento se torna institucionalizado. Uma estratégia de IA forte não apenas estabelece roteiros técnicos; ela assegura que a organização revisite iniciativas, atualize as capacidades de IA das equipes, garanta que a empresa tenha a arquitetura de dados necessária e conecte cada implementação a um resultado comercial claro. Nesse sentido, o julgamento não é episódico, mas sim incorporado ao modo de operação e permite que os executivos conduzam uma abordagem de liderança baseada em valor.

As fintechs precisam de líderes que saibam como equilibrar a IA para velocidade e escala e os humanos para contexto, nuance e visão de longo prazo. A IA pode detectar anomalias em segundos, mas apenas as pessoas podem decidir quando contestar a matemática, repensar suposições ou assumir um risco ousado que abre a porta para o crescimento. Essa camada de julgamento é o que transforma a IA de uma ferramenta em uma vantagem.

Sobre o autor:

Guillermo Delgado é o Líder Global de IA da Nisum e COO da Deep Space Biology. Com mais de 25 anos de experiência em bioquímica, inteligência artificial, biologia espacial e empreendedorismo, ele desenvolve soluções inovadoras para o bem-estar humano na Terra e no espaço.

Como consultor de estratégia corporativa, contribuiu para a visão de IA da NASA para a biologia espacial e recebeu prêmios de inovação. Possui um Mestrado em Ciência em Inteligência Artificial pelo Georgia Tech, obtido com honras. Além disso, como professor universitário, lecionou cursos sobre aprendizagem de máquina, big data e ciência genómica.