Enviesamento de IA no Setor Bancário - Os Riscos Que Ninguém Pode Ignorar

Estudos mostram que a indústria de serviços financeiros é a que mais se beneficia da IA, ficando logo atrás das Big Techs. Como era de esperar, enormes investimentos estão a ser feitos em todo o setor, desde chatbots de IA que melhoram o atendimento ao cliente até modelos avançados para KYC, AML, deteção de fraudes, pontuação de risco de crédito e processamento de reclamações de seguros. Além disso, a IA impulsiona serviços cada vez mais personalizados, como aconselhamento de investimento, definição de preços e recomendações de próximas ações ou produtos.

Mas com esta grande implementação de novas tecnologias surge uma nova categoria de riscos. A IA introduz ameaças únicas, incluindo ataques de injeção de prompts, riscos de exposição de dados pessoais e confidenciais, e resultados incorretos devido a alucinações ou viés inerente. Este último risco, o “viés”, é o foco deste blog.

Os modelos de IA não são sistemas simples baseados em regras. A maioria é construída com arquiteturas complexas de aprendizagem automática ou profunda, caixas pretas estatísticas compostas por vastas matrizes de pesos e parâmetros. Essa complexidade torna impossível prever ou testar todos os resultados possíveis. Também dificulta a deteção de viés e torna mais difícil explicá-lo ou corrigi-lo.

O viés na IA não é uma falha superficial. Ele decorre de problemas enraizados nos dados, suposições, design do modelo e no contexto sociocultural em que a IA é desenvolvida.

Nos serviços financeiros, o viés pode ter consequências reais. Não é apenas uma questão de justiça, mas uma preocupação de gestão de riscos. Pode levar a danos reputacionais, exposição regulatória, responsabilidade legal, erosão da confiança do cliente e, por fim, tratamento injusto de indivíduos que merecem acesso igualitário aos serviços financeiros.

A maioria dos modelos de IA financeira é treinada com dados históricos — pedidos de empréstimo passados, pontuações de crédito, históricos de transações, padrões demográficos. Mas esses dados frequentemente refletem desigualdades estruturais: subfinanciamento de certos grupos, disparidades socioeconómicas, discriminação histórica… Quando um modelo aprende com esses dados, pode perpetuar ou até amplificar esses padrões.

Além disso, fontes de dados mais recentes, como comportamento de transações ou uso de aplicações móveis, também não estão livres de viés. Essas características podem estar correlacionadas com traços protegidos, como género, etnia ou idade, mesmo que esses atributos não sejam explicitamente incluídos. Em outras palavras, o viés pode infiltrar-se através de variáveis aparentemente “neutras”.

Como os modelos não aprendem apenas com os dados, mas absorvem a visão de mundo embutida na forma como esses dados foram coletados e rotulados, o viés torna-se profundamente enraizado.

Um estudo recente de Harvard ilustra isso. Os investigadores compararam os valores do ChatGPT com dados humanos reais e descobriram que a sua alinhamento cultural espelha de perto a Europa Ocidental ou o que o estudo chama de “WEIRD”, ou seja, Ocidental, Educado, Industrializado, Rico e Democrático.
Faz sentido: a maior parte dos dados com que esses modelos são treinados, e a maioria das pessoas que os constroem, vêm de sociedades WEIRD. Assim, mesmo que o modelo “fale” muitas línguas, ele ainda pensa numa só. A IA não carrega apenas viés, ela carrega uma visão de mundo, com suposições incorporadas sobre o que é “normal”, “racional” ou “moral”.

O mesmo se aplica nos serviços financeiros. Um modelo de pontuação de crédito treinado com utilizadores de alta renda, da Europa Ocidental, pode interpretar de forma fundamentalmente errada os comportamentos de comunidades sub-bancarizadas ou de imigrantes. O padrão de “normalidade” simplesmente não se aplica.

Não é surpresa que, na Europa, sob o regulamento da UE sobre IA, muitas aplicações de IA financeira (por exemplo, modelos de pontuação de crédito) sejam agora classificadas como de alto risco. Isso significa que os fornecedores devem:

• Utilizar conjuntos de dados de alta qualidade e representativos
• Documentar o design técnico e as suposições
• Implementar transparência e registos
• Garantir supervisão humana e responsabilidade

Claro que eliminar completamente o viés pode não ser possível. Mas as instituições financeiras podem e devem tomar medidas concretas para reduzi-lo:

• Treinar com dados representativos: Garantir que os conjuntos de dados reflitam a população que o modelo irá servir, considerando diferentes geografias, contextos socioeconómicos, géneros e mais.
• Auditar e testar para equidade: Aplicar auditorias de justiça, análises de desempenho por subgrupos e ferramentas de deteção de viés. Considerar mitigação em todas as fases: pré-processamento, processamento e pós-processamento.
• Construir equipas diversificadas: Incluir cientistas de dados, especialistas em risco, responsáveis de conformidade, cientistas sociais e representantes das comunidades afetadas. Uma variedade maior de perspetivas ajuda a identificar pontos cegos.
• Manter humanos no ciclo de decisão: Para decisões de alto risco (por exemplo, aprovações de crédito), os modelos automatizados devem apoiar (e não substituir) os decisores humanos.
• Adotar explicabilidade: Sempre que possível, usar modelos interpretáveis ou híbridos, mesmo que isso aumente a complexidade.
• Monitorizar continuamente: A justiça pode variar à medida que os dados do mundo real mudam. Re-treinamentos, auditorias e supervisão devem ser constantes.

Reduzir o viés (por exemplo, através de dados equilibrados, restrições no modelo ou medidas de explicabilidade) muitas vezes tem um custo. Não só na complexidade do modelo e no tempo de implementação, mas também no desempenho do próprio modelo. No entanto, nos serviços financeiros, é um compromisso necessário.
As instituições financeiras devem equilibrar desempenho, justiça, conformidade e inclusão. Não há uma resposta perfeita, mas isso não significa que devamos deixar de tentar. No final, o caminho a seguir passa por reconhecer que a IA não é apenas uma tecnologia. É um espelho de nós, ou seja, dos nossos valores, dados e sistemas.

Por mais insights, visite o meu blog em