Sesgo de IA en la Banca - Los Riesgos Que Nadie Puede Ignorar

Los estudios muestran que la industria de servicios financieros es la que más se beneficiará de la IA, solo por detrás de las grandes tecnológicas. No es sorprendente que se estén realizando enormes inversiones en todo el sector, desde chatbots de IA que mejoran el servicio al cliente hasta modelos avanzados para KYC, AML, detección de fraudes, puntuación de riesgo crediticio y procesamiento de reclamaciones de seguros. Además, la IA impulsa servicios cada vez más personalizados, como asesoramiento de inversión, precios y recomendaciones de la próxima mejor acción o producto.

Pero con esta gran implementación de nuevas tecnologías surge una nueva categoría de riesgos. La IA introduce amenazas únicas, incluyendo ataques de inyección de prompts, riesgos de exposición de datos personales y confidenciales, y resultados defectuosos debido a alucinaciones o sesgos inherentes. Este último riesgo, “sesgo”, es el foco de este blog.

Los modelos de IA no son sistemas simples basados en reglas. La mayoría están construidos sobre arquitecturas complejas de aprendizaje automático o profundo, cajas negras estadísticas compuestas por vastas matrices de pesos y parámetros. Esta complejidad hace imposible predecir o probar todos los posibles resultados. También dificulta la detección y explicación o corrección del sesgo.

El sesgo en la IA no es un fallo superficial. Proviene de problemas arraigados en los datos, supuestos, diseño del modelo y el contexto sociocultural en el que se desarrolla la IA.

En los servicios financieros, el sesgo puede tener consecuencias reales. No es solo una cuestión de justicia, sino una preocupación de gestión de riesgos. Puede causar daño a la reputación, exposición regulatoria, responsabilidad legal, erosión de la confianza del cliente y, en última instancia, un trato injusto a las personas que merecen acceso equitativo a los servicios financieros.

La mayoría de los modelos de IA en finanzas se entrenan con datos históricos: solicitudes de préstamos pasadas, puntuaciones de crédito, historiales de transacciones, patrones demográficos. Pero estos datos a menudo reflejan desigualdades estructurales: subfinanciamiento a ciertos grupos, disparidades socioeconómicas, discriminación histórica… Cuando un modelo aprende de estos datos, puede perpetuar o incluso amplificar esos patrones.

Y también las fuentes de datos más recientes, como el comportamiento en transacciones o el uso de aplicaciones móviles, no están libres de sesgos. Estas características pueden correlacionarse con rasgos protegidos como género, etnia o edad, incluso si esos atributos no se incluyen explícitamente. En otras palabras, el sesgo puede filtrarse a través de variables aparentemente “neutras”.

Debido a que los modelos no solo aprenden datos, sino que también absorben la visión del mundo incrustada en cómo se recopilaron y etiquetaron esos datos, el sesgo se vuelve profundamente arraigado.

Un estudio reciente de Harvard ilustra esto. Los investigadores compararon los valores de ChatGPT con datos humanos reales y encontraron que su alineación cultural refleja estrechamente a Europa Occidental o lo que el estudio denomina “WEIRD”, es decir, Occidente, Educado, Industrializado, Rico y Democrático.
Tiene sentido: la mayoría de los datos con los que se entrenan estos modelos, y la mayoría de las personas que los construyen, provienen de sociedades WEIRD. Por lo tanto, incluso si el modelo “habla” muchos idiomas, sigue pensando en uno solo. La IA no solo lleva sesgos, lleva una visión del mundo, con supuestos incorporados sobre lo que es “normal”, “racional” o “moral”.

Lo mismo aplica en los servicios financieros. Un modelo de puntuación de crédito entrenado con usuarios de altos ingresos de Europa Occidental puede interpretar de manera fundamentalmente errónea los comportamientos de comunidades con menos acceso a servicios bancarios o inmigrantes. La referencia de “normal” simplemente no se aplica.

No es de extrañar, entonces, que en Europa, bajo la Ley de IA de la UE, muchas aplicaciones de IA financiera (por ejemplo, modelos de puntuación de crédito) se clasifiquen como de alto riesgo. Esto significa que los proveedores deben:

• Utilizar conjuntos de datos de alta calidad y representativos
• Documentar el diseño técnico y los supuestos
• Implementar transparencia y registros
• Asegurar supervisión humana y responsabilidad

Por supuesto, eliminar completamente el sesgo puede no ser posible. Pero las instituciones financieras pueden y deben tomar medidas significativas para reducirlo:

• Entrenar con datos representativos: Asegurar que los conjuntos de datos reflejen la población a la que el modelo servirá, considerando diferentes geografías, antecedentes socioeconómicos, género y más.

• Auditar y probar la equidad: Aplicar auditorías de equidad, análisis de rendimiento por subgrupos y herramientas de detección de sesgos. Considerar mitigaciones en todas las etapas: preprocesamiento, procesamiento y postprocesamiento.

• Construir equipos diversos: Involucrar científicos de datos, expertos en riesgos, oficiales de cumplimiento, científicos sociales y representantes de comunidades impactadas. Una gama más amplia de perspectivas ayuda a revelar puntos ciegos.

• Mantener a los humanos en el ciclo: Para decisiones de alto riesgo (por ejemplo, aprobaciones de crédito), los modelos automatizados deben apoyar (y no reemplazar) a los tomadores de decisiones humanos.

• Fomentar la explicabilidad: Cuando sea posible, usar modelos interpretables o híbridos, incluso si añade complejidad.

• Monitorear continuamente: La equidad puede variar a medida que cambian los datos del mundo real. La reentrenamiento, auditorías y supervisión deben ser constantes.

Reducir el sesgo (por ejemplo, mediante datos equilibrados, restricciones en el modelo o medidas de explicabilidad) a menudo tiene un costo. No solo en la complejidad del modelo y el tiempo de implementación, sino también en el rendimiento del mismo. Sin embargo, en los servicios financieros, es un compromiso necesario. Las instituciones deben equilibrar rendimiento, equidad, cumplimiento e inclusión. No hay una respuesta perfecta, pero eso no significa que no debamos intentarlo. En última instancia, el camino a seguir requiere reconocer que la IA no es solo una tecnología. Es un espejo de nosotros, es decir, de nuestros valores, datos y sistemas.

Para más ideas, visita mi blog en