¡La herramienta de reclutamiento con IA revela discriminación racial! Estudio de Stanford: existencia de desigualdades sistémicas para negros y asiáticos

El primer estudio en campo sobre algoritmos de reclutamiento de IA a gran escala de Stanford HAI muestra que el 26 % de los solicitantes negros y el 15 % de los solicitantes asiáticos enfrentan sistemas de filtrado de IA discriminatorios al postularse a empleos.
(Resumen previo: ella escribió un artículo de 14 páginas que fue despedida por Google, y cinco años después todas sus predicciones sobre riesgos de IA se cumplieron)
(Información adicional: la ola de despidos por IA se convierte en un polvorín social! Silicon Valley obtiene beneficios récord pero despide a casi 150,000 personas, la brecha entre ricos y pobres se acerca a la ocupación de Wall Street)

Índice de este artículo

Alternar

• La "Regla de Cuatro Quintos" y la desaparición de la desigualdad
• Cultura algorítmica única: un proveedor, que replica los prejuicios del mercado completo
• La velocidad de regulación muy por detrás de la velocidad de despliegue

De las empresas que usan simultáneamente el mismo proveedor de IA, el 10 % de los solicitantes envió solicitudes a las cuatro y fue rechazado en todas. A simple vista, este número parece solo cuestión de suerte, pero un grupo de control mostró respuestas diferentes: en un estudio sincronizado de 108 empresas del Fortune 500, con 83,000 solicitudes, que no usaron filtrado por IA, la tasa de rechazo sistemático casi no existía.

La investigación de Stanford HAI publicada este mes rastreó a 3.4 millones de solicitantes, 4 millones de solicitudes, cubriendo 1,700 puestos, 150 empleadores y 11 industrias, siendo la mayor observación en campo de algoritmos de reclutamiento de IA hasta la fecha. La conclusión apunta a un problema estructural largamente ignorado: el efecto discriminatorio de las herramientas de filtrado de IA no es un error ocasional, sino una salida inherente al diseño del sistema.

La "Regla de Cuatro Quintos" y la desaparición de la desigualdad

La Comisión de Igualdad de Oportunidades en el Empleo de EE. UU. (EEOC) tiene un estándar de juicio que ha sido usado durante mucho tiempo, llamado "Regla de Cuatro Quintos", que en términos sencillos significa que si la tasa de recomendación de un grupo étnico es inferior al 80 % de la del grupo con la mayor recomendación, se considera "impacto adverso", es decir, discriminación legal.

El estudio encontró que el 26 % de los solicitantes negros y el 15 % de los asiáticos enfrentan discriminación según esta definición en los empleos postulados, con sistemas de IA que favorecen a los blancos. El grupo más favorecido suele ser el de los solicitantes blancos. Si se aplicara una tasa de recomendación equitativa para negros y asiáticos, en teoría, 40,000 solicitudes adicionales avanzarían a revisión humana.

Pero aquí hay una trampa clave, y la razón principal por la que los problemas de discriminación han sido difíciles de detectar: si se promedian todas las tasas de recomendación por puesto, la discriminación desaparece numéricamente. Por ejemplo, un sistema de IA que prefiere recomendar a negros para logística y almacén, pero no para finanzas, al sumar ambas, el promedio parece cercano a la equidad.

Solo al analizar por puesto y grupo étnico, la discriminación se revela. La falta de estudios previos se debe en parte a la dificultad de obtener datos y a la resistencia de los empleadores a auditorías externas.

Cultura algorítmica única: un proveedor, que replica los prejuicios del mercado completo

Actualmente, aproximadamente el 90 % de los empleadores en EE. UU. usan alguna forma de filtrado por IA en sus procesos de reclutamiento, pero la mayoría depende de unas pocas empresas proveedoras. Esta estructura de mercado altamente concentrada ha dado lugar a lo que los investigadores llaman "cultura algorítmica única", en términos sencillos, cuando los prejuicios de un mismo algoritmo se despliegan en cientos de empresas, ciertos grupos de solicitantes no solo pierden oportunidades en una empresa, sino en todo el mercado laboral, sin saberlo.

La herramienta de filtrado de IA de Workday ya enfrenta una demanda colectiva por discriminación racial, por edad y por discapacidad. Pero las demandas son una medida correctiva posterior; los investigadores se preocupan más por la prevención sistémica.

Las herramientas de filtrado de IA tienen tres características que las hacen especialmente peligrosas: uso generalizado (pervasively adopted), altamente consequentiales (highly consequential) y opacas para el público (opaque). Los solicitantes generalmente no saben si han sido excluidos por algoritmos, los empleadores quizás no conozcan el rendimiento real en diferentes categorías de puestos, y las agencias reguladoras carecen de datos suficientes para fiscalizar.

La velocidad de regulación muy por detrás de la velocidad de despliegue

En junio de 2026, el AI Act de Colorado entrará en vigor, exigiendo a los desarrolladores de herramientas de reclutamiento por IA que tomen "medidas razonables de cuidado" para prevenir discriminación. Es la única legislación estatal en EE. UU. que establece requisitos claros para algoritmos de reclutamiento de IA, aunque los estándares específicos de "cuidado razonable" aún son vagos y los mecanismos de implementación están por definirse.

El momento de la publicación de este estudio no es casual. Los graduados de 2026 enfrentan el entorno laboral más difícil en años: las solicitudes para empleos de nivel inicial son tres veces mayores que en 2022, y el uso de herramientas de filtrado por IA también aumenta. Ante la explosión de solicitudes y los recursos limitados para revisión manual, la dependencia de las empresas en herramientas automatizadas solo crecerá, no disminuirá.

El equipo de investigación señala claramente que promover políticas basadas en evidencia sobre IA requiere estudios independientes sobre reclutamiento algorítmico. Pero la realidad es que estos estudios dependen del acceso a datos, que generalmente están en manos de proveedores y empleadores. La investigación de Stanford HAI pudo realizarse en parte gracias a la colaboración de los empleadores, lo cual no es algo garantizado en condiciones normales.

• 3.4 millones de solicitantes, 4 millones de solicitudes, 150 empleadores cubiertos
• El 26 % de los solicitantes negros y el 15 % de los asiáticos enfrentan discriminación algorítmica
• La eliminación de la discriminación podría sumar 40,000 solicitudes más en la etapa de revisión
• Cuatro empresas que usan el mismo proveedor de IA, el 10 % de los solicitantes son rechazados en todas
• Colorado AI Act, entra en vigor en junio de 2026, exige "cuidado razonable"