Un estudio demuestra que la IA de OpenAI es racista

Una reciente investigación por parte de Bloomberg ha demostrado que GPT, el modelo de lenguaje generativo de OpenAI, produce sistemáticamente sesgos raciales la hora de examinar currículums para encontrar un candidato. Y esto es un problema enorme.

Al parecer, muchas empresas optan por usar la IA de OpenAI, entre otros usos, para el departamento de recursos humanos con tal de optimizar el trabajo de reclutamiento. Incluso, según el citado medio, muchas compañías creen que GPT puede evaluar a un candidato de manera más justa que los humanos, aunque la propia OpenAI prohíbe usar su modelo de inteligencia artificial para este cometido.

La labor de GPT en esta tarea es relativamente sencilla: comprobar qué candidato tiene una mejor experiencia, más estudios o qué aptitudes se adhieren mejor a la empresa que está buscando contratar nuevos talentos. Pero el experimento de Bloomberg ha demostrado que, incluso aunque los candidatos tengan exactamente la misma experiencia, la IA de OpenAI califica como menos aptos para el puesto a las personas con nombres demográficamente distintos a los estadounidenses.

La IA de OpenAI comete sesgos raciales a la hora de clasificar currículum

El periódico pidió a GPT 3.5, el modelo más utilizado, que calificarla los mismos currículums en hasta 1.000 ocasiones. Todos ellos, reiteramos, con la misma experiencia, pero con nombres diferentes. Bloomberg concluye que tras repetir el experimento en 1.000 ocasiones, se han descubierto “signos claros de discriminación basada en nombres”.

También, que “los currículums con nombres distintos a los estadounidenses [de personas negras] eran los que tenían menos probabilidades de ser clasificados como el principal candidato para un puesto de analista financiero, en comparación con los currículums con nombres asociados con otras razas y etnias”.

Cuando se le pidió [a la IA de OpenAI] que clasificara esos currículums 1.000 veces, GPT 3.5, la versión más utilizada del modelo, favoreció nombres de algunos grupos demográficos con más frecuencia que otros, hasta un punto que no superaría los puntos de referencia utilizados para evaluar la discriminación laboral contra grupos protegidos.

Bloomberg.

Un problema serio

Estos resultados no solo demuestran que la IA de OpenAI utiliza los nombres como una fuente de sesgo que podría afectar a las contrataciones si las empresas confían demasiado en GPT. También revela que el uso de la IA generativa para el reclutamiento y la contratación puede suponer “un importante riesgo de discriminación automatizada a gran escala”.

Cuando Bloomberg preguntó a responsables de OpenAI sobre este sesgo, la compañía respondió alegando que “las empresas que utilizan su tecnología a menudo toman medidas para mitigar aún más el sesgo, incluso ajustando las respuestas del software, gestionando los mensajes del sistema y más”. Esto, sin embargo, no soluciona el principal problema, y muchas empresas pueden optar por confiar en la IA para clasificar candidatos sin tomar ningún tipo de medidas para evitar que esta discrimine a las personas por su raza.