Inteligencia Artificial: seis sesgos a evitar en el próximo algoritmo

A medida que ChatGPT, Dall-E y muchos otros algoritmos de IA se han introducido en nuestras vidas, ha aumentado la toma de conciencia sobre sus posibles consecuencias. En primer lugar de las prácticas (ej; ¿puede un algoritmo quitarme el trabajo?) pero en segundo término, de las éticas. Y en este sentido, cada vez son más los investigadores que se preguntan si es posible desarrollar algoritmos capaces de evitar la mayoría de los sesgos con los que contamos los seres humanos. Dicho de otra forma: ¿podemos crear una IA que sea justa, caritativa y empatiza…o estamos condenados a repetir nuestros errores una y otra vez?

De esta premisa han partido dos investigadores del MIT, que en su paper “A Framework for Understanding Sources of Harm throughout the Machine Learning Life Cycle” identifican seis sesgos que habitualmente se encuentran en los datos con los que se entrenan los modelos de machine learning, y que les puede llevar a repetir patrones de comportamiento indeseables, como racismo, infrarepresentación de la diversidad, exclusión por motivos socio-económicos o uniformidad cultural. Harini Suresch y John Guttag, autores de este estudio, identifican los siguientes sesgos que deberían ser evitados por los científicos de datos y expertos en IA.

Sesgo histórico

Se considera que un modelo de inteligencia artificial produce sesgos históricos, cuando, aunque está entrenado con conjuntos de datos medibles y contrastados, produce resultados incorrectos, al interpretar el presente en términos que pueden pertenecer al pasado.

Este tipo de sesgo es el que provoca que algunos modelos de IA reproduzcan estereotipos que son dañinos para una parte de la población y que no se ajustan a la realidad. En el paper publicado por el MIT se explica por ejemplo cómo una institución financiera que utiliza un algoritmo IA para predecir la capacidad de pago de sus clientes, podría llegar a “aprender” que es mejor no conceder préstamos a personas afroamericanas, tomando como base únicamente los datos (y los estereotipos) con los que este algoritmo ha sido entrenado.

Sesgo de representación

El sesgo de representación se produce cuando los datos con lo que ha sido entrenado el modelo, infrarepresentan una parte de la población y como consecuencia, no es capaz de ofrecer una imagen amplia y diversa de la sociedad. 

Un ejemplo de lo anterior es ImageNet, una enorme base de datos que contiene millones de imágenes etiquetadas y que habitualmente es utilizada para que los algoritmos de IA sean capaces de reconocer objetos. Pues bien, como apuntan desde el MIT, aproximadamente la mitad de estas imágenes se han tomado en Estados Unidos y en otros países occidentales y únicamente entre el 1% y el 2% de las imágenes representan culturas como la asiática, las distintas africanas y otras.

Como consecuencia, si por ejemplo preguntásemos a ImageNet por un vestido de novia, reconocería perfectamente el de un“novia occidental” (blanco), pero tendrá enormes dificultades para reconocer los trajes ceremoniales que se emplean en las bodas de Corea del Sur o Nigeria.

Sesgo de medición

El sesgo de medición se produce al elegir, recopilar o calcular las características y etiquetas que se utilizarán en un proceso de la predicción a futuro. Normalmente, se produce cuando se quiere analizar una característica o idea que no es directamente observable.

Por ejemplo, la «solvencia» de una persona es un concepto abstracto que a menudo se operativiza con un sustituto que puede ser medible, como la puntuación crediticia. En este caso, podemos encontrar un sesgo de medición cuando en el algoritmo se incluyen indicadores indirectos que no reflejan adecuadamente los distintos grupos que se analizan. 

En el paper se pone como caso paradigmático de ese sesgo, el uso del polémico algoritmo COMPAS por el sistema judicial estadounidense. Supuestamente este algoritmo predice la probabilidad de que un acusado vuelva a delinquir y sus datos son utilizados por jueces y funcionarios de justicia para por ejemplo, decidir si un arrestado debe permanecer en prisión preventiva (y durante cuanto tiempo) o si más tarde, se le puede conceder la libertad condicional. Sin embargo y teniendo en cuenta que en Estados Unidos la población carcelaria en mayoritariamente afroamericana y latina, el algoritmo estima no tanto la posibilidad de un futuro delito, sino de un futuro arresto, introduciendo variables de mayor riesgo asociadas a la raza. 

Sesgo de agregación

El sesgo de agregación surge cuando se utiliza un modelo único para datos en los que hay grupos subyacentes o tipos de datos que deberían considerarse de forma diferente. El sesgo de agregación se basa en la suposición de que la correspondencia entre las entradas y las etiquetas es coherente en todos los subconjuntos de datos cuando en realidad y a menudo, no es así. 

Este tipo de sesgo conduce a un modelo que acabe no siendo óptimo para ninguno de los grupos que dice representar o, en muchos casos, que acabe representado únicamente al grupo dominante.  A menudo este sesgo se produce cuando se toman los datos de las redes sociales como un todo (por ej, un hashtag de Twitter) sin tener en cuenta que son espacios en los que “conviven” culturas y espacios socio-demográficos muy diferentes. 

Sesgo de Evaluación

Este sesgo suele desarrollarse cuando los datos de referencia utilizados para un objetivo concreto, no representa adecuadamente a la población objetivo que debe emplearse para el objetivo que se pretende. 

Uno de los casos más paradigmáticos de sesgo de evaluación lo encontramos en distintos algoritmos de reconocimiento facial. Tal y como destacan los investigadores del MIT en este caso, algunos de estos algoritmos que claramente tienen un propósito comercial, no tienen ningún problema a la hora de identificar a varones blancos, pero presentan muchos más problemas cuando de lo que se trata es realizar un análisis sobre imágenes que representan a mujeres de piel oscura, confundiéndolas con otras cosas. ¿Por qué? A menudo por la infrarepresentación de estas personas en los datos que se han utilizado para su entrenamiento.

Sesgo de despliegue

El sesgo de despliegue o implantación se produce cuando no hay correspondencia entre el problema que se pretende resolver con un modelo y la forma en que se utiliza en la práctica.

Esto ocurre a menudo cuando un sistema se construye y evalúa como si fuera totalmente autónomo, mientras que en realidad operan en un complicado sistema sociotécnico moderado por estructuras institucionales y responsables humanos.  Así, los sistemas producen resultados que primero deben ser interpretados por los responsables humanos, para después llevar a la toma de decisiones. A pesar de su buen funcionamiento aislado, pueden acabar provocando consecuencias perjudiciales debido a fenómenos como la automatización o el sesgo de confirmación.

En definitiva si confiamos en la IA para favorecer el desarrollo de una sociedad más justa e igualitaria, debemos comenzar por la base, identificando los sesgos y las concepciones previas de las que podemos partir antes de poner en marcha un modelo de entrenamiento.