La inteligencia artificial (IA) no es neutra, reproduce nuestros prejuicios sociales. El problema es que esto puede acarrear consecuencias perjudiciales  para los sectores de por sí marginados de la sociedad, en áreas delicadas como la salud.

Es, por ejemplo, el caso de un algoritmo ampliamente utilizado en el sistema de atención médica de Estados Unidos. Este tiene un sesgo racial que reduce en más de la mitad el número de pacientes negros susceptibles de recibir atención adicional, como lo demuestra un estudio publicado en la revista Nature.

Así, el sistema gasta menos dinero en los pacientes negros, que tienen el mismo nivel de necesidad que los blancos, y el algoritmo concluye falsamente que los pacientes negros están más sanos. Aunque el problema fue detectado en el sistema de la compañía Optum, es muy probable, según los científicos, que el mismo fenómeno se reproduzca en herramientas utilizadas por otros organismos que cada año administran la salud de 200 millones de personas en el país norteamericano.

No son casos aislados. Según el balance de 2019 del AI Now Institute, el centro de la Universidad de Nueva York que investiga el impacto social de la inteligencia artificial, la IA continúa amplificando las disparidades raciales y de género. Un caso paradigmático fue el de los algoritmos “sexistas” de la tarjeta de crédito Apple Card. La compañía fue acusada de ofrecer límites de crédito mucho mayores a hombres que a mujeres y la polémica desencadenó investigaciones tanto del comité de Finanzas del Senado de Estados Unidos, como del departamento de Servicios Financieros del estado de Nueva York.

No hay maldad en la tecnología

Si muchas veces los que programan estos algoritmos no son conscientes de lo que hacen, menos pueden serlo los propios algoritmos. “Por sí mismos no son malintencionados, es solo que reproducen los prejuicios históricos que nosotros tenemos”, asegura Ana-Andreea Stoica, coorganizadora de la iniciativa “Diseño de mecanismos para el bienestar social”, un proyecto estadounidense que busca aplicar la tecnología para el bien común.

Si muchas veces quienes programan los algoritmos no son conscientes de lo que hacen, menos pueden serlo los propios algoritmos

“Es una combinación entre la acción humana que diseña los algoritmos y la naturaleza impersonal de la tecnología, que no tiene malas intenciones pero que termina reproduciendo las desigualdades”, precisa la joven investigadora de la Universidad de Columbia. 

De ahí la importancia de poner especial atención en el suministro de los datos. El algoritmo del sistema de salud estadounidense no fue creado con una intención racista, de hecho excluyó dentro de sus parámetros la raza. Sin embargo, tomó en cuenta un parámetro problemático: el gasto en cuidados sanitarios. Los hospitales gastan 1.800 dólares menos cada año por un paciente negro en comparación con uno blanco con el mismo número de condiciones crónicas y, por tanto, el programa concluye que los pacientes negros son más saludables que los blancos. 

“El problema no está en la tecnología, el problema es cómo la entrenas tú. Esta no distingue barrios (como sí lo hacen quienes programan los algoritmos que deciden quién puede hipotecarse y quién no)”, afirma José Manuel Molina, profesor del departamento de Ciencias de la Computación de la Universidad Carlos III de Madrid. Como Stoica, también ha iniciado un proyecto social de educación a la ciudadanía, junto con la Fundación Gregorio Peces-Barba, cuyo objetivo es explicarle a la gente cómo funcionan estos sesgos.

El contraataque

Existe una presión cada vez mayor para que las empresas, gobiernos, ONG e instituciones que utilizan inteligencia artificial ofrezcan garantías de que sus sistemas no reproducen sesgos discriminatorios, como lo demuestra el aumento de la creación de principios y declaraciones de ética en muchas de estas entidades. Al mismo tiempo, cada vez surgen más iniciativas que proponen alternativas para contrarrestarlos. 

Para reducir el sesgo en el sistema de salud estadounidense es necesario “reentrenar” el algoritmo con datos como el número de afecciones crónicas o el número de ingresos hospitalarios, en lugar de tomar en cuenta los costes de salud, explica Brian Powers, médico del Hospital Brigham and Women’s, en Boston, y uno de los autores del artículo.

De hecho, el equipo de científicos al que pertenece Powers ha lanzado una nueva iniciativa para trabajar con los centros de salud y los desarrolladores de algoritmos para reducir los sesgos en la atención médica. Un enfoque clave es, según él, “el desarrollo y la implementación de nuevas etiquetas menos propensas a los sesgos” y advierte que lo mismo hay que hacer en otros sectores. 

“Si no se reproduce una realimentación en el sistema de aprendizaje de la IA, esta solo va a reproducir lo que ya sabe”, coincide Molina, quien considera que la IA no puede funcionar sola. “La IA no se puede autorregular porque no sabe lo que está mal y lo que está bien”, precisa.

Sin embargo, existe una nueva manera de enseñarle a estos algoritmos a no reproducir  “comportamientos indeseables”. Un equipo de científicos liderado por las universidades estadounidenses de Stanford y Massachusetts Amherst, junto con la Universidad Federal de Río Grande del Sur, en Brasil, ha diseñado una técnica, publicada en Science, de aplicación “segura y responsable”, tanto para el usuario (compañías o centros de investigación, por ejemplo), como para los diseñadores. 

Este nuevo algoritmo, llamado por los científicos “seldoniano” (por Hari Seldon, un personaje inventado por Isaac Asimov), es “más inteligente”, y permite al usuario definir los comportamientos no deseados para no reproducirlos. Para ello, necesita “entender” la definición de comportamiento indeseable, “razonar” sobre qué causa este comportamiento y evitarlo.

Para atacar los sesgos de género, los investigadores han probado este algoritmo en la predicción del promedio de las calificaciones de estudiantes universitarios basada en los resultados de los exámenes. Por medio de instrucciones matemáticas, y gracias a un nuevo filtro de imparcialidad, evitaron que este algoritmo sobreestimara o subestimara las calificaciones según el género.

“No estamos proponiendo algoritmos específicos; nuestro objetivo es proponer un nuevo tipo de algoritmo. Los que hemos creado son solo ejemplos para mostrar que la creación de algoritmos seldonianos prácticos es posible”, aclara Philip S. Thomas, autor principal del artículo. Por lo tanto, no hay una forma fija en la que este deba funcionar, simplemente debe poseer garantías de seguridad de alta confianza.

Pese a todas estas iniciativas para combatir los sesgos, los autores del informe del AI Now Institute advierten de que estos responden a un problema estructural, no individual, señalando la naturaleza “sistémica del problema”. Así lo resume Stoica: “La gente está representada de manera desigual. Y si lo está, cualquier algoritmo que desarrollen va a ser desigual”.