Sophie Stipes era una niña del estado de Indiana (Estados Unidos) con parálisis cerebral y un trastorno en el desarrollo. Desde su nacimiento contó con la ayuda del seguro estadounidense de salud Medicaid. Nacida en el seno de una familia obrera, Sophie recibió una inquietante carta en marzo de 2008. En ella los servicios sociales del Estado le advertían de que perdería su acceso a atención médica gratuita –que incluía el pago de fármacos muy caros– por “falta de colaboración” con las autoridades a la hora de determinar si tenía o no derecho a contar con esa póliza pública.

La pequeña Sophie finalmente recuperó el acceso al seguro. Lo hizo después de que su madre, con la ayuda de varias asociaciones de base, llevase su caso hasta el mismo Congreso del estado de Indiana. Igual que ella, miles de familias de bajos recursos estaban siendo víctimas de un sistema automatizado que discernía, supuestamente, entre casos aptos y no aptos para recibir subsidios en base a criterios sorprendentes (como la existencia o no de una firma en un documento). Dicho sistema, implementado por la multinacional tecnológica IBM, llegó a denegar más de un millón de solicitudes entre 2006 y 2008, antes de que el Gobierno federal lo suspendiese ante sus evidentes fallos.

Miles de familias de bajos recursos estaban siendo víctimas de un sistema que llegó a denegar más de un millón de solicitudes de subsidios

La politóloga y profesora de la Universidad de Albany Virginia Eubanks (Nueva York, 1972) relata con todo detalle la batalla de la familia de Sophie en su libro La automatización de la desigualdad, reeditado este año en castellano por Capitán Swing. Esta y otras historias de exclusión por parte de algoritmos sirven a Eubanks para alertar sobre cómo la tecnología aplicada en los servicios públicos puede tener consecuencias desastrosas sobre los pobres. “Tenemos la tendencia a pensar en estas tecnologías como simples mejoras administrativas. Como cuestiones de eficiencia. Cuando realmente hay una serie de decisiones sociales, culturales y políticas incrustadas en ellas”, reflexiona Eubanks por videoconferencia desde su despacho en Nueva York, en conversación con CTXT. 

Señalamiento del pobre 

El libro aborda casos que ejemplifican bien esta discriminación envuelta en papel de modernidad e innovación. El condado de Allegheny, en el estado de Pensilvania, contrató en 2014 un sistema de predicción de riesgos ideado para anticiparse a posibles casos de maltrato infantil en los hogares. A partir de más de un centenar de variables, este algoritmo estimaba de forma automática en qué familias supuestamente había un riesgo para los pequeños. Si la puntuación era alta, los servicios sociales abrían una investigación que podía acabar con la retirada de la tutela de los niños. 

Eubanks revela historias de familias pobres que tuvieron que pasar por este trance… aunque no existiese ese supuesto maltrato. El algoritmo –alimentado en ocasiones por denuncias telefónicas falsas– se basaba en datos recogidos por los servicios públicos, como el número de visitas al médico o la recepción de ayudas sociales. Este tipo de muestreo, explica la autora, introducía un sesgo en el sistema: en Estados Unidos los principales usuarios de servicios públicos son familias de clase trabajadora, de tal manera que eran éstas las que acababan sufriendo el escrutinio del software.

Durante su investigación, Eubanks se trasladó también al condado de Los Ángeles, para estudiar un sistema automatizado pensado para lidiar con el sinhogarismo, uno de los grandes problemas de la ciudad de la costa Oeste. Con una población en 2017 cercana a los 70.000 sin techo y unos recursos habitacionales limitados, esta herramienta pretendía automatizar la asignación de ayudas y dirigirlas a los casos más vulnerables. Por el camino, las autoridades recogían una ingente cantidad de datos sobre las personas sin hogar, atrapadas en la necesidad de cumplir con los requisitos que requería el sistema.

Eubanks explica que estos métodos de vigilancia digital y filtrado se han extendido por todo Estados Unidos en las últimas décadas. ¿El resultado? “Las familias de clase trabajadora y los pobres no son solo juzgados por el formulario que rellenan ante los servicios sociales, sino por todo su historial de interacciones con el sistema”, apunta. “Los únicos valores que importan son la eficiencia, el ahorro de costes y la lucha contra el fraude, el desperdicio y el abuso”, en línea con el discurso pro-austeridad en la gestión pública que ha triunfado en las últimas décadas, prosigue. 

¿Quién merece ayuda? 

En las primeras páginas del libro, Eubanks traza un paralelismo histórico entre estas herramientas digitales de supervisión y los asilos para pobres que proliferaron durante el siglo XIX en la joven democracia estadounidense. Estas instituciones lúgubres, apunta la autora, tenían un doble objetivo: recluir a los excluidos lejos del resto de la sociedad y ejercer una suerte de “diagnóstico moral” sobre quiénes eran merecedores de algún tipo ayuda pública.

“Lo que hacen estas herramientas digitales también es tomar decisiones del tipo: quién merece ayuda y quién no. Y esa es una decisión política. El sinhogarismo en Los Ángeles no es un problema matemático. El problema es que no hay suficientes casas”, señala. 

Eubanks lleva veinte años estudiando el impacto que la minería de datos, los modelos de riesgo predictivo y las políticas de algoritmo tienen sobre la población pobre de su país. Y su diagnóstico es contundente: “Estamos usando estas herramientas como escapatoria. Bajo esa especie de fachada de neutralidad y objetividad nos permiten, de alguna manera, lavarnos las manos ante conversaciones difíciles que tenemos que tener como sociedad, en torno a la pobreza y el racismo”. 

La narrativa de que la pobreza sólo afecta a una pequeña minoría en EE.UU. sigue teniendo mucho éxito, tanto dentro como fuera del país norteamericano. Pero los datos son tozudos, esgrime esta profesora. Los estudios elaborados por los expertos en desigualdad Mark Robert Rank y Thomas A. Hirschl estiman que casi seis de cada diez estadounidenses caerán por debajo del umbral de la pobreza en su vida adulta. Estos datos, señala Eubanks, desmontan el discurso de que estas herramientas optimizan el reparto de unos recursos limitados sobre una población reducida. 

 “Si asumimos que esa narrativa sobre la pobreza es falsa, entonces el diagnóstico de trabajo de las herramientas digitales queda mucho más claro: se trata de una racionalización para violar los derechos humanos de la gente pobre y de clase obrera; con consecuencias duraderas para las personas, las familias y las comunidades”, apunta Eubanks. “Hay un montón de lugares en el mundo que no hay decisión que puedas tomar que te haga no merecer atención médica. Ese no es el caso en Estados Unidos”, concluye.

Una conversación global

El libro de Eubanks ha recibido numerosos premios y elogios de prominentes figuras de la izquierda estadounidense, como Naomi Klein. Las reseñas destacan su capacidad para analizar, a partir de historias humanas reales, el régimen distópico al que se ven sometidos los pobres en suelo estadounidense. Pero su autora advierte de que estos sistemas llevan años extendiéndose por todo el mundo, con efectos perniciosos también entre las clases medias.

Un ejemplo de ello es el escándalo ocurrido en Australia en torno al sistema de cobro de deudas automatizado conocido como Robodebt. En 2016 el gobierno de la isla lanzó un software que casaba los datos fiscales de los contribuyentes y su registro de ingresos para detectar posibles fraudes en el cobro de ayudas sociales. Durante este tiempo, las autoridades enviaron cerca de un millón de avisos reclamando supuestas deudas. Los afectados se vieron ante el compromiso de tener que demostrar que tales reclamos, algunos de hasta 20 años de antigüedad, eran infundados.

Después de que la prensa revelase numerosas historias truculentas de cómo este sistema estaba castigando de manera injusta a miles de familias, el primer ministro australiano anunció en 2020 que cancelaba el programa. La justicia ha dictaminado que hasta 400.000 familias tuvieron que abonar injustamente unos 720 millones de dólares australianos (casi 460 millones de euros). “Ese algoritmo estaba lleno de errores, en algunos casos con efectos horribles”, apunta Eubanks, quien decidió investigar casos similares en su país natal.

La politóloga no se sorprendió al encontrar que diversos estados utilizan también programas automatizados de reclamo de deudas antiguas, difícilmente rebatibles. “Este sistema funciona como una extorsión”, apunta. O demuestras que no eres un defraudador –con todas las complicaciones burocráticas que implica– o tienes que pagar. “De esta manera se crea esta especie de deuda gubernamental zombie”, señala.

La justicia ha dictaminado que hasta 400.000 familias en Australia tuvieron que abonar injustamente casi 460 millones de euros

En Europa tuvo lugar el escándalo que provocó la dimisión del Gobierno holandés en enero pasado. Las autoridades tributarias del país acusaron erróneamente de fraude a 26.000 familias receptoras de un subsidio para el cuidado de hijos menores. Según se ha demostrado a posteriori, la administración puso el foco de sus pesquisas en el origen de las familias y apuntó a los hogares de ascendencia marroquí o turca. El resultado para muchas de ellas fue la ruina económica y el estigma social por un fraude que no habían cometido.

Estos casos, en opinión de Eubanks, demuestran la necesidad de tener “una conversación global” sobre este tipo de sistemas, que “pueden ser implementados en sitios y maneras muy diferentes”, según el contexto y los valores que expliquen la discriminación en cada país. “Si tienes una historia como la de EE.UU. con la pobreza lo harán de una manera, pero si en tu país existe una tradición totalitaria, también afectará a estas herramientas”, señala.

Contra la neutralidad de la tecnología 

¿No hay entonces herramientas digitales que puedan funcionar en la lucha contra la pobreza? La autora de La automatización de la desigualdad responde a esta pregunta con un sí, aunque repleto de matices. En su opinión, para conseguirlo es necesario desterrar la idea de que los sistemas automatizados han de ser “neutrales”. Más bien al contrario: hay que construir herramientas con valores explícitos que ayuden a combatir los sesgos arrastrados históricamente.

“Solo la fantasía puede llevar a creer que un modelo estadístico o un algoritmo de clasificación cambiará drásticamente, como por arte de magia, una cultura, unas políticas y unas instituciones construidas a lo largo de los siglos”, escribe Eubanks. 

Este análisis se emparenta con otras voces críticas con el impacto que los algoritmos están teniendo en el Estado de bienestar de numerosos países. Poco antes del inicio de la pandemia del coronavirus, el relator especial de Naciones Unidas sobre extrema pobreza y derechos humanos, Philipp Alston, advirtió en un informe de los riesgos de encaminarnos hacia una “distopía digital del Estado social”.

En este documento se recomendaba a los gobiernos no centrar sus políticas sociales en la lucha contra el fraude, el ahorro de costes y la búsqueda de la eficiencia económica en último término. Y utilizar en cambio la tecnología para asegurar una mejora en las vidas de los más vulnerables y desfavorecidos. “Existe el riesgo de que los Estados de bienestar digitales se conviertan en Caballos de Troya de la hostilidad neoliberal hacia la protección social y las regulaciones”, concluía. 

Eubanks coincide con esta reflexión e insiste en la necesidad de tener “una conversación urgente” sobre unas herramientas que “automatizan e intensifican los aspectos ya punitivos de nuestros sistemas”. Especialmente tras la covid-19, una crisis que ha dado cobertura a los gobiernos para producir sistemas digitales cada vez más extensos e invasivos, concluye.