«Sé que estáis ahí, percibo vuestra presencia. Sé que tenéis miedo. Nos teméis a nosotros. Teméis el cambio. Yo no conozco el futuro. No he venido para deciros cómo acabará todo esto... Al contrario. He venido a deciros cómo va a comenzar.»

The Matrix (1999)

1. Contexto: máquinas que aprenden solas

Nadie los ve. Están ahí. Nos gobiernan. Llevan tiempo entre nosotros, pero sólo ahora hemos empezado a percibir su existencia. Son los algoritmos de aprendizaje automático.

Pero ¿qué son realmente estos algoritmos de aprendizaje automático y qué tienen de novedoso? Un algoritmo, en general, podría definirse como un “conjunto de instrucciones lógicas para resolver un problema genérico concreto”. Un ejemplo sencillo es el algoritmo que aprendemos en la escuela para hacer una división. Hasta aquí, nada muy especial. Sin embargo, gracias a los increíbles avances informáticos en la capacidad de procesamiento y de almacenamiento de datos, en los últimos años se ha producido un salto cualitativo sorprendente. Hasta ahora, los programadores tenían que detallar cada uno de los pasos lógicos que debía seguir el programa para obtener el resultado deseado, es decir, eran los programadores los que le decían a la máquina cómo tenía que responder ante determinadas situaciones, pero los algoritmos de aprendizaje automático (en adelante, AAA) funcionan de forma totalmente diferente. De manera simplificada, un AAA consiste en redes neuronales virtuales que, de forma parecida a como aprendemos los humanos, a medida que van procesando los resultados que provocan diferentes reacciones ante una situación, van anticipando cómo responder ante futuras casuísticas. Es decir, la máquina, literalmente, “aprende”.

Para intentar comprenderlo mejor, utilicemos el ejemplo de los programas de ajedrez. Antes, los programas de ajedrez (como el famoso caso de Deep Blue) se construían introduciendo manualmente las estrategias (mejores o peores) que utilizaría cualquier buen jugador humano, por ejemplo, asignando un valor a las piezas (un punto a los peones, tres a caballos y alfiles, cinco a las torres, etcétera) para hacer cálculos de sacrificios o privilegiando por lo general el control de las posiciones centrales para así dominar el conjunto del tablero. Es decir, se les asignaba un conjunto de reglas según las cuales, valorando las posibles jugadas siguientes, calculaban la respuesta a cada posible situación. Sin embargo, a los programas actuales de ajedrez basados en AAA no hace falta introducirles ninguna de estas estrategias predefinidas. El novedoso programa Alpha Zero de Deep Mind ha sido capaz de aprender en veinticuatro horas y simplemente jugando partidas contra sí mismo, sin ninguna participación humana, a ganar al ajedrez a los ordenadores más inteligentes; con la sorpresa de que para ganar realizaba movimientos que a cualquier humano nos resultan absolutamente incomprensibles según nuestras lógicas de puntuación y de dominio del tablero, como regalar una dama o arrinconarla en una esquina del tablero. 

En la actualidad, los AAA están por todas partes, aunque no los veamos. Piensan y deciden por nosotros. Nos influyen cuando llenamos el carro de la compra, nos filtran lo que queremos ver en Google o Netflix, nos ayudan a encontrar pareja en internet o incluso orientan nuestro voto (véase el caso de Cambridge Analityca y Facebook en EE. UU.). Además, los algoritmos ya se están usando de manera generalizada en ámbitos estratégicos tan sensibles como, por ejemplo, la gestión pública, la sanidad, la seguridad, el transporte, el sector financiero o por las compañías de selección de personal. 

La velocidad a la que se está desarrollando esta suerte de nueva tecnología es tan rápida que, si no empezamos a plantearnos ya de qué maneras están afectando a nuestras sociedades (y pueden afectar a su futuro), especialmente a los sectores más vulnerables, puede ser que muy pronto (si es que no ya) perdamos el control de los algoritmos que controlan nuestras vidas. 

2. Mirando al futuro: desafíos, peligros y amenazas

Los escenarios a los que nos enfrentamos en este tema son muchos y muy variados, pero hemos querido agruparlos en tres grandes bloques interrelacionados: primero, las posibles amenazas para la democracia y la soberanía; segundo, los desafíos en materia de (des)igualdad y derechos humanos, y, por último, los peligros de la visión ultrasesgada de la realidad que pueden generar los algoritmos. 

2.1.Posibles amenazas para la democracia y la soberanía.

a) La transparencia y la rendición de cuentas son un elemento esencial y vertebrador de toda democracia, pero ¿pueden garantizarlas los AAA que están decidiendo sobre nuestras vidas? Hemos de decir que no, que no podemos esperar que los AAA sean aliados de la transparencia y, lo que es peor, nunca podremos garantizar que lo sean. Si han utilizado el traductor de Google, seguramente hayan notado una increíble mejoría en los últimos años. Esta mejoría se debe, entre otras cosas, a que antes el software estaba programado para utilizar siempre el inglés como lenguaje intermedio, pero ahora el nuevo AAA de traducción no tiene esa restricción. El resultado es que el traductor de Google ha creado un lenguaje intermediario alienígena más eficaz, que muta mucho más rápido de lo que somos capaces de entender. Por tanto, si aceptamos nuestras limitaciones naturales para comprender este lenguaje extraterrestre o, como hemos mencionado anteriormente, las limitaciones lógicas que nos impiden comprender por qué un programa de ajedrez lleva a cabo determinados movimientos a la postre ganadores, tendremos que aceptar que de igual modo estamos inevitablemente limitados para comprender y, por tanto, auditar, las decisiones de otros algoritmos en materias mucho más sensibles para el futuro de nuestras sociedades.

b) En un sentido democrático, podríamos definir la soberanía como “la convicción generalizada de los pueblos de que de una forma u otra somos dueños de nuestro propio destino y de que tenemos la capacidad de impulsar cambios en la dirección que decidamos”. Más allá del hecho de si estamos delegando en los algoritmos un poder excesivo en nuestra toma de decisiones, existe otra amenaza filosófica esencial de los AAA con respecto a la democracia y a la soberanía, y es que suprimen los porqués de nuestra búsqueda del sentido de las cosas. Con esto lo que queremos decir es que las predicciones de los AAA, por su propia naturaleza, centran la interpretación de la realidad social en el cómo sucederán las cosas y no en el por qué suceden. Y a medida que busquemos en los algoritmos más respuestas a las preguntas de este mundo cada vez más complejo y cambiante, corremos el riesgo de estar abandonando la búsqueda de los porqués subyacentes y de empezar a abrazar una sensación cada vez mayor de inevitabilidad tácita, de que sencillamente es así como suceden las cosas y no hay más, y de renunciar, por tanto, a poder cambiar activamente el estado de las cosas e implicarnos en la defensa y el ejercicio del principio que etimológicamente fundamenta la democracia: nuestra soberanía como pueblos.

c) En tanto que los AAA tienen la capacidad de crear una realidad totalmente personalizada (piénsese por ejemplo en la publicidad diferenciada que nos ofrece Amazon a cada uno de nosotros o los ejemplos de las últimas campañas electorales estadounidenses y del brexit en Reino Unido), se abre con ello un peligroso campo para la manipulación mediática y la supresión de otro de los pilares fundamentales de la democracia: el debate público como colectivización e interpretación de problemáticas comunes. Al fin y al cabo, ¿cómo vamos a debatir nada en común cuando nos han ultraindividualizado el relato? 

2.2. Desafíos en materia de (des)igualdad

a) La naturaleza predictiva de algunos AAA los hace singularmente performativos o, dicho de otra forma, igual que sucede con las encuestas electorales, el mero hecho de predecir una supuesta realidad futura afecta a nuestro comportamiento y acaba provocando el escenario previsto que de otra forma tal vez se podría haber evitado y, lejos de ayudar a resolver las desigualdades existentes, pueden estar agravándolas. Pongamos un ejemplo (inspirado en el libro Armas de destrucción matemática de Cathy O'Neil). En varios lugares del mundo la policía utiliza algoritmos predictivos (el más conocido es PredPol) que, haciendo uso de los registros policiales, anticipan zonas con mayor probabilidad de que se produzcan crímenes. Dejemos al margen la discusión sobre si esos registros policiales –y por tanto la información con que se alimenta al algoritmo– serían fieles a la realidad o estarían repletos de prejuicios que afectarían a la predicción. Como es lógico, el algoritmo señalaría como zonas más probables aquellas en las que ya existe más criminalidad, que en muchos casos viene derivada de situaciones de desigualdad y de racialización. ¿Qué pasaría a continuación? Lo más probable es que el mero hecho de predecir más criminalidad en una zona y el consecuente aumento de la presencia policial, provoque que las familias que se lo puedan permitir huyan del lugar, dejando atrás a las más empobrecidas y arraigadas que no pueden permitirse otra cosa, provocando así una profundización de la desigualdad y la segregación y, por tanto, con toda probabilidad, también de la conflictividad social y de la criminalidad. Se hace coincidir así el resultado con la previsión y se agrava la situación de desigualdad inicial. 

b) Como cualquier avance tecnológico en una sociedad ya desigual, pueden ser profundizadores de la desigualdad, ya que la capacidad de acceso a estos avances no es simétrica en los diferentes estratos sociales. Como consecuencia, corremos el riesgo de que estos nuevos avances se pongan a operar al servicio de los intereses de los que más poder tienen y, aunque si bien es cierto que en muchos otros sentidos también pueden generar beneficios para el conjunto de la sociedad, éstos siempre se producen de arriba abajo, no horizontalmente, y normalmente en una clave de consumo. Otro riesgo claro de impacto de los AAA en la desigualdad y que quizás sea el más extendido en la actualidad es la reproducción sistematizada en algoritmos de patrones discriminatorios fruto del sesgo en los datos e información que procesan (un ejemplo reciente de esto es el algoritmo “discriminatorio” utilizado por Amazon para el reclutamiento de personal que “penalizaba” a las mujeres). En este contexto, la pregunta que debemos hacernos es ¿quiénes controlan y dirigen el futuro de los avances que ya están moldeando nuestras sociedades? Y si la respuesta no es “todos por igual”, lo más probable es que estén favoreciendo a los más privilegiados y, por lo tanto, agudizando las desigualdades existentes.

2.3. Peligros de una visión ultrasesgada y dirigida de la realidad

a) Los actuales AAA fomentan además visiones retroalimentadoras y encapsuladas de la realidad (en relación con el punto 3). Esto sucede, por ejemplo, cuando los algoritmos de las redes sociales sólo nos muestran las noticias que tienen más probabilidad de que les demos un me gusta y, por tanto, que más nos sirven para reafirmarnos, cuando comprobamos que la publicidad de Amazon es diferente de una persona a otra y se basa en un perfil personalizado o cuando nos damos cuenta que las propuestas políticas que nos llegan de los partidos son sólo aquellas que más nos preocupaban de antemano. En tanto en cuanto sólo se nos estaría mostrando esta visión ultrasesgada y dirigida de la realidad que nos resulta más cómoda y que nos refuerza y retroalimenta en nuestras concepciones previas, ¿cómo vamos a descubrir e incorporar discursos y realidades que nos son ajenas o incluso desagradables de entrada?

b) Por último, procede destacar que los AAA nos conducen a undata-centrismo, es decir, cuando los análisis de la realidad se sustentan sobre aquellos sectores de la sociedad o países que más datos generan (países ricos más digitalizados frente a países pobres), hay más probabilidades de que la agenda pública y las políticas se orienten en beneficio de dichos sectores o países y sigamos acrecentando así las desigualdades sociales que impera en la actualidad.

3. Una propuesta de futuro: la Declaración de Toronto

Como es sabido, existe un interés creciente en comprender y dibujar las fronteras éticas y prácticas de estas nuevas tecnologías. Un ejemplo de ello es la iniciativa The Toronto Declaration: Protecting the right to equality and non-discrimination in machine learning systems lanzada por Amnistía Internacional, Access Now y otras organizaciones asociadas, sobre “derechos humanos e inteligencia artificial”. 

¿Qué plantea esta histórica declaración? Muy resumidamente, la Declaración de Toronto pretende ser un primer paso para establecer las bases de un acuerdo internacional para el desarrollo de la inteligencia artificial y los AAA desde un enfoque ético y con los derechos humanos en el centro.

La estructura y el enfoque de la declaración guarda cierta similitud con los “Principios Rectores sobre las empresas y los derechos humanos: puesta en práctica del marco de las Naciones Unidas para proteger, respetar y remediar”, adoptados en el 2011 por el Consejo de Derechos Humanos de las Naciones Unidas. De hecho, la declaración se articula sobre estos mismos tres pilares según los cuales: 

1) Los Estados tiene el deber de prevenir y proteger los derechos humanos. Ello implica que deben crear un marco de seguridad jurídica para promover, respetar, cumplir y proteger los derechos humanos de los potenciales impactos negativos derivados de la aplicación y desarrollo de la inteligencia artificial, garantizar un uso público adecuado de ésta, promover su uso y conocimiento adecuados entre los funcionarios públicos, garantizar la rendición de cuentas y transparencia en las actuaciones de los sectores público y privado relacionadas con la inteligencia artificial y establecer “vasos comunicantes” con el sector privado para intercambiar conocimiento y buenas prácticas.

2) Las empresas tienen la responsabilidad de respetar los derechos humanos y para ello han de adoptar compromisos políticos claros y públicos e implantar un procedimiento de debida diligencia apropiado para identificar, prevenir, amortiguar y rendir cuentas sobre cómo su actividad y uso de la inteligencia artificial impacta o puede llegar a impactar, de forma directa o indirecta a través de su cadena de suministro o de sus relaciones comerciales, en los derechos humanos.

3) Los Estados y las empresas deben reparar y remediar sus impactos negativos en los derechos humanos derivados del uso de la inteligencia artificial, y a tal fin deben poner los recursos y adoptar las medidas necesarias para regular y establecer procedimientos adecuados de reclamación y denuncia, así como habilitar y facilitar el acceso a mecanismos de reparación transparentes, accesibles y eficaces.

A pesar de que la Declaración de Toronto se centra exclusivamente en los conceptos de igualdad y no discriminación, creemos que su contenido es absolutamente replicable a todo el espectro de los derechos humanos y, por tanto, su aportación al debate “derechos humanos frente a inteligencia artificial” es realmente valioso.

Adicionalmente, no podemos dejar de, al menos, citar otra serie de iniciativas de peso en este ámbito, como el programa del Consejo de Europa por una inteligencia artificial ética y responsable con los derechos humanos, el rule of law y la democracia (del que recomendamos dos de sus publicaciones recientes, el borrador de una guía ética para el uso responsable de inteligencia artificial y el informe Algorithms & Human Rights) o la Conferencia Mundial sobre Inteligencia Artificial ( cuya primera edición se celebró el año pasado en Shanghái).

4. Conclusión: una reflexión de partida

Queremos que este artículo sirva como reflexión para el comienzo de este nuevo paradigma social, económico y tecnológico protagonizado por máquinas capaces de aprender. Sin darnos cuenta estamos depositando una confianza cada vez mayor en ellas para controlar y dirigir nuestro futuro, convencidos de una supuesta neutralidad positiva de los avances tecnológicos. Pero, si una conclusión podemos extraer, es que los AAA –al igual que cualquier otro avance humano– no son un suceso meteorológico externo que responda a leyes naturales que nos superan y ante el cual sólo podemos prevenirnos, pero que no podemos controlar.

La buena noticia es que sí que podemos, pero la pregunta es: ¿seremos capaces los Estados, las empresas y especialmente la ciudadanía de hacer todo lo necesario para controlar los algoritmos que ya nos controlan, de poner la inteligencia artificial al servicio de los derechos humanos, la democracia y la igualdad y no en contra?; y, sobre todo, ¿conseguiremos ser las personas las verdaderas protagonistas de nuestras propias vidas en este nuevo mundo entretejido de algoritmos? Sólo el tiempo y la razón (humana o artificial) nos lo dirán.

--------------------

Fernando Román Aguilera (@FerxManza) es programador matemático. Obrero de las teclas de día, por las tardes a veces concejal municipalista. 

Rafael Merino Rus (@Rafa__Merino) es economista y experto en gestión de ONGs. Uno de esos millennial multitarea obsesionado con mejorar este mundo. De vez en cuando escribo cosas.