Los algoritmos y sus sesgos de género, raza o clase: así te perjudican en la búsqueda de trabajo o de ayudas sociales (28/03/2021).
Más allá de Netflix o Tinder, la inteligencia artificial gana terreno en ámbitos de alta sensibilidad social. Ya puede influir en quién recibe una ayuda pública o quién es el trabajador que merece ser contratado. Por eso, los expertos piden más transparencia para detectar sesgos, corregirlos o evitar los "castigos algorítmicos".
El pasado 22 de febrero, la ministra de Trabajo y Economía Social, Yolanda Díaz, compareció en comisión en el Congreso de los Diputados. Los titulares se los llevó el comentario machista de un rival político, pero lo más sugerente tuvo lugar durante los primeros minutos de la sesión. La dirigente gallega propuso a sus señorías un viaje metafórico entre dos ciudades: Fordlandia y Uberlandia, transitando por el camino de la "uberización de la economía": "Algoritmos dirigiendo a personas que trabajan".
Convencida de que "el trayecto modifica el destino", Díaz usó el recorrido para hablar de la futura ley rider que ha redactado su departamento y por la que se tendrá que informar a los representantes de los trabajadores sobre los algoritmos que puedan afectar a las condiciones de trabajo en las empresas. No es una cuestión futurista. Estos cálculos matemáticos ya pueden ayudar a tomar decisiones sobre la contratación, la productividad en la oficina o el reparto de ayudas sociales si hablamos del ámbito público.
¿Puede un algoritmo ser machista?
El uso masivo de estos algoritmos no es generalizado en el tejido empresarial español, pero avanza. La inteligencia artificial asume el cruce de datos en las tareas más simples, automáticas y tediosas para los humanos, pero muchos expertos creen que hay que estudiarlos y analizarlos de manera crítica: "Nos encontramos sesgos de todo tipo. Algunos de los más comunes son los de género, pero nos encontramos sesgos diferentes dependiendo del contexto. Se discrimina a las personas mayores, a veces a los menores... En ocasiones, nos encontramos algoritmos de tan mala calidad que dejan a más gente fuera que dentro", comenta Gemma Galdón, fundadora y presidenta de Eticas Consulting. A su empresa llegan "pioneros" que les piden analizar y auditar los algoritmos que usan sus empresas para asegurarse de que están cumpliendo realmente con su cometido.
Pero cumplir con su misión no siempre es fácil. Galdón también asegura que, sorprendentemente, en alguna ocasión se ha encontrado con "opacidad" y problemas de acceso al código fuente: "Alguna vez nos ha contratado un cliente para auditar un algoritmo y la empresa que ha vendido el algoritmo se niega a enseñaros el código", explica. Sin embargo, sí hay leyes que regulan la "explicabilidad algorítmica", como el reglamento europeo 2016/679 de datos personales, que se tradujo en España a la Ley Orgánica de Protección de Datos Personales. Pero avisa: "Lo normal es no cumplirlo".
Los algoritmos están en los buscadores de Internet, en las películas que te sugieren las plataformas o en las aplicaciones para ligar, pero la experta asegura que ya hay programas que también son capaces de cribar quién pasa primero en la cola de urgencias de un hospital, de asignar prestaciones de desempleo, de decidir quién mantiene un puesto de trabajo o quién da el perfil para una entrevista.
Cuando el jefe es un algoritmo
Los avances tecnológicos se visten de objetividad. Parecen neutros, sin ideología y a veces son solo comprensibles por los técnicos. Eso facilita que sus fórmulas permanezcan fuera del escrutinio público y muy alejadas de otro tipo de controles, como el parlamentario. Incluso, en algunos foros se empieza a hablar de "algocracia". "Hay que gobernar la digitalización de forma participada por los trabajadores para que sus beneficios sean repartidos para la mayoría y no acumulados por una minoría", resume Carlos Gutiérrez, secretario de Juventud y Nuevas Realidades del Trabajo de CCOO, que además ha estado en las negociaciones de la ley rider.
Es un primer paso en las empresas digitalizadas, pero Gutiérrez cree que puede ayudar a abrir un debate público más amplio sobre los algoritmos. El empeño de los sindicatos nace de la necesidad de conocer la fórmula matemática que distribuye y controla el trabajo. En el caso de los repartidores, que decide que un pedido recaiga sobre uno y no sobre otro en una determinada franja horaria. La obligación de ser transparente es evitar lo que la ministra de Trabajo, Yolanda Díaz, ha llamado "castigo algorítmico" hacia los empleados.
Es una cuestión que traspasa fronteras. El Tribunal Ordinario de Bolonia falló hace unas semanas contra Deliveroo por considerar que el ranking reputacional de su algoritmo (llamado Frank) no distinguía las ausencias voluntarias de las justificadas, como puede ser una enfermedad o el derecho a huelga, tal y como contó el diario La Repubblica.
"Un algoritmo no tiene empatía y no acepta explicaciones más allá de lo programado", explica Adrián Todolí, profesor de la Universitat de València. El experto en Derecho del Trabajo cita un estudio puesto en marcha en Australia donde hicieron un experimento con repartidores. "Las apps les marcaban un sitio, pero ellos iban por donde había sombra para evitar morirse de sed o tener un golpe de calor. El algoritmo detectaba que iban por un sitio más lento y no tenía en cuenta la temperatura o el cansancio", asegura. La necesidad de resguardarse es una explicación que le valdría a cualquier ser humano, pero no a un algoritmo que no hubiera sido programado con esta variable. Ante la necesidad de llevar dinero a su casa, aparece la duda: "Los trabajadores se arriesgan más de lo que deberían", opina Todolí.
El big data es parte ya del mundo laboral e irá en ascenso tras la pandemia con la extensión del teletrabajo. Hay programas informáticos que pueden "medir y controlar a los trabajadores a través de su índice de productividad". Todolí advierte de que hay empresas que también los usan para las contrataciones. "El algoritmo establece un porcentaje de éxito de inclusión del trabajador en esa empresa, extrayendo datos del currículum y datos que hay en Internet. Es posible que el trabajador nunca se entere". Aquí aflora otro conflicto: los sesgos y la discriminación que se traslada de los humanos a las máquinas. "Los algoritmos se basan en datos de la realidad. Si estás buscando un perfil para una alta directiva de Ibex-35, el 90% serán hombres, así que el algoritmo aprenderá que lo que hay que poner es un hombre. No piensa por sí mismo, repite patrones que identifiquen los datos".
Además de los sesgos de género, también puede haber racistas o clasistas: "La ciencia estadística le da más valor a las variables sobre las que tenga más datos. Por tanto, de personas de raza distinta a la mayoritaria, el algoritmo tendrá menos información sobre estas personas, le dará menos valor porque no tiene información para dar una información fiable. Por tanto, lo va a descartar".
El experto avisa de que los sesgos pueden sofisticarte a medida que lo haga la recolección y análisis de datos, incluso dando conclusiones diferentes a las planteadas por los científicos. Usando el código postal de su dirección, pueden presuponer el nivel de renta o la ideología de los candidatos a un puesto de trabajo haciendo un rastreo de los votos por colegios electorales.
El 'big data' y las ayudas públicas
La investigadora de la Universitat de València Alba Soriano ha dedicado su tesis a bucear en las "posibilidades actuales y futuras para la regulación de la discriminación producida por algoritmos". En el documento, analiza varios algoritmos que toman ya decisiones relevantes en otros países. En Holanda se ha empleado un sistema de inteligencia artificial para la detección del fraude entre personas beneficiarias de ayudas sociales, que además ha generado resultados erróneos y discriminatorios hacia las familias desfavorecidas y migrantes. En Austria se usan para el desempleo, creando tres grupos en función de sus probabilidades de volver a acceder al mercado laboral: "Esto no sería problemático si luego el Gobierno hubiese destinado más recursos a las personas con mayores dificultades de encontrar un nuevo empleo. Sin embargo, priorizaron la eficiencia, invirtiendo más en ayudar a las personas con una probabilidad media de encontrar trabajo", explica la investigadora sobre las decisiones políticas que se toman con posterioridad.
¿Y en España? Soriano cree que hay una "tendencia a la opacidad". Simplemente, los españoles no saben si sus empresas están utilizando o no estas automatizaciones. Por eso, propone transparencia, un registro público de algoritmos como ya tiene Ámsterdam y valorar la posibilidad de introducir "acciones afirmativas". Es decir, detectar los sesgos y corregirlos en favor del perjudicado.
En la Fundación Civio también tienen la impresión de que la utilización de la inteligencia artificial se ampliará en el campo social español: "El uso de sistemas automatizados va en aumento, y cada vez podría tener más relevancia en ámbitos como la distribución de renta, el bienestar social o el acceso a la sanidad", explican. Ellos también han dado la batalla en España por la transparencia algorítmica.
Estos periodistas han llevado a los tribunales al Gobierno, a través del recurso contencioso-administrativo, para intentar que el Ejecutivo desvele el código fuente del programa BOSCO, que decide quién tiene derecho al bono social eléctrico, y, por tanto, a un descuento en la factura de la luz. Aún no se ha resuelto. Todo empezó en 2017, cuando Civio comenzó a informar de las nuevas modificaciones legislativas del bono social. Más tarde empezaron a detectar errores en el programa e, incluso, crearon su propia app para que los ciudadanos pudieran consultar si cumplían los requisitos de acceso al bono social. Algo no cuadraba. Entonces, pidieron el acceso al código fuente de la herramienta, aunque recibieron una negativa incluso después de llevarlo al Consejo de Transparencia.
El Ministerio para la Transición Ecológica les facilitó dos escritos: un documento funcional de "comprobación de las condiciones de otorgamiento del Bono Social" y un documento con "casos de prueba". En su redacción ya habían recibido mensajes de personas a las que se les denegaba la ayuda, pese a que cumplían los requisitos, pero recibían la misma repuesta: "Imposibilidad de cálculo". Esto es: tenían derecho por renta pero, basados en esta respuesta del programa, se les negaba la ayuda.
La batalla que aún libra Civio no es menor. Va al corazón de la democracia. Su demanda se basa en la argumentación de que cuando "el código fuente de un programa informático es ley", como en el caso de la regulación del bono social eléctrico, el ciudadano "tiene tanto derecho a inspeccionar su funcionamiento como lo tiene con respecto a cualquier otra norma jurídica". Si de un algoritmo dependen derechos y obligaciones para los ciudadanos, estos tienen derecho a conocerlo.
De hecho, en la fundación creen que "en la administración hay, con seguridad, sistemas mucho más complejos que BOSCO que condicionan cuestiones igualmente importantes".
La batalla científica: luz ante los algoritmos oscuros
Roi Naveiro, investigador posdoctoral del CSIC, está especializado en machine learning y seguridad. Su trabajo es desarrollar algoritmos que puedan adelantarse a aquellos que quieran burlarlos y abrir un boquete en la seguridad de las aplicaciones. Sin embargo, este joven físico sabe que la batalla va más allá de los números. Tiene que ver con su interpretación: "Los mismos datos pueden contarte dos historias diferentes en función del modelo. Los datos tienen sesgos y necesitamos entender esos sesgos y corregirlos".
Naveiro cree que en el terreno científico "hay una batalla relevante". Hasta ahora, se ha impuesto la visión de "las grandes industrias tecnológicas", es decir, aquella que solo se centra en el resultado de los datos y no en cómo se ha llegado a él. Pero cree que hay que hacer una apuesta por analizar críticamente también los "modelos". En resumen, propone mirar a la luna y no al dedo.
Como ejemplo de la importancia de estudiar los diseños, señala el programa Compas, que utiliza la Justicia estadounidense para predecir el riesgo de reincidencia de ciertos criminales. De sus conclusiones, depende la vida de la gente. "Se sospecha que hay un sesgo hacia los afroamericanos. Ese sesgo, en parte, está en los datos. Utilizaba el número de arrestos previos, por ejemplo, para medir la criminalidad, pero sabemos que es una comunidad sobre la que hay más presión policial", explica sobre los prejuicios racistas que se transfieren de los humanos a los algoritmos. Estados Unidos no es la excepción. En Argentina, la Justicia también tiene nombre propio -Prometea-, y en España se estudia ya qué sistema implantar para los casos más sencillos.
Pero hay un aspecto que a este investigador le preocupa: "En el campo del machine learning existe una tendencia clara, sobre todo desde la década de 2010, a dar cada vez más peso a vender más algoritmos que sean de caja negra". Es decir, que no son ni transparentes ni interpretables incluso para los propios profesionales que trabajan con ellos. Se diseña el modelo, se le indica los datos a procesar y, tras complejos cálculos, ofrecen un resultado. Naveiro expresa dudas: "Si vomitan los resultados sin decirnos por qué son los correctos, pueden tener muchos sesgos de los cuales nosotros no nos vamos a enterar. En ciertas aplicaciones pueden no importar mucho, pero en otras decisiones -como puede ser tomar una decisión judicial- es importante entender por qué toma la decisión el algoritmo". Por tanto, no podrán ser corregidos por los humanos.
El investigador cree que este interés por los algoritmos de caja negra tiene que ver con que son más difíciles de "copiar" por los competidores si no se conoce su diseño. Por tanto, la empresa puede vender por más tiempo sus predicciones y resultados, pero el investigador lo tiene claro: "En temas de impacto social grande, tenemos que alejarnos de modelos de caja negra y caminar hacia modelos interpretables que nos digan por qué se toman esas decisiones. Si no, podemos caer en sesgos y ni siquiera percibirlos".
Enlace relacionado Público.es 27/03/2021.
