Lorena Fernández: “Alimentamos algoritmos con datos parciales que no representan a la sociedad”
La directora de Identidad Digital en la Universidad de Deusto, Lorena Fernández Álvarez, ha realizado una investigación sobre cómo los sistemas de reconocimiento facial automáticos discriminan a algunos sectores de la población, según variables como el género y el color de la piel. El estudio se ha publicado dentro de Gendered Innovations II, un informe impulsado por la Comisión Europea que analiza cómo la perspectiva de género puede aportar nuevo conocimiento e innovación en los proyectos de I+D+i.
¿Cuáles son las brechas de género que se dan en los sistemas de reconocimiento facial?
En la investigación, hemos querido usar un enfoque más global incluyendo no solo el género sino también la interseccionalidad. Esto hace referencia a las formas cruzadas de discriminación derivadas de la pertenencia a diferentes categorías sociales, donde está el género pero también la etnia, la edad, la orientación sexual, la ubicación geográfica…. En las técnicas de reconocimiento facial, estas variables se entremezclan mucho.
Un ejemplo muy claro es el trabajo Gender Shades, que llevaron a cabo las investigadoras Joy Buolamwini y Timnit Gebru en el MIT en 2018. Buolamwini estaba trabajando con un proyecto de reconocimiento facial cuando se dio cuenta de que el sistema no reconocía su cara por ser una mujer negra. A partir de ahí, empezaron a analizar los softwares comerciales más usados y descubrieron que había un sesgo grande entre hombres y mujeres, pero que se incrementaba aún más en función del tono de la piel.
¿Qué tipo de consecuencias sociales tienen estos sesgos?
Puedes pensar que la consecuencia es no poder desbloquear tu móvil, algo molesto aunque con un impacto relativo. Pero va más allá, en el caso del sistema Amazon Recognition, por ejemplo, los clientes son corporaciones y administraciones públicas que están interesadas en usarlo para la seguridad y la vigilancia. Ahí la incidencia es mucho más significativa.
Además de los sesgos de género y raza, hay otras variables que afectan a los sistemas de reconocimiento facial, como el maquillaje. Los cosméticos faciales reducen su precisión en hasta un 76% y la razón es que no están establecidos como parámetros. Otro ejemplo claro es el del reconocimiento de las personas trans. Hay un caso famoso en Estados Unidos de una persona trans que era conductora de Uber y que tenía que viajar dos horas todos los días para ir a una oficina local a identificarse, porque el sistema de reconocimiento automático que lleva la aplicación de Uber no reconocía su rostro.
Detrás de las tecnologías de inteligencia artificial muchas veces hay sesgos racistas o machistas, ¿por qué ocurre?
Las razones son múltiples. Por un lado, los algoritmos aprenden de una sociedad sesgada y lo que hacen es replicarlos y acrecentarlos. El ejemplo de los softwares de contratación es muy representativo, y ahí tenemos el caso de Amazon, que se hizo muy conocido. El sistema utilizaba la información previa sobre contrataciones para decidir y, como se habían contratado pocas mujeres, lo consideraba un factor para descartarlas. En base a los datos, también identificó que era mejor optar por personas que no habían tenido nunca parones profesionales, así que penalizaba a quienes habían parado para dedicar un tiempo a los cuidados. En este caso, el sesgo no es tan visible y resulta más difícil de identificar.
También explicas que el problema es que estamos alimentando a los algoritmos con datos parciales…
Sí, en el caso del reconocimiento facial automático, estamos entrenándolos con imágenes de personas de piel clara y sobre todo hombres. No estamos representando la sociedad como tal sino solo a una parte y lo más preocupante es que estamos arrastrando sesgos de bases de datos que alimentan tecnologías futuras. Hay una frase de John Herschel de 1842 que dice “un error inadvertido en una tabla logarítmica es como una roca sumergida en el agua, no sabemos cuántos naufragios ha podido causar”.
¿Qué podemos hacer para que la inteligencia artificial no discrimine?
Tenemos que incorporar la diversidad, tanto en los datos como en las empresas que generan los principales recursos tecnológicos. Eso es algo que se está empezando a hacer, aunque a veces es a un nivel cosmético. Hace poco leía acerca de la diferencia entre diversidad e inclusión. Diversidad es que tengas diferentes personas en la mesa, pero inclusión es que esas personas tengan voz y que sea incorporada.
Luego está el tema de los datos con los que están aprendiendo los algoritmos. La clave está en reflejar no solo lo que dicen las mayorías, tenemos que hacer un esfuerzo para recoger también a las minorías que se quedan fuera. No podemos decir “es que la sociedad es así y la tecnología lo único que hace es reflejarlo” porque tenemos la oportunidad de equilibrarlo. Eso es muy importante porque la tecnología ha conseguido un gran truco de magia, hacer que pensemos que va a tomar decisiones mejores que una persona. Damos por hecho que un algoritmo es neutro y no es verdad.
El estudio que has realizado forma parte de la estrategia Gender Equality de la Comisión Europea, ¿se están dando pasos en Europa para reducir estos sesgos?
Frente a otros territorios, en Europa preocupa más la parte ética y este informe está en esa línea. El objetivo del proyecto es sobre todo acercar este enfoque a las personas que están haciendo investigación e innovación para que lo incorporen en su método. El paso más importante es que desde la Comisión Europea se quiere incorporar la perspectiva de género en el próximo programa Horizonte Europa, que empieza en 2021. Es algo clave porque significa que los proyectos de I+D+i que quieran acceder a fondos europeos van a tener que incorporar ese enfoque.
