Lorena Fernández: “Alimentamos algoritmos con datos parciales que no representan a la sociedad”
La directora de Identidad Digital en la Universidad de Deusto, Lorena Fernández Álvarez, ha realizado una investigación sobre cómo los sistemas de reconocimiento facial automáticos discriminan a algunos sectores de la población, según variables como el género y el color de la piel. El estudio se ha publicado dentro de Gendered Innovations II, un informe impulsado por la Comisión Europea que analiza cómo la perspectiva de género puede aportar nuevo conocimiento e innovación en los proyectos de I+D+i.
¿Cuáles son las brechas de género que se dan en los sistemas de reconocimiento facial?
En la investigación, hemos querido usar un enfoque más global incluyendo no solo el género sino también la interseccionalidad. Esto hace referencia a las formas cruzadas de discriminación derivadas de la pertenencia a diferentes categorías sociales, donde está el género pero también la etnia, la edad, la orientación sexual, la ubicación geográfica…. En las técnicas de reconocimiento facial, estas variables se entremezclan mucho.
Un ejemplo muy claro es el trabajo Gender Shades, que llevaron a cabo las investigadoras Joy Buolamwini y Timnit Gebru en el MIT en 2018. Buolamwini estaba trabajando con un proyecto de reconocimiento facial cuando se dio cuenta de que el sistema no reconocía su cara por ser una mujer negra. A partir de ahí, empezaron a analizar los softwares comerciales más usados y descubrieron que había un sesgo grande entre hombres y mujeres, pero que se incrementaba aún más en función del tono de la piel.
¿Qué tipo de consecuencias sociales tienen estos sesgos?
Puedes pensar que la consecuencia es no poder desbloquear tu móvil, algo molesto aunque con un impacto relativo. Pero va más allá, en el caso del sistema Amazon Recognition, por ejemplo, los clientes son corporaciones y administraciones públicas que están interesadas en usarlo para la seguridad y la vigilancia. Ahí la incidencia es mucho más significativa.
Además de los sesgos de género y raza, hay otras variables que afectan a los sistemas de reconocimiento facial, como el maquillaje. Los cosméticos faciales reducen su precisión en hasta un 76% y la razón es que no están establecidos como parámetros. Otro ejemplo claro es el del reconocimiento de las personas trans. Hay un caso famoso en Estados Unidos de una persona trans que era conductora de Uber y que tenía que viajar dos horas todos los días para ir a una oficina local a identificarse, porque el sistema de reconocimiento automático que lleva la aplicación de Uber no reconocía su rostro.
Detrás de las tecnologías de inteligencia artificial muchas veces hay sesgos racistas o machistas, ¿por qué ocurre?
Las razones son múltiples. Por un lado, los algoritmos aprenden de una sociedad sesgada y lo que hacen es replicarlos y acrecentarlos. El ejemplo de los softwares de contratación es muy representativo, y ahí tenemos el caso de Amazon, que se hizo muy conocido. El sistema utilizaba la información previa sobre contrataciones para decidir y, como se habían contratado pocas mujeres, lo consideraba un factor para descartarlas. En base a los datos, también identificó que era mejor optar por personas que no habían tenido nunca parones profesionales, así que penalizaba a quienes habían parado para dedicar un tiempo a los cuidados. En este caso, el sesgo no es tan visible y resulta más difícil de identificar.
También explicas que el problema es que estamos alimentando a los algoritmos con datos parciales…
Sí, en el caso del reconocimiento facial automático, estamos entrenándolos con imágenes de personas de piel clara y sobre todo hombres. No estamos representando la sociedad como tal sino solo a una parte y lo más preocupante es que estamos arrastrando sesgos de bases de datos que alimentan tecnologías futuras. Hay una frase de John Herschel de 1842 que dice “un error inadvertido en una tabla logarítmica es como una roca sumergida en el agua, no sabemos cuántos naufragios ha podido causar”.
¿Qué podemos hacer para que la inteligencia artificial no discrimine?
Tenemos que incorporar la diversidad, tanto en los datos como en las empresas que generan los principales recursos tecnológicos. Eso es algo que se está empezando a hacer, aunque a veces es a un nivel cosmético. Hace poco leía acerca de la diferencia entre diversidad e inclusión. Diversidad es que tengas diferentes personas en la mesa, pero inclusión es que esas personas tengan voz y que sea incorporada.
Luego está el tema de los datos con los que están aprendiendo los algoritmos. La clave está en reflejar no solo lo que dicen las mayorías, tenemos que hacer un esfuerzo para recoger también a las minorías que se quedan fuera. No podemos decir “es que la sociedad es así y la tecnología lo único que hace es reflejarlo” porque tenemos la oportunidad de equilibrarlo. Eso es muy importante porque la tecnología ha conseguido un gran truco de magia, hacer que pensemos que va a tomar decisiones mejores que una persona. Damos por hecho que un algoritmo es neutro y no es verdad.
El estudio que has realizado forma parte de la estrategia Gender Equality de la Comisión Europea, ¿se están dando pasos en Europa para reducir estos sesgos?
Frente a otros territorios, en Europa preocupa más la parte ética y este informe está en esa línea. El objetivo del proyecto es sobre todo acercar este enfoque a las personas que están haciendo investigación e innovación para que lo incorporen en su método. El paso más importante es que desde la Comisión Europea se quiere incorporar la perspectiva de género en el próximo programa Horizonte Europa, que empieza en 2021. Es algo clave porque significa que los proyectos de I+D+i que quieran acceder a fondos europeos van a tener que incorporar ese enfoque.
Noticias relacionadas
Veiss lleva más de 20 años ayudando en la transformación digital de empresas y entidades locales
La empresa alavesa realiza webs corporativas, aplicaciones móviles o tiendas online para todo tipo de sectores.
Lancor, líder europeo en la fabricación de motores eléctricos para elevación
La empresa de Abanto-Zierbena, beneficiaria de una ayuda del programa de Competencias Digitales Profesionales del Grupo SPRI, apuesta por desarrollar productos propios para exportación
Rebel Tickets, la empresa vizcaína creada para luchar contra el fraude y los precios abusivos en la reventa de entradas
En la actualidad, trabaja con promotores de festivales, conciertos y otros eventos que quieren ofrecer reventa autorizada a su público.
Mercanza: “Ayudamos al cliente a convertirse en un experto en la explotación de sus propios datos”
La firma ofrece soluciones y servicios que van más allá de la tradicional transformación digital, con el objetivo de impulsar la eficiencia y productividad de las empresas.
Zabalgarbi moderniza su infraestructura con herramientas de análisis en tiempo real
Además de la implantación del gemelo digital y tecnologías basadas en inteligencia artificial, entre otras, la empresa está centrada en la instalación de un sobrecalentador de vapor, una iniciativa estratégica hacia la mejora de la eficiencia energética y la sostenibilidad operativa.
El proyecto HIMUGI busca lograr un sistema de propulsión de hidrógeno con aplicaciones en movilidad y transporte
Cuenta con una amplia participación y colaboración entre entidades vascas y ha recibido la ayuda económica del programa Hazitek de SPRI.
El centro tecnológico Ceit ha promovido 20 spin-offs que generan más de 300 empleos y han traído una inversión cercana a los 30 M€
El consejero Mikel Jauregi visita Ceit, centro tecnológico de referencia en investigación aplicada y transferencia de tecnología a la empresa
GAIA realiza un diagnóstico de las necesidades formativas del sector TIC y desarrolla itinerarios formativos para dar respuesta a las demandas del mercado
La participación de entidades del sector, gubernamentales, sociedades públicas y el sistema educativo han sido cruciales para añadir valor al estudio, subrayan desde GAIA
Senvia Systems guía a otras empresas en su impulso y transformación digital
La empresa guipuzcoana fundada el pasado año ofrece servicios y consultoría de IT centrados en sistemas, comunicaciones y ciberseguridad.
Akting, tecnología para aportar valor a la sociedad
La empresa guipuzcoana desarrolla aplicaciones para diferentes soportes y apuesta por la digitalización, la analítica de datos y la optimización de procesos.