Lorena Fernández: “Gizartea ordezkatzen ez duten datu partzialekin elikatzen ditugu algoritmoak”
Lorena Fernández Álvarezek, Deustuko Unibertsitateko Nortasun Digitaleko zuzendariak, ikerketa bat egin du jakiteko aurpegien errekonozimenduko sistema automatikoek nola diskriminatzen dituzten biztanleriaren hainbat sektore, generoa edo azalaren kolorea bezalako aldagaietan oinarrituta. Ikerlan hori argitara eman da Europako Batzordeak bultzatutako Gendered Innovations II txostenean, non aztertzen den nola genero-ikuspegiak berrikuntza eta ezagutza berria ekar dezakeen I+G+B-ko proiektuetara.
Zeintzuk dira aurpegien errekonozimendu-sistemetan gertatzen diren genero-etenak?
Ikerketa honetan ikuspegi globalago bat erabili nahi izan dugu, generoaz gain, aintzat hartuz orobat intersekzionalitatea. Hau da, kontuan hartu ditugu kategoria sozial desberdinetako kide izatetik eratorritako diskriminazio-modu gurutzatuak, hala nola, generoa, etnia, adina, sexu orientazioa, kokapen geografikoa, e.a. Aurpegien errekonozimendu-tekniketan asko nahasten dira aldagai horiek.
Horren adibide argia da Gender Shades izeneko lana, MITeko ikerlari Joy Buolamwini eta Timnit Gebru-k 2018an egin zutena. Buolamwini-k aurpegien errekonozimendurako proiektu bat zuen eskuartean, eta halako batean ohartu zen sistemak ez zuela errekonozitzen bere aurpegia emakume beltza zelako. Hortik abiatuta, gehien erabiltzen diren software komertzialak aztertzen hasi ziren, eta ohartu ziren sesgo handia zegoela gizon eta emakumeen artean, baina are gehiago handitzen zela azalaren kolorearen arabera.
Nolako ondorio sozialak eragiten dituzte sesgo horiek?
Gerta liteke norbere sakelakoa ezin desblokeatzea, eta hori gogaikarria da baina ez du hainbesteko inpakturik. Halere, kontua hori baino larriagoa da. Amazon Recognition sistemaren kasuan, adibidez, bezeroek, alegia, korporazioek eta administrazio publikoek sistema hori erabili nahi dute segurtasun- eta zaintza-lanetarako. Eta hor, intzidentzia askoz esanguratsuagoa da.
Generoarekin eta arrazarekin lotutako sesgoez gain, badaude aurpegien errekonozimendu-sistemetan eragina duten beste aldagai batzuk, esaterako, makillajea. Aurpegiko kosmetikoek % 76raino murrizten dute sistemaren zehaztasuna, ez baitira kontuan hartzen parametro gisa. Orobat aipagarria da Trans kolektiboaren errekonozimendua. Estatu Batuetan badago kasu famatu bat, Uber auto bat gidatzen zuen trans pertsona batena, zeinak egunero bi orduz bidaiatu behar izaten zuen tokiko bulego batera bere burua identifikatzeko, Uber aplikazioak darabilen errekonozimendu automatikorako sistemak ez zuelako errekonozitzen bere aurpegia.
Adimen artifizialeko teknologien atzean askotan agertzen dira sesgo arrazistak edo matxistak, zergatik da hori?
Arrazoiak askotarikoak dira. Batetik, algoritmoek sesgoz betetako gizarte batetik ikasten dute, eta erreplikatu eta handitu egiten dituzte. Horren adibide dira kontrataziorako softwareak, hortxe dugu hain ezagun egin zen Amazon-en kasua. Sistemak kontratazioei buruzko aurretiazko informazioa erabiltzen zuen erabakiak hartzeko, eta emakume gutxi zeudenez kontratatuta, sistemarentzat emakumeak baztertzeko faktore bat zen hori. Datuetan oinarrituta, sistemak orobat identifikatu zuen hobe zela inoiz lan egiteari utzi ez zioten pertsonak kontratatzea; hala, zigortu egiten zituen zaintza-zereginak egiteko beren lana utzi behar izan zuten guztiak. Kasu honetan sesgoa ez da hain agerikoa, eta zailagoa da identifikatzeko.
Baita ere aipatu duzu datu partzialekin elikatzen ditugula algoritmoak, eta horixe dela arazoa…
Bai, aurpegien errekonozimendu automatikoaren kasuan, azal argia duten pertsonen irudiak erabiltzen ditugu sistemak entrenatzeko, eta batez ere gizonezkoenak. Ez dugu gizartea irudikatzen bere osotasunean, baizik eta zati bat bakarrik, eta kezkagarriena da sesgoak txertatzen ari garela etorkizuneko teknologiak elikatuko dituzten datu baseetan. John Herschel-ek hauxe esan zuen 1842an: “taula logaritmiko batean ikusten ez den akats bat uretan murgildutako arroka baten modukoa da, ez dakigu zenbat naufragio eragin dituen”.
Zer egin dezakegu adimen artifiziala ez dadin izan diskriminatzailea?
Aniztasuna txertatu behar dugu bai datuetan eta bai baliabide teknologiko garrantzitsuenak sortzen dituzten enpresetan. Dagoeneko hasiak gara hori egiten, baina batzuetan oso azaletik. Duela gutxi irakurri nuen zein den aniztasunaren eta inklusioaren arteko aldea. Aniztasuna da mahaian mota desberdinetako pertsonak edukitzea, baina inklusioa da pertsona horiek guztiek ahotsa izatea eta ahots guztiak entzutea.
Eta gero kontuan hartu behar da zein datutatik ari diren ikasten algoritmoak. Saiatu behar dugu ez islatzen soilik gehiengoek esaten dutena, baizik eta baita ere normalean kanpoan gelditzen diren gutxiengoek esaten dutena. Ezin dugu esan “gizartea horrelakoa da eta teknologiak horixe islatu besterik ez du egiten”, posible dugulako oreka bat lortzea. Hori oso garrantzitsua da, teknologiak magiazko truku handi bat egitea lortu duelako: pentsarazi digu pertsona batek baino erabaki hobeak har ditzakeela. Uste dugu algoritmoak neutroak direla, eta hori ez da egia.
Egin duzun azterlana Europako Batzordearen Gender Equality estrategiaren barruan kokatzen da, Europa urratsak ematen ari da sesgo horiek murrizteko?
Beste lurralde batzuekin alderatuta, Europa kezkatuago dago alderdi etikoarekin, eta txosten hau ildo horretatik doa. Proiektuaren helburua da, batik bat, ikuspegi hori helaraztea ikerketan eta berrikuntzan lan egiten dutenei, euren metodoan txertatu dezaten. Europako Batzordeak eman nahi duen urrats garrantzitsuena da genero perspektiba txertatzea 2021ean hasiko den Horizontea Europa programan. Funtsezko urratsa da, esan nahi baitu Europako funtsak eskuratu nahi dituzten I+G+B-ko proiektuek txertatuta izan beharko dutela ikuspegi hori.
