Com es poden eliminar els biaixos de gènere en els algorismes d'internet

Sobre si els algorismes d'internet amb els quals interactuem constantment presenten un biaix de gènere s'han escrit rius de tinta; n'hi ha prou amb una simple entrada al cercador per comprovar-ho. No obstant això, segons els investigadors d'un nou estudi que intenta arribar a una conclusió sobre aquesta pregunta, "fins ara, el debat ha estat allunyat d'una anàlisi científica". Aquest nou treball, emprès per un equip transdisciplinari, mostra una nova manera d'abordar la pregunta i proposa algunes solucions per evitar aquestes desviacions en les dades i la discriminació que porten associada.

Els algorismes s'empren cada vegada més per decidir si es concedeix o denega un préstec o per acceptar sol·licituds. A mesura que augmenta el nombre d'aplicacions d'intel·ligència artificial (IA), així com les seves capacitats i la seva rellevància, és més important avaluar els possibles prejudicis adherits a aquestes operacions. "Si bé aquest no és un concepte nou, hi ha molts casos en els quals aquest problema no s'estudia, de manera que se n'ignoren les possibles conseqüències", afirmen responsables de la recerca publicada en accés obert a la revista Algorithms, enfocada principalment al biaix de gènere en diferents camps de la IA.

Aquests prejudicis poden tenir grans impactes en la societat: "Els biaixos afecten totes les persones que estiguin discriminades o excloses o associades a un estereotip. Per exemple, podrien excloure un gènere o una raça d'un procés de decisió o, simplement, assumir un comportament determinat pel gènere o el color de la pell", explica la seva investigadora principal, Juliana Castañeda Jiménez, estudiant de doctorat industrial de la Universitat Oberta de Catalunya (UOC), sota la direcció d'Ángel A. Juan, de la Universitat Politècnica de València, i Javier Panadero, de la Universitat Politècnica de Catalunya - BarcelonaTech (UPC).

Segons Castañeda, "és possible que els processos algorítmics discriminin per gènere, fins i tot quan estan programats per ser 'cecs' a aquesta variable". L'equip investigador —en el qual, a més, participen els investigadors Milagros Sáinz i Sergi Yanes, del grup de Gènere i TIC (GenTIC) de l'Internet Interdisciplinary Institute (IN3), Laura Calvet, de l’Escola Universitària Salesiana de Sarrià, Assumpta Jover, de la Universitat de València, així com Ángel A. Juan— ho exposa amb diversos exemples: el cas d'una coneguda eina de contractació que preferia els candidats masculins als femenins, o el d'alguns serveis de crèdit que oferien condicions menys avantatjoses per a les dones que per als homes. "Si s'utilitzen dades històriques i no estan equilibrades, probablement s'observarà un condicionament negatiu relacionat amb demografia negra, gai i fins i tot femenina, depenent de quan i d'on són aquestes dades", indica Castañeda.

Ells, ciències i elles, arts

Per saber el grau d'afectació per aquests patrons que experimenten els diferents algorismes als quals ens enfrontem, els investigadors van analitzar treballs anteriors que identificaven biaixos de gènere en processaments de dades en quatre tipus d'IA: la que descriu aplicacions en processament i generació de llenguatge natural, l'encarregada de la gestió de decisions, i la de reconeixement facial i de veu.

En general, van trobar que tots els algorismes identifiquen i classifiquen millor els homes blancs. A més, van observar que reproduïen creences falses sobre com haurien de ser els atributs físics que defineixen les persones segons el seu sexe biològic, origen ètnic o cultural, o orientació sexual, i que, així mateix, associaven de manera estereotipada la masculinitat i la feminitat amb les ciències i les arts, respectivament.

Molts dels procediments emprats en aplicacions de reconeixement d'imatge o veu també es basen en aquests estereotips: igual que les càmeres reconeixen més bé les cares blanques, l'anàlisi d'àudio té problemes amb les veus més agudes, cosa que afecta principalment les dones.

Els casos més susceptibles de presentar aquests defectes són els algorismes que es construeixen a partir de l'anàlisi de dades reals que porten associat un context social. "Algunes de les causes principals són la infrarepresentació de les dones en el disseny i el desenvolupament de productes i serveis d'IA i l'ús de conjunts de dades amb biaixos de gènere", assenyala la investigadora, que creu que el problema està relacionat amb els entorns culturals en els quals són desenvolupats.

"L'algorisme, en entrenar-se amb dades esbiaixades, pot determinar els patrons ocults que hi ha socialment, i a l'hora d'operar, els reprodueix. Així que, si en la societat, la representació d'homes i dones no és equilibrada, el disseny i el desenvolupament dels productes i serveis d'IA mostraran biaixos de gènere."

Com es pot suprimir aquesta tendència?

Les múltiples fonts de biaix de gènere, així com les particularitats de cada classe d'algorisme i conjunt de dades fan que eliminar aquesta desviació sigui un desafiament particularment difícil, però no impossible. "Cal que els dissenyadors i totes les persones involucrades en el seu desenvolupament estiguin informades sobre la possibilitat de tenir biaixos associats a la lògica d'un algorisme. A més, han de conèixer les mesures que hi ha per minimitzar al màxim els possibles biaixos i aplicar-les perquè no es produeixin, perquè, si són conscients de les discriminacions que s'esdevenen en la societat, sabran identificar quan els seus desenvolupaments les reprodueixen", proposa Castañeda.

La novetat d'aquest treball rau en el fet que ha estat promogut per especialistes en diferents àrees, en què hi ha, entre d'altres, una sociòloga, un antropòleg i expertes en gènere o estadística. "Els membres de l'equip van completar una perspectiva que va més enllà de la matemàtica autònoma associada a l'algorisme i, així, vam poder considerar l'algorisme com un sistema sociotècnic complex", descriu la investigadora principal de l'estudi.

"Si es compara aquest treball amb d'altres, penso que és un dels pocs que presenta la temàtica dels biaixos en els algorismes des d'una perspectiva neutra, en què es destaquen tant els aspectes socials com els tècnics per identificar per què un algorisme pren una decisió esbiaixada", conclou.

Aquesta recerca de la UOC afavoreix els objectius de desenvolupament sostenible (ODS) de l'ONU: 5, igualtat de gènre, i 10, reducció de les desigualtats.

Article relacionat

CASTANEDA, J.; JOVER, A.; CALVET, L.; YANES, S.; JUAN, A. A.; SAINZ, M. Dealing with Gender Bias Issues in Data-Algorithmic Processes: A Social-Statistical Perspective. A: Algorithms (2022). https://doi.org/10.3390/a15090303

UOC R&I

La recerca i innovació (R+I) de la UOC contribueix a solucionar els reptes a què s'enfronten les societats globals del segle xxi, mitjançant l'estudi de la interacció entre la tecnologia i les ciències humanes i socials, amb un focus específic en la societat xarxa, l'aprenentatge en línia i la salut digital.

Els més de 500 investigadors i investigadores i els 51 grups de recerca s'articulen entorn dels set estudis de la UOC, un programa de recerca en aprenentatge en línia (e-Learning Research) i dos centres de recerca: l'Internet Interdisciplinary Institute (IN3) i l'eHealth Center (eHC).

A més, la Universitat impulsa la innovació en l'aprenentatge digital a través de l'eLearning Innovation Center (eLinC) i la transferència de coneixement i l'emprenedoria de la comunitat UOC amb la plataforma Hubbik.

Els objectius de l'Agenda 2030 de desenvolupament sostenible de les Nacions Unides i el coneixement obert són eixos estratègics de la docència, la recerca i la innovació de la UOC. Més informació: research.uoc.edu