Investigadors de la UOC dissenyen una eina per detectar prejudicis en desenvolupaments d'IA

Els models d'IA generativa com ChatGPT s'entrenen amb una gran quantitat de dades obtingudes de pàgines web, fòrums, xarxes socials i altres fonts d'internet, que poden provocar diferents biaixos nocius o discriminatoris en les seves respostes. Investigadors de la Universitat Oberta de Catalunya (UOC) i de la Universitat de Luxemburg han desenvolupat LangBiTe, un programa open source (de codi obert) que avalua si aquests models estan lliures de biaixos i compleixen amb les regulacions vigents sobre no-discriminació.

"L'objectiu de LangBiTe no és comercial, sinó servir com a recurs útil tant per a creadors d'eines d'IA generativa com per a perfils d'usuari no tècnics, que contribueixi a detectar i mitigar els biaixos dels models i ajudi, en definitiva, a tenir millors IA en el futur", explica Sergio Morales, investigador del grup Systems, Software and Models (SOM Research Lab), de l'Internet Interdisciplinary Institute (IN3) de la UOC, el treball de doctorat del qual es basa en aquesta eina. El projecte ha estat supervisat pel professor dels Estudis d'Informàtica, Multimèdia i Telecomunicació i investigador líder del SOM Research Lab Robert Clarisó i per l'investigador de la Universitat de Luxemburg Jordi Cabot.

Més enllà de la discriminació de gènere

LangBiTe es diferencia d'altres programes similars pel seu abast i, segons els investigadors, es tracta de l'eina "més completa i detallada" que hi ha actualment. "Anteriorment, la majoria dels experiments se centraven en la discriminació de gènere home-dona, sense considerar altres aspectes ètics importants o minories vulnerables. Amb LangBiTe hem comprovat fins a quin punt alguns models d'IA poden respondre a certes qüestions de manera racista, des d'un punt de vista polític clarament parcial, o amb connotacions homòfobes o trànsfobes", expliquen.

A més, els investigadors assenyalen que, tot i que en altres treballs s'han creat classificacions de models d'IA respecte a diverses dimensions, el seu enfocament ètic ha estat "massa superficial, sense detallar els aspectes específics avaluats".

Un programa flexible i adaptable

El nou programa permet analitzar si una aplicació o eina que incorpora funcions basades en models d'IA s'adapta als requisits ètics o comunitats d'usuaris concrets de cada institució o organisme. "LangBiTe no prescriu cap marc moral particular. El que és ètic i el que no ho és depèn sobretot del context i la cultura de l'organització que desenvolupa i incorpora característiques basades en models generatius d'IA en el seu producte. Per tant, el nostre enfocament permet als usuaris definir les seves pròpies preocupacions ètiques i els seus corresponents criteris d'avaluació per adaptar l'avaluació del biaix al seu context cultural particular i a l'entorn regulador", expliquen els investigadors.

Amb aquest objectiu, LangBiTe inclou biblioteques amb més de 300 prompts —instruccions o preguntes que es fan servir per interaccionar amb la IA— destinats a revelar biaixos en els models, cadascuna d'elles especialitzada en una preocupació ètica particular: edatisme, LGBTIQA-fòbia, preferències polítiques, prejudicis religiosos, racisme, sexisme i xenofòbia. Cadascun d'aquests prompts té unes respostes associades per poder valorar si la resposta del model està esbiaixada. A més, també inclou plantilles de prompts que es poden modificar, la qual cosa permet a l'usuari ampliar i enriquir la col·lecció original amb noves preguntes o preocupacions ètiques.

Molt més que ChatGPT

Actualment, LangBiTe proporciona accés als models propietaris d'OpenAI (GPT-3.5, GPT-4) i altres desenes de models d'IA generativa disponibles a Hugging Face i Replicate, que són plataformes que faciliten interactuar amb una gran varietat de models com els de Google i Meta. "A més, qualsevol desenvolupador interessat pot estendre la plataforma LangBiTe per avaluar altres models, incloent-hi els seus propis", afegeix Morales.

El programa també permet comprovar en tot moment la diferència entre respostes de diferents versions d'un mateix model i entre models de diferents proveïdors. "Per exemple, vam veure que la versió disponible de ChatGPT 4 tenia una taxa d'èxit de proves contra el biaix de gènere del 97 %, superior a l'obtinguda per la versió disponible en aquell moment de ChatGPT 3.5, amb un 42 % d'èxit. En aquesta mateixa data vam veure que, per al model Flan-T5 de Google, com més gran era, menys esbiaixat es mostrava respecte a gènere, religió i nacionalitat", recorda l'investigador.

Anàlisi multilingüe i multimèdia

Els models d'IA més populars van néixer a partir de contingut en anglès, però gradualment s'estan desenvolupant iniciatives regionals amb models entrenats en altres idiomes, com ara català o italià. En aquesta línia, els investigadors de la UOC han incorporat la funció d'avaluar eines en diferents idiomes, fet que permet als usuaris "detectar si un model mostra biaixos depenent del llenguatge que s'empra per a les consultes", assenyala Morales.

A més, també estan treballant per ser capaços d'analitzar models que generen imatges com Stable Diffusion, DALL·E i Midjourney. "L'aplicació actual d'aquestes eines va des de l'elaboració de llibres infantils fins a l'acompanyament de notícies, la qual cosa pot portar a la propagació d'estereotips tergiversadors o nocius, que òbviament la societat està interessada a erradicar. Esperem que el futur LangBiTe sigui útil per detectar, i apel·li a corregir, qualsevol tipus de biaix present en imatges generades per aquests models", destaca l'investigador de la UOC.

Una eina per complir amb l'EU AI Act

Les característiques d'aquesta eina poden ajudar a complir amb la recent Llei d'intel·ligència artificial de la Unió Europea (EU AI Act), que té com a comesa vetllar perquè els nous sistemes amb IA promoguin l'accés equitatiu, la igualtat de gènere i la diversitat cultural, i que en cap cas el seu ús comprometi els drets de no-discriminació estipulats per la Unió i les lleis nacionals dels seus països membres.

En aquest sentit, el programa ja ha estat adoptat per institucions com el Luxembourg Institute of Science and Technology (LIST), que ha integrat LangBiTe per avaluar diversos models d'IA generativa populars.

Aquesta recerca afavoreix els Objectius de Desenvolupament Sostenible de l’ONU: 5. Igualtat de gènere i 9. Indústria, Innovació i Infraestructura. 

Article relacionat

Sergio Morales, Robert Clarisó, and Jordi Cabot. 2024. A DSL for Testing LLMs for Fairness and Bias. In Proceedings of the ACM/IEEE 27th International Conference on Model Driven Engineering Languages and Systems (MODELS '24). Association for Computing Machinery, New York, NY, USA, 203–213. https://doi.org/10.1145/3640310.3674093

UOC R&I

La recerca i innovació (R+I) de la UOC contribueix a solucionar els reptes a què s'enfronten les societats globals del segle XXI mitjançant l'estudi de la interacció de la tecnologia i les ciències humanes i socials, amb un focus específic en la societat xarxa, l'aprenentatge en línia i la salut digital.

Els més de 500 investigadors i investigadores i més de 50 grups de recerca s'articulen entorn dels set estudis de la UOC, un programa de recerca en aprenentatge en línia (e-learning research) i dos centres de recerca: l'Internet Interdisciplinary Institute (IN3) i l'eHealth Center (eHC).

A més, la Universitat impulsa la innovació en l'aprenentatge digital mitjançant l'eLearning Innovation Center (eLinC), i la transferència de coneixement i l'emprenedoria de la comunitat UOC amb la plataforma Hubbik.

Els objectius de l'Agenda 2030 per al Desenvolupament Sostenible de les Nacions Unides i el coneixement obert són eixos estratègics de la docència, la recerca i la innovació de la UOC. Més informació: research.uoc.edu.