Quan els algorismes decideixen per tu: un avís sobre l'automatització i la pèrdua de llibertat

Avui dia, sentim que la intel·ligència artificial podrà solucionar gairebé tots els nostres problemes, la medicina serà personalitzada, els tràmits s'agilitaran a les administracions i ja no ens equivocarem quan hàgim de triar una pel·lícula o una cançó en funció dels nostres gustos. Segons la investigadora del grup Communication Networks and Social Change (CNSC), de l'Internet Interdisciplinary Institute (IN3) de la Universitat Oberta de Catalunya (UOC), Andrea Rosales, les nostres societats només veuen avantatges en la digitalització.

No obstant això, en una anàlisi de la novel·la QualityLand, de Marc-Uwe Kling, —una ficció en la qual tot està regulat pels algorismes—, publicada a The De Gruyter Handbook of Automated Futures: Imaginaries, Interactions and Impact, Rosales –amb Sara Suárez– assenyala que hi ha una part més fosca i menys coneguda en les noves tecnologies i en com s'estan implantant. La digitalització forçada de la societat està excloent els col·lectius més vulnerables, ja que els sistemes algorítmics tenen biaixos. A més, les tecnologies semblen capaces de solucionar problemes per als quals, en realitat, no estan preparades.

"Les tecnologies digitals originen grans quantitats de dades i donen la idea que és possible controlar i quantificar la majoria dels aspectes de la vida", explica Rosales, qui també és professora dels Estudis de Ciències de la Informació i de la Comunicació. "Però molts aspectes de la vida quotidiana no són quantificables i moltes quantificacions són aproximacions grolleres de la realitat."

Els algorismes que prenen les nostres decisions també s'equivoquen

Aquesta qüestió té una repercussió en el dia a dia de les persones, que, a vegades sense ser-ne conscients, prenen decisions basades en les recomanacions que ofereixen els algorismes, malgrat els seus possibles errors o els elements que no tenen en compte. "Per exemple, les apps de cites han canviat la manera com busquem parella, donant rellevància a aspectes quantificables de les nostres vides que regeixen el sistema de prioritats que visibilitza als usuaris més populars en aquestes aplicacions".

A més, les dades no són neutrals. Un dels seus riscos és que els biaixos poden reproduir o amplificar els prejudicis que hi ha en la societat perquè no representen els col·lectius menys afavorits. Un problema al qual s'afegeix la falta de lleis que regulin els algorismes d'avui dia, la majoria dels quals són opacs, ja que no se sap com funcionen.

L'anàlisi que fa Rosales de la novel·la QualityLand exposa com la ficció presenta un món que ens és cada vegada més familiar. Els seus temes serveixen per reflexionar sobre els problemes als quals s'enfronten les nostres societats actuals: la manca de llibertat, les frustracions per la digitalització forçada, el tecnooptimisme imperant, la hiperdatificació de la vida quotidiana i les amenaces que els sistemes basats en dades plantegen a la democràcia.

El problema de Peter

Peter Aturat és el protagonista de QualityLand i porta una vida que molts podríem imaginar: la botiga en línia sap exactament el que Peter voldrà i li ho envia abans que ell pensi que ho vol, recorre a una plataforma que li troba la parella adequada i rep qualificacions contínues en el món digital sobre les seves accions. The Shop, QualityPartner i RateMe, els noms d'aquestes aplicacions, gairebé es podrien intercanviar pels d'Amazon, Tinder o Instagram.

Les opinions del personatge tenen poca importància, ja que, en aquest món, els models asseguren conèixer-lo millor que ell mateix: ells tenen accés a tots els aspectes de la seva vida i poden entrar en el seu subconscient. Peter, no obstant això, creu que alguna cosa no va bé. Se sent desconnectat dels amics, la parella i els objectes que l'algorisme li ha triat.

Les dades poden tenir punts cecs: poden contenir prejudicis, cometre errors o, simplement, registrar només alguns elements de la realitat, i deixar-ne d'altres fora. Però quan hi ha errors en els sistemes, aquests solen assumir que és l'usuari qui té un problema —el que la novel·la denomina "el problema de Peter"—, i no reconeixen que és simplement un indicador de com funciona la marginació en l'automatització de la presa de decisions.

Digitalització forçada

Per a Rosales, un dels grans problemes actuals és la "digitalització forçada". En la novel·la, la ciutadania es veu obligada a desenvolupar les seves activitats en el món digital perquè no tenen cap altra alternativa. I aquesta manca d'opcions analògiques permet que el govern i les companyies tecnològiques tinguin més controlades les seves vides. Això és un fet que, en les nostres societats, es veu diàriament. Cada vegada és més habitual tenir serveis públics en els quals es restringeix la presencialitat o no es pot accedir a certa informació fora d'internet.

L'autora assenyala que l'efecte negatiu d'aquesta falta d'opció a la digitalització és que les persones amb menys coneixements tècnics o sense interès per aquests temes es veuen excloses o passen a dependre d'altres persones.

Una crítica al tecnooptimisme

Rosales fa servir l'exemple de QualityLand per desmentir la idea que la tecnologia sempre farà la nostra vida més fàcil, per exemple, triant més bé per nosaltres. En canvi, produirà problemes nous, com la falta d'autonomia o l'augment de la desigualtat. També provocarà riscos derivats de l'ús excessiu de les dades.

"El problema de Peter", explica Rosales, "es manifesta en la seva lluita per intentar encaixar en un sistema governat per dades que no entén". Hi ha algorismes opacs que prenen decisions per ell, malgrat que ningú no sap quins són els seus processos i raonaments. "Aquesta opacitat s'acostuma a justificar com a secret comercial, mesura de seguretat, política de prevenció del frau o a causa de la complexitat dels algorismes. Les lleis es queden curtes enfront de tots els reptes socials i polítics que plantegen. Però la datificació de la vida quotidiana, més enllà de les dades esbiaixades i les prediccions inexactes, repercuteix en el dia a dia de les persones, en com s'interrelacionen i en la manera com formen part de la societat."

Un nou tipus de democràcia

Un altre aspecte interessant que planteja és el futur de la democràcia. A QualityLand, un androide, John of Us, es presenta a la presidència del país, perquè el seu partit assumeix que la ciutadania confiarà més en un robot que en un humà. Un robot té més dades i memòria, i pot buscar arguments més objectius a l'hora de prendre decisions. Ara bé, hem de fer aquest pas?

L'autora assenyala que a aquesta proposta, anomenada "política augmentada", hi donen suport alguns sectors de l'acadèmia i les grans tecnològiques. Però planteja amenaces noves, ja que, en la cerca del benefici de la majoria, pot excloure les minories i, un fet encara més preocupant, es pot convertir en un sistema de decisions molt difícil de sotmetre a mecanismes de rendició de comptes.

"A QualityLand, els ciutadans perden el control sobre les dades i sobre com s'utilitzen per prendre decisions crucials que afecten els seus drets i llibertats fonamentals", explica Rosales. Treballar per protegir les persones més desprotegides i cercar models en els quals el govern mantingui la seva independència enfront de les grans tecnològiques són dos passos que, per a aquesta investigadora, resulten essencials per protegir les democràcies i els drets bàsics.

La recerca del grup CNSC promou, entre altres aspectes, l'objectiu de desenvolupament sostenible 10 de l'ONU: Reducció de les desigualtats.

Article de referència

Rosales, Andrea i Suárez-Gonzalo, Sara. "Chapter 3 Peter's Problem. An Analysis of the Imaginaries about Automated Futures Portrayed in QualityLand". The De Gruyter Handbook of Automated Futures: Imaginaries, Interactions and Impact, editat per Vaike Fors, Martin Berg i Meike Brodersen, Berlín, Boston: De Gruyter, 2024, pàg. 37-54. https://doi.org/10.1515/9783110792256-003

UOC R&I

La recerca i innovació (R+I) de la UOC contribueix a solucionar els reptes a què s'enfronten les societats globals del segle XXI mitjançant l'estudi de la interacció de la tecnologia i les ciències humanes i socials, amb un focus específic en la societat xarxa, l'aprenentatge en línia i la salut digital.

Els més de 500 investigadors i investigadores i més de 50 grups de recerca s'articulen entorn dels set estudis de la UOC, un programa de recerca en aprenentatge en línia (e-learning research) i dos centres de recerca: l'Internet Interdisciplinary Institute (IN3) i l'eHealth Center (eHC).

A més, la Universitat impulsa la innovació en l'aprenentatge digital mitjançant l'eLearning Innovation Center (eLinC), i la transferència de coneixement i l'emprenedoria de la comunitat UOC amb la plataforma Hubbik.

Els objectius de l'Agenda 2030 per al Desenvolupament Sostenible de les Nacions Unides i el coneixement obert són eixos estratègics de la docència, la recerca i la innovació de la UOC. Més informació: research.uoc.edu.