Deadbots i regulació: un debat ètic i legal imprescindible

El nou marc legal europeu sobre intel·ligència artificial (IA), l'EU AI Act va entrar en vigor el passat 1 d'agost amb l'objectiu d'evitar violacions de drets que es puguin donar amb l'aplicació d'aquesta tecnologia. La normativa classifica la IA segons el nivell de risc que pugui tenir per als individus i la societat, i prohibeix tecnologies que suposin un "risc inacceptable", com, per exemple, les que manipulen i exploten la vulnerabilitat de les persones.

Una tecnologia que podria entrar en aquesta categoria són els anomenats deadbots, que algunes empreses ja estan desenvolupant per portar-los al mercat en un futur pròxim. Es tracta de xatbots que es dissenyen a partir de l'empremta digital d'una persona morta (missatges de WhatsApp, de xarxes socials, correus electrònics, etc.) i que són capaços de mantenir converses amb els familiars i amics del mort, emulant la seva personalitat. Encara que pugui semblar ciència-ficció, no ho és, i serveis d'aquest tipus són cada vegada més a prop del que puguem imaginar.

La doctora en Psicologia Belén Jiménez, professora dels Estudis de Psicologia i Ciències de l'Educació i investigadora del grup CareNet, de l'IN3 de la Universitat Oberta de Catalunya (UOC),  és especialista en la mediació tecnològica del dol, i un dels seus focus de recerca són els deadbots, àmbit en el qual  ha publicat diversos estudis. 

Un debat complex sense respostes clares

"Malgrat que els deadbots encara no estiguin comercialitzats, cal reflexionar sobre els aspectes bioètics d'aquesta tecnologia.  És possible que d'aquí a poc se'n normalitzi l'ús, com ha passat amb altres aplicacions que en un primer moment van poder sorprendre socialment, però l'ús de les quals avui està estès, com, per exemple, les aplicacions de cites. Cada vegada sorgeixen més empreses en àmbit de l'anomenada digital afterlife industry, i van millorant la tecnologia", explica Jiménez. La doctora en Psicologia creu essencial "estudiar com els deabots mediatitzen el dol i poden arribar a transformar-lo. És un camp sobre el qual gairebé no hi ha estudis científics i no hi ha respostes clares, perquè el seu ús i els seus efectes depenen de diversos factors, entre ells, de com es dissenyen aquestes tecnologies".

Entre altres aspectes, la nova legislació europea estableix que els xatbots han d'informar l'usuari que s'està comunicant amb un programa informàtic i no amb una persona. Encara que classifica aquesta tecnologia com de "risc limitat", en contextos sensibles com el de la salut —que seria el cas dels deadbots—, les implicacions d'aquests programes s'han d'analitzar a consciència.

En les recerques realitzades per Belén Jiménez, que també és membre del grup de recerca CERPOP de la Universitat de Tolosa, s'ha vist que els malalts manifesten una actitud ambivalent cap a aquesta nova tecnologia: el desig de mantenir els llaços afectius amb els seus éssers estimats es barreja amb la inquietud que provoca interactuar amb un programa basat en l'empremta digital del mort.

Els deadbots es basen en els anomenats "llaços continus" entre el malalt i la persona traspassada, un terme freqüent en el camp de la psicologia del dol. La investigadora de la UOC assegura que "aquestes tecnologies aprofiten la necessitat dels éssers humans d'establir vincles emocionals". En realitat, podria equivaler a una versió tecnològica i avançada de conversar de manera imaginària amb el nostre ésser estimat davant la seva tomba o mantenir el seu record a través de fotografies i vídeos. "Aquesta necessitat de mantenir els vincles no ha de ser patològica per se —explica Jiménez—, i és una cosa normal per a moltes persones. Amb tot, en l'ús dels deadbots s'han d'establir certes precaucions, i és essencial regular-ne l'ús, ja que els interessos de lucre de les empreses que els comercialitzen poden no estar alineats amb el potencial ús terapèutic que pugui tenir aquesta tecnologia".

A manca d'estudis, Jiménez apunta que els efectes psicològics d'aquestes tecnologies estaran condicionats pel mateix usuari, per la relació que mantenia amb el mort i per la relació que estableixi amb el xatbot. "Un dels perills és que es podrien generar efectes negatius, com la creació d'una relació de dependència i, fins i tot, el sofriment provocat per una segona pèrdua si el deadbot desapareix —per exemple, per problemes tècnics".

Regular la digital afterlife industry

La nostra aspiració a la immortalitat i l'avanç tecnològic donen ales a la digital afterlife industry, un sector que digitalitza la memòria de les persones mortes amb la finalitat d'estendre la seva memòria i fins i tot la seva activitat digital. Tot això comporta no poques implicacions ètiques i socials. Les companyies persegueixen finalitats comercials i econòmiques que poden contradictòries amb els objectius terapèutics potencials d'aquestes eines. Estratègies com que els deadbots enviïn notificacions i altres accions per mantenir "enganxat" el malalt poden ser èticament qüestionables, segons Jiménez.

"Estem davant un nou desenvolupament tecnològic basat en la intel·ligència artificial que comporta riscos elevats i que ha de ser regulat per preveure'n els possibles efectes negatius, al mateix temps que hem de tenir en compte la seva dimensió ètica", assegura la investigadora. "La nova normativa europea està enfocada a promoure la transparència d'aquestes tecnologies, la qual cosa és fonamental en aspectes tan sensibles com el dol. A més, les empreses que desenvolupin aquests serveis hauran de complir estàndards rigorosos i invertir en programes d'auditoria, transparència i documentació", explica. L'AI Act preveu multes de fins a 30 milions d'euros o del 6 % de la facturació d'una corporació si no compleix aquesta regulació.

A manca d'una normativa específica per als deadbots , Jiménez proposa que la regulació "vetlli especialment pel respecte i la dignitat de la persona morta, a més de promoure el benestar psicològic de l'usuari, sobretot si està en dol".

Aquesta recerca afavoreix l'objectiu de desenvolupament sostenible (ODS) 3, de salut i benestar.

Articles de referència:

Jiménez-Alonso, B., & Brescó de Luna, I. (2024). AI and grief: a prospective study on the ethical and psychological implications of deathbots .. In S. Caballé, J. Casas-Roma, & J. Conesa (Eds.), Ethics in online AI-based systems (pp. 175-191). Academic Press. doi: https://doi.org/10.1016/B978-0-443-18851-0.00011-1

Jiménez-Alonso, B., & Brescó de Lluna, I. (2022). Mediación tecnológica en el duelo: un análisis de los griefbots desde la psicología cultural. Pensamiento Psicológico, 20. https://doi.org/10.11144/Javerianacali.PPSI20.mdpc

UOC R&I

La recerca i innovació (R+I) de la UOC contribueix a solucionar els reptes a què s'enfronten les societats globals del segle XXI mitjançant l'estudi de la interacció de la tecnologia i les ciències humanes i socials, amb un focus específic en la societat xarxa, l'aprenentatge en línia i la salut digital.

Els més de 500 investigadors i investigadores i més de 50 grups de recerca s'articulen entorn dels set estudis de la UOC, un programa de recerca en aprenentatge en línia (e-learning research) i dos centres de recerca: l'Internet Interdisciplinary Institute (IN3) i l'eHealth Center (eHC).

A més, la Universitat impulsa la innovació en l'aprenentatge digital mitjançant l'eLearning Innovation Center (eLinC), i la transferència de coneixement i l'emprenedoria de la comunitat UOC amb la plataforma Hubbik.

Els objectius de l'Agenda 2030 per al Desenvolupament Sostenible de les Nacions Unides i el coneixement obert són eixos estratègics de la docència, la recerca i la innovació de la UOC. Més informació: research.uoc.edu.