ChatGPT no és infal·lible: els errors més comuns d'aquesta eina

ChatGPT, l'eina d'intel·ligència artificial (IA) generativa que es va llançar a finals del 2022, ja és utilitzada per milions d'internautes espanyols. Segons una enquesta de l'Organització de Consumidors i Usuaris (OCU) que es va fer pública el juliol passat, un de cada dos usuaris ja l'ha provat. No obstant això, només un 11 % diu que fa servir l'eina amb freqüència, i el percentatge baixa al 3 % quan la pregunta és si s'empra diàriament.

Un dels factors que expliquen que l'ús de ChatGPT no s'hagi popularitzat més és que els internautes no confien en la informació que ofereix: el 24 % dels enquestats al·leguen "falta de confiança en les respostes generades" com a resposta a la pregunta de per què no el fan servir. I és que, com explica Josep Curto, professor dels Estudis d'Informàtica, Multimèdia i Telecomunicació de la UOC, "en cap cas, hem de considerar que ChatGPT és infal·lible". "De fet, per construcció, com que es tracta d'un sistema generatiu, pot introduir errors, anomenats sovint al·lucinacions, en un clar cas d'antropomorfisme", explica.

Segons Curto, tot i que ChatGPT i les eines similars poden incrementar la productivitat en múltiples tasques, cal conèixer les limitacions i els errors d'aquesta mena de sistemes. "Alguns dels errors més freqüents de ChatGPT són molt importants i poden afectar significativament les respostes que proporciona", afirma Curto. Entre aquests errors, l'expert destaca el fet de descriure de manera incorrecta fets verificables, generar respostes incompletes, respondre a tota mena de preguntes encara que no sàpiga la resposta i fer-ho de manera convincent, introduir més errors en idiomes que no són l'anglès, detallar el procés "suposadament" emprat per generar una resposta encara que sigui impossible, raonar matemàticament, i proporcionar respostes no ètiques o amb biaixos humans, tècnics o sistèmics.

Per aquesta raó, tot i que els creadors de models grans de llenguatge o LLM (en aquest cas, OpenAI) actualitzin cada cert temps el sistema per introduir millores i reduir alguns d'aquests errors en la mesura possible, cal ser-ne conscients. Per tant, els experts recomanen confirmar les respostes amb altres fonts fiables, augmentar el coneixement respecte a l'àmbit relacionat amb la pregunta per poder reconèixer errades i biaixos, i fer servir l'eina com un generador de plantilles que ens permetin construir la resposta que busquem en lloc d'acceptar-la directament. "En resum, hem de fer servir les respostes de ChatGPT o altres sistemes com una font addicional que pot proporcionar informació esbiaixada, incorrecta o fins i tot fictícia, i hem de comprovar la fiabilitat de les dades obtingudes", adverteix Josep Curto. L'expert afegeix que, si es manté l'enfocament generatiu dels sistemes actuals, els possibles errors continuaran almenys a mitjà termini.

"Per treure el màxim profit de ChatGPT, és recomanable conèixer detalladament què pot fer aquesta eina, aprendre a crear preguntes més precises (el que es coneix com a prompt engineering), identificar una col·lecció de fonts fidedignes prou àmplia per validar les respostes i desenvolupar un esperit crític per continuar aprenent", indica el professor de la UOC.

Alternatives a ChatGPT

A més de tots els aspectes anteriors, una altra recomanació que ens pot ajudar és el fet de disposar d'almenys dues alternatives a ChatGPT per poder comparar les respostes i determinar quina encaixa més amb les nostres necessitats. Com recorda Josep Curto, tot i que ChatGPT és el bot més conegut, hi ha múltiples opcions (tant de pagament com gratuïtes) que poden funcionar com a alternatives a aquest sistema d'IA generativa, que a més a vegades està saturat.

"Algunes d'aquestes alternatives ofereixen més capacitat de tokens (és a dir, podem tenir més respostes amb més extensió) o són més assequibles econòmicament; ofereixen integració amb sistemes (cosa que actualment ChatGPT no inclou), fet que incrementa la versatilitat de les plataformes, i es focalitzen a assegurar la qualitat de la font de dades", explica.

La llista d'aquestes opcions és àmplia i creix a gran velocitat. Entre les actuals, el professor de la UOC destaca les cinc eines següents:

• Microsoft Bing, que forma part del sistema operatiu de Windows 11. Està basat en la mateixa infraestructura que ChatGPT, de manera que comparteix els seus errors. No obstant això, la versatilitat d'aquesta eina augmenta pel fet de formar part de l'última actualització de Windows 11 (només la poden emprar els usuaris d'aquest sistema). "Cal tenir en compte que, com que forma part del cercador, és possible que generi més confusió en els usuaris, perquè poden pensar que les al·lucinacions són reals (com ja passa actualment), a més d'exposar l'ordinador a prompt injection, una tècnica utilitzada per atacants per manipular l'entrada o el prompt proporcionat a un sistema d'IA", explica Curto.
• Perplexity. Es basa en GPT 3.5/4 i Claude. Es diferencia d'aquestes eines perquè s'han filtrat les fonts i pel fet de permetre penjar arxius a fi d'analitzar-los. Ofereix un usuari gratuït, tot i que limitat en prestacions.
• Google Bard. Està basat en els desenvolupaments interns de Google (LaMDA). L'inconvenient principal és que encara no està disponible en el mercat europeu i que per poder-lo fer servir cal emprar una xarxa privada virtual (VPN). Google, via la seva filial Deepmind, acaba d'anunciar Gemini, que té resultats similars als de chatGPT (versió 4).
• Claude. Es basa en algorismes propis i s'enfoca a reduir biaixos i problemes derivats. Ofereix un usuari gratuït amb prestacions limitades.
• Jasper. S'enfoca a un ús professional, de manera que actualment no ofereix compte gratuït. Té una orientació a plantilles per incrementar la productivitat.

Existeixen també tota una sèrie d'algorismes amb llicència open source, que habiliten el seu ús, en el cas de tenir coneixements de python (i disposar d'una bona màquina) com és el cas de Mistral amb llicència Apatxe 2.0.

"A més d'aquestes eines, hi ha altres serveis i productes que segueixen la mateixa estratègia, paquetitzen certs LLM i inclouen prestacions o casos d'ús definits. La gran majoria de sistemes ofereixen la possibilitat de provar els seus serveis; només alguns continuen tenint serveis gratuïts", explica el professor de la UOC.

Segons Curto, és important familiaritzar-se amb aquestes alternatives si fem servir freqüentment aquesta mena d'eines, especialment si tenim en compte que els proveïdors d'aquests sistemes tenen la necessitat de monetitzar. "D'aquesta manera, veurem que a mesura que passi el temps els comptes gratuïts tindran cada vegada menys prestacions en comparació amb els de pagament", conclou l'expert.