ChatGPT no es infalible: sus errores más comunes

ChatGPT, la herramienta de inteligencia artificial (IA) generativa que se lanzó a finales de 2022, ya es usada por millones de internautas españoles. Según una encuesta de la Organización de Consumidores y Usuarios (OCU) que se hizo pública el pasado mes de julio, uno de cada dos usuarios ya lo ha probado. Sin embargo, solo un 11 % dice usarlo con frecuencia, y el porcentaje baja al 3 % cuando la pregunta es si se usa a diario.

Una de las razones de que su uso no se haya popularizado más es que los internautas no se fían de la información: el 24 % de los encuestados alegan "falta de confianza en las respuestas generadas" como respuesta a la pregunta de por qué no lo utilizan. Y es que, como explica Josep Curto, profesor de los Estudios de Informática, Multimedia y Telecomunicación de la UOC, "en ningún caso, debemos considerar que ChatGPT es infalible". "De hecho, por construcción, al ser un sistema generativo, puede introducir errores, llamados frecuentemente alucinaciones, en un claro caso de antropomorfismo", explica.

En su opinión, aunque ChatGPT y las herramientas similares pueden incrementar la productividad en múltiples tareas, es necesario conocer las limitaciones y los errores de este tipo de sistemas. "Algunos de los errores más frecuentes de ChatGPT son de profundo calado y pueden afectar significativamente a las respuestas que proporciona", afirma Curto. Entre estos errores, el experto destaca el hecho de describir de forma incorrecta hechos verificables, generar respuestas incompletas, responder a todo tipo de preguntas aunque no conozca la respuesta y hacerlo de una forma convincente, introducir más errores en idiomas que no son el inglés, detallar el proceso "supuestamente" utilizado para generar una respuesta a pesar de que sea imposible, razonar matemáticamente, y proporcionar respuestas no éticas o con sesgos humanos, técnicos o sistémicos.

Por esta razón, aunque los creadores de modelos grandes de lenguaje o LLM (en este caso, OpenAI) actualicen cada cierto tiempo el sistema para introducir mejoras y reducir algunos de estos errores en la medida de lo posible, es necesario ser conscientes de ellos. Por lo tanto, los expertos recomiendan confirmar las respuestas con otras fuentes fiables, incrementar el conocimiento respecto al dominio ligado a la pregunta para poder reconocer fallos y también sesgos, y usar la herramienta como generador de plantillas sobre la que construir la respuesta buscada en lugar de aceptarla directamente. "En resumen, es necesario tomar las respuestas de ChatGPT u otros sistemas como una fuente adicional que puede proporcionar información sesgada, incorrecta o incluso ficticia, y debemos comprobar la fiabilidad de los datos obtenidos", advierte Josep Curto. El experto añade que, si se mantiene el enfoque generativo de los sistemas actuales, los posibles errores continuarán al menos a medio plazo.

"Para sacar el máximo partido de ChatGPT, es recomendable conocer en detalle qué puede hacer esta herramienta, aprender cómo crear mejores preguntas (lo que se conoce como prompt engineering), identificar una colección de fuentes fidedignas suficientemente amplia para validar las respuestas y desarrollar un espíritu crítico para seguir aprendiendo", indica el profesor de la UOC.

Alternativas a ChatGPT

Además de todo lo anterior, otra recomendación que puede ayudar es tener al menos dos alternativas a ChatGPT para poder comparar sus respuestas y determinar cuál encaja mejor con nuestras necesidades. Como recuerda Josep Curto, aunque ChatGPT es el bot conversacional más conocido, hay múltiples opciones (tanto de pago como gratuitas) que pueden funcionar como alternativas a este sistema de IA generativa, que además en ocasiones está saturado.

"Algunas de estas alternativas ofrecen mayor capacidad de tokens (es decir, podemos tener más respuestas con mayor extensión) o son más asequibles económicamente; ofrecen integración con sistemas (algo que actualmente ChatGPT no incluye), lo que incrementa su versatilidad, y se focalizan en asegurar la calidad de la fuente de datos", explica.

El listado de estas opciones es amplio y está creciendo a gran velocidad. Entre las actuales, el profesor de la UOC destaca las siguientes cinco herramientas:

• Microsoft Bing, que forma parte del sistema operativo de Windows 11. Está basado en la misma infraestructura que ChatGPT, por lo que comparte sus errores. Sin embargo, se incrementa su versatilidad al formar parte de la última actualización de Windows 11 (solo los usuarios de dicho sistema podrán usarlo). "Es necesario tener en cuenta que, al formar parte del buscador, es posible que genere mayor confusión en los usuarios, porque pueden pensar que las alucinaciones son reales (como ya ha estado pasando), además de exponer al ordenador a prompt injection, una técnica empleada por atacantes para manipular la entrada o el prompt proporcionado a un sistema de IA", explica Curto.
• Perplexity. Se basa en GPT 3.5/4 y Claude. Se diferencia de ellos porque se han filtrado las fuentes y permite subir archivos para su análisis. Cuenta con un usuario gratuito, aunque limitado en prestaciones.
• Google Bard. Está basado en los desarrollos internos de Google (LaMDA). El principal inconveniente es que no se encuentra disponible aún en el mercado europeo y que para poder utilizarlo es necesario usar una red privada virtual (VPN). Google, vía su filial Deepmind, acaba de anunciar Gemini, que tiene resultados similares a los de chatGPT (versión 4).
• Claude. Se basa en algoritmos propios y se enfoca en reducir sesgos y problemas derivados. Ofrece un usuario gratuito con prestaciones limitadas.
• Jasper. Se enfoca a un uso profesional, por lo que en la actualidad no ofrece cuenta gratuita. Tiene una orientación a plantillas para incrementar la productividad.

Existen también toda una serie de algoritmos con licencia open source, que habilitan su uso, en el caso de tener conocimientos de python (y disponer de una buena máquina) como es el caso de Mistral con licencia Apache 2.0.

"Además de estas herramientas, existen otros servicios y productos que siguen la misma estrategia, paquetizan ciertos LLM e incluyen prestaciones o casos de uso definidos. La gran mayoría de los sistemas ofrecen la posibilidad de probar sus servicios; solo algunos siguen teniendo servicios gratuitos", explica el profesor de la UOC.

En su opinión, familiarizarse con estas alternativas es importante si este tipo de herramientas se usan con frecuencia, especialmente si tenemos en cuenta que los proveedores de estos sistemas tienen la necesidad de monetizar. "De esta forma, veremos que a medida que pase el tiempo las cuentas gratuitas tendrán cada vez menos prestaciones en comparación con las de pago", concluye el experto.