El big data ajuda els docents a millorar el rendiment dels universitaris

El professor de la Universitat Oberta de Catalunya (UOC) i investigador d’Edul@b, Juan Pedro Cerro ha demostrat l'eficàcia de les dades massives (big data) aplicades a l'educació, les denominades analítiques d'aprenentatge, per millorar la docència i els resultats acadèmics dels estudiants universitaris. Cerro, enginyer informàtic, va desenvolupar en el transcurs de la seva tesi doctoral en aprenentatge en línia (e-learning), dirigida per Montse Guitert i Teresa Romeu, l'aplicació DIANA —acrònim de DIalogue ANAlysis—, que analitza la interacció comunicativa en els espais de missatgeria de la UOC, accedeix als missatges que els estudiants han intercanviat i calcula una sèrie d'indicadors i mètriques que són reportats al docent, respectant sempre la privacitat dels estudiants i complint el que estableix la Llei general de protecció de dades.

L'aplicació es va provar durant un any i mig en una assignatura compartida per tots els graus de la UOC. Les 40 aules en què s'havia fet servir van registrar un descens del 6 % en l'índex d'abandonament. També es va incrementar gairebé un punt la qualificació mitjana dels estudiants i es va reduir la dispersió d'aquestes mateixes qualificacions. "El nivell del grup va ser més homogeni perquè el docent estava molt més informat del que passava a les aules, podia actuar davant determinades situacions i corregir el rumb d'alguns estudiants", apunta Cerro. El 90 % dels estudiants va valorar molt positivament l'aplicació de DIANA. El centre d'innovació en educació de la Universitat, l'eLearning Innovation Center (eLinC), va ajudar a implementar l'eina a les aules pilot, amb més de 2.300 estudiants.

Metadades que guien la docència

DIANA analitza les dades massives que contenen els missatges que intercanvien els estudiants a l'aula virtual. En total, calcula prop de 30 mètriques. "Algunes són molt evidents, com la quantitat de paraules de mitjana que envien els estudiants en els seus missatges, o la quantitat de missatges i respostes que es publiquen. Però n'hi ha d'altres de més complexes, com comparar les paraules que s'utilitzen en la comunicació amb un petit tesaurus que defineix el docent per saber si la conversa se centra en els eixos temàtics de l'activitat o si, per contra, s'ha dispersat", explica Cerro.

L'aplicació ofereix dos tipus d'informació. La primera és individual, sobre cadascun dels estudiants, amb aspectes com la forma com es dissemina la seva participació al llarg del temps per detectar si, per exemple, l'estudiant s'involucra molt al principi i després desconnecta, o viceversa. El segon tipus d'informació és de grup, de manera que en la pantalla de DIANA es mostra com els estudiants s'organitzen, utilitzant mètriques com la quantitat de missatges enviats per setmana, la franja horària més utilitzada, el núvol de paraules aparegudes en la conversa o, fins i tot, el grau d'adequació del discurs al camp semàntic definit pel docent a través de certes paraules clau.

L'eina, a més, permet fixar una sèrie d'alertes per advertir al docent quan la conversa es dispersa massa o si un estudiant està molt temps inactiu. Tot això, amb un objectiu clar: millorar els resultats acadèmics i demostrar fins a quin punt són eficaces les analítiques de l'aprenentatge, una disciplina que a vegades ha estat qüestionada per determinats autors, a qui preocupa la idea que el paper del docent es redueixi al d'un simple recol·lector de dades.

Aquesta recerca interdisciplinària entre pedagogia i tecnologia demostra el contrari: com les analítiques d'aprenentatge faciliten al docent el treball de seguiment i avaluació, cosa que emergeix de la mateixa experiència de Cerro com a professor. "Quan un docent té un nombre elevat d'estudiants i l'activitat d'aprenentatge es desenvolupa en línia de manera col·laborativa, es produeixen determinades mecàniques que dificulten l'avaluació de cada estudiant individualment", explica.

DIANA figura en el Registre de la Propietat Intel·lectual de Catalunya en totes les seves versions i la idea és oferir-la en forma de coneixement obert, amb una llicència GPL 3.0. De fet, l'aplicació ja està disponible en obert i en la tesi de Cerro hi apareix l'enllaç que permet descarregar el codi font per implementar-lo en qualsevol institució. "Sempre hem pensat en la possibilitat de col·laborar amb qui vulgui ampliar l'horitzó de l'eina", assegura el seu autor.

Un nou projecte d'R+D per adaptar DIANA

En aquest sentit, després de la recerca i per comprovar si les conclusions són extrapolables a altres contextos educatius amb metodologies d'aprenentatge diferents, Montse Guitert i Teresa Romeu, investigadores del grup Edul@b, dels Estudis de Psicologia i Ciències de l'Educació de la UOC, estan al capdavant d'un nou projecte de recerca denominat Ús d'analítiques d'aprenentatge en entorns digitals: impacte en la millora de la pràctica docent universitària, finançat pel Ministeri de Ciència i Innovació.

Iniciat el setembre del 2021, té una durada de tres anys i hi participen sis universitats més juntament amb la UOC. "Donarem continuïtat al treball ja fet en la meva tesi", explica Cerro, que figura entre l'equip investigador. "Volem millorar la definició dels indicadors i les mètriques d'analítiques de l'aprenentatge que poden ajudar els docents. Les posarem en comú amb experts d'altres màsters de diferents universitats, analitzarem l'impacte acadèmic que comporta l'aplicació d'aquestes analítiques de l'aprenentatge en altres entorns digitals per contrastar-ho amb els nostres resultats i, finalment, proporcionarem algunes recomanacions sobre l'ús de l'eina en la pràctica docent. Tot això implicarà l'adaptació de l'eina DIANA a altres contextos, per la qual cosa experimentarà modificacions i es millorarà", conclou Cerro.

La tesi de Juan Pedro Cerro, elaborada dins del programa de doctorat d'Educació i TIC (E-learning) de l'Escola de Doctorat de la UOC, es va emportar el 2021 Award for Best Interdisciplinary Thesis de la UOC atorgat recentment, i la revista de referència internacional ETHE (International Journal of Educational Technology in Higher Education) va publicar un article i diverses infografies amb les principals conclusions de la investigació.

Aquest treball de la UOC afavoreix els objectius de desenvolupament sostenible (ODS) 4, sobre educació de qualitat, i 9, sobre indústria, innovació i infraestructura.

Articles de referència:

Cerro Martínez, J. P., Guitert Catasús, M. i Romeu Fontanillas, T. (2020). "Impact of using learning analytics in asynchronous online discussions in higher education." International Journal of Educational Technology in Higher Education (ETHE), 17, 39 (2020). DOI: https://doi.org/10.1186/s41239-020-00217-y

Tesi doctoral d'accés obert al repositori O2 de la UOC: Cerro, Juan Pedro: Seguiment i avaluació d'activitats col·laboratives en línia a través de les analítiques de l'aprenentatge (15/07/2021)

UOC R&I

La recerca i innovació (R+I) de la UOC contribueix a solucionar els reptes a què s'enfronten les societats globals del segle xxi, mitjançant l'estudi de la interacció entre la tecnologia i les ciències humanes i socials, amb un focus específic en la societat xarxa, l'aprenentatge en línia i la salut digital. Els més de 500 investigadors i investigadores i els 52 grups de recerca s'articulen entorn dels set estudis de la UOC i dos centres de recerca: l'Internet Interdisciplinary Institute (IN3) i l'eHealth Center (eHC).

A més, la Universitat impulsa la innovació en l'aprenentatge digital a través de l'eLearning Innovation Center (eLinC) i la transferència de coneixement i l'emprenedoria de la comunitat UOC amb la plataforma Hubbik.

Els objectius de l'Agenda 2030 de desenvolupament sostenible de les Nacions Unides i el coneixement obert són eixos estratègics de la docència, la recerca i la innovació de la UOC.

Més informació: research.uoc.edu #25anysUOC