En els darrers anys s'han generalitzat en l'àmbit universitari els sistemes d'avaluació de la qualitat, amb l'objectiu de garantir l'eficàcia dels serveis oferts per les diferents institucions universitàries. La idea subjacent d'aquests sistemes és que una universitat, com qualsevol altre proveïdor de serveis, ha d'estar orientada cap a la satisfacció de les necessitats dels seus clients. Aquest article se centra en una dimensió específica i especialment rellevant de la realitat universitària: l'activitat docent. En concret, es proposa un model que permet avaluar la qualitat de l'activitat docent duta a terme en un marc específic: els entorns virtuals d'aprenentatge (e-learning). Les característiques peculiars d'aquest nou paradigma educatiu fan que sigui imprescindible un model d'avaluació del rendiment igualment innovador, basat en tres pilars: l'anàlisi interna dels processos, l'anàlisi externa dels clients-estudiants i l'anàlisi dels resultats de l'activitat docent. L'objectiu últim del model és que qualsevol universitat que operi en un entorn virtual d'aprenentatge pugui disposar d'informació sobre el nivell de qualitat que estan proporcionant realment les persones encarregades del contacte quotidià amb els estudiants, la qual cosa permet la implantació d'un sistema de millora contínua dels processos formatius.[*]
|
|
 |
| 1.
| La qualitat docent en entorns virtuals d'aprenentatge |
|
|
La ràpida difusió dels sistemes de gestió de la qualitat ha revolucionat les organitzacions dels nostres dies. En l'àmbit industrial, l'impacte és tal que una empresa que no satisfaci els nivells de qualitat exigits pels seus clients o consumidors ho tindrà molt difícil per fer front als seus competidors. Tot i que en un primer moment l'ús de sistemes d'assegurament de la qualitat o de gestió total de la qualitat es va generalitzar en l'àmbit industrial, actualment s'utilitzen de forma creixent en el sector de serveis i fins i tot en àmbits tan aparentment allunyats de l'àmbit empresarial com ara les organitzacions sense ànim de lucre.
Els sistemes de gestió de la qualitat parteixen de la idea que satisfer les necessitats dels clients amb el cost més baix possible és l'objectiu de qualsevol organització. Una empresa exitosa serà la que sigui capaç d'identificar, interioritzar, satisfer i superar de forma contínua les expectatives dels seus clients relacionades amb els productes i serveis subministrats. El més revolucionari d'aquesta noció de qualitat consisteix en què el mateix client, el consumidor, s'encarrega de determinar si un producte és o no acceptable, fet que el converteix en jutge únic i suprem de la qualitat.
La gestió de la qualitat exigeix que el disseny de qualsevol producte o servei parteixi d'un profund coneixement de les necessitats, preferències, valors i criteris de compra dels clients. El problema és que la satisfacció de les necessitats dels clients és un procés complex. L'experiència indica que les intuïcions dels directius o empresaris sobre quins són els atributs dels seus productes o serveis més valorats no tenen per què coincidir i, de fet, no ho acostumen a fer, amb les preferències efectives d'aquests. Per tant, cal recórrer a tècniques d'investigació i models que permetin que les empreses identifiquin els seus clients potencials, coneguin les seves expectatives pel que fa als productes o serveis oferts i en mesurin el grau de satisfacció.
|
|
|
La preocupació per la qualitat de la docència, entesa en el sentit que aquí ens ocupa, no ha estat, en general, una prioritat en l'àmbit universitari. Aquest fenomen contradictori, que ha fet afirmar que la universitat és una institució que ho investiga tot tret de les seves pròpies activitats[1], s'explica analitzant l'evolució històrica del mercat universitari.
Fins a les darreres dècades del segle passat, cada universitat encara disposava d'un àmbit territorial propi en el qual podia actuar com a quasimonopolista. A més, les universitats s'enfrontaven a una demanda creixent derivada de les seqüeles del baby-boom i del procés de democratització de l'accés a la universitat que va tenir lloc durant aquest període. En un mercat poc competitiu i en expansió, la preocupació per la qualitat de la docència podia quedar relegada a un segon pla, ja que no era essencial per garantir la supervivència de la institució.
Actualment la situació és molt diferent. Un cop generalitzat l'accés a la universitat, la condició de llicenciat perd, en gran mesura, el seu valor distintiu. Ja no es tracta tant d'obtenir un títol com d'obtenir-lo en una universitat prestigiosa. El mercat universitari és ara un mercat madur, caracteritzat per una reduïda taxa de creixement, un nombre elevat de competidors —noves universitats públiques i, en especial, privades—, en què la diferenciació i la imatge de marca reben una importància fonamental. La qualitat de la docència es converteix ja en un factor estratègic de primera magnitud.
Aquesta creixent atenció a la qualitat docent ha dut les administracions públiques a elaborar programes per tal de garantir la qualitat dels serveis universitaris[2]. A més, per tota Europa apareixen agències que analitzen la qualitat dels sistemes universitaris públics i privats, i les mateixes universitats, conscients de la seva creixent importància, engeguen programes de millora i avaluació de la qualitat.
|
|
|
Una característica comuna de totes les organitzacions que operen en el sector de serveis és la dependència que tenen del factor humà. Els serveis els ofereixen persones i la seva actuació determina en última instància el nivell de qualitat de l'organització. En el cas de la universitat, això és especialment cert. Les universitats clàssiques, presencials —i fins i tot algunes no presencials— són, en la terminologia fixada per Mintzberg (1991), "burocràcies professionals". La característica principal d'aquestes organitzacions, des del punt de vista que ens ocupa, és que els docents hi tenen un elevat marge d'autonomia a l'hora de dur a terme la seva activitat, la qual fins i tot gaudeix de protecció jurídica a l'empara de la llibertat de càtedra.
El problema és, tal com indica Mintzberg, que en aquestes organitzacions pràcticament no existeix cap control de la feina fora de la professió, ni cap manera de corregir les deficiències que els mateixos professionals decideixen passar per alt. Aquesta llibertat d'acció té l'efecte de permetre que alguns professionals no tinguin en compte les necessitats dels seus clients i d'estimular-ne molts d'altres perquè desatenguin les necessitats de l'organització. A més, es tracta d'una estructura inflexible, apta per a la producció d'outputs normalitzats, però inadequada per adaptar-se als canvis i a les innovacions tecnològiques.
Els dos problemes esmentats —absència de control i resistència al canvi— converteixen la burocràcia professional en una estructura organitzativa incapaç d'adaptar-se al model pedagògic que caracteritza la docència en entorns virtuals. Aquest model, les implicacions del qual s'analitzen en l'apartat següent, modifica el paper de l'estudiant i del professor i va associat a unes pautes pedagògiques que alteren de forma radical la docència, la forma d'avaluar-la i, en conjunt, l'estil organitzatiu de la universitat. I aquest nou model d'organització ha de disposar d'eines específiques, adaptades a les seves peculiaritats per tal d'avaluar-ne el rendiment dels docents, que els permetin saber si aquests assumeixen i posen en pràctica el model pedagògic de la institució.
En la universitat tradicional, l'avaluació del rendiment ha tingut, fins a una època relativament recent, escàs predicament. En primer lloc, per la dificultat inherent a la determinació dels coneixements o aptituds pedagògiques d'un professor. En segon lloc, perquè el control mutu és escàs, a causa de l'esmentada llibertat de càtedra i de la resistència generalitzada, habitual en qualsevol àmbit professional, a avaluar la feina d'un "col·lega".
Quan l'acció docent té lloc en entorns virtuals, la necessitat d'avaluar la qualitat docent s'incrementa, si es possible, encara més. La universitat virtual s'articula com una organització estructurada en xarxa, en què la docència és a càrrec de nombrosos professionals que, en el marc del model pedagògic de la institució, duen a terme la seva activitat docent a temps parcial. Es tracta, més que de professionals de l'ensenyament, d'experts contractats ad hoc que aporten, com a principal valor afegit, els coneixements i les experiències adquirits en l'exercici de la seva pròpia activitat professional. Aquest model de docència en xarxa enriqueix els processos formatius —amb la presentació d'experiències professionals reals i en constant actualització— i dota l'organització de la docència de més flexibilitat —ja que permet una ràpida adaptació a les noves exigències del mercat. En contrapartida, també incrementa la necessitat de disposar d'eines que garanteixin la qualitat de l'ensenyament.
Assegurar la qualitat de la docència és l'objectiu de l'avaluació del rendiment. Es tracta d'un procés sistemàtic dissenyat per mesurar de forma objectiva el rendiment laboral del docent en entorns virtuals. Perquè sigui operatiu, cal que es tracti d'un procés:
|
 |
Sistemàtic: L'avaluació del rendiment no és un conjunt d'accions puntuals, sinó una activitat que s'ha de fer periòdicament, en funció d'un programa prèviament consensuat. A més, cal que superi la dimensió descriptiva perquè adquireixi sentit com a eina al servei del model pedagògic de la institució. En altres paraules, l'avaluació ha de tenir un propòsit, el qual ha d'estar en consonància amb el model pedagògic.
|
|
|
|
Objectiu: Cal garantir, sempre que sigui possible, l'objectivitat de les avaluacions, condició a la qual contribuirà l'existència de diverses fonts d'informació.
|
|
|
|
Participatiu: Tota l'organització, començant pel mateix avaluat, ha de participar en la definició i implantació del sistema.
|
|
|
|
Flexible: Es tracta d'un sistema, no d'una tècnica. Això vol dir que cal escollir el mètode d'avaluació en funció de les característiques de l'organització.
|
|
L'avaluació del rendiment només té sentit en el marc d'una organització que apliqui la filosofia de la gestió de la qualitat en totes les seves àrees i activitats i en el context d'un sistema de gestió de personal en el qual s'intenti involucrar el personal en la definició dels objectius organitzatius.
|
|
|
L'activitat docent entesa com a acció desenvolupada per facilitar l'aprenentatge —la necessitat que cal satisfer— d'una persona concreta —el client— s'ha d'articular en un determinat marc de relació. Avui dia, les organitzacions educatives avancen cap a la complementarietat del clàssic entorn educatiu —l'aula o el campus universitari— amb les tasques en un nou marc relacional que anomenem entorn virtual d'aprenentatge (EVA). Actualment els productes formatius dirigits a persones adultes i en ple exercici de la seva activitat professional contemplen ja la complementarietat del marc formatiu clàssic de l'aula amb l'ús més o menys intensiu de les tecnologies aplicades a l'educació, a través dels recursos de la xarxa Internet, de materials multimèdia d'aprenentatge o d'espais relacionals virtuals d'aprenentatge.
En el procés d'incorporació de l'ús intensiu de les tecnologies de la informació i de la comunicació en l'educació, cal tenir en compte la importància que representa el nou marc relacional en què es desenvolupa l'activitat docent i d'aprenentatge: els EVA. Es tracta d'un mitjà nou que demana el desenvolupament de noves estratègies[3]. No podem fer servir les mateixes dinàmiques o metodologies docents del marc relacional síncron —presencial— en l'asíncron —virtual—. La forta irrupció actual de la tecnologia en les metodologies educatives ha de servir per establir estratègies específiques per al desenvolupament de l'aprenentatge en els nous marcs que es configuren. Fer allò que s'ha fet sempre mitjançant tecnologia punta és pobre i, alhora, un gran error.
L'activitat docent en els entorns virtuals d'aprenentatge es du a terme de forma complementària al ús d'uns materials didàctics, multimèdia o no, que han de servir com a referència del coneixement que cal transmetre. El docent "virtual" s'ha de situar en el nou espai formatiu com a guia i company de viatge del protagonista del procés d'aprenentatge: l'estudiant. El rol del docent virtual es basa en l'acompanyament, no en ser la principal font d'informació o de coneixement. La interacció és la base dels EVA. Interacció entre docents, estudiants, materials i amb la mateixa institució com a conjunt. Difícilment trobarem un únic emissor. Parlem d'un marc en què la construcció del coneixement compartit és la base de l'aprenentatge.
L'acció docent en els models educatius que recorren de forma intensiva a les tecnologies de la informació i de la comunicació no és la tasca d'una sola persona, sinó essencialment de la institució. L'organització educativa ha de decidir i definir els programes formatius, els seus objectius, la seva estructura, els materials que els desenvoluparan i el sistema d'avaluació. En aquest sentit, s'ha de dotar d'un col·lectiu acadèmic que, per àmbits temàtics de coneixement, coordini el procés de creació de continguts, així com l'activitat docent desenvolupada pel mateix equip o per un grup de professionals externs. En definitiva, parlem de les figures següents:
|
|
Responsable acadèmic del programa. Persona que rep l'encàrrec institucional de definir i controlar el procés de creació d'un determinat programa, segons les directrius de l'organització educativa i les pròpies del mercat de formació.
|
|
|
|
Autor de continguts. És la persona o persones encarregades de redactar els continguts del programa. Generalment es tracta d'un equip d'autors que treballen coordinadament amb un equip multidisciplinari de la institució de formació, com ara dissenyadors instruccionals, informàtics, dissenyadors gràfics, entre d'altres agents.
|
|
|
|
Coordinador del programa. Persona de la institució educativa encarregada de coordinar el desenvolupament del programa formatiu, de vetllar per la seva adequació i de dirigir i assessorar els docents que l'imparteixen.
|
|
|
|
Docent. Professional que imparteix el programa, d'acord amb els materials prèviament elaborats, i que interactua directament amb l'estudiant o participant.
|
|
Cadascun dels perfils esmentats participa en diferents fases del procés de creació d'un programa formatiu per a entorns virtuals d'aprenentatge. Tots i cadascun d'aquests perfils influeixen directament en la qualitat de la docència, però tan sols una figura té contacte directe amb el destinatari dels programes acadèmics: el docent. És habitual que a les institucions educatives que imparteixen programes en EVA la figura del docent sigui la d'una persona externa que treballa a temps parcial com a docent i que aporta als processos formatius tant els seus coneixements teòrics com la seva pròpia experiència professional.
L'objectiu d'aquest article és proposar un model d'avaluació de la qualitat de la docència en entorns virtuals que, malgrat estar orientat de forma directa a l'avaluació de l'activitat dels docents, contempli igualment la interacció existent entre totes les figures que participen en els processos docents en entorns virtuals.
|
|
| 2.
| Un nou model d'avaluació de la qualitat docent en entorns virtuals |
|
|
Hem definit l'avaluació del rendiment com a procés sistemàtic que té la finalitat de mesurar objectivament el rendiment d'un treballador al seu lloc de treball. Però, qui és l'encarregat de mesurar-ne el rendiment? Qui pot, en el cas que ens ocupa, validar l'eficàcia de l'acció docent?
L'avaluació de l'acompliment en l'àmbit empresarial, segons la concepció clàssica, ha correspost als responsables de l'avaluat. Aquest tipus d'avaluació ha permès l'entrada en els darrers anys a sistemes d'avaluació més complexos, que també tenen en compte l'opinió d'altres agents, com són ara els clients o els mateixos companys de l'avaluat. En l'àmbit universitari ha estat l'estudiant qui de forma gairebé exclusiva ha avaluat, mitjançant enquestes o qüestionaris, la qualitat de l'acció docent. Aquest esquema resulta, segons el nostre parer, incomplet, de tal manera que es preferible un model d'avaluació de la qualitat docent articulat sobre tres inputs informatius diferents:
|
|
L'avaluació externa a càrrec dels estudiants.
|
|
|
|
L'avaluació interna, per part de l'equip docent.
|
|
|
|
Els resultats acadèmics.
|
|
|
|
Avaluació externa. Si per qualitat entenem la satisfacció del client i el client és l'estudiant, aquest hauria de ser el principal avaluador de la qualitat docent. Malgrat tot, hi ha diverses raons que aconsellen un model d'avaluació diferent. En primer lloc, l'estudiant només té informació sobre una part dels processos formatius, la que l'afecta de forma directa. Desconeix, perquè no li competeix, la dimensió interna d'aquests processos, els quals ocupen, d'altra banda, una part considerable de la tasca docent. A més, les valoracions de l'estudiant sobre el seu grau de satisfacció poden estar contaminades pels seus interessos a curt termini, que el faran més benèvol amb els responsables d'aquelles matèries que resultin més fàcils d'assimilar o de superar.
|
|
|
|
Avaluació interna. En el món laboral que neix amb la revolució industrial, l'opinió de cada treballador sobre els seus companys és irrellevant, sempre que tothom faci la feina que té assignada. En un entorn basat en la cooperació i la interacció, la situació és ben diferent. La manera que tenim de treballar, aprendre i comunicar-nos amb els companys afecta la productivitat, el nostre estat d'ànim i la qualitat de la feina. L'acció docent en entorns virtuals no es desenvolupa en règim d'aïllament, sinó en el marc d'un model pedagògic i en un context en què una pluralitat d'agents coopera de forma activa en el disseny dels programes formatius. En conseqüència, resulta imprescindible conèixer l'opinió de la resta de membres de l'equip acadèmic sobre la feina que du a terme el docent. Els responsables acadèmics i els coordinadors de programa, gràcies al contacte quotidià i directe amb el docent, estan en condicions de facilitar una informació valuosa sobre aspectes tan importants de la seva activitat com ara la seva contribució a generar un bon ambient de treball, la seva flexibilitat i predisposició a acceptar les innovacions promogudes institucionalment, la seva eficàcia en l'acompliment de les funcions assignades i el seu compromís general amb el model pedagògic de l'organització.
Per tal de fer una avaluació d'aquest tipus cal definir abans amb claredat, i que siguin conegudes pel docent, les competències —aptituds, coneixements, valors, actituds— que ha de reunir en relació amb les funcions que li han estat assignades. La definició d'aquestes competències no s'ha de fer de forma abstracta, sinó tenint en compte l' entorn —el campus virtual en el cas que ens ocupa— i el model pedagògic de la institució.
|
|
|
|
Resultats acadèmics. Els resultats acadèmics obtinguts pels estudiants també constitueixen un indicador de l'eficàcia de l'acció docent. Però es tracta d'un indicador que s'ha d'utilitzar amb molta cura, ja que facilita els comportaments estratègics. Per tal d'entendre el problema imaginarem una universitat que considera òptim un elevat percentatge d'aprovats. Aquest objectiu es pot aconseguir a través d'un laboriós esforç de millora de l'activitat docent, que redundarà en benefici del prestigi de la institució. Però també es pot aconseguir, amb un cost menor, incrementant de forma arbitrària el nombre d'aprovats. En el segon cas, aparentment, s'haurà complert l'objectiu de qualitat fixat. Però si aquest tipus de comportaments adaptatius o estratègics es generalitza, es malmetrà la imatge de la institució i disminuirà el valor que el mercat atorgarà doncs a les seves titulacions.
|
|
Un model d'avaluació del rendiment com el que aquí es postula presenta indubtables avantatges sobre els models basats de forma exclusiva en les opinions dels alumnes. En concret, és més
|
|
Just, ja que la informació obtinguda procedeix de diverses fonts, circumstància que ajuda a eliminar biaixos.
|
|
|
|
Fiable i coherent, ja que procedeix del conjunt d'agents en contacte amb la persona avaluada, els resultats de l'avaluació proporcionen una informació més acurada sobre la qualitat real de la docència.
|
|
|
|
Creïble, considerant que resulta més difícil rebutjar un suggeriment de millora si ve avalat per les opinions i els suggeriments de diferents persones.
|
|
|
|
Motivador, per tal com facilita un clima de participació i col·laboració en què tots poden aportar millores constructives.
|
|
|
|
Valuós, ja que en lloc d'orientar els avaluats cap a la satisfacció de les expectatives del seu cap, concentra els esforços en la satisfacció de les necessitats dels que en reben els serveis: els clients interns —la resta de membres de l'organització— i externs —els estudiants.
|
|
El fet de recórrer a tres fonts d'informació diferents no allunya l'organització de la perspectiva del servei a l'estudiant. Aquest és el que, a través d'enquestes i altres mètodes d'anàlisi, informa la universitat del que pretén aconseguir. Són les seves exigències —claredat, atenció personalitzada— les que han d'estar en el punt de mira de la universitat. El fet és que aquesta disposarà d'una perspectiva més bona per analitzar si les exigències es compleixen si també té en compte l'opinió d'altres agents involucrats en el procés. Aquesta òptica multidimensional del procés d'avaluació és conseqüent amb les últimes tendències en matèria de gestió de la qualitat, que consideren com a clients d'una organització no solament els que n'adquireixen els productes o serveis, sinó també els seus treballadors i el conjunt de la societat.
|
|
|
El fet d'optar per un model d'avaluació basat en tres inputs informatius diferents fa que sigui necessari determinar el pes que tindrà cadascun d'ells en el sistema d'avaluació del rendiment. Es tracta d'una qüestió central, que afecta l'essència del model, ja que obliga a prendre una decisió sobre la importància i les limitacions de cadascuna d'aquestes tres fonts d'informació.
Tractant-se d'universitats que operen en entorns virtuals, resulta aconsellable atorgar un pes fonamental a l'avaluació interna. Així doncs, en el nostre model se li assigna un 50% de la puntuació total possible. La primacia de l'avaluació interna queda justificada si es tenen en compte dues de les característiques de l'acció docent en els anomenats EVA:
|
|
Naturalesa cooperativa. En els entorns virtuals d'aprenentatge l'acció docent no és el resultat exclusiu de l'activitat del docent, sinó una tasca cooperativa, fruit de la interacció d'un col·lectiu format per professionals amb competències diverses, que duen a terme les seves funcions al servei de l'estudiant i en el context del model pedagògic de la institució. En aquestes condicions, l'avaluació de la docència per part dels estudiants té una eficàcia més limitada, ja que aquests ignoren fins a on arriba la responsabilitat del docent sobre cada ingredient —el sistema d'avaluació o els materials didàctics, per exemple— del model pedagògic.
|
|
|
|
Naturalesa oberta. En la docència universitària tradicional l'acció docent és de naturalesa bilateral: el professor i els estudiants es relacionen en el context d'una classe física en què el professor és la principal, fins i tot l'única, font d'informació. El professor universitari, protegit per la llibertat de càtedra i per la naturalesa específica dels seus coneixements, s'ocupa de la seva activitat amb una autonomia notable respecte a les directrius acadèmiques o pedagògiques de la institució. En aquest context resulta lògic que siguin els estudiants els que disposin de més informació sobre l'eficàcia de l'acció docent que es du a terme entre les parets de la classe i, per tant, els encarregats d'avaluar-la. En un entorn virtual d'aprenentatge la situació és diferent. L'acció docent no es presenta en un context tancat, sinó obert: el campus virtual. Els altres membres de l'equip docent no sols participen en el disseny de l'acció docent sinó que, com que aquesta es desenvolupa en un espai obert, assisteixen de forma directa al seu desenvolupament quotidià. L'estudiant ja no és l'únic que sap què és el que passa intramurs. També els membres de l'equip docent, pel seu contacte quotidià amb el professor i per la supervisió que fan regularment de la seva activitat, estan en condicions d'avaluar si du a terme amb eficàcia les funcions que li han estat assignades.
|
|
La naturalesa oberta i cooperativa de la docència en EVA situa l'avaluació interna en l'epicentre del procés d'avaluació. En canvi, l'avaluació externa, a càrrec dels estudiants, tot i que conserva un paper fonamental —representa el 35% de la puntuació del model— queda relegada, per les raons esmentades, a un segon pla. El mateix passa amb els resultats acadèmics, als quals s'atribueix un 15% de la puntuació total. En aquest cas, l'explicació d'un pes tan reduït en el conjunt del model està relacionada, tal com hem apuntat, amb el fet que es tracta d'un indicador fàcilment desvirtuable mitjançant comportaments estratègics per part dels docents.
La valoració atorgada en el model a cadascun dels tres inputs del procés d'avaluació, en una escala de 0 a 100 punts, és la que s'observa a la Figura 2.
Cada input s'ha de desagregar per poder-lo analitzar en unitats menors que reflecteixin diferents dimensions de l'acció docent. Així doncs, per exemple, l'avaluació externa, feta pels estudiants, inclourà subcategories que reflectiran la seva opinió sobre aspectes com ara la rapidesa a l'hora de respondre a les consultes o la capacitat del docent per estimular el seu aprenentatge. A l'Annex I s'inclou un quadre-resum on es proposa un catàleg de subcategories i la ponderació que correspon a cadascuna d'elles en el model.
Al seu torn, de cada subcategoria —coneixements del docent, per exemple— s'analitzen diferents aspectes —domini de l'assignatura o capacitat d'actualització, en l'exemple esmentat. La relació d'aspectes que cal estudiar en cada subcategoria és flexible, ja que cada organització, depenent de les característiques bàsiques del seu model pedagògic i del programa en particular, pot seleccionar els que consideri més rellevants.
És desitjable que l'avaluació inclogui tant aspectes quantitatius (per exemple, el percentatge d'aprovats) com qualitatius (per exemple, l'opinió de l'estudiant sobre els coneixements del professor). La inclusió d'elements qualitatius, tot i que és complexa des del punt de vista operatiu, permet obtenir una informació més rica i valuosa. Per tant, caldrà estimular l'aportació de comentaris i suggeriments de millora per part dels agents que intervenen en el procés d'avaluació i, també, per part del mateix avaluat.
A continuació s'examinen detalladament els aspectes que han de ser objecte d'anàlisi en cadascuna de les tres dimensions del procés d'avaluació.
|
|
|
L'avaluació interna és el pilar fonamental del procés d'avaluació de la qualitat docent en entorns virtuals. Es du a terme al si de la mateixa universitat, per part dels responsables acadèmics i els coordinadors del programa, mitjançant qüestionaris com el de l'Annex II. A continuació s'exposen els apartats o categories que seran objecte d'enquesta i posterior anàlisi en l'àmbit de l'avaluació interna:
|
|
Aquest apartat inclourà informació sobre el seu:
|
|
Coneixement dels instruments i eines necessaris per treballar en un entorn virtual: destresa i habilitat per utilitzar-los.
|
|
|
|
Domini de l'assignatura: tant del contingut, l'estructura i les característiques generals —càrrega lectiva, enfocament i posició en el pla d'estudis—, com dels materials didàctics.
|
|
|
|
Capacitat per adaptar-se als canvis en l'entorn de treball.
|
|
|
|
Facilitat per suggerir i incorporar totes les innovacions didàctiques que siguin d'interès.
|
|
|
|
Capacitat d'actualització permanent.
|
|
|
|
Capacitat per adaptar els coneixements a la pràctica professional.
|
|
|
|
|
En aquest apartat s'analitza la capacitat del docent per:
|
|
Establir els objectius d'aprenentatge que els estudiants han d'assolir, així com la metodologia adequada per aconseguir-los.
|
|
|
|
Proposar bibliografia pertinent, tant bàsica com complementària.
|
|
|
|
Temporalitzar l'estudi de l'assignatura segons la càrrega lectiva que tingui i els objectius previstos.
|
|
|
|
Elaborar guies que facilitin el procés d'aprenentatge, prioritzant continguts i activitats, aclarint continguts i orientant l'estudiant sobre els recursos de què disposa per reforçar el procés d'aprenentatge.
|
|
|
|
Dissenyar i establir activitats, debats i pràctiques que contribueixin a consolidar els continguts de l'assignatura.
|
|
|
|
Redactar d'una manera clara i concisa els missatges i els documents dirigits als estudiants.
|
|
|
|
Posar ràpidament la informació a disposició de l'estudiant i, en qualsevol cas, dins del termini previst.
|
|
|
|
|
Aquest apartat s'ocupa d'avaluar fins a quin punt els docents:
|
|
Fomenten la participació dels estudiants a l'aula.
|
|
|
|
Intervenen regularment a l'aula, enviant missatges que guiïn i orientin l'aprenentatge i evitin el potencial desànim dels estudiants.
|
|
|
|
Promouen l'esperit crític i l'expressió d'idees i opinions sobre temes d'actualitat relacionats amb l'assignatura.
|
|
|
|
Estimulen la participació i el seguiment de l'avaluació contínua.
|
|
|
|
Fomenten la interacció i el treball cooperatiu entre els estudiants.
|
|
|
|
Afavoreixen, amb la claredat i oportunitat dels seus missatges, la dinamització i consolidació del procés d'aprenentatge dels estudiants.
|
|
|
|
Estableixen contacte amb els tutors sempre que sigui oportú amb la finalitat de fer un seguiment adequat dels estudiants.
|
|
|
|
|
Es tracta de determinar si els docents:
|
|
Fan proves d'avaluació contínua que permetin valorar d'una manera continuada i coherent l'aprenentatge progressiu de l'estudiant.
|
|
|
|
Fan proves d'avaluació contínua que comporten una càrrega de treball que resulta coherent amb la càrrega lectiva de l'assignatura.
|
|
|
|
Adeqüen el contingut de les proves d'avaluació contínua i els exàmens als objectius de l'assignatura.
|
|
|
|
Dissenyen les proves d'avaluació contínua i els exàmens finals tot fomentant la reflexió crítica i l'assimilació dels continguts.
|
|
|
|
Dissenyen les proves d'avaluació contínua i els exàmens finals mirant de connectar els continguts de l'assignatura amb la pràctica professional i l'actualitat.
|
|
|
|
Vetllen perquè existeixi un elevat grau de coherència entre les proves d'avaluació contínua i els exàmens finals de l'assignatura, així com amb la feina feta durant el curs.
|
|
|
|
Corregeixen i proporcionen solucions o comentaris individualitzats sobre el grau en què els estudiants estan assolint els objectius prèviament establerts.
|
|
|
|
Redacten els enunciats, les solucions i les correccions dels diferents exercicis d'avaluació amb claredat i dins dels terminis previstos.
|
|
|
|
Són capaços de definir amb claredat el que s'ha de fer en cada exercici d'avaluació i els criteris de valoració que s'empraran.
|
|
|
|
|
En particular, s'avaluarà si el docent:
|
|
Manté una relació fluïda i regular amb la resta de l'equip docent.
|
|
|
|
Coordina la seva activitat amb la de la resta de professors de l'assignatura.
|
|
|
|
Col·labora i comparteix idees, documents i millores amb la resta de l'equip.
|
|
|
|
Participa activament a les reunions virtuals i presencials de l'equip acadèmic.
|
|
|
|
Mostra iniciativa i capacitat de resposta davant de situacions i problemes imprevistos.
|
|
|
|
|
|
L'avaluació externa es du a terme periòdicament per part dels estudiants, mitjançant tests o enquestes, en què s'analitzen els aspectes següents:
|
|
Es tracta d'esbrinar si el docent, segons el parer dels estudiants:
|
|
Té un domini adequat del contingut de l'assignatura.
|
|
|
|
Disposa d'informació i de coneixements actualitzats.
|
|
|
|
Coneix els materials, documents, articles i la resta de la informació a què tenen accés els estudiants.
|
|
|
|
És conscient del lloc que ocupa l'assignatura en el pla d'estudis.
|
|
|
|
|
L'estudiant avaluarà si el docent:
|
|
Presenta d'una manera clara els objectius marcats.
|
|
|
|
Estableix una temporalització adequada de l'estudi.
|
|
|
|
Orienta eficaçment, mitjançant els seus documents i missatges, el procés d'aprenentatge.
|
|
|
|
Contribueix, mitjançant les activitats, pràctiques, exercicis i debats proposats, a facilitar l'adquisició i consolidació dels continguts de l'assignatura.
|
|
|
|
Dóna indicacions que permeten aprofundir i complementar els continguts dels materials.
|
|
|
|
|
Les opinions dels estudiants permetran saber si el docent:
|
|
És capaç de suscitar interès per l'assignatura.
|
|
|
|
Connecta els continguts amb l'actualitat i la pràctica professional.
|
|
|
|
Fomenta la participació dels estudiants a l'aula.
|
|
|
|
Estimula l'estudiant perquè faci les activitats i les proves necessàries per aconseguir els objectius marcats.
|
|
|
|
Fomenta el treball cooperatiu entre els estudiants.
|
|
|
|
Contraresta el potencial desànim dels estudiants en el procés d'aprenentatge.
|
|
|
|
Promou que l'estudiant senti que forma part d'un grup.
|
|
|
|
|
Es tracta conèixer l'opinió de l'estudiant sobre si:
|
|
Les proves d'avaluació contínua i els exàmens finals corresponen als continguts fonamentals de l'assignatura.
|
|
|
|
El procés d'avaluació contínua fomenta l'assimilació dels continguts.
|
|
|
|
Els exàmens finals són coherents amb les proves d'avaluació contínua i amb la feina feta durant el curs.
|
|
|
|
Els enunciats de totes les proves i exàmens son clars.
|
|
|
|
Els criteris d'avaluació són coneguts.
|
|
|
|
Es proporcionen solucions o comentaris individualitzats sobre el grau en què l'estudiant assoleix els objectius fixats.
|
|
|
|
|
Cada estudiant haurà de donar la seva opinió sobre si:
|
|
El docent els envia missatges clars, oportuns i correctament redactats.
|
|
|
|
Les respostes proporcionades als missatges són coherents amb les preguntes plantejades.
|
|
|
|
El docent respon els dubtes en un període de temps raonable.
|
|
|
|
|
|
En aquest apartat s'analitzen els resultats acadèmics com a indicadors objectius de l'eficàcia de l'acció docent.
|
|
Dins d'aquesta subcategoria s'estudien els aspectes següents:
|
|
La participació activa dels estudiants en les diferents activitats del curs: debats, pràctiques i proves d'avaluació contínua.
|
|
|
|
El percentatge d'estudiants que s'han presentat a l'examen final de l'assignatura.
|
|
|
|
|
S'hi inclou informació sobre:
|
|
El percentatge d'estudiants que superen l'avaluació contínua.
|
|
|
|
El percentatge d'estudiants que superen l'assignatura.
|
|
|
|
La nota mitjana obtinguda pels estudiants.
|
|
|
|
|
|
Sabem que l' avaluació de la docència serà tridimensional —interna, externa i sobre resultats—, coneixem el pes relatiu de cadascuna d'aquestes dimensions i els diferents aspectes que s'han avaluar. Però l'avaluació realment comença quan disposem d'un programa d'avaluació, que ha d'incloure:
|
|
Una memòria descriptiva del propòsit de l'avaluació i del model acadèmic que la inspira.
|
|
|
|
Una definició exacta de l'abast subjectiu —a qui afecta— i objectiu —què s'avalua— del procés.
|
|
|
|
Una definició de l'esquema d'avaluació —qui la durà a terme—, dels procediments d'obtenció d' informació —enquestes, informes, estudis— i dels criteris utilitzats.
|
|
|
|
Un manual d'avaluació, el qual servirà de base i de guia per a l'avaluació.
|
|
|
|
Un calendari d'avaluació i un pla de seguiment dels resultats.
|
|
Els objectius de l'avaluació i els criteris que s'aplicaran per dur-la a terme s'han d'establir d'una manera consensuada en el si de l'organització, amb la participació dels mateixos avaluats. D'aquesta manera els objectius del programa d'avaluació seran més realistes i s'incrementarà la motivació del docent. Contràriament, si aquest no té una idea clara d'allò que l'organització li demana i de com es valorarà la seva feina, serà més difícil que millori el seu rendiment. Per això és important que el docent, a més de rebre una formació inicial que garanteixi el seu coneixement de l'entorn —l'EVA— i del model pedagògic adoptat per la institució, sigui informat dels objectius del programa d'avaluació i del paper que hi juga. És imprescindible, igualment, que:
|
|
Rebi un feedback adequat dels resultats de l'avaluació per tal de poder millorar d'una manera contínua el seu rendiment.
|
|
|
|
Disposi de canals per transmetre les pròpies experiències i idees en relació amb l'avaluació i l'activitat docent que té encomanada.
|
|
L'avaluació de la docència és un sistema i, com a tal, només proporciona informació rellevant si se'n fa un seguiment estadístic, tot comprovant i comparant els resultats de les diferents avaluacions. Per tal d'aprofitar-ne el potencial al màxim, caldrà disposar d'informació sobre:
|
|
Les tendències històriques del docent.
|
|
|
|
Els resultats obtinguts per altres docents de la mateixa assignatura.
|
|
|
|
Els resultats obtinguts pels docents d'altres assignatures que pertanyen al mateix programa.
|
|
|
|
Els resultats obtinguts en altres institucions en assignatures i programes anàlegs.
|
|
L'avaluació de l'acompliment és una eina fonamental per gestionar la qualitat docent. Però és més que això. També fa, en el context de la política de gestió de recursos humans de cada organització, unes altres funcions importants. En aquest sentit, possibilita l'establiment de plans salarials basats en el rendiment, facilita el disseny d'un sistema de promoció professional, permet detectar necessitats de formació no satisfetes i estimula les relacions humanes dins l'organització i el naixement d'una cultura corporativa d'orientació al client i de millora contínua.
Cal fer dues precisions més sobre l'avaluació del rendiment. En primer lloc, ha de ser rendible, de tal manera que els costos de disseny i implementació associats no han de ser prohibitius. Per aconseguir-ho, cal dissenyar un sistema que permeti obtenir i processar la informació d'una manera senzilla, ràpida i eficaç. I, en segon lloc, l'avaluació del rendiment ha d'estar orientada cap a la satisfacció de les necessitats del client-estudiant. Si s'ometen aquestes necessitats —fent servir, per exemple, criteris d'avaluació que no reflecteixin la qualitat real de la docència— els resultats de l'avaluació no seran fiables i, a més, estimularan comportaments de tipus adaptatiu en el docent, dirigits, més que a beneficiar el client-estudiant, a millorar la "nota" en el procés d'avaluació.
|
|
| 3.
| Conclusions |
En qualsevol manual sobre gestió de la qualitat s'adverteix el lector del caràcter subjectiu i multidimensional d'aquest concepte. En efecte, la qualitat d'un producte o servei té un significat diferent depenent del punt de vista de l'observador. Això resulta especialment cert en l'àmbit universitari, en què hi ha un gran ventall d'actors —personal acadèmic, personal de gestió, alumnes, famílies, administracions públiques i, finalment, la pròpia societat— que fan diferents i legítimes interpretacions sobre les característiques que ha de reunir una universitat per atènyer l'excel·lència.
L'única forma de delimitar el concepte de qualitat és adoptant un model determinat per avaluar-la. En els sistemes de gestió de la qualitat, la base d'aquest model és la satisfacció de les necessitats i les expectatives dels usuaris existents i potencials. Per això, en l'àmbit universitari, l'epicentre del sistema ha de ser l'estudiant, en qualitat de destinatari final del procés formatiu, els interessos i necessitats del qual hauran d'orientar el procés d'avaluació de la qualitat.
Un sistema d'avaluació de l'acompliment docent que consideri aquesta activitat des d'una perspectiva holista i multidimensional, que l'avaluï a partir de criteris consensuats, ben definits i coneguts pels avaluats, compleix una doble funció. Per començar, permet que els agents, i el conjunt de l'organització, coneguin fins a quin punt la docència satisfà els nivells de qualitat que són exigibles. A més, facilita, a través de refinaments successius, l'inici d'un procés de millora contínua de la docència i, en última instància, del conjunt de la mateixa universitat.
El desenvolupament en un marc diferent —els EVA o entorns virtuals d'aprenentatge— fa que l'avaluació de l'acció docent només es pugui realitzar mitjançant un model que tingui en compte les peculiaritats tecnològiques i, sobretot, pedagògiques, associades al concepte d'e-learning. El canvi en el rol del professor, la irrupció de la tecnologia en les metodologies educatives i l'aplicació intensiva d'un model pedagògic de naturalesa cooperativa orientat a l'estudiant, han de quedar reflectits en les tècniques d'avaluació de l'acompliment docent. Dins d'aquest model pedagògic, el discurs avaluador canvia i adopta un enfocament multidimensional i participatiu, i es converteix en la millor garantia de la qualitat dels processos d'ensenyament i aprenentatge.
|
| Annex II |
Avaluació interna de l'activitat docent:
|
|
|
APODACA, P.; LOBATO, C. (editors), (1997). Calidad en la Universidad: Orientación y Evaluación. Barcelona: Editorial Laertes.
|
|
DUART, J.M. (2000). "Aprender sin distancias". Nueva Revista, núm. 70, p. 146-152.
|
|
DUART, J.M.; SANGRÀ, A. (compiladors), (2000). Aprender en la virtualidad. Barcelona: Gedisa Editorial.
|
|
GILL, D.; PRIETO, C. (1998). "Alineando el desempeño individual con los valores organizativos: el feedback 360º en GE Capital". Capital Humano, núm. 114, p. 61-66.
|
|
LJOSÀ E.; REKKEDAL, T. (1993). From external Control to Internal Quality Assurance. Oslo: Norwegian Association for Distance Education.
|
|
MARTÍNEZ, M.J. (1999). "Gestión de la calidad en la empresa". En: ÁLVAREZ, J.L. Lo que se aprende en los mejores MBA. Barcelona: Ediciones Gestión 2000, p. 573-616.
|
|
MINTZBERG, H. (1991). La estructuración de las organizaciones. Barcelona: Ariel Economía.
|
|
MURPHY, N.J. (1993). "Performance Measurement and Appraisal". Employment Relations Today, 47-62.
|
|
PEREDA, S.; BERROCAL, F. (1999). Gestión de Recursos Humanos por Competencias. Madrid: Editorial Centro de Estudios Ramón Areces.
|
|
RIZO, H. (1999). "Evaluación del docente universitario". Revista Electrónica Interuniversitaria de Formación del Profesorado, 2(1).
|
|
|
|
|
| [*]
Els autors agraeixen els comentaris i suggeriments d'Isabel Solà. |
|
| [1]
Vid. LJOSA, E.; REKKEDAL, T. (1993)From External Control To Internal Quality Assurance. P.5. |
|
| [2]
És el cas, entre d'altres, del Pla Nacional d'Avaluació de la Qualitat de les Universitats promogut pel Consell d'Universitats. |
|
| [3]
Duart, J.M.(2000). "Aprender sin distancias". Nueva Revista. Núm.70, p.146-152. |
|
|
[Data de publicació: octubre de 2001]
|
| | |
