Mijloace și tehnici pentru evaluarea unui program de instruire

        Procesul de instruire are obiectivul final de a creste eficienta si eficacitatea organizatiilor furnizoare si beneficiare de instruire.

Scopul final al evaluarii, rezultatul acesteia este:

• imbunatatirea formarii, din punctul de vedere al organizatiei furnizoare de instruire si

• justificarea investitiei facute, din punctul de vedere al organizatiei beneficiare de instruire. Devine necesara conceperea unui sistem de evaluare a activitatii de instruire, de determinare a nivelului calitativ al acesteia.

 

Daca, in economie, calitatea unei activitati si/sau a unui produs se poate determina relativ usor prin raportarea parametrilor obtinuti la cei proiectati - in domeniul instruirii problema este mai complexa si mai dificila deoarece:

• este dificil a se masura caracteristicile activitatii de instruire proiectate;

• rezultatele acvtivitatii de instruire nu se oglindesc numai prin cele imediate, observabile si masurabile, ci si prin modificari calitative sesizabile in timp;

• este greu de delimitat influentele exercitate asupra individului de catre actul de instruire de cele exercitate de alti factori (societate, mediu etc.);

• oricum, efectele calitative ale activitatii de instruire se materializeaza in viata - in practica, deci in afara institutiei care a realizat instruirea.

Necesitatea evaluarii rezida dintr-o lunga lista de motive:

• pentru a determina care din obiectivele formarii a fost atins,

• pentru a determina care din obiectivele formarii nu a fost integral realizat,

• pentru a imbunatati programele curente sau viitoare,

• pentru a imbunatati activitatea formatorilor,

• pentru a stabili costul efectiv si/sau analiza cost/beneficiu a programului,

• pentru a stabili contributia formarii in producerea schimbarii,

• pentru a obtine informatii de marketing,

• pentru a determina necesitati noi de formare.

In concluzie evaluarea trebuie sa fie prezenta pe tot parcursul activitatii de formare (in faza de pregatire a programului, de sustinere si de finalizare a acestuia), fiind supuse evaluarii elementele constitutive ale procesului formarii: obiectivele, continutul, metodele, resursele, facilitatile, conditiile organizatorice, durata, relevanta asupra postului participantului, formatorul, directorul de program, costul etc.

Evaluarea este facuta:

• de cursanti prin: evaluarile finale,

• de institutia beneficiara de formare prin evaluarile post formare,

• de comisiile de colocvii/ formatori prin:

- aprecierea nivelului de atingere a obiectivelor,

- testarea/verificarea insusirii cunostintelor de catre participanti;

• de conducerea institutiei furnizoare de formare prin fise/chestionare de evaluare, audituri, inspectii etc.,

• de organisme abilitate:

- de experti externi, independent,

- de piata cererii de formare.

Pornind de la aceste considerente, specialistii au stabilit patru nivele de criterii de evaluare:

• reacția - opinia participantilor asupra materialelor, facilitatilor, metodelor, continutului, formatorilor, duratei si importantei programului,

• învățarea - abilitatile, cunostintele si atitudinile dobandite de-a lungul programului,

• comportamentul - schimbarea in performanta profesionala care poate fi atribuita programului

• rezultatele - efectul schimbarilor comportamentale asupra organizatiei, precum si asupra costurilor economice, cresterii calitatii etc.

Obiectivele pot fi situate pe trei nivele:

 - imediate, respectiv abilitatile, cunostintele si atitudinile dorite la sfarsitul formarii,

- intermediare, respectiv schimbarile in performantele profesionale,

- finale, respectiv schimbarile dorite in organizatie;

B. Evaluare de început - privitoare la deciziile initiale asupra diverselor alternative in proiectarea formarii (format, formatori, metode, mijloace, organizare);

C. Evaluare de reacție - opinia participantilor asupra formarii;

D. Evaluarea de rezultat - ce schimbari evidente s-au produs.

Intrebarile cheie pe care un evaluator trebuie sa le puna la fiecare nivel al evaluarii sunt sugerate in continuare, fara pretentia ca sunt exhaustive:

1. evaluarea de context:

Ce trebuie schimbat?

Este formarea cea mai buna solutie?

Sunt obiectivele corect stabilite?

Sunt acestea legate de analiza nevoilor de formare?

Analiza nevoilor de formare este acceptabila?

Sunt obiectivele clare, posibil de atins si masurabile?

Cum vom putea masura oiectivele imediate, intermediare si finale?

2. evaluarea de inceput:

Ce proceduri sunt cele mai utile pentru a produce schimbarea dorita?

De cat timp dispunem?

Care sunt punctele forte ale diferitelor metode de formare?

Care au fost rezultatele si evaluarile unui curs similar desfasurat anterior?

Trebuie folosita o organizatie externa de formare?

Formatori externi?

Care trebuie sa fie continutul programului si ce argumente aveti pentru alegerea facuta?

Reflecta continutul obiectivele formarii?

3. evaluarea reactiei:

Care sunt opiniile participantilor despre formare?

Trebuie sa avem o lucrare de sfarsit de program sau un follow-up?

Acestea trebuie sa fie anonime?

Trebuie sa avem o evaluare a fiecarei sesiuni sau numai una finala?

Trebuie sa folosim o scara valorica sau un chestionar?

Trebuie convertite raspunsurile intr-o scara numerica pentru a face cat mai multe comparatii posibile?

Care ar trebui sa fie continutul analizei evaluarii?

Va fi realizata de formatori sau de observatori neutri?

Rezultatele analizei trebuie comunicate directorului de program, pentru a-l imbunatati pe viitor?

4. evaluarea rezultatelor:

Ce argumente avem ca s-a produs schimbarea?

a) imediată: Ce schimbari au rezultat in abilitati, cunostinte, atitudini?

Au fost atinse obiectivele imediate?

Cum putem masura schimbarile?

b) intermediară: Ce schimbari s-au produs in performantele postului?

Au fost atinse obiectivel intermediare?

Cum putem fi siguri ca aceste schimbari sunt rezultatul formarii?

c) finală: Cum au afectat organizatia schimbarile produse in performantele postului?

Au fost atinse obiectivele finale?

Care este efectul general asupra profitabilitatii si eficacitatii organizatiei?

In practica, putine organizatii furnizoare de formare isi propun sau reusesc sa realizeze o evaluare post-formare. Aceasta este foarte costisitoare si dificil de realizat si masurat.

Este necesara, pentru aceasta, o colaborare stransa si de lunga durata cu organizatia beneficiara de formare, fiind favorizate organizatiile de formare incluse in structura organizatorica a institutiei beneficiare. Evaluarea post-formare se poate face de personal al organizatiei furnizoare de formare, al organizatiei beneficiare de formare, echipe mixte sau evaluatori/ auditori externi, independenti.

Cele mai practicate sunt evaluarile in timpul formarii, vizand atat nivelul de invatare, respectiv verificarea, evaluarea participantilor, cat si nivelul de reactie al acestora, respectiv evaluarea generala a programului. Evaluarea in timpul formarii este facuta de regula de personalul organizatiei furnizoare de formare (conducatorul institutiei, directorul de program, formatorul).

Metode de verificare și evaluare a participanților

Indiferent de metoda de instruire adoptata, procesul de instruire are un singur scop: “insusirea de catre subiectii instruiti a continuturilor de invatare, in asa fel incat sa se poata manifesta in noi comportamente“.

Pentru a verifica nivelul de insusire si a evalua randamentul instruirii se folosesc metode de verificare si evaluare care, in acelasi timp, au si rol de stimulare a invataturii.

Evaluarea nivelului de asimilare are mai multe functii, in ansamblul procesului instructiv:

• functia de diagnostic a valorii metodelor folosite in instruire;

• functia de optimizare in ceea ce priveste ritmul de avansare;

• functia de stimulare a invataturii prin aprecierea argumentata si obiectiva a nivelului de cunostinte;

• functie formativa - educativa. Prin intrebari - raspunsuri intregul grup instruit construieste judecati, rationamente, aplica creator cunostintele dobandite.

Evaluarea in procesul de instruire are un dublu scop:

1. Crearea unei impresii generale asupra modului in care obiectivele invatarii au fost atinse;

2. Masurarea randamentului individual al fiecrui membru al grupului de instruire.

A masura randamentul instruirii inseamna a transmite in cifre si / sau calificative judecatile de valoare la care ajunge cadrul didactic in urma analizei efectuate (potrivit unor criterii de evaluare) asupra raspunsului, (prezentarii si/sau comportamentului) subiectului examinat.

Ca urmare, s-au stabilit principii (norme generale) care sa orienteze cadrul didactic in desfasurarea activitatii de verificare si evaluare:

• cunoasterea, verificarea si evaluarea continua, planificata si sistematica a rezultatelor instruirii; • urmarirea progresului care trebuie sa aiba ca baza obiectivele instruirii (generale si/sau specifice);

• in cunoasterea si evaluarea nivelului grupului instruit se vor folosi diverse forme si tehnici docimologice constituite intr-un sistem (examinarea scrisa / orala; frontala / individuala);

• evaluarea trebuie sa fie obiectiva, principiala. Acest principiu impune mentinerea unui echilibru judicios intre probele grele si cele usoare, intre exigenta si indulgenta.

Scopul urmarit de evaluarea progresului in instruire este influentat in buna parte de natura continutului examinat urmarindu-se:

• nivelul de cunoastere : reproducerea datelor, definitiilor, demonstratiilor;

• gradul de intelegere: aplicarea fenomenelor, interpretarea, extrapolarea, sesizarea legaturilor;

• modul de aplicare : folosirea cunostintelor in diferite situatii problema;

• capacitatea de analiza a faptelor, relatiilor si principiilor;

• capacitatea de sinteza, de generalizare si / sau concluzionare;

• posibilitatile de evaluare, de comparare si emitere de judecati de valoare;

• creativitatea: de ducere la noi elemente din cunostintele deja dobandite, descoperirea de noi solutii de rezolvare.

a) Evaluarea cumulativă consta in verificarea si aprecierea periodica, incheiata prin control final.

In acest scop se folosesc:

• verificari periodice;

• verificare finala (la incheierea unei perioade de instruire). La aprecierea finala, pentru a intari obiectivitatea (eliminarea erorilor provocate de hazard, de starea emotionala atat a celor examinati cat si a examinatorilor) se pot lua in considerare si rezultatele obtinute pe parcursul perioadei.

b) Evaluarea continuă (formativă) consta in masurarea si aprecierea rezultatelor pe tot parcursul unui program (an, ciclu) asigurandu-se astfel stimularea grupului instruit si imbunatatirea programului pe parcursul desfasurarii lui.

Deosebirea dintre cele doua strategii nu este neta, nu se exclud, ba mai mult, prin combinarea acestora se asigura o evaluare a randamentului instruirii mai obiectiva, mai aproape de realitate.

Formele de examinare (control si evaluare) utilizate in procesul de instruire sunt:

A. Examinarea scrisă poate fi individuala, frontala sau combinata si se poate desfasura oricand de-a lungul unei unitati didactice. Se poate combina chiar cu expunerea , cu dialogul. Arta formatorului de a formula intrebarile asigura succesul obiectivelor propuse in aceasta metoda de verificare si apreciere.

B. Proba scrisă are caracter instructiv si uneori chiar eliminatoriu.

Lucrarile scrise se pot desfasura:

- in sala de curs;

- in pregatirea individuala.

Scopul acestora poate fi, in afara celui de control si apreciere, si acela de antrenament in elaborarea si prezentarea in scris a problemelor.

Subiectul lucrarilor scrise poate fi conceput cu:

- intrebari (exercitii) scurte, precise care solicita raspuns scurt si concret;

- titluri corespunzatoare capitolelor sau subcapitolelor;

- tema de sinteza;

- subiecte multiple (7 - 10 maxim 15) cu extinderi diferite.

C. Teste - un test este format dintr-un sistem de intrebari care urmaresc verificarea atingerii obiectivelor instruirii.

Dupa continut, testele pot fi:

• partiale ( pe capitole, pe materii );

• generale ( pentru obiectivele programului ).

Testul pune toti participantii in conditii egale, aprecierea facandu-se mai usor si obiectiv prin punctaj.

In redactarea testelor, formatorul trebuie sa urmareasca:

■ planificarea testului:

• numarul testelor trebuie ales functie de extinderea continuturilor de invatare;

• esalonarea testelor trebuie sa asigure intarirea si stimularea asimilarii ;

• testul trebuie sa reflecte obiectivele.

■pregatirea testului:

• proiectarea testului se face paralel cu proiectarea transmiterii cunostintelor;

• la proiectare se introduc in test mai multe intrebari decat necesarul pentru a se asigura un material de selectie;

• formularea intrebarii trebuie sa fie clara, concisa, sa conduca la raspuns precis;

• ordonarea intrebarilor trebuie sa aiba criteriul dificultatii;

• testele trebuie revizuite critic din punct de vedere al limbajului, al claritatii si al timpului afectat.

■ verificarea testului:

• se face pe un esantion (chiar dintre formatori);

• se pregatesc cheile si regulile de masurare.

Testele pot fi concepute cu raspuns:

• dirijat / grila (alegerea unuia din cele 3 - 4 raspunsuri indicate in test);

• liber / original (conceput de fiecare participant). Scopul testelor nu este numai de apreciere ci si de depistare a unor continuturi neintelese sau asimilate gresit. In acest caz, testul poate fi corectat chiar de cel care-l completeaza, greselile cumulate la nivelul grupului de instruire fiind prelucrate de cadrul didactic.

D. Proiectul - este de fapt o lucrare scrisa care se intocmeste la sfarsitul unei perioade mai mari de instruire si care reflecta nu numai nivelul cunostintelor dobandite in instruire ( si studiu individual ) ci si capacitatile celui ce intocmeste proiectul din punct de vedere al analizei, sintezei si mai ales al creativitatii.

Aprecierea unui proiect este mai dificila, formatorul fiind pus in fata unui material bogat in care aportul propriu al cursantului este evident.

E. Lucrarea practică - este o forma de control si apreciere a randamentului instruirii din punct de vedere al capacitatilor de actiune (comportament) in baza cunostintelor si deprinderilor dobandite prin instruire.

Formele lucrarilor practice sunt variate:

- experiente (lucrare) de laborator;

- executarea unui produs in atelier;

- executarea unei lucrari individuale (mai rar in colectiv) la domiciliu;

- executarea in public a unor lucrari pregatite anterior (concrete in examinarea artistilor instrumentisti).

Indiferent de forma de verificare, evaluarea randamentului scolar se concretizeaza in aprecierea acestuia prin notare.

Literatura de specialitate prezinta cateva modele de notare:

a) Notarea raportata la grup - Aprecierea se face pentru fiecare membru in raport cu grupul de instruire si cu nivelul asteptat;

b) Notare individualizata - Impune existenta grupului omogen - Nu este recomandata deoarece la aceeasi nota, performantele sunt deosebite cand cei apreciati fac parte din grupuri diferite.

Oricat de mult se doreste obiectivitatea, in aprecierea rezultatelor apar surse de erori in apreciere: • efectul “halo” - ingaduinta initiala si exigenta in examinare; rareori si invers, functie de personalitatea cadrului didactic;

• efectul “oedipian” - influenta impresiei anterioare formata despre cel examinat asupra notarii respectivului in anume situatii;

• eroarea individuala - fiecare examinator are criterii proprii de apreciere, exigenta diferita;

• efectul de contrast - influenta nivelului raspunsului celui examinat anteritor;

• eroarea logica - se apropie de obiectivul propus (de exemplu, influenta formei asupra notarii, chiar la continuturi indentice ).

O metoda noua folosita la aprecierea randamentului instruirii este autoevaluarea.  Una dintre obligatiile formatorului este aceea de a instrui cum sa se autoevalueze prin:

• autonotarea controlata;

• notare reciproca intre membrii grupului.

Factorul primordial care favorizeaza interiorizarea de catre subiecti a aprecierilor cadrelor didactice il constituie intelegerea criteriilor de aprecieri utilizate de instructor.

In ultimul timp se folosesc din ce in ce mai putin notele de la 1 la 10 in evaluarea participantilor, decat calificativele (foarte bine, bine, satisfacator, slab) sau admis, respins.

Se practica de asemenea testele grila sau chestionarele mixte (intrebari inchise si deschise). Mentionam ca metoda de verificare si evaluare a cursantilor depinde foarte mult de formatul de program si de durata programului.

Evaluarea programului se formare

Pentru o eficienta maxima a programului, este necesar realizarea unei evaluari. Este o incercare de a determina daca sesiunea sau sesiunile au atins obiectivele stabilite. Aceasta evaluare poate duce la o schimbare a metodelor sau a continutului sesiunii. Se poate face la fel de bine in timpul unei sesiuni cat si la finalul ei. Trebuie facuta indiferent de cate ori un subiect anume a mai fost prezentat.

Evaluarea va va ajuta sa analizati eficienta prezentarii dvs. si va determina sa va imbunatatiti cunostintele si atitudinile, ca formator.

Cand evaluati, trebuie sa luati in considerare:

• Conținutul. Satisface materialul nevoile grupului? Trebuie sa modificati continutul materialului pentru a satisface nevoile grupului?

• Metodele. Au fost utilizate metodele cele mai bune pentru subiectul abordat si pentru grup? Metodele folosite au stimulat individul? A avut grupul posibilitatea de a vedea, auzi, discuta?

• Prezentarea. Materialul a fost prezentat logic si intr-o maniera organizata logic? V-ati bazat pe cunostintele cursantilor ? Au fost obiectivele atinse ?

• Timpul. Ati fost capabil sa prezentati materialul adecvat in timpul alocat ?

• Atmosfera. Ati stabilit si mentinut o atmosfera prietenoasa in asa fel incat participantii au fost dornici sa invete ?

La evaluare pot contribui atat participantii cat si dvs. In timpul sesiunii, dvs puteti evalua reactiile grupului la felul in care ati prezentat materialul. Ar trebui sa fiti alertat de semne de aprobare, dezaprobare sau incurcatura. Expresia fetei participantilor va va ajuta. Trebuie de altfel sa fiti capabil sa discerneti schimbarile de atitudine, o imbunatatire sau o dezvoltare a atitudinilor si a abilitatilor, sau o crestere a cunostintelor participantilor.

Daca ati stabilit obiective realiste, ar trebui sa puteti sa evaluati sesiunea intrebanduva pe dvs.: “Au fost obiectivele atinse ?”

Alte intrebari folositoare pentru evaluarea unui program sau a unei sesiuni sunt:

• Au inteles participantii ce a fost prezentat ?

• Au plecat cu sentimentul ca au invatat ceva ?

• Poate utilizarea diferitelor tehnici sa fie mai eficienta?

• Au participat toti ?

• Au fost facilitatile si echipamente satisfacatoare? Cum ar putea fi imbunatatite ?

• Am prezentat obiectivele inca de la inceputul sesiunii ?

• Am tras concluziile ?

• Am motivat grupul ?

• Am folosit un limbaj simplu, de inteles si corect ?

• Am folosit tehnici si chestionare adecvate?

Bibliografie selectivă:

Manualul formatorului in domeniul protectiei si promovarii drepturilor copilului – ANPDC, 2007

 Constantin Cucos, Pedagogie, Iasi, 1996

Roger Mucchielli, Metode active în pedagogia adulților, Eitura Didactică și Pedagogică, București, 1982