Come misurare l’efficacia di un percorso formativo – Parte 4

Quale indicatore può riassumere l’efficacia di un corso? Che tipo di informazioni possiamo trarne?

Nei primi tre articoli abbiamo fornito alcuni suggerimenti sulle cose da fare per rendere attendibile il risultato di un test, sia in termini di coerenza con gli obiettivi di apprendimento, sia per quanto riguarda la stesura delle domande e delle relative opzioni di risposta.

In questo articolo, invece, mostreremo una semplice formula che ci consente di misurare l’efficacia di un percorso formativo in modo altrettanto attendibile.

L’indice di efficacia

L’indice di efficacia è un indicatore che offre una sintesi immediata dei progressi riscontrati in un determinato arco temporale rispetto a determinate competenze. In pratica, rappresenta il valore aggiunto ottenuto grazie alla formazione o all’esperienza sul campo.

Per ottenerlo, dobbiamo raffrontare i risultati di due test di apprendimento che, naturalmente, devono essere molto simili in termini di difficoltà, impostazione e numero di domande.

La differenza tra il risultato ottenuto nel test finale (RTF) e quello del test iniziale (RTI), rapportato alla differenza tra risultato massimo raggiungibile (MAX) e quello del test iniziale (RTI), rappresenta l’efficacia del corso.

La formula per calcolare l’indice di efficacia, dunque, è la seguente:

(RTF – RTI) / (MAX – RTI)

RTF = Risultato Test Finale

RTI = Risultato Test Iniziale

MAX = risultato massimo raggiungibile

Attraverso un esempio sarà sicuramente più semplice comprendere questa formula.

Ipotizziamo che lo stesso gruppo di utenti abbia partecipato ad un test iniziale ed uno finale composto da 50 domande e che, per ciascuna risposta esatta venga assegnato un punto. Il risultato medio ottenuto è di 27 nel test iniziale e 36 in quello finale.

Indice di efficacia = (RTF-RTI)/(MAX-RTI)

= (36–27)/(50–27)  =  9/23 = 0,39

Per capire meglio il significato dell’indice, prendiamo in esame il caso estremo in cui la media dei punteggi sia vicina al massimo nel test finale (ipotizziamo 48) e molto bassa nel test iniziale (ipotizziamo 2) nel test iniziale. Stiamo parlando, in pratica, di un risultato estremamente positivo, molto vicino al massimo che si può ottenere.

Indice di efficacia = (RTF-RTI)/(MAX-RTI)

= (48-2)/(50-2) = 46/48 = 0,96

Ma un simile risultato si può ottenere anche quando non c’è una rilevante differenza tra la media dei risultati dei due test, ma ci sia avvicina al raggiungimento dell’obiettivo massimo di apprendimento.

Ipotizzando RTF= 49 e RTI=45:

Indice di efficacia = (RTF-RTI)/(MAX-RTI)

= (49-45)/(50-45) = 4/5 = 0,80

Il valore 1,00 rappresenta, quindi, il massimo risultato ottenibile in termini di efficacia ma, soprattutto, ci dice che tutti i gap formativi sono stati colmati.

Le rappresentazioni grafiche dell’efficacia formativa

Utilizzando i grafici possiamo ottenere diverse informazioni estremamente utili per valutare l’efficacia degli interventi formativi.

Le informazioni necessarie per poter creare le rappresentazioni grafiche sono le stesse che utilizziamo per calcolare l’indice di efficacia (numero di risposte esatte sul totale delle domande che compongono i test). In questo caso, però, prenderemo in considerazione i punteggi ottenuti da ogni singolo utente.

Punteggi che, naturalmente, possono essere espressi anche in forma percentuale.

Ora, immaginiamo di aver erogato il seguente test:

• 40 domande
• 1 punto per ogni risposta esatta
• 170 test iniziali e finali (T1 e T2) completati dagli stessi utenti

Trasferendo in un foglio excel i singoli punteggi ed effettuando un conteggio degli utenti che hanno ottenuto lo stesso risultato, possiamo ottenere una rappresentazione grafica di questo tipo:

La forma del grafico (gaussiana) è tipica della maggior parte dei test e la lettura del grafico dovrebbe essere abbastanza intuitiva: esso rappresenta la distribuzione degli utenti in relazione al numero di risposte esatte. Generalmente, il maggior numero di utenti, si concentra in prossimità del punteggio medio.

Il grafico, rispetto al numero che esprime semplicemente la media (17,67), ci consente di avere alcune informazioni in più. La stessa media, infatti, potrebbe essere ottenuta in presenza di risultati poco omogenei in cui, ad esempio, una metà degli utenti ha ottenuto un risultato molto alto e l’altra un risultato molto basso. In questo caso, però, il grafico si presenterebbe con una forma molto diversa dalla precedente e ci consentirebbe, a differenza dell’espressione numerica, di cogliere immediatamente il fenomeno della disomogeneità:

Guardando questo grafico, risulta evidente che ci troviamo di fronte a due distinti gruppi di persone che possiedono una preparazione disomogenea. Questa informazione è abbastanza rilevante poiché, in presenza di un risultato come questo, sarebbe opportuno creare due distinti percorsi formativi.

Inoltre, una situazione di questo tipo, potrebbe meritare qualche approfondimento sulle ragioni che l’hanno determinata. Ad esempio, valutando le caratteristiche dei due gruppi (ruolo, esperienza, età, formazione, ecc.) e cercando di capire quali sono i fattori che portano all’eccellenza di un gruppo rispetto all’altro.

Ma torniamo alla misurazione dell’efficacia formativa.

Se partiamo dal presupposto che il sistema di misurazione si basa sulla differenza tra test iniziale (T1) e finale (T2), non ci resta che confrontare i due risultati.

Il grafico rappresenta in modo chiaro e sintetico la distribuzione dei risultati ottenuti nei due test e, insieme all’indice di efficacia, ci fornisce una valida misurazione dell’efficacia formativa.

Anche in questo caso, qualora la forma delle linee che compongono il grafico sia diversa dalla classica gaussiana, potrebbe essere opportuno approfondirne le motivazioni sottostanti.

Per riuscire a calcolare l’indice di efficacia e ottenere rappresentazioni grafiche come questa basta un’ora di lavoro; ma le informazioni che possiamo ottenere sono molto preziose e possono aiutarci a migliorare in modo sorprendente la nostra formazione. Non dimentichiamo però che l’attendibilità dell’indice di efficacia dipende dalla cura con cui viene progettato il test di verifica delle competenze a cui, naturalmente, occorre dedicare tutto il tempo necessario.