LA VALUTAZIONE 360° PER VERIFICARE L`EFFICACIA DELLA

LA VALUTAZIONE 360° PER VERIFICARE
L’EFFICACIA DELLA FORMAZIONE
Di Dr. Laura Belli – Partner EBC Consulting – www.ebcconsulting.com
PARAGRAFO 1
ROI: ritorno sull’ investimento (return on investment) o ritorno dalla
formazione (return on instruction)?
http://www.ebcconsulting.com/valutazione-efficacia-della-formazione-del-personale.html
Come si fa a sapere se il programma formativo che abbiamo scelto è efficace?
La formazione che abbiamo frequentato – o alla quale abbiamo mandato nostri
collaboratori – può avere effetti a lungo termine sul comportamento professionale dei
singoli e dell’organizzazione?
Un intervento formativo può incrementare la produttività o l’efficienza?
E se sì, come posso misurarne i benefici?
Queste sono le domande che, sempre più spesso, vengono poste nelle organizzazioni
circa la formazione ed i suoi risultati, attesi od effettivi che siano. Domande alle quali, pur
nella consapevolezza del fatto che la formazione non può che consentire un passaggio di
conoscenza e/o di stimoli e che è la loro implementazione nella quotidianità professionale
ciò che consente il miglioramento delle performance personali ed organizzative, cerca di
dare risposta la valutazione della formazione intesa nella sua accezione più recente.
Valutazione, però, non intesa come mera determinazione del valore, del peso e della
validità dei programmi e delle attività, bensì come utilizzo di componenti di giudizio
derivanti da procedure articolate e complesse che si avvalgono anche di strumenti di
misurazione oggettiva, ma che non si riducono – e riducono il responso finale – solo a
questi.
Del resto, solo attraverso un’attività valutativa “spalmata” nel tempo e più vicina ad una
logica di ricerca che non di semplice misurazione, appare possibile valutare l’effettivo
ritorno della formazione nella sua accezione più ampia e completa. Appare possibile, cioè,
valutare non solo i suoi risultati immediati (output) intesi come meri servizi e/o prestazioni
offerte, ma anche i suoi effetti indotti (outcomes) intesi come quegli effetti che si realizzano
quando gli output raggiungono i loro destinatari e che si determinano anche
successivamente ed al di l° di questi, nell’ambito di una catena di influenza intra ed
extraorganizzativa.
Quindi, non soltanto una misurazione che presuppone, è vero, la disponibilità di riferimenti
oggettivi e può far ipotizzare l’eliminazione di qualsiasi incertezza attraverso la corretta
applicazione di metodologie, ma rende anche l’intero processo un po’ troppo
meccanicistico e rigido. Bensì un momento di confronto critico e dialettico con i risultati,
diretti e mediati, dell’azione formativa.
In sostanza, la valutazione va sì ad esaminare – in chiave anticipatoria oltreché
retrospettiva - la validità, il merito il valore di programmi ed attività formativi, ma la sua
valenza principale e fondante diventa quella di risorsa per le scelte future e, quindi, per
l’evoluzione stessa delle organizzazioni.
PARAGRAFO 2
Un po’ di ordine tra teorie e metodi
Per arrivare ad inquadrare precisamente lo strumento 360° e le sue utilità nell’ambito della
valutazione della formazione occorre dare alcune indicazioni di massima sugli aspetti
teorici considerati nella sua ideazione ed implementazione.
Una modellizzazione per interpretare processi di valutazione dovrebbe, a parere di chi
scrive, considerare come variabili:
o Il concetto di valutazione
o Le metodologie usate
o Gli attori coinvolti nella valutazione
o Il modo in cui usare i dati provenienti dalla valutazione
Per ciò che riguarda, in particolare, le metodologie di valutazione si possono considerare 4
macroclassi:
1. le metodologie focalizzate su efficacia e qualità ( cercano di cogliere gli effetti della
formazione direttamente in termini di output e outcome);
2. le metodologie economiche (cercano di definire l’impiego di risorse connesso al
raggiungimento dei risultati)
3. le metodologie professionali (attività realizzate o, quantomeno, ideate con l’intervento di
figure professionali di alta specializzazione e/o professionalizzate attraverso adeguato
training)
4. le metodologie procedurali (orientate a fattori come imparzialità, equità, legittimità e
trasparenza piuttosto che ad efficienza ed efficacia).
Lo strumento 360° va inserito nell’ambito delle metodologie professionali sia perché
la sua ideazione non può che essere frutto di studi di psicologia del lavoro applicata alle
teorie sulle Competenze, sia perché la sua somministrazione ed interpretazione può
essere effettuata solo da professionisti abituati a lavorare (o formati) sulla base di tali
teorie.
Sempre a livello di metodologie, poi, la dottrina raggruppa le forme di valutazione in 3
diversi insiemi:
� le forme improprie di valutazione (formalità necessaria e ricerca di immagine)
� le forme parziali di valutazione (controllo interno, delle risorse umane, descrittiva)
� le forme effettive di valutazione (consulenza, certificazione, promozione, 360°)
Di queste ultime, la valutazione a 360° può sicuramente considerarsi la forma più
completa ed incisiva: innanzitutto perché consente il bilanciamento fra finalità valutative e
modi d’uso improntati alla conoscenza senza operare tra essi una netta divisione, poi
perché – attraverso l’affinamento delle pratiche di valutazione e la creazione di una cultura
organizzativa più matura e consapevole – contribuisce realmente alla valorizzazione della
“risorsa uomo”.
Quanto alla valutazione della formazione in senso stretto, la teoria “ sposata”- per l’intero
Modello di Valutazione in generale e per l’inserimento in esso del 360° in particolare – è
quella dei 4 livelli di valutazione di Donald Kirkpatrick.
In pratica, questo autore identifica 4 diversi ambiti all’interno dei quali è possibile inserire
strumenti/azioni che consentono di assicurare risultati attendibili circa i ritorni delle attività
di training. Precisamente:
1. REACTION : ai partecipanti è piaciuta l’attività formativa? Coglie la parte di reazione
immediata all’attività e, quindi, è indicativa del clima d’aula, dell’appeal del docente e degli
argomenti trattati, della logistica, eccetera.
2. LEARNING: quanto hanno appreso i partecipanti? Coglie l’aspetto cognitivo nel senso
che valuta se i partecipanti hanno o meno avuto difficoltà a livello di apprendimento e
quale grado di apprendimento medio è stato raggiunto.
3. BEHAVIOR: sono cambiati i comportamenti dei partecipanti? Coglie l’aspetto
comportamentale nel senso di verificare se le abilità apprese sono state acquisite così da
determinare un cambiamento e/o un miglioramento nei comportamenti agiti e, quindi, nella
performance lavorativa del singolo e dell’Organizzazione.
4. RESULTS: che risultati abbiamo ottenuto? Coglie l’aspetto legato ai risultati tangibili
che possono considerarsi derivanti direttamente da quanto appreso grazie al programma
formativo.
In generale, le Organizzazioni – quando cercano di valutare la formazione – si avvalgono
dei 4 livelli nelle seguenti percentuali:
Livello 1 78%
Livello 2 32%
Livello 3 9%
Livello 4 7%
Nel caso di specie, invece, trattandosi di dover valutare l’impatto organizzativo della
formazione, ci si è concentrati sul livello 3, quello dei comportamenti, e sul livello 4, quello
dei risultati.
PARAGRAFO 3
Lo strumento
Come accennato nel paragrafo precedente, essendo l’obiettivo della valutazione i
comportamenti, per riuscire a misurarli con un buon grado di oggettività, ci si è basati sulla
teoria dei Modelli di Competenze.
Si è quindi accettata la definizione data di COMPETENZE come set di dimensioni
comportamentali che sono determinanti per la prestazione lavorativa di successo in
undato ruolo ed in un determinato contesto lavorativo e si è costruito un questionario che –
somministrato in auto ed in eterovalutazione – permetta di ottenere un profilo incrociato fra
come il soggetto si autoanalizza e su come gli altri lo vedono rispetto ai
comportamenti/competenze. Somministrandolo prima dell’intervento formativo e dopo
qualche mese dal suo termine, permette di avere una “fotografia comportamentale” dei
partecipanti al corso nei due momenti il cui confronto evidenzia le differenze derivanti dal
corso e, perciò, il suo impatto sulla performance organizzativa.
Come è stato progettato il questionario? Quali criteri sono stati utilizzati per creare
il suo impianto di base? Si è partiti dai possibili errori.
Meglio, conoscendo le più comuni “trappole” da evitare quando (e se) si vuole creare un
sistema di valutazione 360° che sia effettivo ed efficace, abbiamo lavorato su di esse per
trovare fin dalla fase ideativa dello strumento le “vie di fuga organizzative” più concrete e
fattibili.
TRAPPOLA 1- non avere un obiettivo chiaro: mettere in campo un sistema a 360°
senza un chiaro e specifico obiettivo è come prescrivere un antibiotico generico in
presenza di diversi virus; le cause nascoste – spesso le uniche responsabili dei problemi –
non vengono affrontate e, quindi, possono continuare a generare i loro effetti indesiderati.
Ecco, perciò, che lo strumento utilizzato per la Valutazione dell’Impatto Organizzativo della
Formazione non solo è stato ideato ed implementato per avere una focalizzazione precisa
(verificare se e come un intervento formativo ha avuto effetti sui comportamenti delle
persone coinvolte), ma addirittura si è cercato – soprattutto a livello di strutturazione degli
item – di eliminare ogni possibile “tentazione” di uso diverso da quello ipotizzato.
TRAPPOLA 2 – non fare un test pilota: è uno dei pericoli più gravi e più subdoli essere
troppo ambiziosi e/o troppo rapidi quando si introduce un nuovo strumento
nell’Organizzazione. Per questo, i suggerimenti – forse banali, ma sicuramente di grande
efficacia – che abbiamo seguito per il Modello e lo strumento sono stati: da un lato di
introdurre processo e strumento con un sistema pilota la cui analisi ha potuto consentire di
determinare la sua efficacia ed i suoi impatti oltreché di evidenziare le criticità in corso
d’opera, dall’altro di coinvolgere il maggior numero di persone degli Enti coinvolti nella
pianificazione, implementazione e modifica del programma pilota.
TRAPPOLA 3 – non coinvolgere le “persone chiave”: mentre il loro apporto può
facilitare l’introduzione e l’uso dello strumento ed anche la sua messa in opera reale.
Per questo, già in fase d’ideazione del 360° si è cercato di far partecipare i responsabili
della formazione delle Organizzazione coinvolte nella determinazione delle competenze
considerate strategiche (e, quindi, valutate), nella scelta del metodo per raccogliere ed
accorpare le valutazioni, nelle filosofie che devono stare alla base dell’analisi dei dati.
TRAPPOLA 4 – comunicare in maniera insufficiente: mentre una comunicazione
trasparente e completa è particolarmente importante per la positiva riuscita di un Modello
come quello creato. Quindi, è stato ritenuto essenziale comunicare e comunicare
chiaramente su ogni strumento che lo compone e, soprattutto, sul 360° che può creare i
fraintendimenti o le sensazioni di “tradimento” che, potenzialmente, accompagnano tutti i
processi che coinvolgono anche argomenti confidenziali. La comunicazione è stata
pensata e “costruita” da tutte le persone coinvolte nella progettazione e start up del test
pilota e si è concretizzata in lettere di presentazione del progetto (tarate sullo specifico di
ogni Organizzazione) ed in riunioni esplicative del Modello in generale e dei singoli
strumenti mano a mano che dovevano essere utilizzati.
TRAPPOLA 5: compromettere (non tenere conto) dell’aspetto confidenziale: una
valutazione 360°, anche se usata in un Modello di valutazione della formazione, si basa
sull’idea che le persone si sentano tranquille anche sapendo di poter esprimere le proprie
valutazioni mantenendo l’anonimato e, perciò, molta della sua attendibilità può venire
meno se confidenzialità ed anonimato siano o vengano percepite come compromesse.
Come fare, allora, in un Modello dove il confronto tra un “prima” ed un “dopo” non è solo
auspicabile, ma necessario? Ancora una volta ha premiato la trasparenza: sapere quali
informazioni verranno rese note ed a chi e, al limite, permettere l’uso di pseudonimi ha
aiutato molto a tranquillizzare le persone coinvolte ed a farle esprimere apertamente.
TRAPPOLA 6: avere un sistema di somministrazione e correzione dei questionari
360° difficile e farraginoso, mentre all’opposto proprio la facilità d’uso di esso è una delle
variabili che maggiormente pesano sul successo dello strumento. Perciò, abbiamo resistito
alla tentazione di includere ogni possibile domanda che potesse valutare ogni competenza
ipotizzabile, per non perdere il vantaggio della semplicità. Per questo abbiamo “limato”
struttura e linguaggio (per altro assolutamente allineato con le realtà nelle quali doveva
essere applicato) del questionario, dedicata particolare attenzione alla formalizzazione ed
alla comunicazione delle istruzioni per i compilatori, creata una formazione ad hoc (teorica,
ma anche pratica) per i somministratori ed un sistema di correzione semplice e fruibile da
tutti.
PARAGRAFO 4
Analisi dello strumento1
Viene proposta di seguito una prima, sintetica, analisi dei risultati emersi dalla
somministrazione del questionario Q.C.P. (Questionario sulle Capacità Professionali)
focalizzando l’attenzione sullo “strumento” senza entrare nel merito delle indicazioni che
scaturiscono dalle risposte che le persone che hanno compilato il questionario ci hanno
fornito rispetto all’argomento in esame. La domanda da cui si è partiti è: “Il questionario
Q.C.P. è adatto a rilevare le informazioni che ci servono?” – In parole povere ha”
funzionato”, considerando l’impianto generale della ricerca in cui è inserito e la
popolazione di riferimento?
DESCRIZIONE DEL QUESTIONARIO
Il Q.C.P. è composto da un totale di 130 items, formulati sotto forma affermazioni o frasi,
che descrivono caratteristiche o comportamenti da riferire alla persona valutata. Si chiede
di valutare quanto quella caratteristica o azione appartiene al repertorio comportamentale
della persona che attraverso le risposte al questionario si vuole descrivere, in termini di
frequenza “quasi mai/quasi sempre” in una gamma composta da 5 range (quasi mai raramente – qualche volta – spesso – quasi sempre).
Prende in esame 13 dimensioni (scale) relative a comportamenti/capacità/competenze
rilevanti nel contesto lavorativo della persona (non finalizzate a valutare la persona stessa
nella sua interezza o essenza!!).
Le scale sono raggruppate in 4 macroaree: relazioni, comunicazione, approccio al
compito, energia. Una peculiarità di questo tipo di questionario, o meglio dell’utilizzazione
del questionario, è che consente di valutare se stessi (autovalutazione) ed essere valutati
(eterovalutazione) secondo parametri il più possibile “oggettivi” e confrontabili. La
coerenza ovvero la discrepanza tra l’auto e l’eterovalutazione (e tra le diverse
eterovalutazioni) fornisce indicazioni utili per descrivere il comportamento organizzativo di
un individuo così come è percepito da diversi punti di vista e gli dà informazioni che
possono essere utilizzate per conoscersi meglio ed eventualmente cambiare/migliorare le
proprie capacità ed il modo di relazionarsi agli altri.
SOMMINISTRAZIONE DEL QUESTIONARIO
Il Q.C.P. nella prima fase della sperimentazione – quella della quale sono stati già
elaborati ed analizzati i dati - è stato compilato da 148 persone che lavorano presso gli
Enti coinvolti nella ricerca. Il campione esaminato è composto da 32 persone che si sono
autovalutate ed hanno distribuito a loro capi, colleghi, collaboratori (mediamente a 3 o 4 in
totale) il questionario per farsi valutare. Una prima considerazione da fare è relativa
all’”impatto” che il questionario ha avuto.
Sembra emergere che le persone abbiano risposto generalmente in modo positivo
mostrandosi disponibili alla richiesta di compilare il questionario (nonostante i 130 items!),
le indicazioni contenute nelle istruzioni sono parse sufficientemente chiare da permettere
l’auto-somministrazione, gli items proposti sono risultati comprensibili ed anche la
compilazione del foglio di risposta non sembra aver creato particolari problemi, sebbene
sia stata rilevata qualche imprecisione.
In particolare nella parte dove viene richiesto di specificare il tipo di relazione che lega la
persona da valutare e colui che valuta (capo, collega, collaboratore) sono state fornite in
molti casi specificazioni non richieste (perché difficilmente classificabili in categorie
univoche e rigide) che sono risultate superflue e inutili ed in altri (12) casi non è stata
fornita alcuna indicazione.
Il questionario risulta in sè fruibile da parte della popolazione oggetto della ricerca e da
questo punto di vista adatto, per rispondere alla domanda iniziale, a rilevare le
informazioni che ci servono, ma si è evidenziata anche sperimentalmente la necessità di
monitorarne la somministrazione e fornire informazioni molto dettagliate alle persone che a
loro volta dovranno dare il questionario da compilare ai loro conoscenti. Questo è
indispensabile al fine di ottenere dati rilevanti e decodificabili (correttezza nella
compilazione del foglio di risposta).
RISULTATI
Considerando la distribuzione dei punteggi, si è potuto osservare che sono concentrati in
maggioranza (oltre il 67%) nella parte centrale della scala, questo significa che da un
punto di vista statistico, esaminando i dati globalmente, lo strumento sembrerebbe
discriminare poco. E’ necessario tuttavia fare alcune precisazioni. Il questionario Q.C.P.
è tarato per focalizzare l’attenzione sull’individuo, ed è a questo livello che va spostata
l’analisi, inoltre è più adatto a fornire indicazioni di tipo qualitativo che quantitativo, o
meglio risultano significativi scostamenti “quantitativamente” piccoli che appaiono poco
rilevanti da un punto di vista statistico. Questo dipende in larga misura dall’oggetto di
indagine, il comportamento umano, valutato da parte di un osservatore (umano) che di
norma non fa il “valutatore” di professione, per di più che si conosce (collega, amico) e con
il quale, in ambito organizzativo, esiste una relazione in molti casi di tipo gerarchico (capo,
collaboratore). Su un foglio di risposta abbiamo trovato, accanto alle risposte richieste, la
seguente domanda: “si può parlare male di un collega?” Questo interrogativo riassume un
po’ la delicatezza del compito e se da un lato sembra avallare quanto suggerito nel
paragrafo precedente circa la necessità di usare cautela nell’uso di questo tipo di
strumento, dall’altro non ne inficia tuttavia la validità.
E’ necessario pertanto esaminare i dati con attenzione, contestualizzandoli senza
trascurare scostamenti non eclatanti ma che a questo livello ci forniscono informazioni
rilevanti ed ipotesi feconde. Inoltre la somministrazione di uno strumento per raccogliere
informazioni ci permette di standardizzare lo “stimolo” cioè le domande che poniamo e di
delimitare con più precisione il campo di indagine.
Venendo all’analisi delle medie accorpate in base alla relazione tra il valutato e il
valutatore e la media generale dei punteggi ottenuti, abbiamo osservato che la media
dell’autovalutazione è, in tutte le scale, più bassa di quella generale, a riprova del fatto che
nel valutare sé stessi si è tendenzialmente più critici; inoltre nella maggior parte dei casi la
valutazione del capo si avvicina di più all’autovalutazione ed è quindi più bassa della edia
generale. Questo probabilmente perché un capo è più abituato ad esprimere una
valutazione su un dipendente, sia perché è “istituzionalmente” deputato a farlo,
esprimendosi non necessariamente in termini lusinghieri.
Per ulteriori informazioni: EBC Consulting Srl http://www.ebcconsulting.com/
Ulteriori informazioni circa questo argomento: http://www.ebcconsulting.com/valutazioneefficacia-della-formazione-del-personale.html
EBC Consulting