Quadro europeo sistemi di valutazione - CIOFS-FP

Seminario tecnico
La valutazione degli apprendimenti nel
sistema educativo italiano
Sala Auditorium ISFOL - 28 marzo 2014
appunti a cura di Arduino Salatin
1
La valutazione nei
e dei sistemi
formativi richiede
una lettura
multidimensionale
e multilivello
in quanto
l’education è un
processo e
«oggetto»
complesso…
2
Livelli e oggetti di valutazione
dei/nei sistemi formativi
Valutazione di
sistema
Accreditamento
Certificazione
Audit, …
Valutazione degli
apprendimenti
Valutazione delle azioni formative
(processi, risultati,
impatto, …)
ivi
Valutazione
dell’offerta formativa
Valutazione interna e/o esterna
dell’istituto/
Centro/servizio
Sistemi
assicurazione
e/o gestione
qualità
Oggi si chiede che la
formazione/istruzione
sia sempre più
improntata alla qualità
intesa come efficacia,
efficienza, utilità
rispetto alla vita
personale, sociale,
lavorativa delle
persone che la
frequentano.
4
Per questo «la qualità
della formazione non si
riduce ai processi ed alle
relazioni di tipo
didattico, … ma è
funzione anche di un
insieme di fattori che
caratterizzano un evento
formativo
contestualizzato in un
dato ambiente
organizzativo»
(Isfol ,2011, p.11)
5
«Valutare la qualità» di un
sistema educativo non è
però una cosa semplice ….
6
Nel campo dell’analisi dei contesti
educativi complessi, la valutazione
può essere definita come una
“raccolta sistematica di dati secondo
strumenti affidabili, interpretazione
di tali “dati” in vista di un impatto di
cambiamento sulla situazione di
partenza” (Beeby, 1977 ; Wolf, 1987).
Per fare questo lavoro
esistono diversi modelli e
strumenti.
7
Esempio di modello di valutazione
di un sistema formativo
8
Rispetto ai modelli di organizzazione,
e dunque agli approcci possibili di
valutazione della qualità, le istituzioni
scolastiche e formative, in quanto
«servizi», presentano tuttavia alcuni
elementi di specificità rispetto ad
altre organizzazioni:
9
- uno scarso controllo sull’”input” (gli studenti) e
sulla risorsa umana (gli insegnanti/formatori) e
dunque una minore governabilità complessiva del
sistema
- una difficile applicabilità della strategia del
«miglioramento continuo», data la variabilità
dell’utenza e del personale
- un rapporto «continuativo» e non occasionale
con il «cliente»,
- una certa ambiguità del concetto di “servizio per
l’utente” soprattutto dove si tratta di istituzioni per
la istruzione/formazione obbligatoria
10
Differisce anche il rapporto tra micro e macro
sistemi; ad esempio tra:
Il sistema didattico generale
 misurare e certificare i risultati di apprendimento
degli studenti
 valutare gli esiti o giudicare le persone (gli
alunni, gli insegnanti)?
 Valutare il merito?
Il sistema di relazioni tra gli attori educativi
 la valutazione «formativa» (a partire dal
riconoscimento dell’ asimmetria educatore –
educando)
 La valutazione dei singoli vs la valutazione del
gruppo
11
Ad esempio: i buoni risultati di apprendimento
degli allievi generano “automaticamente”
buone ricadute del servizio formativo?
(in senso diacronico e a livello di sistema)
12
Di qui la necessità di:

Porre più attenzione alla natura
comunicazionale della valutazione, in
direzione sia della soggettività (autovalutazione) che della intersoggettività (covalutazione e negoziazione sociale).

ampliare l’orizzonte della valutazione dai
risultati alle ricadute : ciò è utile anche per
precisare i “fini in vista di” (Dewey) che
guidano l’agire valutativo nei contesti
concreti.
(cfr. La legittimazione scientifica del costrutto di
«ricaduta»: l’approccio delle capability di Sen e
Nussbaum)
13
Quattro prospettive di equità formativa
A. Sen, Equality of What? In: Tanner Lecture on
Human Values, Stanford University, May 22, 1979,
University of Utah Press, Salt Lake City 1980
14
Secondo Giorgio Allulli
(2012), esistono due
principali modelli in questo
campo:
-
-
i modelli ispirati alla
gestione manageriale di
derivazione industriale,
i modelli “input-output»,
ispirati alle scienze
economiche e sociali.
15
E’ un approccio ispirato alla gestione della
qualità (intesa come capacità di rispondere alle
attese implicite ed esplicite del sistema degli
attori coinvolto nel servizio),
E’ centrato sulla valorizzazione e sul controllo
delle risorse, dei processi, dei prodotti e delle
relazioni con il territorio in cui è presente ed
opera l’organizzazione di formazione.
Questi modelli, che derivano culturalmente dal
mondo della produzione, hanno avuto particolare
diffusione nel sistema delle aziende e in quello della
formazione professionale
16
17
Questo tipo di approccio è orientato a
considerare l’organizzazione di
formazione/istruzione secondo uno schema di
“input-output”, abitualmente utilizzato
nell’ambito delle discipline scientifiche e
tecnologiche, importato successivamente dalla
scienza economica e da quella sociale.
Questi modelli hanno trovato particolare attenzione
da parte del sistema di Istruzione.
18
esempio
Tipo di
Finalità della policy
indicatore
Indicatori generali per l'assicurazione della qualità
Indicatore
N. 1 - Diffusione dei sistemi di
garanzia della qualità per gli
erogatori di istruzione e formazione
professionale:
a) quota di erogatori di istruzione e
formazione professionale che
applicano sistemi di garanzia della
qualità definiti dalla legislazione o
di loro iniziativa
b) quota di erogatori di istruzione e
formazione professionale
accreditati
N. 2 - Investimento nella formazione
degli insegnanti e dei formatori:
a) quota di insegnanti e di formatori
che partecipano a una formazione
ulteriore
b) ammontare dei fondi investiti

Indicatore di
contesto/di
input



Indicatore di
input/processo



Promuovere la cultura del
miglioramento della qualità a
livello di erogatori di istruzione e
formazione professionale
Aumentare la trasparenza della
qualità della formazione
Migliorare la fiducia reciproca
sull'offerta formativa
Responsabilizzare insegnanti e
formatori nel processo di sviluppo
della qualità dell'istruzione e
formazione professionale
Migliorare la rispondenza
dell'istruzione e formazione
professionale all'evoluzione della
domanda del mercato del lavoro
Accrescere la capacità di
apprendimento individuale
Migliorare i risultati ottenuti dai
discenti
19
APPROCCIO EFQM - MODELLO C.A.F.
Fattori abilitanti
MISSION DELLA
SCUOLA
Personale
Risultati
DIDATTICA
Risultati
relativi al
personale
ESITI DI
APPRENDIMENTO
Risultati
Leadership
Politiche e
strategie
Processi
Risultati
relativi alle
orientati a
discenti -famiglieperformance
chiave
Partnership
CONTESTO
e risorse
Risultati
relativi alla
società
RENDICONTAZIONE
SOCIALE
Innovazione e apprendimento
20
20
Secondo Allulli, tra
queste due tipologie di
dispositivi valutativi non
sono avvenuti molti
scambi ed anzi il più
delle volte si sono create
delle paratie
impermeabili, come se
in effetti appartenessero
a culture non solo
diverse, ma addirittura
antagoniste.
21
A livello europeo esiste un importante
riferimento, a partire dalla:
Raccomandazione del Parlamento Europeo e
del Consiglio sull’Istituzione di un Quadro
Europeo di riferimento per l’Assicurazione
della Qualità dell’Istruzione e della Formazione
Professionale (EQAVET), approvata il 18 giugno
2009.
È uno strumento per la garanzia e di
miglioramento della qualità dei sistemi
formativi e si basa su 4 fasi essenziali.
22





incoraggiare la mobilità e l’apprendimento
permanente attraverso la messa in trasparenza di
qualifiche e competenze;
migliorare la qualità dei sistemi di istruzione e
formazione professionale;
favorire l’accesso personalizzato di tutti i cittadini ai
percorsi di istruzione e formazione superiori
attraverso il riconoscimento e la validazione
dell’apprendimento non formale e informale;
definire un approccio comune per il trasferimento dei
risultati dell’apprendimento tra i diversi sistemi;
definire un codice di riferimento comune per i sistemi
di istruzione e formazione basato sui risultati
dell’apprendimento.
23
Oggi questo
dispositivo è
stato
ridefinito nell’
(European
Quality
Assurance
Reference
Framework)
24
Fonte: Quality Regimes in Vocational Education and Training
25
Paper for CARMA’s 25th Anniversary Conference, Aalborg University, October 10. 2008
Possiamo distinguere una prima fase, situabile
tra gli anni Novanta ed i primi anni Duemila,
segnata in particolare dall’avvio dell’indagine
PISA (Programme for International Student
Assessment),
Essa ha per fulcro la predisposizione di
dispositivi per la misurazione dei risultati
(outcomes) dei sistemi educativi, mediante
l’assessment ciclico di set distinti di
competenze piuttosto che sui contenuti
curricolari.
Fonte. Dordit, Salatin (2012)
26



A partire dal 2005, possiamo individuare una
seconda fase in cui si assiste alla pubblicazione
di una serie di attività di ricerca di carattere
settoriale, che pongono a fuoco di volta in volta
componenti distinte del sistema educativo.
L’opera di indagine comparata a livello
internazionale è accompagnata dall’offerta di
elementi diretti al miglioramento delle policy
praticate presso i diversi contesti nazionali o
sub-nazionali, sia sul piano della riflessione
teorico-metodologica che sotto il profilo della
governance.
E’ questo il caso ad esempio dei programmi di
ricerca sugli aspetti della valutazione applicata
alla misurazione della performance degli
insegnanti.
27


Inoltre va richiamata l’analisi internazionale sulla
valutazione delle istituzioni scolastiche che si
propone di ricostruire le più significative
pratiche, sia sul versante della valutazione
interna di istituto che della valutazione esterna
svolta ad opera di organismi governativi o di
agenzie e autority indipendenti.
In tale filone rientra anche il più recente filone
centrato sulla valutazione del valore aggiunto,
tesa a misurare l'impatto delle singole istituzioni
scolastiche e formative sui risultati conseguiti
dagli studenti, costruite in modo da isolare il
contributo della singola istituzione scolastica dai
fattori di carattere socio-economico che
influenzano gli apprendimenti degli allievi.
28
I 25 fattori che, secondo l’OCSE, possono influenzare
la performance scolastica degli studenti
(individuati a partire dai risultati delle rilevazioni PISA)
System/Schools
1.
2.
3.
4.
5.
6.
Educational standards
School autonomy
Institutional differentiation
Public/private school
School size
School admittance policy
Resources
1.
2.
3.
4.
5.
Teachers
1.
2.
3.
4.
salary and working
conditions
Motivation
Education/ development
Teachers assessment
Number of qualified
teachers
Physical
infrastructures
Learning time
ICTs
Curriculum
Classes
1.
2.
3.
4.
Students
1.
2.
3.
4.
Motivation
Sense of belonging
Students
assessment
Students-teachers
relations
Size
Discipline
Student
support
Pedagogy
Parents
1.
2.
Expectations
Involvement
esempio
Bernard Hugonnier, Pisa and the
performance of educational systems, (2009)
Livello di influenza associato ai vari fattori
High influence
1. Educational
standards
2. School autonomy
3. Institutional
differentiation
4. Learning time
5. Discipline
6. Student support
7. Studentsteachers relations
Low influence
1.
2.
3.
4.
5.
6.
7.
8.
Undetermined
influence
Number of qualified
1. Physical
teachers
infrastructures
School size
2. ICTs
Public/private schools 3. Classes size
School admittance
4. Teachers’
policy
motivation
Students interest
5. Parents’
Students’ sense of
expectations
belonging
Student evaluation
esempio
Parents involvement
30
L’ OECD Review on
Evaluation and
Assessment Frameworks
for Improving School
Outcomes (2009)
È un quadro di
riferimento basato sulle
prospettive di
accountability e di
improvement dei sistemi
educativi.
È articolato su:

COMPARATIVE
ANALYSIS

COUNTRY REVIEWS
31
Le componenti fondamentali del modello
sono articolate su 5 dimensioni:

Student assessment;

Teacher appraisal;

School evaluation;

The appraisal of school leaders;

Education system evaluation.
Synergies for Better Learning: An International Perspective on
Evaluation and Assessment, Presentation by Paulo Santiago
Directorate for Education and Skills, OECD, 2013
32
Sono strutturate
per far interagire gli
esperti, i decisori e
gli operatori sul
campo
Policy
review
33


Tra i diversi lemmi e costrutti, il termine
accountability appare oggi una parola
chiave emergente per la valutazione dei
sistemi formativi (dal livello micro al livello
macro).
Ma l’accountability, pur restando un
criterio necessario per l’analisi valutativa, in
particolare per le dimensioni della
trasparenza e della responsabilità, può
essere anche sufficiente?
34
La logica orientata all’accountability, che
generalmente implica l’uso di un approccio di
tipo sommativo, applicata all’accertamento
dell’esito di apprendimento degli studenti, si
esplica
- nelle diverse forme di accertamento,
- in differenti stadi del percorso formativo, del
livello di conseguimento di obiettivi curricolari
espressi generalmente in conoscenze ed
abilità,
- sulla base di standard fissati dalle autorità di
governo del sistema (standards-based
systems)
35
Approccio
prevalente


Student
assessment





Prospettiva di accountability
Prospettiva di improvement
Sommativo
Formativo
Accertamento, in differenti stadi del
percorso formativo, del livello di
conseguimento di obiettivi curricolari
espressi in conoscenze ed abilità, sulla
base di standard fissati dalle autorità di
governo del sistema scolastico
(standards-based systems).
Individuazione di particolari
sottogruppi nella popolazione
scolastica dal basso livello di
performance.
Individuazione dei fattori correlati al
conseguimento dei risultati.
Accertamento del livello di
conseguimento degli obiettivi e
standard fissati a livello governativo.
Analisi della variazione nel tempo dei
livelli conseguiti.
Utilizzo dei risultati ottenuti dagli
studenti in funzione di premialità o
penalizzazione delle scuole.
Utilizzo dei risultati ottenuti dagli
studenti in funzione della valutazione
degli insegnanti.




Funzione diagnostica: tesa ad
individuare tipo e livello delle
difficoltà di apprendimento alla
luce di criteri definiti per
migliorare l’istruzione
impartita in classe.
Funzione prognostica: diretta
ad individuare limiti
istituzionali ed organizzativi e
giustificare forme di intervento
per una loro riduzione o
superamento.
Monitoraggio dei progressi
nell’apprendimento nel corso
del tempo in relazione alle
attese.
Identificazione dei bisogni
formativi e adozione dei
necessari aggiustamenti alla
pratica di insegnamento.
36
Modelli di autovalutazione delle istituzioni
educative e formative
esiti
finalità
accountability
focus
processi
improvement
37
Il raccordo tra valutazione
interna ed esterna
L’attività di valutazione, interpretata in
funzione di uno sviluppo dei sistemi e della
loro capacità di risposta sia verso l’esterno che
verso l’interno, richiede la predisposizione di
un’adeguata architettura del sistema
valutativo, la cui articolazione possa
comprendere tanto il piano della valutazione
dei risultati di apprendimento, quanto nuovi e
meno tradizionali elementi, quali la
valutazione delle istituzioni scolastiche, della
performance degli insegnanti e del sistema nel
suo complesso.
38
Ne risulta quindi la tendenza a
promuovere lo sviluppo di
sistemi integrati di valutazione,
le cui componenti siano
interconnesse sulla base di
dispositivi di rilevazione e set di
indicatori unitari entro un
sistema informativo che
consenta l’interoperabilità dei
dati raccolti ed elaborati.
39
Secondo questi studi, in 25 paesi UE risultano tre
modalità prevalenti (che possono presentarsi
anche in forma mista):



esami standardizzati (es. Irlanda, Lituania,
Polonia)
coursework (es. portfolio,…come in Germania,
Austria)
valutazione di performances e capacità pratiche
(es. Finlandia, Francia, Spagna, Regno Unito).
Cedefop, C O M P A R A T I V E A N A L Y S I S, Initial
vocational education and training (IVET), paper, 2009
40
a) Prima tendenza
ricerca di un più stretto raccordo tra standard
formativi e forme di assessment degli studenti.
b) Seconda tendenza
sviluppo delle capacità degli insegnanti di valutare
sulla base di standard.
In alcuni casi, ad esempio in UK, si forniscono agli
insegnanti linee guida dettagliate sulle pratiche di
assessment, rafforzando i processi di
collaborazione tra istituzioni formative ed
insegnanti.
41
c) Terza tendenza
ricerca di un più stretto raccordo tra pratiche di
valutazione esterna e valutazione degli
apprendimenti effettuata dagli insegnanti.
In proposito si può rilevare che in diversi Paesi si
combina il punteggio ottenuto dagli studenti in
prove di valutazione esterna con quello attribuito in
classe dagli insegnanti.
È questo il caso ad esempio di paesi quali la
Danimarca, Olanda, Polonia, Svezia, Svizzera ed il
Regno Unito.
Fonte: Luca Dordit, La valutazione dei sistemi educativi: alcune
linee di tendenza nei processi di riforma in corso in area OCSE,
in «Rassegna italiana di valutazione», n. 49 (2011), pp.63-76
42
a) La «Guida per l’autovalutazione»
Un elemento a supporto della strategia europea
per l’assicurazione della qualità nella VET è
costituito dalla European Guide on Selfassessment for VET-providers, frutto del lavoro
del Gruppo Tecnico sulla Qualità (TWG)
costituito dalla Commissione Europea presso il
CEDEFOP.
L’adattamento italiano della «Guida» è stata
curato da G. Allulli (2006) per conto dell’ISFOL.
43
b) La guida per la Peer Review
La Peer Review (valutazione tra pari) è una
forma di valutazione esterna che ha l’obiettivo
di supportare le strutture scolastiche e
formative nelle iniziative di sviluppo e di
assicurazione della qualità.
Il modello di Peer Review per la qualità nel
settore education è stata messo a punto dalla
Commissione Europea per essere adottato su
base volontaria dalle istituzioni di Istruzione e
Formazione Professionale.
44



Si tratta di un gruppo esterno di esperti,
definiti Pari (Peers) che è chiamato a valutare
la qualità di alcune aree della struttura
scolastica/ formativa, come per esempio la
qualità dell’insegnamento / apprendimento, o
dell’intera struttura.
Durante il processo valutativo, i Peer
conducono visite presso l’istituzione soggetta
a valutazione.
Il Manuale italiano della Peer Review è stato
curato dall’Isfol (cfr. Allulli e Tramontano, 2012).
45
Il «modello
italiano» di
valutazione
del sistema
di istruzione
e di
formazione
46
Il decreto del Presidente della Repubblica del 28
marzo 2013, n. 80 ha istituito il nuovo Sistema di
Valutazione Nazionale di valutazione in materia di
istruzione e formazione .
Vi contribuiscono tre soggetti: INVALSI (Istituto
nazionale per la valutazione del sistema di
istruzione e formazione), Indire (Istituto nazionale
di documentazione, innovazione e ricerca
educativa) ed il contingente degli ispettori
scolastici.
47
il Regolamento del SNV
(2012)
(Art. 6: procedimento di valutazione)
a. Autovalutazione delle istituzioni
b. Valutazione esterna
c. Azioni di miglioramento
d. Rendicontazione sociale
Fonte: MIUR, materiali presentazione USR, 2013
48
Il processo di riferimento
1. analisi e verifica del proprio servizio sulla base di:
- dati resi disponibili dal sistema informativo del
Miur
- rilevazioni sugli apprendimenti e elaborazioni sul
valore aggiunto dell'Invalsi
- ulteriori elementi significativi integrati dall’istituto
2. - elaborazione di un rapporto di autovalutazione
- formulazione di un piano di miglioramento
Ripreso da art. 6 del Regolamento sul Sistema nazionale di
Valutazione: “procedimento di valutazione”; lettera a)
autovalutazione delle istituzioni scolastiche
49
Fonte: VALSIS, Quadro di riferimento teorico
valutazione sistemi e scuole, Invalsi, 2010
50
Il riferimento concettuale
prescelto per l’impostazione
generale del framework è il
cosiddetto modello CIPP
(Context – Input – Process Product) di Stufflebeam.
51
Fonte: INVALSI-MIUR, 2013
52
Fonte: Invalsi, materiali progetto VALES, 2013
53
54
Un esempio di
sistema integrato
di valutazione
dell’istruzione e
della IeFP
55
Il modello della Provincia di Trento
56
per
concludere…
57
«Noi incoraggiamo gli studenti a lavorare, ma
questo lavoro deve risultare ben fatto in due modi:
esemplare dal punto di vista della qualità, ma anche
responsabile.
… Il lavoro che facciamo come adulti dovrebbe
sempre tenere in considerazione le nostre
responsabilità in cinque ambiti differenti:
• il nostro personale sistema di valori;
• gli altri individui intorno a noi: famiglia, amici,
colleghi o compagni di scuola;
• la nostra professione o vocazione;
• le istituzioni alle quali apparteniamo;
• il mondo intero: le persone che non conosciamo,
quelle che vivranno in futuro, la salute e la
salvezza del pianeta »
(cfr. H. Gardner, Un’educazione per il futuro, 2001)
58