Agenda dei primi 100 giorni

Il Sistema Nazionale di Valutazione
Parma – 20 settembre 2013
considerazioni sulla valutazione
cosa significa “valutare”
• etimologicamente = attribuire un valore a qualcosa
• problemi connessi:
•
•
•
•
differenza fra “costo” e “valore”
chi formula la stima relativa al secondo?
è possibile una stima oggettiva?
cosa succede in caso di errore?
• in ambito economico, le risposte sono chiare:
• a stimare il valore del “bene” è chi vuole procurarselo
• la stima che ne fa è ovviamente “soggettiva”
• cioè dipende dal bisogno che ne ha o dal confronto con altri beni simili
• se sbaglia, pagherà un costo più alto rispetto al valore
• la prossima volta, farà tesoro dell’esperienza
SNV - Antonino Petrolino - 2013 ©
3
la valutazione nei servizi
• nei servizi di natura non economica, non è così
• soprattutto se sono resi in regime di esclusiva
• e quindi fuori da un bilanciamento domanda / offerta
• in questo caso, la stima la fa il committente
• in relazione alle aspettative che nutre
• per confronto con situazioni analoghe di altri contesti
• il problema quindi si sposta
• chi è il committente “vero” del servizio scolastico?
• è lo Stato che lo regola e che lo finanzia?
• o è il cittadino che lo paga e dovrebbe trarne beneficio?
SNV - Antonino Petrolino - 2013 ©
4
l’anomalia italiana
• in tutti i paesi, l’istruzione è bene pubblico
• finanziato in prevalenza con la fiscalità generale
• ma lo Stato ha due modi per valutarlo
• fissando “a priori” degli obiettivi
• valutando“a posteriori” il loro raggiungimento
• in Italia, non è (stato, finora) così
• perché gli obiettivi non sono stati dichiarati
• e quindi non è stato possibile verificarli a consuntivo
• a fissare gli “standard minimi” sono, di fatto:
• i singoli consigli di classe, al momento dello scrutinio finale
• o, addirittura, i singoli docenti con la proposta di voto
SNV - Antonino Petrolino - 2013 ©
5
eppur si muove …
• qualcosa comincia a cambiare di recente
• con le prove INVALSI
• con la partecipazione alle rilevazioni internazionali
• né le une né le altre hanno “standard a priori”
• ma utilizzano al loro posto livelli “statistici”
• molto discutibili in relazione al singolo caso
• ma sostanzialmente significativi a livello di sistema
• questo permette, se non altro:
• di sapere se una scuola è sopra la media o meno
• di “inferire” quanto di questo scostamento “controlla”
SNV - Antonino Petrolino - 2013 ©
6
nel giro di pochi anni
• abbiamo avuto diverse sperimentazioni:
• Valorizza
• VSQ
• VaLeS
2010-2011
2011-2014
2012-2015
esaurita
ad esaurimento
in corso
• ed ora una norma giuridicamente vincolante:
• DPR 28 marzo 2013, n. 80
• pubblicato in Gazzetta Ufficiale il 4 luglio 2013
• in vigore – teoricamente – dal 19 luglio
• ma siamo ancora alla “misurazione”
• non ad una vera e propria valutazione
SNV - Antonino Petrolino - 2013 ©
7
il regolamento SNV
quanto è “maturo” il SNV?
• mancano ancora molte cose:
• il tempo (entrato in vigore a ridosso del 1° settembre)
• i valutatori dirigenti tecnici
• non sono ancora partite le procedure di assunzione
• i valutatori “esperti”
• è in corso la procedura di selezione su oltre 5.000 aspiranti
• dovranno poi essere formati
• i protocolli di auto-valutazione
• gli strumenti di lavoro (informatici e non)
• il 2013-2014 sarà un “anno di transizione”
• tanto per cambiare …
• le scuole potranno / dovranno utilizzarlo per studiare
• ma, in particolare, per i neo-dirigenti
• si profila uno specifico obbligo, come già lo scorso anno
SNV - Antonino Petrolino - 2013 ©
9
il rapporto con VaLeS
• il regolamento è “acefalo” sul piano giuridico
• la norma che istituisce il SNV è carente
• non indica principi, criteri ed indirizzi (art. 76 Cost.)
• di fatto, quindi, esso si è sviluppato “nel vuoto”
• la sua redazione è parallela allo sviluppo VaLeS
• cui il testo finale assomiglia molto
• il MIUR ha anche avvalorato questa lettura
• con una nota del 9 aprile 2013
• si può quindi assumere che
• SNV utilizzerà molti degli strumenti e concetti di VaLeS
SNV - Antonino Petrolino - 2013 ©
10
cosa prevede il regolamento?
• tutte le scuole sono tenute all’attuazione del modello
• quattro fasi:
•
•
•
•
auto-analisi ed ipotesi di piano di miglioramento
validazione esterna della prima fase
attuazione del piano di miglioramento
rendicontazione sociale
• in aggiunta, sul raggiungimento degli obiettivi di
miglioramento, saranno valutati i dirigenti scolastici
• non ci sono sanzioni o benefici per le scuole
SNV - Antonino Petrolino - 2013 ©
11
la prima fase
autoanalisi e piano di miglioramento
da dove si parte
• questa è la prima scadenza per le scuole
• cui tutte saranno tenute (a partire dal 2014?)
• si articola in due passaggi (art. 6 c.1):
1) analisi e verifica del proprio servizio sulla base dei dati
resi disponibili dal sistema informativo del Ministero, delle
rilevazioni sugli apprendimenti e delle elaborazioni sul
valore aggiunto restituite dall'Invalsi, oltre a ulteriori
elementi significativi integrati dalla stessa scuola;
2) elaborazione di un rapporto di autovalutazione in
formato elettronico, secondo un quadro di riferimento
predisposto dall'Invalsi, e formulazione di un piano di
miglioramento;
SNV - Antonino Petrolino - 2013 ©
13
il primo passaggio
• utilizza tre tipologie di informazioni:
• “dati resi disponibili dal Ministero”
• in pratica, i dati di “Scuola in Chiaro”, già esistenti
• “rilevazioni sugli apprendimenti ed elaborazioni sul
valore aggiunto, restituite dall’INVALSI”
• questi dati di solito sono disponibili in novembre
• sarebbe opportuno un anticipo nei tempi
• “ulteriori elementi significativi integrati dalla stessa
scuola”
• in VaLeS, sono questionari di contesto e di input
• la cui traccia è fornita sempre dall’INVALSI
• anche la griglia di valutazione è predisposta da INVALSI
SNV - Antonino Petrolino - 2013 ©
14
dati “hard” e dati “soft”
• i dati “hard” sono le variabili indipendenti
• cioè quelle che bisogna assumere come rigide
• nello schema, quelli del primo e terzo tipo
• i dati “soft” sono le variabili dipendenti
• cioè quelle che l’azione della scuola può modificare
• nello schema, i risultati di apprendimento
• ovviamente, solo per il futuro
• su questo aspetto, si concentra quindi
• il secondo passaggio
• con un limite (vedi scheda successiva)
SNV - Antonino Petrolino - 2013 ©
15
“valore aggiunto”: una risorsa o un limite?
• i dati provenienti dall’INVALSI sono di due tipi:
• risultati di apprendimento
• che sono scientificamente attendibili
• nei limiti del “cheating” e degli standard statistici
• elaborazioni sul valore aggiunto
• che sono esposte a due tipi di criticità
• l’attendibilità delle risposte ai questionari di contesto
• la “compressione” della varianza nei risultati
• in pratica, se le differenze di ESCS (status socio economico
culturale) spiegano una misura importante della varianza nei
risultati, il “valore aggiunto” delle scuole (in positivo o in
negativo) diventa sostanzialmente marginale
• ma è proprio l’unico anello del sistema su cui le scuole
possono agire …
SNV - Antonino Petrolino - 2013 ©
16
il secondo passaggio
• si scompone in due momenti:
• rapporto di auto-valutazione
• in formato elettronico, predisposto da INVALSI
• la “fotografia” di partenza che ogni scuola fa a se
stessa
• piano di miglioramento
• tendenzialmente, triennale
• ma il primo anno se ne va per l’analisi e l’auto-valutazione
• ovviamente, conseguente alla diagnosi effettuata
SNV - Antonino Petrolino - 2013 ©
17
il rapporto di auto-valutazione
• il rapporto di autovalutazione (in VaLeS)
• si articola in diverse rubriche
• esiti
•
•
•
•
successo scolastico
competenze di base
equità degli esiti
risultati a distanza
• contesto
• contesto (socio-economico-culturale)
• risorse
• processi
• pratiche educative e didattiche
• ambiente organizzativo per l’apprendimento
• ogni rubrica è corredata di indicatori e di una griglia di
valutazione
SNV - Antonino Petrolino - 2013 ©
18
il piano di miglioramento
• anche il piano si articola in diversi punti:
• situazione attuale
• valori / dati di riferimento
• quelli rispetto ai quali ci si confronta
• risultato atteso
• questi tre punti devono essere presenti
• per tutti gli obiettivi indicati nel piano
• si suggerisce di fissare da due a quattro obiettivi
• uno o due nell’area degli esiti
• uno o due in quella dei processi
• per quest’ultima, tenendo conto di quelli didattici ed organizzativi
• gli aspetti di contesto sono, evidentemente, immodificabili
SNV - Antonino Petrolino - 2013 ©
19
la seconda fase
valutazione esterna
l’anello debole del sistema
• la valutazione esterna sarà effettuata da:
• un nucleo comprendente
• un dirigente tecnico del contingente ispettivo
• due esperti esterni scelti da un albo specifico
• per il quale sono in corso le selezioni
• i dirigenti tecnici in servizio sono poche decine
• quelli da assumere (ancora …) pochi di più
• gli esperti potranno essere fino al doppio
• forse si arriverà ad un centinaio o poco più
• in pratica, anche in considerazione del tempo utile,
• potranno essere “valutate” solo qualche centinaio di scuole
• per tutte le altre, ci si fermerà al rapporto di auto-valutazione
• con il forte rischio di lasciare le cose come stanno
SNV - Antonino Petrolino - 2013 ©
21
in che consiste la valutazione esterna
• art. 6 c. 1 lettera b):
1) individuazione da parte dell‘INVALSI delle situazioni
da sottoporre a verifica, sulla base di indicatori di
efficienza ed efficacia previamente definiti dall'Invalsi
medesimo;
2) visite dei nuclei di cui al comma 2, secondo il
programma e i protocolli di valutazione adottati dalla
conferenza ai sensi dell'articolo 2, comma 5;
3) ridefinizione da parte delle istituzioni scolastiche dei
piani di miglioramento in base agli esiti dell'analisi
effettuata dai nuclei;
• questa successione restringe il tempo utile per le visite a
poche settimane (fra la conclusione della redazione del
piano e l’inizio del successivo anno scolastico)
• il rischio dello “stigma” sociale per le scuole visitate
SNV - Antonino Petrolino - 2013 ©
22
la terza fase
azioni di miglioramento
dal piano alle azioni concrete
• art. 6 c. 1 lettera c):
1) definizione e attuazione da parte delle istituzioni
scolastiche degli interventi migliorativi anche con il
supporto dell'Indire o attraverso la collaborazione con
università, enti di ricerca, associazioni professionali e
culturali. Tale collaborazione avviene nei limiti delle risorse
umane e finanziarie disponibili e senza determinare nuovi o
maggiori oneri per la finanza pubblica;
• il vincolo dell’invarianza di spesa significa in pratica che le
scuole dovranno fare da sé
• l’INDIRE offrirà verosimilmente formazione a distanza
• sarebbe opportuno che ci fosse un piano di formazione
almeno di un referente per scuola, da preparare alla lettura
dei dati INVALSI ed all’utilizzo degli strumenti di analisi e
reportistica
SNV - Antonino Petrolino - 2013 ©
24
quarta fase
rendicontazione sociale
un oggetto misterioso
• art. 6 c.1 lettera d):
1) pubblicazione, diffusione dei risultati raggiunti,
attraverso indicatori e dati comparabili, sia in una
dimensione di trasparenza sia in una dimensione di
condivisione e promozione al miglioramento del
servizio con la comunità di appartenenza.
• il riferimento a “indicatori e dati comparabili” fa
supporre, ancora una volta, l’intervento dell’INVALSI
• ma il Regolamento non dice nulla di più
• comunque, se ne parlerà non prima del 2017
• non è prevista alcuna verifica esterna circa i risultati
SNV - Antonino Petrolino - 2013 ©
26
la valutazione dei dirigenti
cosa dice il Regolamento
• art. 6 c. 4 e 5:
4. Le azioni di cui al comma 1 sono dirette anche a evidenziare le
aree di miglioramento organizzativo e gestionale delle istituzioni
scolastiche direttamente riconducibili al dirigente scolastico, ai fini
della valutazione dei risultati della sua azione dirigenziale, secondo
quanto previsto dall'articolo 25 del decreto legislativo 30 marzo
2001, n. 165, e successive modificazioni, e dal contratto
collettivo nazionale di lavoro.
5. I piani di miglioramento, con i risultati conseguiti dalle singole
istituzioni scolastiche, sono comunicati al direttore generale del
competente Ufficio scolastico regionale, che ne tiene conto ai fini
della individuazione degli obiettivi da assegnare al dirigente
scolastico in sede di conferimento del successivo incarico e della
valutazione di cui al comma 4.
SNV - Antonino Petrolino - 2013 ©
28
aspetti problematici
• la legge di delega (n. 10/2011 art. 4-undevicies) dice:
c) “nel corpo ispettivo, autonomo e indipendente, con il
compito di valutare le scuole e i dirigenti scolastici
secondo quanto previsto dal decreto legislativo 27
ottobre 2009, n. 150”.
• ci sono almeno due strappi normativi:
• la valutazione non è affidata al corpo ispettivo, ma ad un
nucleo misto (o direttamente all’INVALSI?)
• non si parla nel Regolamento di una valutazione esterna successiva
all’attuazione del piano. Dunque i dati saranno o quelli indicati
direttamente dalle scuole o, al massimo, quelli rilevati da INVALSI
(che rileva solo apprendimenti)
• il modello, mutuato da VaLeS, fa riferimento al DLgs. 165
(art. 25) e non al DLgs. 150, come prescritto
SNV - Antonino Petrolino - 2013 ©
29
ulteriori aspetti problematici
• il dirigente è parte integrante del processo
• secondo VaLeS, “designa” il nucleo interno
• raccoglie i dati dalle diverse fonti
• governa i lavori degli organi collegiali
• ma è valutato sui “risultati”
• principalmente di apprendimento
• che concorre a determinare solo in modo molto indiretto
• ma anche su quelli di processo
• per i quali deve dare attuazione a delibere di organi
• o per cui deve acquisire il consenso nella contrattazione
• esiste il rischio concreto di un conflitto di interessi
• che potrebbe tradursi nella scelta di obiettivi “al ribasso”
SNV - Antonino Petrolino - 2013 ©
30
nodi da sciogliere
… o da tagliare
• quante scuole avranno la valutazione esterna
• se ci sarà una forma di validazione ex-post
• se sì, solo sugli indicatori o tramite visite in loco?
• rischio di eccessivo peso ad un solo fattore
• cioè i risultati di apprendimento
• mancanza di standard definiti a-priori
• quelli statistici sono relativi
• funzionano per le comparazioni esterne
• ma sono in qualche modo “arbitrari” per la valutazione interna
• ambiguità sui “fini ultimi” del sistema
• il peso dato al “valore aggiunto” dà da pensare
• ha un senso se si vogliono valutare le persone
• rischia di essere un alibi rispetto ai risultati “veri”
SNV - Antonino Petrolino - 2013 ©
32