Diapositiva 1 - Sito ufficiale dell`Istituto Comprensivo Statale di Arsoli

Il contributo della valutazione
esterna al miglioramento educativo
Stefania Pozio
Il documento
• Le Indicazioni Nazionali per il Curricolo sono un testo di
riferimento unico per tutte le scuole autonome che sostituisce
quelli che, un tempo, si chiamavano “programmi ministeriali”.
• Il testo entra in vigore con il decreto ministeriale n. 254 del 16
Novembre 2012 (G.U. n. 30 del 5 Febbraio 2013) e sostituisce
sia le Indicazioni nazionali del 2004 che le Indicazioni per il
curricolo del 2007.
Gli obiettivi
•
Le Indicazioni Nazionali, come previsto con l’autonomia
scolastica, forniscono alle scuole obiettivi di apprendimento
e competenze che ogni studente deve acquisire.
•
Confermano la validità dell’impianto educativo della nostra
scuola di base, ma indicano alcune necessità – in un contesto
demografico e culturale profondamente mutato – per garantire
a tutti i ragazzi delle solide conoscenze e competenze iniziali.
I contenuti chiave
•
Dialogo tra discipline: insegnare a ricomporre i grandi oggetti della
conoscenza in prospettiva complessa;
•
Essenzialità: ricerca dei nuclei fondamentali delle discipline;
•
Priorità: maggiore attenzione per una solida acquisizione delle
conoscenze e competenze di base, fondamentali per lo sviluppo
successivo del sapere e per l’esercizio della cittadinanza;
•
Traguardi: sistema di verifiche periodiche e sistematiche degli
apprendimenti. Attenzione per le diversità individuali e valorizzazione
dei momenti di passaggio.
Regolamento approvato
8/03/2013
• Il Sistema di valutazione si basa sull’attività di
collaborazione di tre istituzioni:
l’INVALSI (Istituto nazionale per la valutazione del
sistema di istruzione e formazione), che assume il
coordinamento funzionale dell’intera procedura di
valutazione;
l’INDIRE (Istituto nazionale di documentazione,
innovazione e ricerca educativa), che sostiene le
scuole nei piani di miglioramento;
gli Ispettori, che collaborano nella fase di
valutazione esterna delle scuole.
Regolamento approvato
8/03/2013
• Uno dei perni di questa riforma è costituito
dall’autovalutazione delle scuole, determinata sulla
base di dati forniti
– dal sistema informativo del MIUR
– dall’Invalsi
– dalle stesse scuole
Questa analisi sarà contenuta in un Rapporto di
autovalutazione da cui successivamente l’Invalsi
desumerà gli indicatori che consentiranno di
individuare le istituzioni scolastiche da sottoporre alla
valutazione esterna,coordinata dagli ispettori.
Regolamento approvato
8/03/2013
• In base ai risultati del Rapporto, la scuola
definirà un piano di miglioramento
avvalendosi anche del sostegno dell’INDIRE, o
della collaborazione con università, enti di
ricerca, associazioni professionali e culturali.
• Gli esiti del procedimento di valutazione non
hanno l’obiettivo di sanzionare o premiare,
ma intendono rendere pubblico il rendimento
della scuola in termini di efficacia formativa.
IL Sistema Nazionale di Valutazione
• Permette di attivare un processo di
miglioramento sistematico e complessivo
dell’efficienza e dell’efficacia del servizio, che
deve essere mirato soprattutto a innalzare i
livelli di apprendimento degli studenti e a dotarli
di conoscenze e competenze essenziali per
operare scelte consapevoli per il loro futuro
.
• Permette di colmare il ritardo che il nostro Paese
ha accumulato, rispetto agli altri Paesi europei,
perché fornisce una risposta all’impegno preciso
richiesto dall’Europa di sostenere, con un
programma di ristrutturazione, le scuole che
hanno fatto registrare risultati insoddisfacenti.
Perché misurare
Scopo delle misurazioni:
NON
Valutare!!!
 Le prove INVALSI hanno lo scopo principale di misurare i
livelli di apprendimento raggiunti dagli studenti italiani
relativamente ad alcuni aspetti di base di due ambiti
fondamentali: la comprensione della lettura e la matematica.
 La letteratura dimostra che la conoscenza in alcune discipline
fondamentali (lettura, matematica) ha un ruolo di primo
piano nell’avanzamento individuale e dell’intera società
 gli ambiti oggetto di misurazione delle prove INVALSI non
esauriscono di certo i saperi e le competenze prodotte dalla
scuola.
Alla base delle rilevazioni
Quadro teorico di riferimento:
 definisce gli ambiti, i processi cognitivi e i compiti oggetto di
rilevazione, delimitando quindi il campo rispetto al quale
sono costruite le prove.
 permette di definire e circoscrivere il valore informativo delle
prove che in base ad esso vengono costruite, chiarendone la
portata e i limiti.
 Costituisce il documento fondamentale per gli autori delle
prove, per gli esperti che ne curano la revisione, per i docenti
che sono chiamati a interpretare i risultati dei loro allievi e
per i cosiddetti stakeholder che utilizzano i risultati delle
rilevazioni standardizzate nazionali per valutare i livelli di
apprendimento garantiti dal sistema educativo nel suo
complesso.
La struttura del Quadro di Riferimento
Quadro di riferimento
per la valutazione
Quadro di riferimento
per i curricoli
Prassi scolastica
Quadri di riferimento
per le valutazioni
internazionali
Esiti delle rilevazioni
precedenti
11
Organizzazione delle rilevazioni
 Formulazione dei quesiti (numero di quesiti tre o quattro volte
superiore a quello che effettivamente compare nella prova
stessa somministrata agli allievi)
– 200 docenti ed esperti provenienti dal mondo della scuola e
dell’università.
– il consistente numero di autori rende possibile disporre di
un’ampia varietà di quesiti sia rispetto alla modalità di
formulazione sia rispetto ai contenuti.
– se si vuole evitare che si inducano nella scuola fenomeni
non desiderabili di addestramento alle prove
standardizzate è necessario che queste siano molto varie da
un anno all’altro, sia rispetto ai contenuti sia alle modalità
con le quali i quesiti sono formulati.
Organizzazione delle rilevazioni
Messa a punto delle prove (ricercatori Invalsi, esperti):
 prima valutazione qualitativa in funzione di
 rispondenza delle domande al QdR
 al livello scolastico per il quale devono essere proposte le prove
 composizione del fascicolo che dovrà essere inviato al pre-test.
 Pre-test:
 campione casuale di classi con rappresentatività nazionale (circa
5000 studenti)
 Studenti dell’anno successivo
 Analisi risultati pre-test: calibrazione delle domande
– Capacità misuratoria di ogni domanda: viene analizzata
mediante modelli statistici in grado di stabilire la coerenza di
ciascuna opzione di risposta rispetto:
• al costrutto oggetto di valutazione
• al livello di abilità/competenza del rispondente
• alla difficoltà specifica della domanda stessa.
Un esempio di analisi di un item di Italiano in sede di
pre-test (V Primaria 2012 – Item 9)
La versione originaria dell’item
L’analisi statistica dell’item 9 in sede di pre-test
La curva caratteristica dell’item
La modifica dell’item
Gli indici statistici dopo la modifica
PRE-TEST
Discriminazione: 0,18
MNSQ: 1,22
% risposte corrette: 66,5
Organizzazione delle rilevazioni
 Messa a punto dei fascicoli: sono composti in base:
 tempi di compilazione
 livello complessivo di difficoltà
 equilibrio degli ambiti e dei processi
 ATTENZIONE:
• La composizione di una prova standardizzata rivolta
all’accertamento su scala nazionale dei livelli di apprendimento
non risponde agli stessi criteri che guidano la costruzione delle
verifiche di classe.
• Una prova standardizzata nazionale deve essere in grado di
misurare i risultati degli studenti all’interno di una scala di
abilità/competenza molto lunga, dai livelli più bassi a quelli di
eccellenza.
Uso dei dati INVALSI
L’INVALSI restituisce
sull’andamento:
ad
ogni
singola
scuola
dati
 complessivo dei livelli di apprendimento degli studenti
della scuola rispetto alla media dell’Italia, dell’area
geografica e della regione di appartenenza;
 delle singoli classi nelle prove di italiano e di
matematica nel loro complesso;
 della singola classe e (su richiesta) del singolo studente
analizzato nel dettaglio di ogni singola prova.
Uso dei dati INVALSI
DATI INVALSI
Percorso di
autovalutazione
Potenziamento e
miglioramento
dell’azione
didattica
istituto e singola
classe
11/08/2016
21
dall’anno scolastico 2011-2012 :
 i profili di accesso alla restituzione dei dati sono differenziati
 i dati sono corretti dal cheating
 è possibile il confronto con il punteggio medio conseguito da un
gruppo di 200 classi/scuole con analogo background socioeconomico-culturale degli studenti
 alcuni dati restituiti sotto forma di grafico vengono pubblicati, previa
autorizzazione del DS, sul sito “Scuole in Chiaro”
 sono stati reintrodotti i livelli di apprendimento
i diversi profili di accesso ai dati INVALSI
 Dirigente e Referente per la valutazione: vedono tutti i dati restituiti
dall’INVALSI
 Presidente CdI: vede i dati della scuola nel suo complesso compresi i
dati sul cheating (anche delle singole classi) e sul ESCS (ma solo
della scuola)
 Insegnanti del collegio docenti: vedono i risultati complessivi della
scuola
 Insegnanti di classe: vedono anche i dati della loro classe
I dati complessivi di scuola
- I risultati delle classi sono omogenei all’interno
della scuola?
- Lo status socio-economico ha effettivamente un
peso sui risultati delle classi?
- In quali classi i risultati sono stati inficiati da
comportamenti “non corretti”?
11/08/2016
23
Dati complessivi di scuola:
Tavola 1a – Italiano; Tavola 1b - Matematica
punteggio
grezzo
–
cheating
=
punteggio
medio della
classe
Incidenza della variabilità TRA le classi
prova di Matematica; prova di Italiano; indice
ESCS
SNV 2011/2012
SNV 2011/2012
MATEMATICA
90.0
90.0
80.0
80.0
Valori percentuali
100.0
Valori percentuali
100.0
70.0
70.0
60.0
60.0
50.0
50.0
40.0
30.0
20.0
ITALIANO
40.0
23.8
30.0
22.0
13.9
12.5
20.0
10.0
10.0
0.0
0.0
TRA/TOT (punteggio)
TRA/TOT (ESCS)
17.9
9.9
11.1
TRA/TOT (punteggio)
9.3
TRA/TOT (ESCS)
 I risultati delle classi sono omogenei all’interno della scuola?
 Lo status socio-economico è omogeneo tra le classi?
 Quali ipotesi si possono fare in caso di variabilità diversa nei punteggi
conseguiti nelle due prove?
Incidenza della variabilità TRA le classi e
DENTRO le classi
100.0
90.0
80.0
Valori percentuali
70.0
SOLO PER LA PROVA
NAZIONALE
60.0
50.0
40.0
30.0
20.0
10.0
0.0
TRA/TOT
DENTRO/TOT
AGIC80600V
Italia
NB: un grafico per ciascuna delle due
prove
Una diversa visualizzazione dei risultati complessivi
-1,8
+11,5
SNV 2011/2012
Grafico 1b: Risultato complessivo della prova di
Matematica - Classe I secondaria di I grado
60
58
56
54
52
50
48
46
44
42
40
412099990601
412099990603
412099990606
412099990608
Lazio
29
Italia
Restituzione dei dati per distribuzione nei cinque
<110%Risultati < 125%
Risultati > 125% media
< 75% <75%Risultati < 95% <95%Risultati < 110%
livelli Risultati
media nazionale media nazionale
nazionale
media
media nazionale
nazionale
1
2
3
4
5
Dal + BASSO…………………………………………al + ALTO
Come sono distribuiti nei 5
livelli di apprendimento gli
studenti di ciascuna classe per
Italiano e per Matematica?
31
Confronto della distribuzione dei livelli di
apprendimento nelle due prove
6
15
12
6
20
14
23
7
44
 Gli studenti della scuola hanno conseguito risultati omogenei nelle due
prove?
 Quanti sono gli studenti i cui risultati sono anomali?
Tavola 5 – Italiano/Matematica - Correlazione
ATTENZIONE
Per la Prova Nazionale, il voto
preso in considerazione è il voto
globale di ammissione all’esame.
Voto I° quadrimestre
Risultato test INVALSI
Relazione tra voto scuola e risultati INVALSI
 Come si correlano i voti dati dai docenti agli studenti con i loro risultati
alle prove?
 Classi considerate deboli dai loro prof. vanno bene nei test Invalsi o
viceversa?
N.B. Per la Prova Nazionale, il voto preso in considerazione è il voto globale di
ammissione all’esame.
Confronto tra il voto medio di una classe e il
punteggio medio conseguito nelle prove
11/08/2016
Notarbartolo - Pistoresi - Pozio
35
Riflettere sui risultati per livelli scolastici
Media Nazionale
Media
Nazionale
dei soli
studenti
italiani
Media di
una scuola
con ESCS
simile
Media
nazionale
Utilizzare i risultati delle prove per
migliorare la didattica
11/08/2016
37
Tavola 2a – Parti del testo
N.B.
Analoghe tabelle sono restituite analizzando i risultati
sia solo dei nativi sia solo dei regolari
11/08/2016
Notarbartolo - Pistoresi - Pozio
38
Tavola 2b – Processi
Domande di grammatica
N.B.
Analoghe tabelle sono restituite analizzando i risultati
sia solo dei nativi sia solo dei regolari
Tavola 3a – Ambiti Matematica
N.B.
Analoghe tabelle sono restituite analizzando i risultati
sia solo dei nativi sia solo dei regolari
Tavola 3b – Processi
N.B.
11/08/2016
Analoghe tabelle sono restituite analizzando i risultati
sia solo dei nativi sia solo dei regolari
41
Tavola 7 – Italiano/Matematica – Dettaglio risposte per item
% scelta
distrattori
11/08/2016
% risposte
corrette
42
Confronto item per item
Media
nazionale
Differenza
fra punteggio
classe e
punteggio
media
nazionale
2
11/08/2016
43
11/08/2016
44
Progetti e idee per il futuro
L’INVALSI:
 anticiperà la restituzione dei dati alle scuole ai primi di settembre
 curerà un forum/repository dove le scuole potranno pubblicare le loro
iniziative di uso dei dati
 Database delle domande
 Idee anti-cheating
 Ancoraggio delle prove
11/08/2016
45
Idee chiave
1
Per migliorare
occorre conoscere la
situazione:
“valutare”
46
Idee chiave
2
La preoccupazione non deve essere
Come preparare i ragazzi alle prove
Invalsi
quanto
Come usare le prove Invalsi per
migliorare i risultati del nostro lavoro
47
Un capovolgimento di prospettiva:
Passare da:
Cosa devo fare
per preparare le Prove
Invalsi
il mio percorso di
insegnamento
piegato al fine del
miglioramento
nelle prove Invalsi
a:
Come posso usare le Prove
Invalsi
le prove Invalsi
utilizzate
per il
miglioramento del
mio
percorso di
insegnamento
48
I metodi e i risultati delle valutazioni esterne
possono essere utilizzati
Per acquisire
consapevolezza
delle caratteristiche del
nostro
insegnamento
Per intervenire sui processi
di apprendimento
dei nostri allievi
Per il raggiungimento
dei
nostri obiettivi formativi
.
Coltivare una cultura della valutazione
che risulti organica e coerente tra i
diversi livelli scolastici può aiutare
anche nel superamento di alcuni
ostacoli che molti studenti incontrano
nel passaggio dalla scuola primaria
alla scuola secondaria di primo grado
e così via
Queste prove esterne sono uno
strumento in più in mano
all’insegnante per arrivare ad una
valutazione complessiva
dell’allievo
Ci sono molti aspetti
dell’apprendimento che
possono essere valutati (e in
qualche modo misurati)
attraverso prove esterne
L'obiettività della valutazione
interna è una chimera
Sulla terminologia, sulla
costruzione delle frasi, sui
simboli, sull'uso delle
rappresentazioni si costituisce
a poco a poco un lessico
familiare d'aula in base al
quale i ragazzi interpretano le
domande
Quando un insegnante
prepara una prova per i
propri allievi,
inevitabilmente si pone
all'interno di un preciso
contratto didattico
In senso inverso, ogni
insegnante impara a leggere (e
talvolta decodificare) gli
elaborati degli allievi,
leggendoli alla luce sia delle
caratteristiche personali di
ognuno, sia delle precedenti
prestazioni
L'obiettività della valutazione
interna è una chimera
L'uso di strumenti di
valutazione non preparati
dall'insegnante ha il
vantaggio di svincolare
l'alunno da quelle
clausole del contratto
didattico che riguardano
la verifica (che siano più
o meno esplicite)
Un test standardizzato
realizzato da un organo
nazionale (o anche
internazionale) può essere lo
strumento adatto per abbattere
certi pregiudizi e valutare
Non è raro
che gli studenti
abilità
e
conoscenze
desumano le modalità con cui
epurandole
(almeno in parte)
affrontare la valutazione fatta dal
dai
comportamenti
che
loro
insegnante in base
al questi
modo in
dettavano
cui questa viene esposta o ancora
che ritengano che il proprio
docente voglia che determinati
compiti siano svolti in un certo
modo
Contratto didattico
• Un pastore ha 20 pecore, 7 capre e 2 cani.
Quanti anni ha il pastore?
• Risposte (III elementare, 14 alunni):
– 29 anni (12/14)
– Non ci sono dati sufficienti
– Il pastore se ha due cani per così poche
bestie, uno dei due cani forse gli serve
perché è non vedente. Quindi deduco che
abbia 70-76 anni.
53
Continuità nelle prove Invalsi
• I test INVALSI (a partire dalla scuola primaria fino
a quella secondaria di secondo grado) pongono
domande collegabili in modo da costruire percorsi
verticali.
• Compito dell'insegnante diviene quindi anche
quello di verificare, attraverso l’analisi dei risultati
delle prove INVALSI, che tutti i “tasselli" necessari
alla costruzione di determinate competenze siano
stati acquisiti ed eventualmente realizzare attività
per il recupero o il consolidamento di quanto già
appreso ai livelli precedenti.
54
Continuità nelle prove Invalsi
• La costruzione del pensiero, in particolare di quello
matematico, è un processo lungo e progressivo nel
quale concetti, abilità, competenze e atteggiamenti
vengono ritrovati, intrecciati, consolidati e
sviluppati a più riprese.
• Di conseguenza i traguardi del percorso scolastico
non possono far altro che presentarsi come
un'evoluzione di quelli del livello precedente a
partire dai nuclei fondanti.
55
Continuità nelle prove Invalsi
• L'importanza della continuità scolastica è
generalmente riconosciuta: dato che vengono svolte
a più livelli scolastici e seguendo fedelmente le
indicazioni ministeriali, le prove INVALSI possono
diventare un utile strumento per individuare e
mettere in luce quelle difficoltà che si dipanano nel
corso di tutta la carriera scolastica, diventando
talvolta meno evidenti ai livelli intermedi, per poi
riaffiorare nella scuola secondaria rendendo
problematico acquisire nuovi concetti o
generalizzare quelli già posseduti.
56
Prove in continuità
Il primaria 2008/09
Prove in continuità
V primaria 2008/09
Prove in continuità
I secondaria I grado
2009/10
Prove in continuità
II secondaria II grado
2011/12
Prove in continuità
V primaria
I secondaria di I grado
I risultati del campione italiano
rispetto alle prove del 2012
62
I RISULTATI evoluzione nei livelli
11 agosto 2016
63
I RISULTATI evoluzione nei livelli
64
DALLE PROVE INVALSI ALLE PRATICHE DIDATTICHE
C’era una volta un pastore che accudiva al suo gregge. Dal ciglio di una strada
di campagna improvvisamente una Jeep Cherokee nuova fiammante frena e si
ferma vicino a lui. Il conducente, un giovane che veste un abito Brioni e
cravatta YSL, calza scarpe Cerruti e porta occhiali Ray-ban, scende dal veicolo
e chiede al pastore: “Se indovino quante pecore ha, me ne da una?” Il pastore
guarda il giovane, poi volge lo sguardo alle pecore che pascolano e dice:
“D’accordo”. Il giovane parcheggia l’auto, collega cellulare e laptop, accede ad
un sito della NASA, scansiona il prato usando il GPS, apre un database,
compila 60 tabelle excel con formule algoritmiche, quindi stampa un rapporto di
150 pagine sulla sua stampantina ad alta definizione. Si volge poi al pastore e
gli dice: “Lei qui ha esattamente 1.586 pecore. ” Il pastore risponde: “Esatto,
prenda pure la sua pecora.” Il giovane prende l’animale e lo carica sul retro
della sua jeep.
Allora il pastore lo guarda e gli chiede: “Se io indovino che mestiere fa, mi
restituisce l’animale?” Il giovane gli risponde: “Certo, perché no”. Il pastore: “Lei
è un valutatore!” “Come fa a saperlo?”, chiede il giovane.
“Semplice”, risponde il pastore, “innanzi tutto, lei è piombato qui senza che
nessuno la chiamasse; in secondo luogo, mi ha addebitato una pecora per
dirmi una cosa che io sapevo già; infine non capisce un tubo di quello che
faccio, perché ha preso il mio cane!”
PER SCARICARE IL PRODOTTO
MULTIMEDIALE:
www.komedia.it/INVALSI/home.html
PER PROBLEMI INERENTI ALLA
RESTITUZIONE DEI DATI:
[email protected]
66