Cosa ci dicono (e non dicono) i dati sugli apprendimenti e perché è

La lettura dei dati INVALSI...
da parte del Dirigente Scolastico
Tommaso Agasisti
Politecnico di Milano
Dipartimento di Ingegneria Gestionale
e. [email protected]
Agenda
❯ La pluralità di utilizzo dei dati INVALSI
► Quale focus per il DS?
❯ Quali domande? (e quali risposte...)
❯ La lettura dei dati INVALSI
► Leggere ed interpretare correttamente i dati restituiti da INVALSI
❯ (Altri) dati: le potenzialità (future) di Scuola in Chiaro
► Un esempio di lettura dei dati
❯ Cosa NON ci dicono i dati sugli apprendimenti
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
2
La pluralità di utilizzo dei dati INVALSI
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
3
Dati INVALSI: per quali finalità?
❯ Analisi “di sistema”:
► Livello degli apprendimenti medi del Paese, per area geografica,
per genere, per cittadinanza...
► Policy making nazionale/territoriale
► Stakeholder di riferimento: amministratori, cittadinanza
❯ Analisi “di scuola”:
► Livello degli apprendimenti della scuola
► Comparazione con realtà territoriale di riferimento
(benchmarking)
► Individuazione punti di forza/criticità
► Stakeholder di riferimento: DS, docenti (a tendere: genitori?)
8/12/2016
T. Agasisti - Politecnico di Milano, 2013
4
Quali domande? (e quali risposte?)
8/12/2016
T. Agasisti - Politecnico di Milano, 2013
5
DS, docenti e lettura dei dati INVALSI
❯ Per poter ottenere risposte utili per accompagnare ed
informare il processo di miglioramento...
► ... Occorre farsi le domande giuste!!
❯ A quali domande possono rispondere i dati INVALSI?
► Qual è il livello di apprendimenti medio della mia scuola, in
comparazione con quello nazionale/locale?
► E in comparazione con quello di scuole “simili”?
► Che grado di omogeneità/eterogeneità degli apprendimenti si
riscontra nella mia scuola?
► Quanto questa omogeneità/eterogeneità è riferibile a differenze
tra classi?
8/12/2016
T. Agasisti - Politecnico di Milano, 2013
6
(segue)
❯ (segue)
► Su quali componenti della prova la mia scuola ha ottenuto
risultati migliori/peggiori (in assoluto, e in relazione alla media
nazionale?)
► Quanta parte degli studenti della mia scuola è classificata nei
livelli di apprendimento bassi/medi/alti (rispetto alla media
nazionale)?
► Quanto sono differenti i punteggi di apprendimento della mia
scuola con riferimento a diversi gradi scolastici?
❯ Come queste informazioni sono utili per promuovere una
riflessione critica interna alla scuola, ed avviare un
percorso di miglioramento?
Il ruolo del Dirigente
Scolastico!
8/12/2016
T. Agasisti - Politecnico di Milano, 2013
7
La lettura dei dati INVALSI
8/12/2016
T. Agasisti - Politecnico di Milano, 2013
8
Premessa
❯ In questa sezione, si riportano le informazioni che
riguardano i dati restituiti da INVALSI per l’a.s. 2011/12
► Si utilizza una scuola “reale” (anonima), cui è stato modificato il
codice di riconoscimento
❯ Scopo dell’analisi:
► Vedere un quadro dei dati a disposizione
► Commentarne i possibili principali utilizzi
► Chiarire alcuni aspetti metodologico/statistici
► Raccogliere domande/osservazioni...
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
9
Un aspetto (metodologico) iniziale
❯ Premessa esplicitata nel sito...
► I dati sono riferiti agli allievi che non hanno bisogni educativi
speciali.
► Non viene riportato il dato relativo alle classi con un elevato
indice di propensione al cheating, ossia per quelle classi per le
quali mediante la metodologia statistica utilizzata più del 50% del
punteggio osservato è da attribuire a comportamenti anomali.
► Inoltre non si riporta il dato relativo alle classi con un numero di
studenti assenti superiore al 50%.
► Non viene riportata l'informazione a livello di scuola per quelle
istituzioni per le quali i dati validi si riferiscono a meno del 50%
delle classi.
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
10
Il quadro dei dati disponibili
❯ Quali informazioni/dati sono disponibili nel “fascicolo
elettronico” INVALSI?
► Punteggio medio di apprendimento (confronto con area e scuole
simili – benchmarking)
► Disaggregazione punteggio di apprendimento per classi
► Scomposizione punteggio di apprendimento per diversi ambiti
della prova INVALSI
► Distribuzione studenti per “livelli di apprendimento”
► Relazioni tra “voti” medi di classe (interni) e apprendimenti
INVALSI
► Scomposizione varianza punteggi di apprendimento (tra classi e
interna alle classi)
8/12/2016
T. Agasisti - Politecnico di Milano, 2013
11
Punteggi generali
❯ Nelle prossime slides:
► Punteggi generali di italiano
► Punteggi generali di matematica
❯ Su cosa focalizzare l‘attenzione?
► Punteggi rispetto ad Area, Regione, Italia
► Punteggi relativi Italiano/matematica
► Cheating “generale”, e relativo (italiano/matematica)
► Status socioeconomico (indice SES)
❯ NB. I dati sono riportati al netto del cheating!
8/12/2016
T. Agasisti - Politecnico di Milano, 2013
12
Quadro complessivo - Italiano
PN 2011/2012
Risultato complessivo della prova di Italiano
Classe III secondaria di I grado
74
72
70
68
Il punto rosso (…) rappresenta il
punteggio medio nel gruppo di 200
classi/scuole con background socioeconomico-culturale dei propri
studenti più simile a quello della
scuola considerata.
66
64
62
60
Lazio
Centro
Italia
RMIC000000
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
13
Quadro complessivo - matematica
PN 2011/2012
Risultato complessivo della prova di Matematica
Classe III secondaria di I grado
65
Il punto rosso (…) rappresenta il punteggio medio
nel gruppo di 200 classi/scuole con background socioeconomico-culturale dei propri studenti più simile a
quello della scuola considerata.
60
55
50
45
40
Lazio
Centro
Italia
RMIC000000
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
14
Quadro complessivo - considerazioni
❯ Ci sono diverse dimensioni di analisi possibili, come
quadro (preliminare) rispetto ai dati di dettaglio che poi si
analizzeranno:
► Posizionamento rispetto a Regione, Area, Italia
► Confronto ITA vs MATE (performances medie (in Italia) più
elevate per la prima)
► Confronto con scuole che presentano distribuzione ESCS simile
❯ Se ci fossero più gradi scolastici...
► Confronti possibili (discutere)
► Il problema dell’ancoraggio statistico tra le prove
► E il caso di Istituti comprensivi?
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
15
Alcune definizioni
❯ Cheating
► Insieme di anomalie che alterano gli esiti della prova. L'effetto
del cheating è misurato mediante un indicatore percentuale che
esprime quale parte del punteggio osservato è mediamente da
attribuire alle predette anomalie.
❯ ESCS
► L'ESCS è l'indice di status socio-economico-culturale. Esso
misura il livello del background dello studente, considerando
principalmente il titolo di studio dei genitori, la loro condizione
occupazionale e la disponibilità di risorse economiche.
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
16
Alcune definizioni (segue)
❯ Differenza classe con ESCS simile
► La differenza è calcolata rispetto al risultato medio delle 200
classi/scuole con background socio-economico-culturale (ESCS)
più simile a quello della classe/scuola considerata.
❯ Background mediano degli studenti
► I livelli del background sono definiti rispetto alla distribuzione
nazionale dell'indicatore ESCS. Primo quartile (fino al 25%):
livello basso; secondo quartile (dal 25% al 50%); terzo quartile
(dal 50% al 75%): livello medio-alto; quarto quartile (dal 75% al
100%): livello alto.
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
17
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
18
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
19
Alcune osservazioni
❯ Perché alcune classi vengono riportate per Italiano ma
non per Matematica?
► Cheating? Assenze? (spunto di riflessione per il DS)
❯ Le frecce per le comparazioni (verso l’alto, verso il
basso, orizzontali)
❯ I calcoli delle differenze
► punteggi in termini assoluti, si possono calcolare in percentuale
► Es. la classe 412099990802 in Italiano ha performance di 67,7 (4,8 rispetto ad una classe con background simile, ossia il 7% in
meno)
❯ Cheating
► Più basso in italiano che in matematica
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
20
Punteggi delle diverse classi (MATE)
Classi/Istituto
Differenza nei
risultati
Media del
rispetto a
punteggio al classi/scuole Cheating in
netto del
con
percentuale
cheating (1) background
familiare
simile (2)
❯ Osservare come
le diverse classi
contribuiscono al
risultato di
scuola...
…
412099990807
67,6
-5,0
0,1%
412099990808
79,1
+6,6
0,0%
RMIC000000
72,2
+0,4
0,0%
Media (di scuola)
8/12/2016
Attenzione… per PN c’è
solo background di scuola
(non di classe)
Inferiore alla media (di scuola)
Superiore alla media (di
scuola)
T. Agasisti - Politecnico di Milano, 2012
21
PN 2011/2012
Risultato complessivo della prova di Italiano
Classe III secondaria di I grado
Attenzione… per PN c’è
solo background di scuola
(non di classe)
85
Classi con “prestazioni
relative” peggiori
80
75
70
65
Classi con “prestazioni
relative” migliori
60
Il punto rosso (…) rappresenta il punteggio medio
nel gruppo di 200 classi/scuole con background socioeconomico-culturale dei propri studenti più simile a
quello della scuola considerata.
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
22
Attenzione!
ESCS, apprendimenti e differenze tra classi
❯ Varianza di punteggi medi (a livello di classi) molto
significativa!
► La classe con punteggio (medio) inferiore: circa 67
► La classe con punteggio (medio) superiore: circa 79 (+ 18%)
► Se avessimo i dati su ESCS a livello di classe (es per II
primaria, I sec. I grado, ecc.) potremmo verificare se le due
varianze sono collegate (segmentazione)
► Vedi slides successive
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
23
PN 2011/2012
Risultato complessivo della prova di Matematica
Classe III secondaria di I grado
70
Attenzione… per PN c’è
solo background di scuola
(non di classe)
Il punto rosso (…) rappresenta il punteggio medio
nel gruppo di 200 classi/scuole con background socioeconomico-culturale dei propri studenti più simile a
quello della scuola considerata.
65
60
55
50
45
40
4.121E+11
4.121E+11
4.121E+11
4.121E+11
Lazio
Centro
Italia
RMIC000000
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
24
Attenzione!
ESCS, apprendimenti e differenze tra classi
❯ Nel caso di Matematica:
► tutte le classi hanno performance superiori (o non inferiori) a
classi simili sotto il profilo dell’ESCS (medio di classe)
❯ Ma anche in questo caso, differenze significative:
► Classe con punteggio inferiore: circa 52
► Classe con punteggio superiore: circa 66 (+25%)
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
25
Confronto classi con 200 classi simili
(Un esempio riferito ad una scuola differente, classi I)
SNV 2011/2012
Grafico 1b: Risultato complessivo della prova di
Matematica - Classe I secondaria di I grado
65
Classe 8 “migliore” o “peggiore” di 4?
Punteggio assoluto versus
comparazione con classi simili…
60
55
50
45
40
8/12/2016
T. Agasisti - Politecnico di Milano, 2013
26
Attenzione!!!
Analisi per classi... “concentrazione”?!
Italiano
Matematica
Classi/Istituto
Media del
punteggio al
netto del
cheating
Differenza nei
risultati rispetto
a classi/scuole
con background
familiare simile
Media del
punteggio al
netto del
cheating
Differenza nei
risultati rispetto
a classi/scuole
con background
familiare simile
412099990801
77,4
+4,7
62,4
+8,2
412099990804
77,2
+4,7
66,2
+12,2
412099990806
69,0
-3,7
55,7
+1,6
412099990807
67,6
-5,0
52,0
-2,1
RMIC000000
72,2
+0,4
59,8
+5,8
Classe
“debole”
8/12/2016
Classe
“forte”
T. Agasisti - Politecnico di Milano, 2012
27
Punteggi per le diverse parti delle prove
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
28
Quali considerazioni?
❯ Confronto tra classi
► Omogeneità tra apprendimenti delle diverse classi, sulle diverse
parti della prova?
❯ Confronto su diverse aree
► (es. grammatica vs testo narrativo)
❯ L’uso dei dati a livello di classe può essere funzionale
alla discussione tra DS e docenti delle classi interessate
► Anche utile stimolo “interno” – come rendere “pubblica-dentro-lascuola” una discussione su confronto tra classi?
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
29
Diverse parti delle prove: analisi a livello di classe
Testo narrativo
Grammatica
Punteggi Punteggi
Punteggi Punteggi
…
o Medio o Italia
o Medio o Italia
412099990801
75,2
412099990801
79,6
Criticità a livello
412099990802
68,6
412099990802
66,9
di classe
412099990803
75,4
412099990803
57,8
Punto di forza a
412099990804
73,4
412099990804
84,7
livello di classe
412099990805
69,2
68,0
412099990805
70,5
66,7
412099990806
68,2
412099990806
73,6
412099990807
66,7
412099990807
71,4
412099990808
76,5
412099990808
83,8
RMIC000000
71,8
RMIC000000
74,3
È opportuno confrontare i risultati con la media nazionale...
Un punteggio basso/alto può derivare da specificità della
classe o da difficoltà relativa della sezione della prova!
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
Scuola relativamente “forte”
in grammatica rispetto a
testo narrativo
30
Confronto con studenti “solo nativi”
412099990801
412099990802
412099990803
412099990804
412099990805
412099990806
412099990807
412099990808
RMIC000000
Testo narrativo
Punteggio
Medio
75,2
68,6
75,4
73,4
69,2
68,2
66,7
76,5
71,8
Testo narrativo Solo nativi
Punteggio
Punteggio
Punteggio
Italia
Medio
Italia
412099990801
75,2
412099990802
69,5
412099990803
78,3
412099990804
73,1
68,0
412099990805
70,2
68,5
412099990806
Il DS può valutare
questa differenza 68,6
412099990807
66,4
anche insieme
a docenti (e
412099990808
76,4
considerando
% non nativi)
RMIC000000
72,3
❯ “Solo nativi”:
► studenti nati in Italia da genitori anch'essi nati in Italia;
❯ Interpretazione:
Per analisi più opportune su differenze tra italiani e
stranieri, vedere grafici appositi (Cfr. dopo)
► Qual è effetto di considerare “solo nativi”? Eterogeneità tra
classi? E rispetto alla media nazionale?
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
31
Analisi per “livello di apprendimento”
❯ Cosa sono i “livelli di apprendimento”?
► Livello 1 punteggio minore o uguale al 75% della media
nazionale
► Livello 2 punteggio maggiore del 75% e minore o uguale del
95% della media nazionale
► Livello 3 punteggio maggiore del 95% e minore o uguale del
110% della media nazionale
► Livello 4 punteggio maggiore del 110% e minore o uguale del
125% della media nazionale
► Livello 5 punteggio maggiore del 125% della media nazionale
❯ Sarebbero utili scale diverse?
► Es. media della scuola? Media della Regione? Media per ESCS
simile?
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
32
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
33
Il significato dei “livelli di apprendimento”
❯ Si cerca di “approssimare” i livelli di apprendimento
assoluti
► Si osserva, cioè, il risultato “medio” e la sua distribuzione nel
Paese
► Nel futuro: definizione “assoluta” di livello di apprendimento?
❯ Le informazioni rilevanti sono quelle relative alle “code”
della distribuzione
► Criticità (livello 1)
► Eccellenze (livello 5)
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
34
Analisi livelli di apprendimento
(es. matematica)
412099990801
412099990804
412099990806
412099990807
Numero
studenti
livello 1
0
0
0
1
Numero
studenti
livello 2
1
1
2
1
Numero
studenti
livello 3
3
3
4
9
Numero
studenti
livello 4
5
6
10
7
Numero
studenti
livello 5
11
16
2
0
Percentuale Percentuale Percentuale Percentuale Percentuale
studenti
studenti
studenti
studenti
studenti
livello 1
livello 2
livello 3
livello 4
livello 5
RMIC000000
Lazio
Centro
Italia
1%
17%
24%
25%
6%
19%
19%
19%
23%
19%
17%
18%
Differente distribuzione...
I livelli 1 e 4
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
34%
16%
15%
14%
35%
30%
25%
25%
Come interpretare
questa distribuzione
tra classi?
35
Analisi livelli di apprendimento
(confronto matematica vs italiano)
…
412099990801
412099990804
412099990806
412099990807
RMIC000000
Lazio
Centro
Italia
Matematica
Italiano
Numero
Numero
Numero
Numero
studenti
studenti
…
studenti
studenti
livello 4
livello 5
livello 4
livello 5
5
11
4
8
6
16
16
5
10
2
5
2
7
0
2
1
Percentuale Percentuale
Percentuale Percentuale
studenti
studenti
studenti
studenti
livello 4
livello 5
livello 4
livello 5
34%
35%
29%
17%
16%
30%
30%
18%
15%
25%
28%
15%
14%
25%
26%
15%
Differenza
Ita vs mate
(dentro la
classe)
Prestazione “relativa”
della scuola
(ita versus mate)
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
36
Analisi livelli di apprendimento
(confronto matematica vs italiano)
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
37
Valutazione “esterna” vs “interna”
Valutazione “interna”
disallineata... Per
eccesso o per difetto?
► Mantenendo (in forma anonima) l’identità del singolo studente, è
possibile verificare “coerenza” tra punteggio ottenuto nella prova
Invalsi e giudizio di ammissione all’esame di Stato [dati
aggregati a livello di classe]
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
38
Valutazione “esterna” vs “interna”
❯ È importante avere a mente due osservazioni
metodologiche:
► Il voto per la PN è quello complessivo di ammissione (per gli altri
gradi, è quello relativo alla specifica disciplina – ITA/MAT)
► Il voto del singolo studente coglie alcuni aspetti che la prova
INVALSI può non cogliere. Il voto medio di classe, invece, può
essere una informazione più rilevante per l’azione del DS.
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
39
PN 2011/2012
Confronto tra voto di scuola e punteggio nella prova di Italiano
Classe III secondaria di I grado (Scuola RMIC000000)
80.00
412099990808
Punteggio medio alla prova INVALSI
78.00
412099990804
412099990801
76.00
Queste due classi hanno
valutazioni medie simili dalla
scuola, ma rilevante differenza
nelle prove Invalsi
74.00
72.00
70.00
412099990805
412099990806
68.00
412099990802
412099990807
412099990803
66.00
5.50
6.00
6.50
7.00
7.50
8.00
Voto medio di classe
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
40
PN 2011/2012
Confronto tra voto di scuola e punteggio nella prova di Matematica
Classe III secondaria di I grado (Scuola RMIC000000)
70.00
412099990804
Punteggio medio alla prova INVALSI
60.00
412099990801
412099990806
50.00
412099990807
Queste due classi hanno
valutazioni medie simili da Invalsi,
ma rilevante differenza nella
valutazione della scuola
40.00
30.00
20.00
10.00
0.00
5.50
6.00
6.50
7.00
7.50
8.00
Voto medio di classe
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
41
Limiti
❯ Per le classi III della Secondaria I grado, il “voto” a livello
di classe è la media del punteggio di ammissione
all’esame di Stato
► Il confronto “diretto” con prove INVALSI, in senso stretto, è
inibito!
❯ Questo non vale per gli altri gradi
► Es classi I: il “voto” a livello di classe è la media nella specifica
materia oggetto di analisi (Italiano, Matematica)
8/12/2016
T. Agasisti - Politecnico di Milano, 2013
42
“voto” di classe e punteggio INVALSI
(un esempio su una scuola differente, classi I)
SNV 2011/2012
Grafico 4a: Confronto tra voto di classe e punteggio nella prova di
Italiano
Classe I secondaria di I grado (Scuola RMMM000000)
80
Punteggio medio alla prova INVALSI
70
212099970604
212099970601
60
212099970603
212099970602
212099970605
212099970608
212099970609
212099970607
50
Sulla base dei punteggi INVALSI…
la classe 4 è risultata CLASSE FORTE, mentre la classe 9
CLASSE DEBOLE
40
30
212099970606
20
10
0
5.5
5.7
5.9
6.1
6.3
6.5
6.7
6.9
Voto medio di classe (media dei voti scritto e orale)
8/12/2016
T. Agasisti - Politecnico di Milano, 2013
43
Dettaglio risposte – per item
❯ La possibilità di analizzare le prove anche attraverso le
singole risposte, appare di particolare utilità per i docenti
Si può analizzare la
singola classe
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
44
Dettaglio risposte – per item
❯ Confronto tra classi?
► Si possono effettuare confronti più di dettaglio tra le classi,
osservando il n° di risposte corrette
► Possibilità di confronto e dialogo tra docenti
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
45
Dettaglio risposte – per item
Sezione E
Parte prima - testo narrativo
Parte prima - testo narrativo
Parte prima - testo narrativo
Parte prima - testo narrativo
Parte prima - testo narrativo
Parte prima - testo narrativo
…
Sezione G
Parte prima - testo narrativo
Parte prima - testo narrativo
Parte prima - testo narrativo
Parte prima - testo narrativo
Parte prima - testo narrativo
Parte prima - testo narrativo
8/12/2016
Domanda
A1
A3
A4
A5
A6
A7
Domanda
A1
A3
A4
A5
A6
A7
A
11,8
0,0
41,2
0,0
0,0
100,0
A
40,0
0,0
25,0
0,0
5,0
95,0
T. Agasisti - Politecnico di Milano, 2012
B
76,5
88,2
29,4
11,8
0,0
0,0
B
50,0
90,0
25,0
5,0
0,0
0,0
C
0,0
11,8
0,0
82,4
94,1
0,0
C
0,0
10,0
5,0
95,0
95,0
0,0
D
11,8
0,0
29,4
5,9
0,0
0,0
Mancate
risposte
0,0
0,0
0,0
0,0
5,9
0,0
D
10,0
0,0
45,0
0,0
0,0
5,0
Mancate
risposte
0,0
0,0
0,0
0,0
0,0
0,0
46
Ulteriore dettaglio per classe
❯ È possibile anche analizzare, per ciascuna classe, le
differenze nelle risposte (per ciascuna singola domanda)
rispetto alla media nazionale
► In ogni singolo item, la classe ha risposto in linea con la media
nazionale, oppure ha evidenziato una percentuale di risposte
corrette/sbagliate superiore/inferiore rispetto alla media
nazionale?
► Confronto tra risposta sul singolo item e media (di classe)
► Grafico seguente
► Nb. Si può estendere questo confronto anche tra classi!
• Dialogo con/tra docenti
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
47
Diff classe-Italia _ _
PN 2011/2012
Confronto tra risultato di classe e risultato nazionale (item per item) nella prova di Italiano Italia __ __ __ __ __
Classe III secondaria di I grado (Classe 412099990801)
50.0
Differenza in punti percentuali
40.0
30.0
20.0
10.0
0.0
Differenza Classe-Italia
(media)
-10.0
-20.0
A1
A2
A3
A4
A5
A6
A7
A8
A9
A10
A11_a
A11_b
A11_c
A11_d
A11_e
A11_f
A11_g
A12
A13
A14_a
A14_b
A14_c
A14_d
A14_e
A14_f
A15
A16
A17
A18
A19
A20
A21
A22
B1
B2_a
B2_b
B2_c
B2_d
B2_e
B2_f
B2_g
B3
B4_1
B4_2
B5
B6
B7
B8
C1_a
C1_b
C1_c
C1_d
C1_e
C1_f
C2
C3
C4
C5
C6
C7
C8
D1_a
D1_b
D2
D3
D4_a
D4_b
D4_c
D4_d
D5_a
D5_b
D6_a
D6_b
D6_c
D6_d
D7_a
D7_b
D8
D9
D10
D11_a
D11_b
D11_c
D11_d
D11_e
-30.0
Testo Narrativo
8/12/2016
Testo Espositivo
T. Agasisti - Politecnico di Milano, 2012
Testo non continuo
Grammatica
48
I grafici creati da Invalsi
❯ Grafico 2
► Mostra quanta parte della variabilità dei punteggi all'interno della
scuola è dovuta a differenze tra le classi, confrontando tali
risultati con quanto avviene nella media delle scuole italiane
❯ Perché è importante?
► Misura indiretta di “varianza tra classi” – misura indiretta di
“segmentazione”?
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
49
Punteggi di Italiano
Classe III secondaria di I grado 2011/2012
Incidenza della variabilità TRA le classi e DENTRO le classi nella prova di Italiano
100
90
80
Valori percentuali
70
60
50
40
30
20
10
0
TRA/TOT
DENTRO/TOT
RMIC000000
8/12/2016
Italia
T. Agasisti - Politecnico di Milano, 2012
50
Punteggi di Matematica
Classe III secondaria di I grado 2011/2012
Incidenza della variabilità TRA le classi e DENTRO le classi nella prova di Matematica
100
90
Il 75% della varianza nei
punteggi è tra classi...
ENORME segmentazione!
80
Valori percentuali
70
Focus su punteggi... Per altri gradi
disponibili anche varianze ESCS
60
50
40
30
20
10
0
TRA/TOT
DENTRO/TOT
RMIC000000
8/12/2016
Italia
T. Agasisti - Politecnico di Milano, 2012
51
Mettere in relazione varianza punteggi e ESCS...
(Un esempio su una scuola differente)
SNV 2011/2012
Grafico 2b: Incidenza della variabilità TRA le classi rispetto alla variabilità totale, nel
punteggio della prova di Matematica e nell'indice di background familiare (ESCS)
Classe I secondaria di I grado
100.0
90.0
Minore varianza nei punteggi,
nonostante elevata varianza nella
composizione delle classi
Valori percentuali
80.0
70.0
60.0
50.0
40.3
40.0
PUNTEGGIO
30.0
20.0
ESCS
19.1
13.9
12.5
10.0
0.0
TRA/TOT (punteggio)
8/12/2016
RMMM000000
ItaliaTRA/TOT
T. Agasisti - Politecnico di Milano, 2013
(ESCS)
52
I grafici creati da Invalsi
❯ Grafico 3
► Mostra le differenze dei punteggi medi tra studenti della scuola
rispetto al genere, alla cittadinanza e alla regolarità nel percorso
di studi, poste a confronto con le stesse differenze nella regione,
nell'area geografica e nell'Italia intera.
❯ Perché è importante?
► Capire se alcune variabili individuali (es. cittadinanza) esercitano
un ruolo maggiore o minore, nel determinare la prestazione
scolastica, rispetto ad altre scuole/ambiti.
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
53
Differenze per cittadinanza: quale interpretazione?
PN 2011/2012
Risultato della prova di Matematica rispetto alla cittadinanza
Classe III secondaria di I grado
65
60
55
50
45
40
35
30
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
54
PN 2011/2012
Risultato della prova di Matematica rispetto alla cittadinanza
Classe III secondaria di I grado
65
60
Diff. nella scuola
Scuola
Scuola
55
Italia
Italia
50
45
40
Studenti Italiani
35
Studenti Stranieri 1a gen.
30
Differenza scuolaItalia = 10 punti
8/12/2016
Differenza scuolaItalia = 17 punti
T. Agasisti - Politecnico di Milano, 2012
55
Differenze di genere: quale interpretazione?
PN 2011/2012
Risultato della prova di Italiano rispetto al genere
Classe III secondaria di I grado
74
72
70
68
66
64
62
60
RMIC000000_M
8/12/2016
Lazio_M
Centro_M
Italia_M
RMIC000000_F
T. Agasisti - Politecnico di Milano, 2012
Lazio_F
Centro_F
Italia_F
56
PN 2011/2012
Risultato della prova di Italiano rispetto al genere
Classe III secondaria di I grado
74
Differenza nella scuola
tra maschi e femmine
72
70
68
66
64
62
60
RMIC000000_M
Lazio_M
Centro_M
Italia_M
RMIC000000_F
MASCHI: Scuola – Italia:
6 punti
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
Lazio_F
Centro_F
Italia_F
FEMMINE: Scuola –
Italia: 4 punti
57
Regolari vs anticipatari/posticipatari:
quale interpretazione?
PN 2011/2012
Risultato della prova di Matematica rispetto alla regolarità del
percorso di studi
Classe III secondaria di I grado
80
75
70
65
60
55
50
45
40
35
30
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
58
PN 2011/2012
Risultato della prova di Matematica rispetto alla regolarità del percorso di studi
Classe III secondaria di I grado
80
75
Differenza REG –
ANT = -15p.
Differenza ANT POST = +15p.
70
65
60
55
Differenza REG POST = +0p.
50
45
40
35
In Italia: REG (51), ANT (48), POST (41)
30
Studenti posticipatari (POST)
Studenti regolari (REG)
Studenti anticipatari (ANT)
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
59
Un quadro di sintesi:
quali dati per (quali) DS?
❯ La crescita dell’azione di INVALSI, e il contestuale
miglioramento dell’azione dell’Ufficio Statistico del MIUR,
consente oggi al DS di avere molte più informazioni sulla
propria scuola
► Ma NON più soluzioni!
❯ La responsabilità “manageriale” del DS
► Leggere i dati, e definirne grado di condivisione interno
► Riflessione personale e collegiale
► Diagnosi
► Ipotesi di azioni, implementazione di piani
► Verifica miglioramento
► ...
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
60
(segue)
❯ Non esiste un “cocktail” di dati adatto per tutti!
► I dati vanno “letti” nel contesto della propria scuola (ivi comprese
le caratteristiche della scuola stessa);
► il potenziale ruolo di Scuola in Chiaro: ad esempio, analisi del
profilo della classe docente della scuola
• Lettura “congiunta” dei due diversi set di informazioni
❯ Nelle slides successive: alcuni esempi di dati che
saranno disponibili nel fascicolo scuola di “MiurScuola_in_Chiaro”
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
61
(Altri) dati: le potenzialità future di Scuola in Chiaro
8/12/2016
T. Agasisti - Politecnico di Milano, 2013
62
Il potenziale di Scuola in Chiaro
❯ Strumento informativo del MIUR, in corso di
miglioramento e affinamento
Un dataset pubblico e integrato,
accessibile dal sito MIUR
http://cercalatuascuola.istruzione
.it/cercalatuascuola/
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
63
Le sezioni di Scuola in Chiaro
❯ Il fascicolo “Scuola in Chiaro” che ciascun istituto
riceverà sarà articolato nelle seguenti sezioni:
► Dati anagrafici
► Studenti
► Docenti
► Esiti formativi
INPUTS
PROCESSI…
OUTPUTS
Questionario
Scuola (DS)
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
64
Un esercizio di lettura “incrociata”
❯ Avendo a disposizione alcuni dei dati di Scuola in Chiaro
della scuola in esame, si è proceduto a qualche possibile
lettura “incrociata” delle informazioni
► Tipologia di scuola
► Analisi composizione delle classi
► Esiti
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
65
La tipologia di scuola
❯ La scuola in esame è un Istituto Comprensivo, con
all’interno una Scuola dell’Infanzia
N° sezioni, alunni e stranieri per anno di corso
(scuola dell’infanzia)
Sezioni
Bambini
Stranieri
3
75
2
N° alunni e sezioni per anno di corso
(scuola primaria)
Anno di corso
1
2
3
4
5
8/12/2016
Alunni
20
31
13
28
30
T. Agasisti - Politecnico di Milano, 2012
Sezioni
1
2
1
2
2
66
La tipologia di scuola
❯ Maggiore numerosità su scuola secondaria di I grado:
N° alunni e sezioni per anno di corso
(scuola secondaria di I grado)
Anno di corso
1
2
3
8/12/2016
Alunni
196
153
170
T. Agasisti - Politecnico di Milano, 2012
Sezioni
8
6
8
67
La composizione delle classi
❯ Focus su “studenti stranieri”
► A tendere... Composizione socioeconomica? (ESCS)
Studenti con cittadinanza non italiana per anno
di corso
I
II
III
IV
V
VI
IX
VII
VIII
Totale sezion sezion sezion sezion sezion sezion
sezion
sezione sezione
e
e
e
e
e
e
e
Anno di
corso
1
2
3
8/12/2016
Stranieri
di cui nati in
Italia
12
1
0
4
2
1
0
1
3
0
0
0
0
0
0
0
0
0
Stranieri
di cui nati in
Italia
3
1
0
0
0
2
0
0
0
0
0
0
0
0
Stranieri
di cui nati
in Italia
13
0
1
2
1
2
2
3
2
0
0
0
0
0
0
0
0
0
T. Agasisti - Politecnico di Milano, 2012
68
La composizione delle classi
❯ Alcune osservazioni:
► Complessivamente, gli studenti stranieri sono il 7%
Sarebbe importante confrontare questo
dato con la media della Regione e dell’Area
► Non ci sono studenti stranieri di II° generazione
► Dai dati di INVALSI, si evinceva che gli studenti stranieri non
avevano punteggi di apprendimento significativamente inferiori
rispetto agli italiani
• Una possibile spiegazione: la scarsa incidenza di studenti stranieri
all’interno delle classi? [2 o 3 in classi mediamente di 20 ragazzi]
► Se potessimo ricondurre i dati alle classi specifiche... Confronto
su incidenza stranieri negli apprendimenti complessivi
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
69
Lettura “incrociata” dei dati su studenti stranieri
412099990801
Testo narrativo
Punteggio
Medio
75,2
Testo narrativo Solo nativi
Punteggio
Punteggio
Punteggio
Italia
Medio
Italia
412099990801
75,2
412099990802
68,6
412099990802
69,5
412099990803
75,4
412099990803
78,3
412099990804
73,4
412099990804
73,1
412099990805
69,2
412099990805
70,2
412099990806
68,2
412099990806
68,6
412099990807
66,7
412099990807
66,4
8/12/2016
68,5
In questa classe vi è un effetto (negativo)
76,5
412099990808
76,4
connesso
alla
presenza
di
studenti
stranieri.
71,8
RMIC000000
72,3
Qual è questa classe?
412099990808
RMIC000000
Stranieri
68,0
0
1
2
1
2
T. Agasisti - Politecnico di Milano, 2012
2
3
2
70
(segue)
❯ L’analisi di dettaglio degli apprendimenti “relativi” tra
italiani e stranieri può avere molta importanza per la
discussione tra DS e docenti delle classi
► Verifica “omogeneità” dell’istruzione (per gli studenti di
cittadinanza diversa)
► Evidenziazione e discussione su casi “critici”
• (a livello di classe, in questi casi il focus non è sui singoli studenti!)
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
71
Esiti
❯ Il database di Scuola in Chiaro consente di avere alcune
informazioni sugli esiti
► Si possono usare in modo complementare ai dati degli
apprendimenti derivanti dalle prove INVALSI?
Esiti degli scrutini finali per anno di corso
Anno di corso
1
2
Ammessi all'anno successivo
Scuola
Provincia
Regione
97.4
95.4
95.3
95.5
96.0
95.9
Punto di attenzione per anno successivo (effetto dei
“non ammessi” sulle classi di riferimento)
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
Nazione
95.2
96.2
Confronto con Provincia,
Regione, Italia
72
Esiti (segue)
Alunni ammessi e licenziati all'esame di Stato:
candidati interni
Scuola
Provincia
Regione
Nazione
8/12/2016
% ammessi
97.1
96.6
96.5
96.3
% licenziati
99.4
99.8
99.8
99.6
T. Agasisti - Politecnico di Milano, 2012
73
Esiti (segue)
Alunni licenziati per votazione conseguita: candidati interni
Fascia di voto
sei
sette
otto
nove
dieci
dieci e lode
Totale
Scuola
23.6
24.2
21.8
17.6
7.3
5.5
100.0
Provincia
27.2
28.5
22.5
15.7
4.0
2.1
100.0
Numero studenti
livello 1-2
Regione
27.9
27.9
22.0
15.7
4.3
2.2
100.0
Prova di italiano
Numero studenti
livello 3
Nazione
30.5
27.4
21.1
14.9
4.3
1.7
100.0
Numero studenti
livello 4-5
Numero studenti
5
7
7
livello 1-2
Numero studenti
Prova di matematica
1
8
11
livello 3
Numero studenti
0
4
39
livello 4-5
I dati si riferiscono ai soli studenti con dati validi per le due prove (italiano e matematica)
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
I voti finali sembrano
“giustificati”
Sapevamo, dai dati
INVALSI, che in questa
scuola vi è concentrazione
di alunni molto bravi
(rispetto a media
nazionale)
74
Cosa NON ci dicono i dati sugli apprendimenti
8/12/2016
T. Agasisti - Politecnico di Milano, 2013
75
Cosa NON ci dicono i dati sugli apprendimenti
❯ È importante riconoscere, in fase di utilizzo dei dati sugli
apprendimenti, che questi NON ci dicono tutto quello che
sarebbe utile conoscere
► Skills non cognitivi
► Descrizione del “processo” educativo
► Qualità delle attività sottostanti ai processi di apprendimento
❯ Un buon DS dovrebbe utilizzare i dati di apprendimento?
► Si, come una delle fonti di conoscenza della propria scuola
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
76
Cosa NON ci dicono i dati sugli apprendimenti
❯ Il principale limite metodologico
► I dati sul singolo anno, relativi al LIVELLO degli apprendimenti,
riflettono variabili “esterne” che non possono essere modificate
dalle scuole
• Background degli studenti, caratteristiche di contesto, ecc.
❯ La necessità di misure di “Valore Aggiunto”
► Quanta parte dei risultati degli studenti/classi/scuole può essere
attribuita all’azione della scuola?
❯ Sfida metodologica e culturale
► Le esperienze internazionali (League Tables inglesi, valutazione
docenti in USA)
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
77
Misure di Valore Aggiunto
❯ (1) Sul singolo anno, osservando il LIVELLO di
apprendimento
► Depurare l’effetto del background socioeconomico degli studenti
(approccio INVALSI attraverso ESCS) / esperienza Provincia
Autonoma di Trento
• Il problema di tenere conto di tutte le variabili rilevanti per descrivere
risultati scolastici (molto difficile!)
❯ In una logica intertemporale
► (2) A livello di scuola – come evolvono i risultati INVALSI
• Sarebbe utile una tabella aggiuntiva nella scheda di restituzione?
• Ma i dati si riferiscono a coorti di studenti diverse
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
78
Misure di valore aggiunto (segue)
► (3) Analisi longitudinali dei livelli di apprendimento dei singoli
studenti
• Confronti possibili: (a) II-V Scuola Primaria, (b) passaggio V Scuola
Primaria – I Sec I grado, (c) I-III Sec I grado, (d), passaggio Sec I
grado – II sec II grado)
• Generare misure di VA a livello classe e scuola
• Il problema di “ancorare statisticamente” le prove
8/12/2016
T. Agasisti - Politecnico di Milano, 2012
79