Cosa ci dicono (e non dicono) i dati sugli apprendimenti Tommaso

Cosa ci dicono (e non dicono) i dati sugli
apprendimenti
e perché è importante occuparsene...
Tommaso Agasisti
Politecnico di Milano
Dipartimento di Ingegneria Gestionale
e. [email protected]
Premessa
›❯  In questa sezione, si riportano le informazioni che
riguardano i dati restituiti da INVALSI per l’a.s. 2011/12
► Si utilizza una scuola “reale” (anonima), cui è stato modificato
il codice di riconoscimento
›❯  Scopo dell’analisi:
► Vedere un quadro dei dati a disposizione
► Commentarne i possibili principali utilizzi
► Chiarire alcuni aspetti metodologico/statistici
► Raccogliere domande/osservazioni...
11/14/12
T. Agasisti - Politecnico di Milano, 2012
2
Un aspetto (metodologico) iniziale
›❯  Premessa esplicitata nel sito...
► I dati sono riferiti agli allievi che non hanno bisogni educativi
speciali.
► Non viene riportato il dato relativo alle classi con un elevato
indice di propensione al cheating, ossia per quelle classi per
le quali mediante la metodologia statistica utilizzata più del
50% del punteggio osservato è da attribuire a comportamenti
anomali.
► Inoltre non si riporta il dato relativo alle classi con un numero
di studenti assenti superiore al 50%.
► Non viene riportata l'informazione a livello di scuola per
quelle istituzioni per le quali i dati validi si riferiscono a meno
del 50% delle classi.
11/14/12
T. Agasisti - Politecnico di Milano, 2012
3
Punteggi generali
›❯  Nelle prossime slides:
► Punteggi generali di italiano
► Punteggi generali di matematica
›❯  Su cosa focalizzare l‘attenzione?
► Punteggi rispetto ad Area, Regione, Italia
► Punteggi relativi Italiano/matematica
► Cheating “generale”, e relativo (italiano/matematica)
► Status socioeconomico (indice SES)
›❯  NB. I dati sono riportati al netto del cheating!
11/14/12
T. Agasisti - Politecnico di Milano, 2012
4
Quadro complessivo - Italiano
PN 2011/2012 Risultato complessivo della prova di Italiano Classe III secondaria di I grado 74 72 70 68 Il punto rosso (…) rappresenta il punteggio medio nel gruppo di 200 classi/scuole con background socio-­‐
economico-­‐culturale dei propri studenti più simile a quello della scuola considerata. 66 64 62 60 RMIC000000 11/14/12
Lazio T. Agasisti - Politecnico di Milano, 2012
Centro Italia 5
Quadro complessivo - matematica
PN 2011/2012 Risultato complessivo della prova di Matema<ca Classe III secondaria di I grado 65 Il punto rosso (…) rappresenta il punteggio medio nel gruppo di 200 classi/scuole con background socio-­‐
economico-­‐culturale dei propri studenti più simile a quello della scuola considerata. 60 55 50 45 40 RMIC000000 11/14/12
Lazio T. Agasisti - Politecnico di Milano, 2012
Centro Italia 6
Quadro complessivo - considerazioni
›❯  Ci sono diverse dimensioni di analisi possibili, come
quadro (preliminare) rispetto ai dati di dettaglio che
poi si analizzeranno:
► Posizionamento rispetto a Regione, Area, Italia
► Confronto ITA vs MATE (performances medie (in Italia) più
elevate per la prima)
► Confronto con scuole che presentano distribuzione ESCS
simile
›❯  Se ci fossero più gradi scolastici...
► Confronti possibili (discutere)
► Il problema dell’ancoraggio statistico tra le prove
► E il caso di Istituti comprensivi?
11/14/12
T. Agasisti - Politecnico di Milano, 2012
7
Alcune definizioni
›❯  Cheating
► Insieme di anomalie che alterano gli esiti della prova. L'effetto
del cheating è misurato mediante un indicatore percentuale
che esprime quale parte del punteggio osservato è
mediamente da attribuire alle predette anomalie.
›❯  ESCS
► L'ESCS è l'indice di status socio-economico-culturale. Esso
misura il livello del background dello studente, considerando
principalmente il titolo di studio dei genitori, la loro
condizione occupazionale e la disponibilità di risorse
economiche.
11/14/12
T. Agasisti - Politecnico di Milano, 2012
8
Alcune definizioni (segue)
›❯  Differenza classe con ESCS simile
► La differenza è calcolata rispetto al risultato medio delle 200
classi/scuole con background socio-economico-culturale
(ESCS) più simile a quello della classe/scuola considerata.
›❯  Background mediano degli studenti
►  I livelli del background sono definiti rispetto alla distribuzione
nazionale dell'indicatore ESCS. Primo quartile (fino al 25%):
livello basso; secondo quartile (dal 25% al 50%); terzo
quartile (dal 50% al 75%): livello medio-alto; quarto quartile
(dal 75% al 100%): livello alto.
11/14/12
T. Agasisti - Politecnico di Milano, 2012
9
11/14/12
T. Agasisti - Politecnico di Milano, 2012
10
11/14/12
T. Agasisti - Politecnico di Milano, 2012
11
Alcune osservazioni
›❯  Perché alcune classi vengono riportate per Italiano ma
non per Matematica?
► Cheating? Assenze? (spunto di riflessione per il DS)
›❯  Le frecce per le comparazioni (verso l’alto, verso il
basso, orizzontali)
›❯  I calcoli delle differenze
► punteggi in termini assoluti, si possono calcolare in
percentuale
► Es. la classe 412099990802 in Italiano ha performance di 67,7
(-4,8 rispetto ad una classe con background simile, ossia il 7%
in meno)
›❯  Cheating
► Più basso in italiano che in matematica
11/14/12
T. Agasisti - Politecnico di Milano, 2012
12
Punteggi delle diverse classi (MATE)
Classi/Istituto Differenza nei risultati rispetto a Media del punteggio al classi/scuole Cheating in percentuale con netto del cheating (1) background familiare simile (2) … 412099990807 67,6 -­‐5,0 0,1% 412099990808 79,1 +6,6 0,0% RMIC000000 72,2 +0,4 0,0% Media (di scuola) 11/14/12
›❯  Osservare
come le diverse
classi
contribuiscono
al risultato di
scuola...
Attenzione… per PN c’è
solo background di
scuola (non di classe)
Inferiore alla media (di scuola) Superiore alla media (di scuola) T. Agasisti - Politecnico di Milano, 2012
13
PN 2011/2012 Risultato complessivo della prova di Italiano Classe III secondaria di I grado Attenzione… per PN c’è
solo background di
scuola (non di classe)
85 80 Classi con “prestazioni relative” peggiori 75 70 65 Classi con “prestazioni relative” migliori 60 Il punto rosso (…) rappresenta il punteggio medio nel gruppo di 200 classi/scuole con background socio-­‐
economico-­‐culturale dei propri studenti più simile a quello della scuola considerata. 11/14/12
T. Agasisti - Politecnico di Milano, 2012
14
Attenzione!
ESCS, apprendimenti e differenze tra classi
›❯  Varianza di punteggi medi (a livello di classi) molto
significativa!
► La classe con punteggio (medio) inferiore: circa 67
► La classe con punteggio (medio) superiore: circa 79 (+ 18%)
► Se avessimo i dati su ESCS a livello di classe (es per II
primaria, I sec. I grado, ecc.) potremmo verificare se le
due varianze sono collegate (segmentazione)
11/14/12
T. Agasisti - Politecnico di Milano, 2012
15
PN 2011/2012 Risultato complessivo della prova di Matema<ca Classe III secondaria di I grado 70 Attenzione… per PN c’è
solo background di
scuola (non di classe)
Il punto rosso (…) rappresenta il punteggio medio nel gruppo di 200 classi/scuole con background socio-­‐
economico-­‐culturale dei propri studenti più simile a quello della scuola considerata. 65 60 55 50 45 40 4.121E+11 11/14/12
4.121E+11 4.121E+11 4.121E+11 RMIC000000 T. Agasisti - Politecnico di Milano, 2012
Lazio Centro Italia 16
Attenzione!
ESCS, apprendimenti e differenze tra classi
›❯  Nel caso di Matematica:
► tutte le classi hanno performance superiori (o non inferiori) a
classi simili sotto il profilo dell’ESCS (medio di classe)
›❯  Ma anche in questo caso, differenze significative:
► Classe con punteggio inferiore: circa 52
► Classe con punteggio superiore: circa 66 (+25%)
11/14/12
T. Agasisti - Politecnico di Milano, 2012
17
Attenzione!!!
Analisi per classi... Segmentazione?!
Italiano Classi/Istituto Matematica Differenza nei Differenza nei Media del Media del risultati rispetto risultati rispetto punteggio al punteggio al a classi/scuole a classi/scuole netto del netto del con background con background cheating cheating familiare simile familiare simile 412099990801 77,4 +4,7 62,4 +8,2 412099990804 77,2 +4,7 66,2 +12,2 412099990806 69,0 -­‐3,7 55,7 +1,6 412099990807 67,6 -­‐5,0 52,0 -­‐2,1 RMIC000000 72,2 +0,4 59,8 +5,8 Classe
“debole”
11/14/12
Classe
“forte”
T. Agasisti - Politecnico di Milano, 2012
18
Punteggi per le diverse parti delle prove
11/14/12
T. Agasisti - Politecnico di Milano, 2012
19
Quali considerazioni?
›❯  Confronto tra classi
► Omogeneità tra apprendimenti delle diverse classi, sulle
diverse parti della prova?
›❯  Confronto su diverse aree
► (es. grammatica vs testo narrativo)
›❯  L’uso dei dati a livello di classe può essere funzionale
alla discussione tra DS e docenti delle classi
interessate
► Anche utile stimolo “interno” – come rendere “pubblicadentro-la-scuola” una discussione su confronto tra classi?
11/14/12
T. Agasisti - Politecnico di Milano, 2012
20
Diverse parti delle prove: analisi a livello di classe
Testo narrativo Grammatica Punteggi Punteggi
Punteggi Punteggi
… o Medio o Italia o Medio o Italia 412099990801 75,2 412099990801 79,6 Criticità a
412099990802 68,6 412099990802 66,9 livello di classe
75,4 412099990803 57,8 412099990803 Punto di forza a
73,4 412099990804 84,7 412099990804 412099990805 69,2 68,0 412099990805 70,5 66,7 livello di classe
412099990806 68,2 412099990806 73,6 412099990807 66,7 412099990807 71,4 412099990808 76,5 412099990808 83,8 RMIC000000 71,8 RMIC000000 74,3 È opportuno confrontare i risultati con la media nazionale...
Un punteggio basso/alto può derivare da specificità della
classe o da difficoltà relativa della sezione della prova!
11/14/12
T. Agasisti - Politecnico di Milano, 2012
Scuola relativamente
“forte” in grammatica
rispetto a testo narrativo
21
Confronto con studenti “solo nativi”
412099990801 412099990802 412099990803 412099990804 412099990805 412099990806 412099990807 412099990808 RMIC000000 Testo narrativo Testo narrativo Solo nativi Punteggio Punteggio Punteggio Punteggio Medio Italia Medio Italia 75,2 412099990801 75,2 68,6 412099990802 69,5 75,4 412099990803 78,3 73,4 412099990804 73,1 69,2 68,0 412099990805 70,2 68,5 68,2 412099990806 68,6 Il DS può valutare questa differenza
66,7 412099990807 66,4 anche insieme
a docenti (e
76,5 412099990808 76,4 considerando
% non nativi)
71,8 RMIC000000 72,3 ›❯  “Solo nativi”:
► studenti nati in Italia da genitori anch'essi nati in Italia;
›❯  Interpretazione:
Per analisi più opportune su differenze tra italiani e
stranieri, vedere grafici appositi (Cfr. dopo)
► Qual è effetto di considerare “solo nativi”? Eterogeneità tra
classi? E rispetto alla media nazionale?
11/14/12
T. Agasisti - Politecnico di Milano, 2012
22
Analisi per “livello di apprendimento”
›❯  Cosa sono i “livelli di apprendimento”?
► Livello 1 punteggio minore o uguale al 75% della media
nazionale
► Livello 2 punteggio maggiore del 75% e minore o uguale del
95% della media nazionale
► Livello 3 punteggio maggiore del 95% e minore o uguale del
110% della media nazionale
► Livello 4 punteggio maggiore del 110% e minore o uguale
del 125% della media nazionale
► Livello 5 punteggio maggiore del 125% della media nazionale
›❯  Sarebbero utili scale diverse?
► Es. media della scuola? Media della Regione? Media per ESCS
simile?
11/14/12
T. Agasisti - Politecnico di Milano, 2012
23
11/14/12
T. Agasisti - Politecnico di Milano, 2012
24
Il significato dei “livelli di apprendimento”
›❯  Si cerca di “approssimare” i livelli di apprendimento
assoluti
► Si osserva, cioè, il risultato “medio” e la sua distribuzione nel
Paese
► Nel futuro: definizione “assoluta” di livello di apprendimento?
›❯  Le informazioni rilevanti sono quelle relative alle
“code” della distribuzione
► Criticità (livello 1)
► Eccellenze (livello 5)
11/14/12
T. Agasisti - Politecnico di Milano, 2012
25
Analisi livelli di apprendimento
(es. matematica)
412099990801 412099990804 412099990806 412099990807 RMIC000000 Lazio Centro Italia Numero studenti livello 1 0 0 0 1 Numero studenti livello 2 1 1 2 1 Numero studenti livello 3 3 3 4 9 Numero studenti livello 5 11 16 2 0 Percentuale Percentuale Percentuale Percentuale Percentuale studenti studenti studenti studenti studenti livello 1 livello 2 livello 3 livello 4 livello 5 1% 17% 24% 25% 6% 19% 19% 19% 23% 19% 17% 18% Differente distribuzione...
I livelli 1 e 4
11/14/12
Numero studenti livello 4 5 6 10 7 T. Agasisti - Politecnico di Milano, 2012
34% 16% 15% 14% 35% 30% 25% 25% Come interpretare
questa distribuzione
tra classi?
26
Analisi livelli di apprendimento
(confronto matematica vs italiano)
412099990801 412099990804 412099990806 412099990807 RMIC000000 Lazio Centro Italia Matema<ca Numero Numero … studenti studenti livello 4 livello 5 5 11 6 16 10 2 7 0 Percentuale Percentuale studenti studenti livello 4 livello 5 34% 35% 16% 30% 15% 25% 14% 25% Italiano Numero Numero … studenti studenti livello 4 livello 5 4 8 16 5 5 2 2 1 Percentuale Percentuale studenti studenti livello 4 livello 5 29% 17% 30% 18% 28% 15% 26% 15% Differenza
Ita vs
mate
(dentro la
classe)
Prestazione “relativa”
della scuola
(ita versus mate)
11/14/12
T. Agasisti - Politecnico di Milano, 2012
27
Analisi livelli di apprendimento
(confronto matematica vs italiano)
11/14/12
T. Agasisti - Politecnico di Milano, 2012
28
Valutazione “esterna” vs “interna”
Valutazione “interna”
disallineata... Per
eccesso o per difetto?
► Mantenendo (in forma anonima) l’identità del singolo
studente, è possibile verificare “coerenza” tra punteggio
ottenuto nella prova Invalsi e giudizio di ammissione
all’esame di Stato
11/14/12
T. Agasisti - Politecnico di Milano, 2012
29
Valutazione “esterna” vs “interna”
›❯  È importante avere a mente due osservazioni
metodologiche:
► Il voto per la PN è quello complessivo di ammissione (per gli
altri gradi, è quello relativo alla specifica disciplina – ITA/MAT)
► Il voto del singolo studente coglie alcuni aspetti che la prova
INVALSI può non cogliere. Il voto medio di classe, invece, può
essere una informazione più rilevante per l’azione del DS.
11/14/12
T. Agasisti - Politecnico di Milano, 2012
30
PN 2011/2012 Confronto tra voto di scuola e punteggio nella prova di Italiano Classe III secondaria di I grado (Scuola RMIC000000) 80.00 412099990808 Punteggio medio alla prova INVALSI 78.00 412099990804 412099990801 76.00 74.00 72.00 Queste due classi hanno
valutazioni medie simili dalla
scuola, ma rilevante differenza
nelle prove Invalsi
70.00 412099990805 412099990806 68.00 412099990802 66.00 5.50 6.00 412099990807 6.50 7.00 412099990803 7.50 8.00 Voto medio di classe 11/14/12
T. Agasisti - Politecnico di Milano, 2012
31
PN 2011/2012
Confronto tra voto di scuola e punteggio nella prova di Matematica
Classe III secondaria di I grado (Scuola RMIC000000)
70.00
412099990804
60.00
Punteggio medio alla prova INVALSI
412099990801
412099990806
50.00
412099990807
Queste due classi hanno
valutazioni medie simili da Invalsi,
ma rilevante differenza nella
valutazione della scuola
40.00
30.00
20.00
10.00
0.00
5.50
6.00
6.50
7.00
7.50
8.00
Voto medio di classe
11/14/12
T. Agasisti - Politecnico di Milano, 2012
32
Dettaglio risposte – per item
›❯  La possibilità di analizzare le prove anche attraverso le
singole risposte, appare di particolare utilità per i
docenti
Si può analizzare la
singola classe
11/14/12
T. Agasisti - Politecnico di Milano, 2012
33
Dettaglio risposte – per item
›❯  Confronto tra classi?
► Si possono effettuare confronti più di dettaglio tra le classi,
osservando il n° di risposte corrette
► Possibilità di confronto e dialogo tra docenti
11/14/12
T. Agasisti - Politecnico di Milano, 2012
34
Dettaglio risposte – per item
Sezione E Parte prima -­‐ testo narrativo Parte prima -­‐ testo narrativo Parte prima -­‐ testo narrativo Parte prima -­‐ testo narrativo Parte prima -­‐ testo narrativo Parte prima -­‐ testo narrativo … Sezione G Parte prima -­‐ testo narrativo Parte prima -­‐ testo narrativo Parte prima -­‐ testo narrativo Parte prima -­‐ testo narrativo Parte prima -­‐ testo narrativo Parte prima -­‐ testo narrativo 11/14/12
Domanda A A1 11,8 A3 0,0 A4 41,2 A5 0,0 A6 0,0 A7 100,0 Domanda A1 A3 A4 A5 A6 A7 A 40,0 0,0 25,0 0,0 5,0 95,0 T. Agasisti - Politecnico di Milano, 2012
B 76,5 88,2 29,4 11,8 0,0 0,0 B 50,0 90,0 25,0 5,0 0,0 0,0 C 0,0 11,8 0,0 82,4 94,1 0,0 C 0,0 10,0 5,0 95,0 95,0 0,0 D 11,8 0,0 29,4 5,9 0,0 0,0 Mancate risposte 0,0 0,0 0,0 0,0 5,9 0,0 D 10,0 0,0 45,0 0,0 0,0 5,0 Mancate risposte 0,0 0,0 0,0 0,0 0,0 0,0 35
Ulteriore dettaglio per classe
›❯  È possibile anche analizzare, per ciascuna classe, le
differenze nelle risposte (per ciascuna singola
domanda) rispetto alla media nazionale
► Grafico seguente
11/14/12
T. Agasisti - Politecnico di Milano, 2012
36
-­‐30.0 11/14/12
A1 A2 A3 A4 A5 A6 A7 A8 A9 A10 A11_a A11_b A11_c A11_d A11_e A11_f A11_g A12 A13 A14_a A14_b A14_c A14_d A14_e A14_f A15 A16 A17 A18 A19 A20 A21 A22 B1 B2_a B2_b B2_c B2_d B2_e B2_f B2_g B3 B4_1 B4_2 B5 B6 B7 B8 C1_a C1_b C1_c C1_d C1_e C1_f C2 C3 C4 C5 C6 C7 C8 D1_a D1_b D2 D3 D4_a D4_b D4_c D4_d D5_a D5_b D6_a D6_b D6_c D6_d D7_a D7_b D8 D9 D10 D11_a D11_b D11_c D11_d D11_e Differenza in punti percentuali
PN 2011/2012
_
Confronto tra risultato di classe e risultato nazionale (item per item) nella prova di Italiano Italia
Classe III secondaria di I grado (Classe 412099990801)
Diff classe-Italia _ _
-­‐10.0 Testo Narra<vo Testo Esposi<vo T. Agasisti - Politecnico di Milano, 2012
Testo non con<nuo __ __ __ __ __
50.0 40.0 30.0 20.0 10.0 0.0 Differenza ClasseItalia (media)
-­‐20.0 Gramma<ca 37
I grafici creati da Invalsi
›❯  Grafico 2
► Mostra quanta parte della variabilità dei punteggi all'interno
della scuola è dovuta a differenze tra le classi, confrontando
tali risultati con quanto avviene nella media delle scuole
italiane
›❯  Perché è importante?
► Misura indiretta di “varianza tra classi” – misura indiretta di
“segmentazione”?
11/14/12
T. Agasisti - Politecnico di Milano, 2012
38
Punteggi di Italiano
Classe III secondaria di I grado 2011/2012
Incidenza della variabilità TRA le classi e DENTRO le classi nella prova di Italiano
100 90 80 Valori percentuali
70 60 50 40 30 20 10 0 TRA/TOT
DENTRO/TOT
RMIC000000 11/14/12
Italia T. Agasisti - Politecnico di Milano, 2012
39
Punteggi di
Matematica
Classe III secondaria di I grado 2011/2012
Incidenza della variabilità TRA le classi e DENTRO le classi nella prova di Matematica
100 90 80 Valori percentuali
70 60 50 Il 75% della varianza nei
punteggi è tra classi...
ENORME segmentazione!
Focus su punteggi... Per altri gradi
disponibili anche varianze ESCS
40 30 20 10 0 TRA/TOT
DENTRO/TOT
RMIC000000 11/14/12
Italia T. Agasisti - Politecnico di Milano, 2012
40
I grafici creati da Invalsi
›❯  Grafico 3
► Mostra le differenze dei punteggi medi tra studenti della
scuola rispetto al genere, alla cittadinanza e alla regolarità nel
percorso di studi, poste a confronto con le stesse differenze
nella regione, nell'area geografica e nell'Italia intera.
›❯  Perché è importante?
► Capire se alcune variabili individuali (es. cittadinanza)
esercitano un ruolo maggiore o minore, nel determinare la
prestazione scolastica, rispetto ad altre scuole/ambiti.
11/14/12
T. Agasisti - Politecnico di Milano, 2012
41
Differenze per cittadinanza: quale interpretazione?
PN 2011/2012 Risultato della prova di Matema<ca rispeRo alla ciRadinanza Classe III secondaria di I grado 65 60 55 50 45 40 35 30 11/14/12
T. Agasisti - Politecnico di Milano, 2012
42
PN 2011/2012 Risultato della prova di Matema<ca rispeRo alla ciRadinanza Classe III secondaria di I grado 65 60 55 Scuola Diff. nella scuola
Italia 50 Scuola Diff
.n
ella
sc
uola
Italia 45 40 35 Studenti Italiani
Studenti Stranieri 1a gen.
30 Differenza scuolaItalia = 10 punti
11/14/12
Differenza scuolaItalia = 17 punti
T. Agasisti - Politecnico di Milano, 2012
43
Differenze di genere: quale interpretazione?
PN 2011/2012 Risultato della prova di Italiano rispeRo al genere Classe III secondaria di I grado 74 72 70 68 66 64 62 60 RMIC000000_M 11/14/12
Lazio_M Centro_M Italia_M RMIC000000_F T. Agasisti - Politecnico di Milano, 2012
Lazio_F Centro_F Italia_F 44
PN 2011/2012 Risultato della prova di Italiano rispeRo al genere Classe III secondaria di I grado 74 Differenza nella scuola
tra maschi e femmine
72 70 68 66 64 62 60 RMIC000000_M Lazio_M Centro_M Italia_M RMIC000000_F MASCHI: Scuola – Italia:
6 punti
11/14/12
T. Agasisti - Politecnico di Milano, 2012
Lazio_F Centro_F Italia_F FEMMINE: Scuola –
Italia: 4 punti
45
Regolari vs anticipatari/posticipatari:
quale interpretazione?
PN 2011/2012 Risultato della prova di Matema<ca rispeRo alla regolarità del percorso di studi Classe III secondaria di I grado 80 75 70 65 60 55 50 45 40 35 30 11/14/12
T. Agasisti - Politecnico di Milano, 2012
46
PN 2011/2012 Risultato della prova di Matema<ca rispeRo alla regolarità del percorso di studi Classe III secondaria di I grado 80 75 Differenza REG –
ANT = -15p.
Differenza ANT POST = +15p.
70 65 60 55 Differenza REG POST = +0p.
50 45 40 35 In Italia: REG (51), ANT (48), POST (41)
30 Studenti regolari (REG)
Studenti anticipatari (ANT)
11/14/12
T. Agasisti - Politecnico di Milano, 2012
Studenti posticipatari
(POST)
47
Un quadro di sintesi:
quali dati per (quali) DS?
›❯  La crescita dell’azione di INVALSI, e il contestuale
miglioramento dell’azione dell’Ufficio Statistico del
MIUR, consente oggi al DS di avere molte più
informazioni sulla propria scuola
›❯  La responsabilità “manageriale” del DS
► Leggere i dati, e definirne grado di condivisione interno
► Riflessione personale e collegiale
► Diagnosi
► Ipotesi di azioni, implementazione di piani
► Verifica miglioramento
► ...
11/14/12
T. Agasisti - Politecnico di Milano, 2012
48
(segue)
›❯  Non esiste un “cocktail” di dati adatto per tutti!
► I dati vanno “letti” nel contesto della propria scuola (ivi
comprese le caratteristiche della scuola stessa);
► il potenziale ruolo di Scuola in Chiaro: ad esempio, analisi del
profilo della classe docente della scuola
•  Lettura “congiunta” dei due diversi set di informazioni
›❯  Nelle slides successive: alcuni esempi di dati che
saranno disponibili nel fascicolo scuola di “MiurScuola_in_Chiaro”
► Sfortunatamente, non relativi alla stessa scuola analizzata
nelle slides precedenti...
► Scuola selezionata: sec II grado – maggiore complessità
11/14/12
T. Agasisti - Politecnico di Milano, 2012
49
Scuola in Chiaro: studenti
N° alunni e classi per anno di corso
Anno di corso
Alunni
Classi
1
2
3
4
5
109
121
107
108
72
4
5
5
5
4
11/14/12
N° medio di
alunni per
classe
27,3
24,2
21,4
21,6
18,0
T. Agasisti - Politecnico di Milano, 2012
50
Scuola in Chiaro: studenti
Totale
v.a.
Anno di corso
11/14/12
I sezione
II sezione
Classi
(valori %)
III sezione
IV sezione
V sezione
1
Stranieri
di cui nati in Italia
19
5
26,3
40,0
15,8
20,0
36,8
20,0
10,5
0,0
10,5
20,0
2
Stranieri
di cui nati in Italia
18
1
22,2
0,0
22,2
0,0
16,7
100,0
11,1
0,0
5,6
0,0
3
Stranieri
di cui nati in Italia
13
1
15,4
100,0
23,1
0,0
7,7
0,0
30,8
0,0
23,1
0,0
4
Stranieri
di cui nati in Italia
10
2
20,0
0,0
20,0
50,0
10,0
0,0
0,0
0,0
50,0
50,0
5
Stranieri
di cui nati in Italia
3
0
33,3
0,0
0,0
0,0
0,0
0,0
66,7
0,0
0,0
0,0
T. Agasisti - Politecnico di Milano, 2012
51
Scuola in Chiaro: studenti
Studenti per regolarità* del percorso scolastico (valori percentuali)
Anno di corso
1
2
3
4
5
Scuola
Provincia
Regione
Nazione
Regolari
67,9
63,5
63,9
68,0
In anticipo
9,2
4,8
4,7
4,6
In ritardo
22,9
31,1
31,4
27,4
Regolari
69,4
66,7
66,8
71,5
In anticipo
5,0
1,7
1,9
2,4
In ritardo
25,6
32,0
31,4
26,1
Regolari
65,4
59,0
58,7
64,5
In anticipo
0,0
1,2
1,1
1,5
In ritardo
34,6
40,5
40,2
33,9
Regolari
55,6
59,7
59,2
64,4
In anticipo
0,0
1,3
1,2
1,7
In ritardo
44,4
39,7
39,6
33,9
Regolari
65,3
51,0
50,5
57,6
In anticipo
0,0
1,7
1,1
1,6
In ritardo
34,7
48,6
48,3
40,8
*Vengono considerati in anticipo/ritardo scolastico gli alunni che frequentano un dato anno di corso in età
inferiore/superiore a quella regolare, ovvero a quella prevista dalla normativa vigente in materia di iscrizioni.
Fonte: Anagrafe Nazionale degli studenti
11/14/12
T. Agasisti - Politecnico di Milano, 2012
52
Scuola in Chiaro: studenti
Studenti iscritti per scuola di provenienza
Provenienza
Anno di corso
3
4
1
2
-
105
95
96
59
10
9
8
9
7
da altra scuola
anno di corso precedente
-
4
2
2
1
da altra scuola
ripetente
4
3
2
1
5
da questa scuola
anno di corso precedente
da questa scuola
ripetente
5
Fonte: Anagrafe Nazionale degli studenti
11/14/12
T. Agasisti - Politecnico di Milano, 2012
53
Scuola in Chiaro: studenti
Iscrizioni 2012/13 – 2011/12 = - 30%
Alunni iscritti nell'ultimo triennio
143
135
121
109
109 108
107
112 111
108
88
84
82
72
1
2
3
2012/2013
11/14/12
2011/2012
4
66
5
2010/2011
T. Agasisti - Politecnico di Milano, 2012
54
Scuola in Chiaro: docenti
Personale docente con contratto a tempo indeterminato per fasce di età
47,5
42,5 43,2 43,0 42,0
43,9 44,0 44,0
10,0 11,0 11,0 11,0
0,0
1,9
2,0
<35
3,0
35-44
Scuola
11/14/12
45-54
Provincia
Regione
T. Agasisti - Politecnico di Milano, 2012
55 e più
Nazione
55
Scuola in Chiaro: docenti
Titoli in possesso del personale docente
11/14/12
Docenti con:
v.a.
%
Master I livello
20
50,0
Master II livello
12
30,0
Dottorato
8
20,0
Certificazione informatica
15
37,5
Certificazione linguistica
livello base (A1)
livello basso (A2)
livello medio-basso (B1)
livello medio (B2)
livello medio-alto (C1)
livello alto (C2)
12
2
1
3
2
1
3
30,0
16,7
8,3
25,0
16,7
8,3
25,0
Seconda laurea
7
17,5
Pubblicazioni didattico/scientifiche
4
10,0
T. Agasisti - Politecnico di Milano, 2012
56
Scuola in Chiaro: docenti
Docenti che hanno presentato domanda volontaria di
trasferimento (valori %)
Scuola
Provincia
Regione
Nazione
7,2
7,3
7,1
6,8
Docenti - Numero giorni di assenza pro-capite medio annuo
Tipologia di assenza
Malattia
Maternità
Altro
11/14/12
Scuola
Provincia
Regione
Nazione
14
1
6
12
7
5
10
6
6
8
6
4
T. Agasisti - Politecnico di Milano, 2012
57
Scuola in Chiaro: esiti
Studenti che hanno abbandonato* gli studi in corso d'anno (valori
percentuali)
Anno di corso
Scuola
Provincia
Regione
Nazione
0,0
0,0
0,0
0,0
0,0
1,0
0,2
1,9
1,3
0,6
1,2
0,5
1,8
1,1
0,7
1,4
0,7
1,3
0,9
0,8
1
2
3
4
5
*La percentuale è calcolata rispetto agli iscritti all'inizio dell'anno scolastico
Fonte: Rilevazioni integrative
! 11/14/12
T. Agasisti - Politecnico di Milano, 2012
58
Scuola in Chiaro: esiti
Trasferimenti* studenti in ingresso e in uscita in corso d'anno (valori percentuali)
Anno di corso
1
2
3
4
5
Scuola
3,5
0,9
0,9
3,4
0,0
Studenti in ingresso
Provincia Regione
3,1
2,3
3,1
1,2
1,4
3,5
2,2
2,2
1,4
1,1
Nazione
Scuola
2,9
1,6
1,5
1,0
1,0
4,8
3,4
5,6
4,7
3,2
Studenti in uscita
Provincia Regione
4,9
3,6
5,3
4,5
3,0
6,6
4,9
5,9
5,3
3,3
Nazione
5,0
3,2
3,5
2,9
1,9
*La percentuale è calcolata rispetto agli iscritti all'inizio dell'anno scolastico
Fonte: Rilevazioni integrative
Disallineamento? (Regione, NON scuola) 11/14/12
T. Agasisti - Politecnico di Milano, 2012
59
Scuola in Chiaro: esiti
Esiti degli scrutini di Giugno per anno di corso (valori percentuali)
Anno di corso
Ammessi all'anno successivo
Scuola
Provincia
Regione
Nazione
1
2
3
4
51,2
59,3
53,8
43,0
52,1
53,8
52,3
53,2
52,3
54,0
52,2
54,2
Scuola
48,7
54,0
53,2
57,2
Sospesi in giudizio
Provincia
Regione
27,3
31,0
31,9
32,0
27,3
31,2
31,8
31,5
27,5
31,0
32,0
31,9
Nazione
28,0
30,9
31,8
32,4
Fonte: Rilevazione esiti scrutini
Esiti degli scrutini degli alunni sospesi in giudizio per anno di
corso (valori percentuali)
Anno di corso
Esiti finali per anno di corso (valori percentuali)
Anno di corso
1
2
3
4
Scuola
77,1
88,6
83,9
72,2
Ammessi* all'anno successivo
Provincia
Regione
Nazione
75,8
83,2
82,1
84,6
76,1
84,2
82,2
85,4
74,7
83,7
83,2
87,6
1
2
3
4
Scuola
96,7
97,1
96,6
96,9
Ammessi all'anno successivo
Provincia
Regione
Nazione
96,5
96,9
96,4
96,7
96,7
97,1
96,3
96,8
96,8
97,2
96,4
96,8
Fonte: Rilevazione esiti scrutini
*Per ammessi si intende la somma degli ammessi a Giugno e gli ammessi allo scrutinio
integrativo per i sospesi in giudizio
Fonte: Rilevazione esiti scrutini
11/14/12
T. Agasisti - Politecnico di Milano, 2012
60
Scuola in Chiaro: esiti
Alunni ammessi* all'Esame di Stato (valori pecentuali)
96,8
93,7
Scuola
92,8
92,7
Provincia
Regione
Nazione
Alunni diplomati* all'Esame di Stato (valori pecentuali)
*La percentuale è calcolata sul numero di alunni scrutinati
Fonte:Rilevazione Esiti esami di Stato
98,4
98,3
97,9
97,7
Scuola
Provincia
Regione
Nazione
Scuola
Provincia
Regione
Nazione
*La percentuale è calcolata sul numero di alunni esaminati
Fonte:Rilevazione Esiti esami di Stato
11/14/12
T. Agasisti - Politecnico di Milano, 2012
61
Scuola in Chiaro: esiti
Alunni diplomati per votazione conseguita all'esame (valori percentuali)
Fasce di voto
60
61-70
71-80
81-90
91-99
100
100 e lode
Scuola
10,0
38,3
28,0
12,3
8,3
1,0
2,0
Diplomati
Provincia
Regione
11,8
32,3
28
16,6
6,5
4,2
0,6
12,0
32,1
28,2
16,4
6,7
4,0
0,6
Nazione
13,7
36,8
27,4
14,0
5,3
2,6
0,2
disallineamento Fonte: Rilevazione esiti esami di Stato
allineamento 11/14/12
T. Agasisti - Politecnico di Milano, 2012
62
Cosa NON ci dicono i dati sugli apprendimenti
›❯  È importante riconoscere, in fase di utilizzo dei dati
sugli apprendimenti, che questi NON ci dicono tutto
quello che sarebbe utile conoscere
► Skills non cognitivi
► Descrizione del “processo” educativo
► Qualità delle attività sottostanti ai processi di apprendimento
›❯  Un buon DS dovrebbe utilizzare i dati di
apprendimento?
► Si, come una delle fonti di conoscenza della propria scuola
11/14/12
T. Agasisti - Politecnico di Milano, 2012
63
Cosa NON ci dicono i dati sugli apprendimenti
›❯  Il principale limite metodologico
► I dati sul singolo anno, relativi al LIVELLO degli
apprendimenti, riflettono variabili “esterne” che non possono
essere modificate dalle scuole
•  Background degli studenti, caratteristiche di contesto, ecc.
›❯  La necessità di misure di “Valore Aggiunto”
► Quanta parte dei risultati degli studenti/classi/scuole può
essere attribuita all’azione della scuola?
›❯  Sfida metodologica e culturale
► Le esperienze internazionali (League Tables inglesi,
valutazione docenti in USA)
11/14/12
T. Agasisti - Politecnico di Milano, 2012
64
Misure di Valore Aggiunto
›❯  (1) Sul singolo anno, osservando il LIVELLO di
apprendimento
► Depurare l’effetto del background socioeconomico degli
studenti (approccio INVALSI attraverso ESCS)
•  Il problema di tenere conto di tutte le variabili rilevanti per
descrivere risultati scolastici (molto difficile!)
›❯  In una logica intertemporale
► (2) A livello di scuola – come evolvono i risultati INVALSI
•  Sarebbe utile una tabella aggiuntiva nella scheda di restituzione?
•  Ma i dati si riferiscono a coorti di studenti diverse
11/14/12
T. Agasisti - Politecnico di Milano, 2012
65
Misure di valore aggiunto (segue)
► (3) Analisi longitudinali dei livelli di apprendimento dei singoli
studenti
•  Confronti possibili: (a) II-V Scuola Primaria, (b) passaggio V
Scuola Primaria – I Sec I grado, (c) I-III Sec I grado, (d),
passaggio Sec I grado – II sec II grado)
•  Generare misure di VA a livello classe e scuola
•  Il problema di “ancorare statisticamente” le prove
11/14/12
T. Agasisti - Politecnico di Milano, 2012
66