Diapositiva 1 - cittadinanzascientifica

La scienza è cultura
I criteri di valutazione
dei sistemi scolastici
Andrea Gavosto
Fondazione Giovanni Agnelli
[email protected]
Catanzaro, 25 marzo 2010
Indice
1. Perché la valutazione nella scuola è
necessaria
2. Che cosa si valuta: il concetto di valore
aggiunto
3. Come costruire un sistema di valutazione: i
quattro pilastri
4. Un esperimento condotto sulle scuole
piemontesi
5. Limiti della valutazione
La Fondazione Agnelli e la scuola
Autonomia
Osservatorio
Insegnanti
Valutazione e
Accountability
Divari digitali
Studenti
Equità
INSEGNANTI
FEDERALISMO
3
Valutazione  Perché è necessaria?
Anche se incompleta, l’autonomia degli
istituti scolastici, costituzionalmente
garantita, rappresenta il maggior
cambiamento avvenuto nella scuola
italiana negli ultimi dieci anni.
L’altro lato dell’autonomia è la
necessità che le scuole rendano conto
alle autorità di governo, alle famiglie,
agli studenti e ai contribuenti, delle
scelte didattiche e organizzative
compiute (accountability). Questo
comporta la misurazione degli effetti di
queste scelte
4
Valutazione  Perché è necessaria?
La raccolta di informazioni omogenee e confrontabili sui risultati
ottenuti da studenti e scuole consente di stabilire a che punto si
trova la singola scuola rispetto al resto del sistema.
Famiglie e studenti sono informati sulla qualità degli insegnamenti;
le scuole possono avviare le azioni necessarie a migliorare gli esiti.
Oggi gli esami di stato non
funzionano da orientamento,
perché manca la confrontabilità.
5
Valutazione  Il divario nei risultati scolastici fra Nord
e Sud è spiegabile dalla mancata percezione del
ritardo al Sud
LICEO
CENTRO
IST. TECNICO
68 61
34
Punti PISA
Divari territoriali
Divari di indirizzo
Caratteristiche individuali
RETROTERRA
SOCIOCULTURALE
NELLA SCUOLA
ATTIVITA’
SCIENTIFICHE
EXTRACURRICULARI
RETROTERRA
SOCIOCULTURALE
INDIVIDUALE
32 28
12
11
7
4
2
-16
PIACERE NELLO
STUDIARE LE
SCIENZE
INTERESSE
APPRENDIMENTO
SCIENZE
NUMERO ORE DI
SCIENZE A SCUOLA
Fonte: elaborazione su dati Ocse Pisa 2006
NORD
DONNA
6
Valutazione  Percezione degli studenti della propria
competenza in matematica e risultati effettivi in Pisa
L’indice di percezione per il totale Italia è pari a 0 (valore che coincide con la media OCSE). A valori positivi più alti
corrispondono gli studenti che dichiarano una buona familiarità e buoni esiti in matematica, mentre assumono
valori negativi gli studenti per cui questa materia è considerata problematica. Fonte: Foresti, Pennisi, 2007.
7
Valutazione  I test standardizzati disponibili
PIRLS - Progress in International Reading Literacy Study
• COSA: Comprensione di un testo scritto
• CHI: bambini di 10 anni di età (IV elementare)
• DOVE: in 40 paesi (Italia compresa) nel 2006 (nel 2011 si sale a 53 paesi)
TIMMS - Trends in International Mathematics and Science Study
• COSA: Rendimento degli studenti in matematica e scienze
• CHI: bambini di 10 anni e ragazzi di 14 anni (IV elementare e III media)
• DOVE: in 60 paesi (Italia compresa) nel 2007 (nel 2011 si sale a 64)
PISA - Programme for International Student Assessment
• COSA: Competenze in lettura, matematica e scienze
• CHI: quindicenni scolarizzati (in prevalenza primo anno secondarie II grado)
• DOVE: in 57 paesi (Italia compresa) nel 2006. Attesi i risultati 2009
INVALSI - Istituto nazionale per la valutazione del sistema
educativo di istruzione e di formazione
• COSA: Apprendimenti di italiano e matematica
• CHI: studenti della scuola italiana al II e al V anno della primaria, e al I e III
anno della secondaria di I grado
8
Valutazione  I risultati dei test standardizzati
mettono in luce il calo dopo le primarie
Matematica
550
525
500
475
450
425
Scienze
400
Nord Est
IV elementare
III Media
Studenti 15enni
Nord Ovest
575
Centro
550
Sud
525
Media
internazionale
500
475
450
425
400
Fonti: TIMMS 2007, PISA 2006
IV elementare
III Media
Studenti 15enni
9
Valutazione  I test standardizzati raccontano una
storia diversa dagli esiti degli scrutini
Punteggio in matematica nel test PISA e voto in pagella
(punteggi)
Fonte: elaborazioni su dati OCSE-PISA.
10
10
Valutazione  Che cosa si valuta
La valutazione va fatta su obiettivi condivisi
Ad esempio, combattere la dispersione scolastica e
promuovere il successo formativo di ogni studente
sono obiettivi di sistema rispetto ai quali le singole
scuole secondarie superiori possono e devono
essere chiamate a produrre risultati.
L’efficacia formativa si rileva all’interno delle
scuole (valore aggiunto) ma si proietta anche
all’esterno (esiti occupazionali, performance
universitarie).
11
Valutazione  Che cosa si valuta: l’effetto di contesto
L’apprendimento di uno studente è influenzato non solo dalle sue
caratteristiche personali ma anche dall’effetto di contesto o
effetto di composizione del gruppo – classe e/o scuola - di cui un
alunno fa parte.
Esso è prima di tutto un effetto dovuto alla particolare
composizione del gruppo ed è dunque, in termini diretti, un
effetto dei compagni (peer effect). La composizione del gruppo
genera però anche tutta una serie di effetti indiretti. Ad esempio,
gli insegnanti si comportano in modo diverso a seconda del
gruppo di alunni con cui si trovano ad interagire.
Di tale effetto andrebbe tenuto conto nel valutare l’efficacia di
una scuola sul progresso dei suoi alunni.
12
Fonte: Angela Martini Canale d’Agordo 13 settembre 2008 e
Roberto Ricci, lLa misurazione del valore aggiunto nella
scuola, Fondazione Agnelli
Valutazione  Che cosa si valuta: il valore aggiunto
Il problema fondamentale è quello di separare l'effetto della
scuola da tutte le altre influenze che agiscono sui livelli di
apprendimento degli alunni, per arrivare a stabilire il “valore
aggiunto” dell’istruzione impartita da ciascun istituto scolastico.
L’effetto scuola può essere misurato in quattro modi :
1)Come differenza tra il punteggio medio grezzo di una scuola e
quello medio generale di un certo territorio,
2)Con i progressi medi che gli allievi realizzano in un
determinato arco di tempo (guadagni cognitivi),
3)Come differenza media tra i punteggi osservati ed i punteggi
attesi in relazione alle caratteristiche degli allievi (condizione
socio-economico-culturale, attitudini, ecc.),
4)Come il guadagno cognitivo medio netto rispetto a tutti i
fattori di contesto che non sono controllati dalla scuola.
13
Valutazione  Che cosa si valuta: l’efficacia
differenziale
Voti medi assoluti
0.90
0.60
0.30
0.00
-0.30
-0.60
-0.90
Se si guardasse ai soli valori assoluti
le distanze tra le due scuole
sembrerebbero molto elevate.
-1.20
-1.50
-1.80
Ist. Tec. Industriale – G.B. Pininfarina
Liceo Scientifico – G. Vasco
-2.10
14
Valutazione  Che cosa si valuta: l’efficacia
differenziale
Voti medi “depurati”
0.90
0.60
0.30
0.00
-0.30
-0.60
Guardando all’effettivo valore aggiunto
le distanze si accorciano.
-0.90
-1.20
-1.50
-1.80
Ist. Tec. Industriale – G.B. Pininfarina
Liceo Scientifico – G. Vasco
Non si può imputare alle scuole il ruolo
giocato dalle caratteristiche individuali degli
studenti e dai fattori di contesto (indirizzo,
territorio)
15
Valutazione  La necessità di un sistema stratificato
Le informazioni sulla qualità di una scuola dovrebbero scaturire
da 4 punti d’osservazione:
1. l’autovalutazione - strumento essenziale d’indirizzo per le
scuole autonome;
2. le visite ispettive ministeriali - non più verifica di
adempimenti burocratici, ma valutazione complessiva della
qualità del servizio scolastico e alla sua rispondenza agli
obiettivi di sistema (modello OFSTED);
3. le prove standardizzate di misurazione degli apprendimenti (INVALSI) - il cuore della valutazione, improntate
all’individuazione del valore aggiunto prodotto dalla scuole;
4. il giudizio offerto da soggetti terzi, quali università e
mondo del lavoro.
16
Valutazione  Per essere efficace la valutazione va
legata a incentivi economici o motivazionali
+ Incremento
per funzioni
obiettivo
+ Differenza per
regione/materia
Retribuzione
Base
+ Premio
Scuola
= Retribuzione
Finale
E’ meglio premiare
la scuola anziché il
singolo insegnante
perché
l’insegnamento è
un lavoro d’equipe
17
Valutazione  Le opinioni dei docenti
Nell’ipotesi di costruzione di un sistema nazionale di valutazione, chi dovrebbe essere
valutato secondo la sua opinione? Quota di insegnanti neoassunti che risponde
“d’accordo” o “molto d’accordo”
0
10
20
30
40
50
60
L'istituto scolastico nel suo
complesso
80
90
78.6
L'équipe che lavora su un
progetto/un gruppo di
alunni/classi
57.4
I singoli insegnanti
54.6
Solo il dirigente scolastico
Nessuno
70
25.7
16
18
Un esempio di valutazione esterna
La FGA ha ricostruito le carriere universitarie degli studenti
(esami, voti, crediti) per trarre indicazioni sulla qualità delle
“basi” acquisite presso le scuole superiori d'origine.
I risultati hanno condotto alla pubblicazione di una
graduatoria degli istituti scolastici superiori.
Un caveat
Questo approccio è valido soprattutto nel caso
in cui lo sbocco privilegiato dagli studenti di
una data scuola sia proprio l’università (licei),
mentre lo è meno nel caso di istituti la cui
missione formativa verte su aspetti
maggiormente professionalizzanti (tecnici, ma
soprattutto professionali*).
* Esclusi dall’analisi
19
L’esercizio  Cosa c’è dietro le performance degli
studenti?
Effetto
contesto
territoriale
Effetto
studenti
Effetto
scelte
universitarie
Effetto tipo
di scuola
Risultati
universitari
EFFETTO
SCUOLA
20
L’esercizio  Un esempio di ranking
PIEMONTE
Istituto
Posizioni guadagnate (+) o perse (-)
a causa di:
Ente
Comune
Rank
Caratteristiche Effetti Effetti tipo di Rank
Prov. Effetto
degli studenti territoriali
scuola
Finale
Scuola
21
L’esercizio  Un esempio di ranking
PIEMONTE
Posizioni guadagnate (+) o perse (-)
a causa di:
Comune
Rank
Caratteristiche Effetti Effetti tipo di Rank
Prov. Effetto
degli studenti territoriali
scuola
Finale
Scuola
Istituto
Ente
Liceo Scientifico - G. Ferrari
Statale Borgosesia VC
22
L’esercizio  Un esempio di ranking
PIEMONTE
Posizioni guadagnate (+) o perse (-)
a causa di:
Comune
Rank
Caratteristiche Effetti Effetti tipo di Rank
Prov. Effetto
degli studenti territoriali
scuola
Finale
Scuola
Istituto
Ente
Liceo Scientifico - G. Ferrari
Statale Borgosesia VC
80
23
L’esercizio  Un esempio di ranking
PIEMONTE
Posizioni guadagnate (+) o perse (-)
a causa di:
Comune
Rank
Caratteristiche Effetti Effetti tipo di Rank
Prov. Effetto
degli studenti territoriali
scuola
Finale
Scuola
Istituto
Ente
Liceo Scientifico - G. Ferrari
Statale Borgosesia VC
80
+10
+33
+18
19
24
L’esercizio  Un esempio di ranking
PIEMONTE
Posizioni guadagnate (+) o perse (-)
a causa di:
Comune
Rank
Caratteristiche Effetti Effetti tipo di Rank
Prov. Effetto
degli studenti territoriali
scuola
Finale
Scuola
Istituto
Ente
Liceo Scientifico - G. Ferrari
Statale Borgosesia VC
I.T.C.G. - G. Guarini
Statale Torino
80
+10
+33
+18
19
TO
25
L’esercizio  Un esempio di ranking
PIEMONTE
Posizioni guadagnate (+) o perse (-)
a causa di:
Comune
Rank
Caratteristiche Effetti Effetti tipo di Rank
Prov. Effetto
degli studenti territoriali
scuola
Finale
Scuola
Istituto
Ente
Liceo Scientifico - G. Ferrari
Statale Borgosesia VC
80
I.T.C.G. - G. Guarini
Statale Torino
25
TO
+10
+33
+18
19
26
L’esercizio  Un esempio di ranking
PIEMONTE
Posizioni guadagnate (+) o perse (-)
a causa di:
Comune
Rank
Caratteristiche Effetti Effetti tipo di Rank
Prov. Effetto
degli studenti territoriali
scuola
Finale
Scuola
Istituto
Ente
Liceo Scientifico - G. Ferrari
Statale Borgosesia VC
80
+10
+33
+18
19
I.T.C.G. - G. Guarini
Statale Torino
25
-16
-45
-52
139
TO
27
L’esercizio  Risultati principali
Dalle graduatorie emergono molte conferme e alcuni elementi di novità:
• Sia in Piemonte che in Emilia Romagna si rileva la buona qualità dell’istruzione
tecnica in termini di effetto scuola.
• I licei sono avvantaggiati rispetto agli istituti tecnici dal processo di
autoselezione degli studenti negli indirizzi formativi. I primi ricevono studenti
più brillanti e di estrazione socio-culturale più elevata.
• In entrambe le regioni si rileva la presenza di un effetto provincia: gli studenti
dei piccoli centri hanno in media performance universitarie migliori, forse a
seguito del maggior controllo sociale presente nelle piccole realtà rispetto ai
grandi centri urbani, o semplicemente per il carico motivazionale maggiore che
spesso caratterizza gli studenti universitari “fuori sede”.
• Le scuole non statali hanno in media performance pessime rispetto a quelle
statali. Questo è particolarmente evidente in Piemonte, mentre in Emilia
Romagna risaltano alcune realtà di assoluto prestigio ed elevata efficacia
formativa (scuole comunali).
28
Valutazione  I limiti
1. L’oggetto della misurazione: competenze (problem solving)
o conoscenze? Ad es, i test tradizionali non sono adatti a
misurare l’effetto dell’uso delle tecnologie a scuola
2. Teaching to the test
3. Nessun sistema di valutazione esterno è in grado di
controllare perfettamente l’interazione fra insegnanti, allievi
e famiglie
29
Back up
L’esercizio  Prime sperimentazioni
Nel 2009 è stato fatto il primo
tentativo di valutazione delle
scuole secondarie superiori
Piemontesi.
Nel 2010 al Piemonte si è
aggiunta l’Emilia Romagna.
31
L’esercizio  Fonte dei dati e atenei considerati
Fonte principale dei dati: Anagrafe Nazionale degli Studenti Universitari (ANS)
Per ogni studente sono disponibili, tra gli altri, dati relativi a:
 studi scolastici compiuti (titolo di scuola media superiore
conseguito, istituto che lo ha rilasciato, anno solare di
conseguimento, votazione all’esame di Stato);
 immatricolazione (università, corso di laurea, sede didattica,
denominazione corso, impegno a tempo pieno o parziale);
 carriera universitaria (totale crediti formativi, crediti acquisiti per
stage, crediti riconosciuti validi per il corso, esami, votazione).
Atenei di riferimento: Per ogni regione sono stati considerati solamente i
diplomati immatricolati negli atenei della stessa regione.
•Piemonte: Unito, Polito, Unipmn. (circa 82% dei diplomati)
•Emilia Romagna: Unibo, Unife, Unimore, Unipr. (circa 87% dei diplomati)
32
L’esercizio  Studenti e indicatori di performance
Studenti considerati: immatricolati iscritti regolarmente, quelli cioè che hanno
proseguito gli studi al livello universitario immediatamente dopo l’ottenimento
del diploma, e immatricolati “ritardatari”, coloro che si iscrivono dopo 1 o 2
anni dal conseguimento del diploma.
Segmento di carriera considerato: solo il primo anno del corso universitario,
poiché negli anni successivi l’esperienza sul campo (learning by doing) assume
sempre maggiore importanza e l’effetto della scuola tende a scemare.
Indicatori di performance: si è costruito un indicatore sintetico che tiene
conto con pari peso del profitto universitario e della velocità negli studi.
Profitto: media dei voti conseguiti agli esami universitari ponderata
per i crediti formativi di ogni esame.
Velocità: rapporto fra i crediti conseguiti dallo studente e crediti
dichiarati come impegno annuale.
33
L’esercizio  Periodo e scuole coinvolte
Anni accademici di riferimento: tre per il Piemonte (2005/06, 2006/07,
20007/08 ), due per l’Emilia Romagna (2006/07, 20007/08 )
Soglie di selezione: per esigenze di rappresentatività statistica del dato e
affidabilità dell’esercizio abbiamo imposto delle numerosità minime.
Piemonte: almeno 15 allievi iscritti presso gli atenei della regione nei tre
anni accademici di riferimento;
Emilia Romagna: almeno 10 allievi iscritti presso gli atenei della regione nei
due anni accademici di riferimento.
Scuole
soglia
Numero studenti in atenei regionali
Chi c’è sotto la soglia?
•scuole di piccole dimensioni o con tassi di prosecuzione
modesti;
• scuole in aree di confine (maggiore probabilità di
prosecuzione fuori regione);
• scuole con particolari relazioni con atenei extra-regionali o
esteri;
• scuole per le quali si sono riscontrati problemi di qualità o
assenza dei dati all’interno dell’ANS (ad esempio, scuole che
hanno cambiato denominazione o sono state accorpate).
34
L’esercizio  Altri limiti …
Attenzione!
1.
La banca dati ANS, nata per altri scopi, viene utilizzata solo da due
anni per questa tipologia di esercizi di valutazione. Sono
inevitabilmente presenti alcune lacune (campi parzialmente
compilati, codici errati, ecc), e non in tutti i casi si è potuto intervenire
per colmarle o correggere le inesattezze.
2.
Gli accorpamenti di molte scuole in Istituti Superiori con indirizzi
diversi non consente di costruire graduatorie separate per le scuole e
gli indirizzi che ne fanno parte. Nei calcoli si tiene comunque conto
della composizione per indirizzi delle scuole, la diversa natura dei
percorsi formativi e le diverse caratteristiche individuali degli studenti
iscritti nei vari indirizzi.
35
L’esercizio  L’effetto scelte universitarie
A parità di abilità, preparazione e impegno, di certo contano le
scelte universitarie degli individui possono falsare i risultati.
Frequentare un corso di studio umanistico presso un ateneo periferico
e/o di recente istituzione vuol dire avere una carriera universitaria più
agevole rispetto al frequentare una facoltà scientifica (hard science)
presso un ateneo metropolitano di tradizione?
Se è così, bisogna evitare che una scuola che abbia più diplomati nel
primo corso di laurea che nel secondo risulti avvantaggiata nel giudizio.
I confronti tra studenti vanno effettuati per gruppi omogenei rispetto alle
scelte universitarie compiute.
Il profitto e la velocità di ognuno sono stati confrontati non con quelli
medi di tutta la popolazione studentesca considerata, bensì con quelli
medi degli studenti che frequentano lo stesso ateneo e la stessa area
disciplinare.
36
L’esercizio  L’effetto studenti
Le scuole non ricevono e non educano studenti dello stesso tipo.
Per confrontare correttamente il lavoro svolto da due scuole, occorre farlo a
parità di caratteristiche degli studenti in ingresso.
I dati dell’ANS ci hanno permesso di tener conto per ogni studente di:
• sesso: è noto che le ragazze ottengono mediamente risultati migliori
negli studi (anche se non in tutte le discipline);
• talento scolastico: ricevere studenti più dotati facilita il compito
educativo delle scuole. Dunque, controlliamo per il voto di maturità
standardizzato rispetto all’indirizzo di studio e alla media di scuola;
• ritardo nella prosecuzione degli studi al livello universitario: chi non
prosegue immediatamente ha delle caratteristiche particolari
(studente del tecnico, forse ha tentato un ingresso nel mercato del
lavoro, ecc.) che possono influire sulla performance.
37
L’esercizio  Effetto contesto territoriale
Le specificità territoriali del luogo di provenienza degli studenti e di
localizzazione dell’istituto scolastico possono a vario titolo influire sulle
performance universitarie degli individui.
La provincia è diversa dalla città, e province e città sono tra loro molto
eterogenee per le condizioni economiche e l’offerta formativa
disponibile, ma anche per i modelli culturali prevalenti e per il controllo
sociale.
Questi fattori possono condizionare la scelta di proseguire o meno gli
studi e quella di come proseguire (studenti “fuorisede”).
Per queste ragioni abbiamo isolato l’effetto territoriale nell’analisi,
individuando le celle geografiche a partire dai Sistemi Locali del Lavoro
definiti dall’ISTAT che dovrebbero catturare il bacino d’utenza potenziale
delle singole scuole.
38
L’esercizio  Effetto tipo di scuola (indirizzo)
La forte stratificazione socio-culturale della scuola secondaria superiore
italiana determina vantaggi o svantaggi per i singoli istituti a seconda
dell’indirizzo formativo di appartenenza.
L’estrazione socio-culturale di chi frequenta un liceo classico è molto
diversa da quella di chi frequenta un istituto tecnico. Allo stesso modo, i
talenti scolastici si distribuiscono in modo non casuale tra i diversi percorsi
di studio. Dunque, le popolazioni studentesche tendono ad essere molto
omogenee all’interno dei singoli indirizzi formativi e molto diverse tra
indirizzi (cfr. Rapporto FGA 2010).
Inoltre, in assenza di meccanismi di carriera e di incentivi, anche gli
insegnanti “migliori” tendono a concentrarsi in alcuni indirizzi formativi
(cfr. Rapporto FGA 2009).
Gli effetti positivi o negativi derivanti da questi fenomeni non sono
attribuibili alla singola scuola che invece ne beneficia o ne risente.
Pertanto, bisogna isolarli nell’analisi.
39
L’esercizio  Effetto scuola
Solo tenendo conto dell’influenza esercitata sui risultati universitari da altri
fattori non direttamente controllabili dalle scuola stesse (effetto studenti,
effetto contesto territoriale, effetto tipo di scuola), e di cui dunque non
possono essere considerate responsabili, si può pervenire al vero “effetto
scuola”.
EFFETTO SCUOLA
Predisposizione agli studi universitari
che deriva dall’aver frequentato una
determinata istituzione scolastica
40
L’esercizio  Come presentare i risultati?
Si possono ordinare le scuole per il contributo effettivo alla preparazione agli
studi universitari, al netto delle altre componenti, in una graduatoria in base
all’effetto scuola.
Questo ranking offrirebbe informazioni utili ad esempio agli operatori scolastici
e ai responsabili della politica scolastica che saprebbero in quale scuola si fa di
più con i mezzi a disposizione.
Ma per studenti e famiglie che vogliono scegliere un istituto al passaggio dalle
medie alle superiori è importante sapere anche se sono presenti degli effetti di
contesto in grado di migliorare gli apprendimenti e le performance individuali.
Si può allora stilare anche una graduatoria in base ai risultati finali dove le
scuole sono ordinate in base ai risultati raggiunti per l’operare simultaneo di
tutte le componenti (tranne gli effetti distorsivi delle scelte universitarie).
41