Arsoli 1 - Sito ufficiale dell`Istituto Comprensivo Statale di Arsoli

Indagini nazionali e indagini
internazionali per la rilevazione
degli apprendimenti:
caratteristiche, somiglianze e
differenze
Prof.ssa Stefania Pozio
Indagini internazionali e nazionali: diversi obiettivi
Indagini internazionali: di sistema
 offrono dati sulle prestazioni degli studenti comparabili a livello
internazionale
 permettono di individuare punti di forza e di debolezza del proprio
sistema scolastico
 ricercano fattori antecedenti e correlati del profitto scolastico (e in che
misura operano nello stesso modo in diversi contesti) …
Indagini nazionali: dal sistema alle singole scuole
 accertano i livelli di apprendimento degli studenti italiani in italiano e in
matematica
 offrono dati comparabili a livello nazionale, regionale e a livello di
singola scuola e classe
Le principali indagini internazionali
- PIRLS, TIMSS, PISA –
 Indagini IEA:
PIRLS (Progress in International Reading
Literacy Study) competenze di lettura – IV
anno di scolarità
TIMSS (Trends in International Mathematics
and Science Study) apprendimenti in
matematica e scienze – IV e VIII anno
 Indagini OCSE:
PISA (Programme for Interntional
Student Assessment) – 15 enni
Il Quadro di riferimento nelle ricerche
internazionali





Chiarisce su che cosa vengono effettuate le
rilevazioni, quali competenze vengono
valutate, e come vengono valutate.
Stabilisce il disegno della rilevazione, la
struttura e i contenuti delle prove utilizzate.
Esplicita gli elementi caratteristici della
rilevazione ed eventuali differenze con i cicli
precedenti.
Fornisce esempi di prove e di indicazioni per
la correzione delle prove.
E’ indispensabile per capire e interpretare il
significato dei risultati.
International Association for the Evaluation
of Educational Achievement
E’ una associazione di Enti di ricerca non
governativi; dagli anni ’60 ha condotto indagini
internazionali la cui metodologia si basa sulla
misurazione tramite prove oggettive dei livelli di
profitto e sull’esame di come le variabili di sfondo
nei diversi paesi contribuiscono a determinare i
diversi livelli di profitto
International Association for the Evaluation
of Educational Achievement
1959-1962
Studio Pilota
1966-1976
Six Subjects
Scienze, Lettura, Letteratura, Inglese, Francese, Educazione civica
1976-1989
SIMS
Second International Mathematics Study
1978-1989
CES
Classroom Environment Study
1979-1991
SISS
Second International Science Study
Scienze
1980-1987
WCS
Written Composition Study
Produzione scritta
1985-1993
CES
Computers in Education Study
Informatica
1985-1992
RLS
Reading Literacy Study
Lettura
1986-1992
PRE
Pre-Primary Project
Scuola dell’infanzia
1993-1996
LES
Languages Education Study
Lingue straniere
1994-2002
CIVED
Civic Education Study
Educazione civica
1998-06
SITES
Second Information on Technology in Education
Study
Informatica
1995-99-03-0711
TIMSS
Third (Trends) in Mathematics and Science Study
Scienze
2001-06-11
PIRLS
Progress in International Reading Literacy Study
Icona Lettura
2003-09
TEDS
Teacher Education and Development Study
Formazione degli
Matematica
IL TIMSS
• Fornisce informazioni che permettono di
migliorare l’insegnamento e l’apprendimento
della matematica e delle scienze.
• Riguarda studenti di IV elementare e III
media.
• Viene effettuato ogni 4 anni.
• Il primo ciclo è stato nel 1995 (41 paesi) e
l’ultimo nel 2011 (60 paesi).
Caratteristiche del TIMSS
• La validità delle prove cui sono sottoposti gli studenti
nelle ricerche IEA e la validità dei confronti operati
sulla base dei risultati ottenuti sono entrambe legate
strettamente ai curricoli scolastici dei diversi paesi
partecipanti.
• La difficoltà è di conoscere a fondo preventivamente i
curricoli reali comuni e di poter bilanciare le
inevitabili differenze di intensità e approfondimento
con cui ciascun contesto nazionale interpreta
contenuti e abilità apparentemente simili.
• Per questo negli studi IEA le fasi preliminari dedicate
alla costruzione degli strumenti di indagine occupano
normalmente molto tempo a volte degli anni proprio
per poter conoscere meglio la struttura dei curricoli
realmente svolti.
Caratteristiche del TIMSS
• Per far ciò l'attenzione è stata rivolta anche:
– all'analisi dei libri di testo
– all’analisi dei materiali didattici usati e
– allo studio della variabile cosiddetta OTL (Opportunity to
learn). Per ogni quesito che si intende usare per costruire i
test usati nelle indagini, viene chiesto a campioni
rappresentativi di insegnanti di indicare quale opportunità di
apprendimento hanno avuto gli studenti di apprendere ciò che
è necessario per rispondere correttamente ai diversi quesiti.
• Comporre un test in modo che l’opportunità di
apprendimento complessiva media in ciascun paese
partecipante è sostanzialmente la stessa consente di
ottenere misure di performance di sistema
confrontabili e interpretabile rispetto all’efficacia del
sistema educativo analizzato.
Strumenti del TIMSS
Le indagini comparative internazionali
International Association for the Evaluation of Educational Achievement
Questionario studente:
Sesso
Titolo di studio dei genitori
Abitudini di studio
Ecc.
Questionario insegnante:
Formazione
Età
Strategie di insegnamento
Atteggiamenti
Ecc.
Questionario scuola:
Contesto
Risorse
organizzazione
Risultati in
termini
di
apprendimento
Quadro teorico di riferimento
del TIMSS
• Contenuto delle prove (disciplina da
valutare: aritmetica, geometria,
algebra ecc.)
• Dimensione cognitiva che specifica i
processi di pensiero (conoscere,
applicare, ragionare)
Quadro teorico di riferimento
del TIMSS - matematica
• Domini dei
contenuti:
Domini dei contenuti della quarta primaria
Percentuali
Numero
50%
Figure geometriche e misure
35%
Visualizzazione dati
15%
Domini dei contenuti della terza sec. I grado
Percentuali
Numero
30%
Algebra
30%
Geometria
20%
Dati e probabilità
20%
Domini dei contenuti
• Ciascun dominio di contenuto ha diverse aree di
argomento.
– Es. Numero (IV primaria: lavorare con i numeri naturali è il
fondamento della matematica nella scuola primaria)
•
•
•
•
numeri naturali;
frazioni e decimali;
espressioni numeriche;
sequenze e relazioni.
•
•
•
•
numeri naturali;
frazioni e decimali;
numeri interi;
rapporto, proporzione e percentuale.
– Es. Numero (III secondaria I grado:l’attenzione è focalizzata
sulle frazioni e sui numeri decimali, anziché sui numeri
naturali)
Quadro teorico di riferimento
del TIMSS
• Domini cognitivi
specificano i processi
di pensiero (conoscere,
applicare, ragionare)
• I domini cognitivi
descrivono i
comportamenti che ci
si aspettano dallo
studente quando lavora
con la matematica.
Domini cognitivi
Percentuali
Classe
quarta
primaria
Classe terza
sec. I
grado
Conoscenza
40%
35%
Applicazione
40%
40%
Ragionamento
20%
25%
IV primaria.
Dominio di contenuto: Numero
Dominio cognitivo: Applicare
Livello: basso
IV primaria.
Dominio di contenuto: Visualizzazione
dati
Dominio cognitivo: Ragionamento
Livello: intermedio
IV primaria.
Dominio di contenuto: Figure
geometriche e misure
Dominio cognitivo: Applicazione
Livello: Alto
IV primaria.
Dominio di contenuto: Numero
Dominio cognitivo: Ragionamento
Livello: avanzato
III Secondaria I grado.
Dominio di contenuto: Numero
Dominio cognitivo: Conoscere
Livello: basso
III Secondaria I grado
Dominio di contenuto: Geometria
Dominio cognitivo: Conoscenza
Livello: Intermedio
III Secondaria I grado.
Dominio di contenuto: Numero
Dominio cognitivo: Conoscenza
Livello: Alto
III Secondaria I grado.
Dominio di contenuto: Numero
Dominio cognitivo: Ragionamento
Livello: Avanzato
Quadro teorico di riferimento
del TIMSS - scienze
• Domini dei
contenuti:
Domini dei contenuti della quarta primaria
Percentuali
Scienze della vita
45%
Scienze fisiche
35%
Scienze della Terra
20%
Domini dei contenuti della terza sec. I grado
Percentuali
Biologia
35%
Chimica
20%
Fisica
25%
Scienze della Terra
20%
Quadro teorico di riferimento
del TIMSS
• Domini cognitivi
che specificano i
processi di
pensiero
(conoscere,
applicare,
ragionare)
Domini cognitivi
Percentuali
Classe
quarta
primaria
Classe terza
sec. I
grado
Conoscenza
40%
30%
Applicazione
35%
35%
Ragionamento
25%
35%
IV primaria.
Dominio di contenuto: Scienze fisiche
Dominio cognitivo: Conoscere
IV primaria.
Dominio di contenuto: Scienze fisiche
Dominio cognitivo: Applicare
III Secondaria I grado.
Dominio di contenuto: Chimica
Dominio cognitivo: Conoscere
III Secondaria I grado.
Dominio di contenuto: Chimica
Dominio cognitivo: Applicare
IV primaria.
Dominio di contenuto: Scienze fisiche
Dominio cognitivo: Ragionare
III Secondaria I grado.
Dominio di contenuto: Chimica
Dominio cognitivo: Ragionare
IV anno
IV anno
VIII anno
VIII anno
IL PIRLS
• PIRLS ha come obiettivo quello di rilevare la
reading literacy, cioè la competenza di lettura dei
bambini, e di analizzare anche le esperienze
familiari e scolastiche che possono influenzarne
l’apprendimento.
• Il concetto di reading literacy, elaborato nel Quadro di
riferimento di PIRLS, è stato definito come
“la capacità di comprendere e usare quelle forme di
linguaggio scritto richieste dalla società e/o ritenute
importanti dagli individui. Il giovane lettore competente è
in grado di ricostruire il significato di testi di vario tipo.
Legge per apprendere, per far parte di una comunità di
lettori, a scuola e nella vita di ogni giorno, e per piacere
personale” (Mullis et al., 2009, p. 11).
IL PIRLS
Lo studio focalizza l’attenzione su tre aspetti principali:
Prova cognitiva
• i processi di comprensione (mettere a fuoco e ricavare
informazioni fornite in modo esplicito nel testo, fare
inferenze semplici, interpretare e integrare concetti e
informazioni, esaminare e valutare contenuti e aspetti
formali del testo);
Prova cognitiva
• gli scopi della lettura (lettura per fruire di un’esperienza
letteraria e lettura per acquisire e utilizzare informazioni);
• gli atteggiamenti e le pratiche di lettura e i fattori di
Questionario
di
contesto (oltre agli atteggiamenti dell’alunno
nei confronti
della lettura, rientrano in questa categoria tutte
le
contesto
informazioni relative alla sua scuola, alla famiglia e al più
ampio contesto della comunità locale in cui vive, che
possono offrire risorse aggiuntive all’apprendimento della
lettura).
PIRLS e TIMSS 2011 in Italia
Le 310 scuole del campione italiano sono così
suddivise:
- 106 scuole primarie che hanno partecipato alle
indagini PIRLS e TIMSS (quarta primaria);
- 99 istituti comprensivi che hanno partecipato alle
indagini PIRLS e TIMSS (quarta primaria e
terza secondaria di I grado);
- 105 scuole secondarie di I grado che hanno
partecipato all’indagine TIMSS.
In totale in Italia sono stati coinvolti più di 4.000
studenti della primaria e altrettanti della
secondaria, rappresentativi di circa 550.000
studenti di quarta primaria e oltre 550.000
studenti del terzo anno della scuola secondaria di I
grado.
Testi narrativi
Testi espositivi
Indirizzo per prove rilasciate
• http://www.invalsi.it/invalsi/ri/doc_internazi
onali/012011/Itemfascicololetture.pdf
I 135 quesiti rappresentano un tempo di testing di
oltre 6 ore, ma - naturalmente – ogni studente
risponde solo a una parte di essi. Le prove sono
state divise in dieci blocchi da 40 minuti, i quali
sono stati appaiati per formare 13 fascicoli della
durata di 80 minuti ciascuno. Il tempo richiesto a
ciascuno studente per la prova è quindi di 80
minuti.
PRESENTAZIONE DELL’INDAGINE
Cosa è PISA?
OECD – OCDE - OCSE - Organizzazione per la
Cooperazione e lo Sviluppo Economico
PISA-Programme for International Student Assessment
Indagine internazionale promossa per rilevare le
competenze dei quindicenni scolarizzati.
Si svolge con periodicità triennale (prima indagine 2000).
PISA ha l’obiettivo generale di verificare se, e in che
misura, i giovani che escono dalla scuola dell’obbligo
abbiano acquisito alcune competenze giudicate
essenziali per svolgere un ruolo consapevole e attivo
nella società e per continuare ad apprendere per tutta
la vita.
PISA 2012: 66 paesi
35 paesi
dell’OCSE
PRESENTAZIONE DELL’INDAGINE
Caratteristiche del progetto
• Tre ambiti di literacy: lettura, matematica e scienze +
problem-solving (nel 2003 e 2012)
• Periodicità triennale con un’area di contenuti principale in
ciascun ciclo
– PISA 2000-2009 lettura, PISA 2003-2012
matematica, PISA 2006-2015 scienze
• Popolazione bersaglio: i quindicenni scolarizzati
– PISA 2012: nati nel 1996
• In ogni Paese il campione è costituito da un minimo di
150 scuole con un campione di 43 studenti per scuola.
•Il campione italiano di PISA 2012 è stato di circa 1000
scuole per un totale di oltre 40.000 studenti a
rappresentare una popolazione di circa 500.000 studenti.
PRESENTAZIONE DELL’INDAGINE
Caratteristiche del progetto
 A livello geografico il campione è rappresentativo
di 5 macroaree e 12 Regioni/Province autonome
 A livello del sistema dell’istruzione, il campione è
rappresentativo di due livelli scolastici (scuola media
e scuola secondaria superiore) e di tre indirizzi di
studio (Istituti Tecnici, Istituti Professionali e Licei)
più i centri di formazione professionale nelle regioni
in cui sono attivi
PISA 2012
Formulare
un modello
Problema
in contesto
Problema
matematico
Utilizzare
la matematica
Validare i risultati
Risultati
contestualizzati
Interpretare
i risultati
Nel PISA 2012, per la prima volta, i risultati
degli studenti saranno riportati in funzione dei
3 processi
Risultati
matematici
Strumenti: le prove cognitive del
PISA 2012
• 13 fascicoli di prove cognitive di 120 minuti
ciascuno, assegnati agli studenti secondo uno
schema di rotazione
– Ciascun fascicolo contiene principalmente prove di
matematica e in alcuni fascicoli vi sono anche prove di
lettura e scienze.
• Le prove sono costituite da:
– uno stimolo (testo, diagramma o grafico, immagini)
– una o più domande
– indicazioni per la correzione
• Le domande possono essere:
– chiuse a scelta multipla semplice o complessa;
– aperte a risposta univoca o a risposta breve;
– aperte a risposta articolata.
PRESENTAZIONE DELL’INDAGINE
Strumenti: i questionari
Questionario Studente:
–
–
–
–
ambiente socio economico;
motivazioni e atteggiamenti nei confronti della scuola;
strategie di studio delle scienze;
familiarità con tecnologie dell’informazione e della comunicazione.
Questionario Scuola:
– bacino di utenza e dimensioni della scuola;
– risorse della scuola;
– corpo docente;
– clima disciplinare della scuola;
– strategie didattiche e di valutazione;
– autonomia scolastica.
Questionario Genitori: novità del 2006
Risultati in Lettura PISA 2009: Paesi OCSE
400
Korea
Finland
Canada
New Zealand
Japan
Australia
Netherlands
Belgium
Norway
Estonia
Switzerland
Poland
Iceland
United States
Sweden
Germany
Ireland
France
Denmark
United Kingdom
Hungary
Portugal
Italy
Slovenia
Greece
Spain
Czech Republic
Slovak Republic
Israel
Luxembourg
Austria
Turkey
Chile
Mexico
450
500
550
600
486
58
Chart B1.7. Cumulative expenditure per student by educational institutions over the theoretical duration of primary and secondary studies (2009)
Annual expenditure per student by educational institutions multiplied by the theoretical duration of studies, in equivalent USD converted using PPPs
Primary education
Lower secondary
Upper secondary education
All secondary education
In equivalent USD converted using
PPPs
250 000
200 000
150 000
OECD average (primary and secondary)
100 000
50 000
1. Public institutions only.
Countries are ranked in descending order of the total expenditure on educational institutions per student over the theoretical duration of primary and secondary studies.
Source: OECD. Table B1.3b (available on line). See Annex 3 for notes (www.oecd.org/edu/eag2012).
Fonte: Education at a Glance 2012: OECD Indicators - © OECD 2012
Brazil1
Mexico
Chile
Hungary1
Slovak Republic
Israel
Poland1
Estonia
Czech Republic
Portugal1
New Zealand
Korea
Finland
Japan
Spain
Netherlands
Slovenia1
France
Germany
Belgium
Italy1
Sweden
Australia
United Kingdom
Ireland1
Iceland
Austria
United States
Denmark
Norway
Switzerland1
Luxembourg
0
Relazione tra voti scolastici in Matematica e
risultati in matematica PISA 2003
Fonte: Elaborazione sul dataset PISA 2003 dell’Italia
Relazione tra voti scolastici in Italiano e risultati
in comprensione della lettura PISA 2009
Nord Ovest
Nord Est
Centro
Sud
Sud e Isole
600,00
554,34
550,37
548,80
550,00
535,32
531,62
525,93
Punteggio in Lettura
566,86
558,90
525,23
514,95
505,97
504,94
511,78
502,43
500,00
488,92
488,67
450,00
472,02
472,81
456,25
458,10
443,49
442,33
487,04
426,81
417,45
408,47
401,20
400,00
414,90
386,00
365,51
Fonte:
350,00
Elaborazione sul dataset PISA 2003 dell’Italia
<=4
5
6
7
Voti
8
>=9
PISA 2003
Questionario studenti-alcuni risultati
 Ambiente socio-economico e
culturale
 Motivazioni e atteggiamenti nei
confronti della scuola
Stefania Pozio _ Centro Nazionale PISA
Indice dello status socioeconomico e
culturale (ESCS)
ESCS
HISEI
HOMEPOSS
(Highest Parental
Occupation Status)
(Home Possession)
ISCED
(International Standard
Classification of Education)
Qual è il lavoro
Qual è il titolo di studio
principale di tua
più alto conseguito da tua
madre/padre?
madre/padre?
Stefania Pozio _ Centro Nazionale PISA
HOME POSSESSION - A casa tua ci sono:
• una scrivania per fare i compiti?
• una camera solo per te?
• un posto tranquillo per studiare?
• un computer che puoi usare per lo studio?
• software didattici?
• un collegamento a Internet?
• una tua calcolatrice?
• libri di letteratura classica libri di poesia? opere d’arte (ad esempio,
quadri)?
• libri da consultare per fare i compiti? un dizionario?
• una lavastoviglie? un lettore DVD o un videoregistratore?
• mobili d’antiquariato?
• un televisore al plasma?
• un impianto di aria condizionata?
PISA 2003
Questionario studenti- indice dello status
socio-economico e culturale
Indice dello status socio-economico e culturale e risultati
sulla scala di matematica
550
500
507
450
417
400
Primo quartile
Secondo quartile
Terzo quartile
Sopra il terzo
quartile
Stefania Pozio _ Centro Nazionale PISA
PISA 2003-L’ansia verso la matematica
Diverse ricerche hanno rilevato che:
l’ansia nei confronti di una materia è negativamente
associata con il rendimento, che risulta essere tanto
peggiore quanto più il compito è difficile o percepito
come tale.
Gli studenti percepiscono le situazioni di
apprendimento e di valutazione come minacciose e non
si considerano capaci di superarle, con il risultato che
hanno difficoltà a concentrarsi sul compito.
[La relazione tra le variabili sembra essere mediata
dal background sociale e scolastico dello studente].
PREOCCUPAZIONE
Es. “Mi preoccupa spesso
l’idea di avere delle
difficoltà durante le
lezioni di matematica”
EMOZIONALITA’
Es. “Quando mi metto
a risolvere un problema
di matematica, sento
di non farcela”
INDICE DI ANSIA NEI
CONFRONTI DELLA
MATEMATICA
•L’INDICE SINTETICO si riferisce a sentimenti di
preoccupazione e stress emozionale sperimentati dallo
studente sia in situazione d’esame che durante la fase di
apprendimento precedente ad essa.
•L’Italia ha un valore medio positivo in tale indice (0,29)
PISA 2003-Ansia e rendimento in
matematica degli studenti italiani
Ansia e risultati in matematica
550
500
505
431
450
400
Prim o quartile
Secondo quartile
Terzo quartile
Quarto quartile
DADI DA GIOCO (LIVELLO 3 – SPAZIO E FORMA)
Il disegno a destra rappresenta due dadi.
I dadi sono cubi con le facce numerate secondo la
seguente regola:
La somma dei punti su due facce opposte deve essere sempre uguale a sette.
Puoi costruire un dado da gioco tagliando, piegando e incollando un pezzo di cartone. Puoi
realizzare questo in molti modi. La figura qui sotto mostra quattro cartoncini che puoi
utilizzare per costruire un dado.
Quale/i delle seguenti forme puoi ripiegare in modo da formare un dado che
obbedisca alla regola per cui la somma delle facce opposte è 7? Per ciascuna
IA I
A I
II
I
A I
III
I
I
A I
IV
V
forma, fai un cerchio intorno a «Sì» o «No» nella tabella che segue.
Obbedisce alla regola
Forma per cui la somma delle
facce opposte è 7?
I
Sì / No
II
Sì / No
III
Sì / No
IV
Sì / No
Risposte corrette ITALIA: 58%
Risposte corrette OCSE: 63%
Omissioni ITALIA: 4%
Omissioni OCSE: 2%
SKATEBOARD
Enrico è un grande appassionato di skateboard. Visita un negozio che si chiama SKATER per
controllare alcuni prezzi.
In questo negozio puoi comprare uno skateboard completo, oppure puoi comprare una tavola, un set
di 4 rotelle, un set di 2 blocchi e un set di accessori per montare il tuo skateboard.
I prezzi dei prodotti del negozio sono:
Prodotto
Prezzo in
zed
Skateboard completo
82 o 84
Tavola
40, 60 o 65
Tipo di quesito: risposta aperta univoca
Competenza: riproduzione
Area di contenuto: quantità
Contesto: personale
Un set di 4 rotelle
14 o 36
Un set di 2 blocchi
16
Un set di accessori (cuscinetti
a sfera, placchette di gomma,
dadi e viti)
10 o 20
Domanda 1: SKATEBOARD
Livello di difficoltà: 2
% Risposte corrette:
Italia 61%
OCSE 67%
Enrico vuole montare da solo il suo skateboard. In questo negozio, qual è il prezzo minimo e il prezzo
massimo degli skateboard «fai da te»?
(a) Prezzo minimo: ...................zed
(b) Prezzo massimo: ................zed
GRAZIE