Le indicazioni del Nucleo di Valutazione

Senato Accademico
18 settembre 2007
LA VALUTAZIONE DELLA
DIDATTICA
a.a.2006/07
Ufficio di Staff
Studi per la Valutazione
Prima parte
Presentazione dei risultati
della valutazione della
didattica per l’a.a.2006/07
Senato Accademico
18 settembre 2007
Ufficio di Staff Studi per la Valutazione
I - Presentazione dei risultati della valutazione della didattica per l’a.a.2006/07
3 / 21
I riferimenti normativi: l’art.1
della L.370/1999
• Comma 1
l’UNIVERSITA’
– si dota di un sistema di valutazione interna
delle attività didattiche
• Comma 2
il NUCLEO di VALUTAZIONE
– acquisisce periodicamente le opinioni degli
studenti frequentanti sulle attività didattiche
– invia un'apposita relazione al MUR e al CNVSU,
entro il 30 aprile di ciascun anno
Senato Accademico
18 settembre 2007
Ufficio di Staff Studi per la Valutazione
I - Presentazione dei risultati della valutazione della didattica per l’a.a.2006/07
4 / 21
La metodologia adottata
• indagine sulla popolazione degli insegnamenti attivi
• questionario in forma anonima
• distribuzione del questionario cartaceo durante le
lezioni indicativamente a ¾ del corso
• elaborazione di indicatori sintetici
• realizzazione di reportistica differenziata per i
diversi portatori di interesse (Senato Accademico,
Presidi, singoli Docenti, Studenti)
Senato Accademico
18 settembre 2007
Ufficio di Staff Studi per la Valutazione
5 / 21
I - Presentazione dei risultati della valutazione della didattica per l’a.a.2006/07
Lo strumento di rilevazione
•
Per uniformare le elaborazioni dell’Ateneo allo standard richiesto dal
CNVSU sono stati reinseriti nel questionario gli item della sezione
Organizzazione del corso di studi e della sezione Infrastrutture che
riguardano, più in generale, l’organizzazione della didattica e gli aspetti
logistici a livello di Facoltà e di Ateneo.
•
Il questionario adottato è il medesimo già utilizzato per l’a.a.2003/04,
costituito da 18 item articolati in 6 sezioni:
–
–
–
–
–
–
•
Sezione
Sezione
Sezione
Sezione
Sezione
Sezione
1:
2:
3:
4:
5:
6:
Profilo dello studente (item 1-3)
Organizzazione del corso di studi (item 4-5)
Organizzazione dell’insegnamento (item 6-8)
Attività didattiche e studio (item 9-14)
Infrastrutture (item 15-16)
Interesse e soddisfazione (item 17-18).
La scala adottata per misurare la soddisfazione è una scala ordinale a
quattro modalità bilanciate:
Decisamente NO
Senato Accademico
18 settembre 2007
Ufficio di Staff Studi per la Valutazione
Più NO che sì
Più SI che no
Decisamente SI
I - Presentazione dei risultati della valutazione della didattica per l’a.a.2006/07
6 / 21
La procedura di distribuzione
adottata, con Rettorale prot. 30749 dd. 6/10/2006:
• facoltà di piccole dimensioni:
– questionari distribuiti e raccolti direttamente in aula, corso per
corso, da uno studente 150 ore incaricato dall’USV
(Architettura, Farmacia, Giurisprudenza, Scienze Politiche,
SSLMIT)
• facoltà più articolate per dimensioni o sedi didattiche:
– questionari distribuiti e raccolti direttamente dai docenti che
hanno ricevuto per posta interna il materiale necessario alla
rilevazione (predisposto da uno studente 150 ore) (Economia,
Ingegneria, Lettere e filosofia, Medicina e chirurgia,
Scienze della Formazione, Scienze MMFFNN)
– modalità adottata anche nella facoltà di Psicologia, che pur
essendo di piccole dimensioni, ha utilizzato negli ultimi anni
questa forma di distribuzione con successo e non si è quindi
ritenuto di modificarla.
Senato Accademico
18 settembre 2007
Ufficio di Staff Studi per la Valutazione
I - Presentazione dei risultati della valutazione della didattica per l’a.a.2006/07
7 / 21
Le elaborazioni e la reportistica
L’Ufficio Studi per la Valutazione ha curato:
• la lettura ottica dei questionari (luglio–settembre
2007)
• l’elaborazione dei dati e la realizzazione di una
reportistica differenziata a livello di singolo corso
di insegnamento, di Facoltà e di Ateneo
• la realizzazione del CD contenente:
– il report metodologico
– i risultati aggregati a livello di Facoltà e di Ateneo
– per ogni singola Facoltà i relativi risultati a livello di
singolo corso di insegnamento
Senato Accademico
18 settembre 2007
Ufficio di Staff Studi per la Valutazione
I - Presentazione dei risultati della valutazione della didattica per l’a.a.2006/07
8 / 21
I numeri della rilevazione
• 2.469 insegnamenti rilevati su una stima
di 3.441 attivati
• tasso di copertura 71,75% (contro il 55%
del 2005/06)
• 42.577 questionari (circa 12.000 in più)
• 3,37 questionari per ogni studente
regolare
• 93,56% dei corsi valutati positivamente
Senato Accademico
18 settembre 2007
Ufficio di Staff Studi per la Valutazione
9 / 21
I - Presentazione dei risultati della valutazione della didattica per l’a.a.2006/07
La copertura della rilevazione
700
Corsi non rilevati
Corsi rilevati
600
267
500
99
400
157
132
159
300
43
261
1
10
192
100
102
89
49
420
397
200
35
256
227
1
19
72
84
172
197
0
c
Ar
ra
tu
et
t
i
h
ia
om
n
o
Ec
ia
ac
m
r
Fa
G
Senato Accademico
a
nz
de
u
r
is p
iur
18 settembre 2007
Ufficio di Staff Studi per la Valutazione
ria
ne
g
ge
In
re
tte
Le
e
fi a
so
fil o
i
ed
M
a
ci n
e
gia
ur
r
i
ch
ia
log
o
ic
Ps
ze
ien
Sc
l la
de
e
ion
az
rm
Fo
ze
ien
c
S
M
M
N
FF
N
ze
ien
c
S
e
ch
l iti
o
p
IT
LM
S
S
10 / 21
I - Presentazione dei risultati della valutazione della didattica per l’a.a.2006/07
Il trend della copertura (1)
Copertura
Architettura
100,00%
superiore
TOTALE ATENEO
all’80%
90,00%
2004/05
Econom ia
2005/06
Copertura
80,00%
70,00%
60,00%
SSLMIT
Farm acia
50,00%
prossima
al
2006/07
100%
40,00%
30,00%
20,00%
Scienze politiche
Giurisprudenza
10,00%
0,00%
Sostanzialmente
Scienze MMFFNN
Ingegneria
Scienze della Form azione
Lettere e filosofia
stabile
In netto
miglioramento
Psicologia
Medicina e chirurgia
I - Presentazione dei risultati della valutazione della didattica per l’a.a.2006/07
11 / 21
Il trend della copertura (2)
Si tratta del miglior risultato di
copertura mai ottenuto, e con
una quantità di corsi valutati
sensibilmente maggiore
rispetto agli scorsi anni!!!
Senato Accademico
18 settembre 2007
Ufficio di Staff Studi per la Valutazione
12 / 21
I - Presentazione dei risultati della valutazione della didattica per l’a.a.2006/07
I corsi valutati positivamente
100%
99,12%
97,22%
95%
98,81%
96,48%
95,31%
94,64%
93,60% 93,91% 93,56%
93,20%
90%
90,20%
90,24%
85%
80%
75%
76,40%
70%
65%
60%
55%
Senato Accademico
18 settembre 2007
Ufficio di Staff Studi per la Valutazione
Fo
rm
az
io
Sc
ne
ie
nz
eM
MF
FN
Sc
N
ie
nz
ep
ol
Sc
iti
uo
ch
la
e
di
lin
gu
e
MI
TO
T
TA
LE
AT
EN
EO
co
lo
gi
a
Ps
i
rg
ia
ch
iru
lla
de
en
ze
Sc
i
M
ed
ic
in
a
e
ef
ilo
so
fia
ria
tte
re
Le
In
ge
gn
e
za
pr
ud
en
rm
ac
ia
Gi
ur
is
Fa
no
m
ia
Ec
o
Ar
ch
ite
ttu
ra
50%
I - Presentazione dei risultati della valutazione della didattica per l’a.a.2006/07
13 / 21
I report a livello di Facoltà
Indicatori - (1)
Per ciascun item è stato calcolato un Punteggio (da 2 a 10),
ottenuto assegnando punteggio 2 alle risposte
Decisamente NO, 5 alle risposte Più NO che sì, 7 alle
risposte Più SÌ che no, 10 alle risposte Decisamente SÌ”.
Questa modalità di trasformazione della scala di risposta
categorica a 4 punti in un punteggio numerico è proposta
ed utilizzata dal Gruppo Valmon dell’Università di Firenze.
L’ipotesi è certamente arbitraria, infatti l’attribuzione del
punteggio ha il solo scopo di facilitare la lettura e
l’interpretazione dei risultati e delle percentuali di
risposta.
Senato Accademico
18 settembre 2007
Ufficio di Staff Studi per la Valutazione
I - Presentazione dei risultati della valutazione della didattica per l’a.a.2006/07
14 / 21
I report a livello di Facoltà
Punteggi - (2)
Senato Accademico
18 settembre 2007
Ufficio di Staff Studi per la Valutazione
I - Presentazione dei risultati della valutazione della didattica per l’a.a.2006/07
15 / 21
I report a livello di Insegnamento
Senato Accademico
18 settembre 2007
Ufficio di Staff Studi per la Valutazione
Seconda parte
Proposta metodologica per la
rilevazione dell’a.a.2007/08
Senato Accademico
18 settembre 2007
Ufficio di Staff Studi per la Valutazione
II - Proposta metodologica per la rilevazione dell’a.a.2007/08
17 / 21
La distribuzione
• Considerati i risultati soddisfacenti, in
termini di copertura, ottenuti nell’anno
accademico 2006/07, l’Ufficio propone
anche per l’anno accademico 2007/08
di somministrare il questionario
cartaceo direttamente nelle aule in cui
si svolgono le lezioni, indicativamente
verso i tre quarti del corso, secondo le
due modalità di distribuzione
precedentemente descritte.
Senato Accademico
18 settembre 2007
Ufficio di Staff Studi per la Valutazione
II - Proposta metodologica per la rilevazione dell’a.a.2007/08
18 / 21
ESSE3 a supporto della
valutazione
• L’Ufficio Studi per la Valutazione, grazie alla collaborazione dei
tecnici informatici, auspica di poter estrarre l’elenco dei
corsi di insegnamento direttamente dalla banca dati
Esse3, senza doverli richiedere ai Centri Servizi di
Facoltà ad ogni inizio di anno accademico. Ciò
consentirebbe all’ufficio di disporre di tutte le informazioni di
dettaglio sul singolo corso di insegnamento e, quindi, di
predisporre delle etichette precompilate da applicare sulle
buste di raccolta dei questionari. Tale intervento
permetterebbe di ridurre il margine di errore nella
compilazione manuale delle buste, e, di conseguenza, di
dare un ulteriore sostegno alla copertura della rilevazione.
• A tal fine è necessario che le facoltà si impegnino a rendere
disponibile in Esse3, entro la fine del mese di agosto di
ogni anno, l’offerta didattica aggiornata (per il 2007 entro il
28 settembre)
Senato Accademico
18 settembre 2007
Ufficio di Staff Studi per la Valutazione
II - Proposta metodologica per la rilevazione dell’a.a.2007/08
19 / 21
Le indicazioni del Nucleo di
Valutazione (1)
• Elaborazioni a livello di Corso di Studi, laddove
fosse possibile raggiungere questo livello di dettaglio:
– rilevazione 2006/07: dettaglio non facilmente ottenibile
perchè vi sono insegnamenti comuni a più corsi di studi, e,
soltanto in alcuni casi, la rilevazione è stata effettuata
utilizzando buste diverse per gli studenti dei diversi corsi di
studi presenti a lezione
– alcune elaborazioni a livello di corso di studi predisposte,
in via sperimentale, per la facoltà di Farmacia, dove il
sistema di rilevazione distinto per corso di studi è adottato,
per tutti i corsi di insegnamento, già da alcuni anni.
– rilevazione 2007/08: dettaglio possibile se (e solo se)
• offerta didattica presente in ESSE3 aggiornata dalle
facoltà in tempo utile
• distribuzione fatta con buste diverse per gli iscritti a
CdS diversi presenti in aula
Senato Accademico
18 settembre 2007
Ufficio di Staff Studi per la Valutazione
II - Proposta metodologica per la rilevazione dell’a.a.2007/08
20 / 21
Le indicazioni del Nucleo di
Valutazione (2)
• Responsabilizzare un docente di ogni
Corso di Studi in merito all’efficacia della
distribuzione del questionario agli studenti del
corso di studi, e quindi al raggiungimento di
un buon livello di copertura della rilevazione.
• Diffusione dei risultati
• Utilizzo dei risultati sia per intraprendere le
necessarie azioni di miglioramento, sia
come elemento da inserire nei modelli di
distribuzione delle risorse.
Senato Accademico
18 settembre 2007
Ufficio di Staff Studi per la Valutazione
II - Proposta metodologica per la rilevazione dell’a.a.2007/08
21 / 21
La pubblicizzazione dei risultati
• è suggerita dal Nucleo
– impostazione utile per far comprendere agli studenti l’importanza del
loro parere nel più ampio processo di governance dell’ateneo e per
contrastare un atteggiamento di disaffezione alla valutazione che
pare si sia diffuso tra gli studenti.
• è stata presa in considerazione dalla Commissione Tasse
– proposta di assegnare, per l’a.a.2008/09, la quota del 20% del
budget riservato per la didattica sostitutiva soltanto alle Facoltà che
acquisiranno e renderanno pubblici i dati desunti dai questionari di
valutazione della didattica
• è auspicata dallo Statuto dei diritti e dei doveri degli
studenti universitari (art.28)
– importanza della valutazione dei corsi da parte degli studenti e della
conseguente pubblicità dei risultati
• è realizzabile nel rispetto della privacy
– le Facoltà possono provvedere, come per i risultati dell’anno
accademico 2005/06, alla pubblicazione dei risultati della
valutazione per tutti i corsi, nel silenzio/assenso dei docenti, fatto
salvo l’espresso dissenso, da comunicarsi prima della diffusione dei
relativi dati, da parte dei soggetti direttamente interessati.
Senato Accademico
18 settembre 2007
Ufficio di Staff Studi per la Valutazione