materiale indagine IVADIS - Incontro con la Dott.ssa Laurita

IVADIS
Indagine sulla
Valutazione dell’Attività
DIdattica da parte degli
Studenti
IVADIS
GRUPPO DI LAVORO A.A. 2008-2009 (IVADIS 9):
• Dott.ssa Sara Laurita, Responsabile Ufficio Statistico e Coordinatrice Indagine
IVADIS
• Vittorio Trovati, Supervisore fasi operative Indagine IVADIS
• Dott.ssa Maria Reda, Referente Facoltà di Economia
• Dott. Salvatore Ricchio, Referente Facoltà di Farmacia
• Dott.ssa Maria Gencarelli, Referente Facoltà di Ingegneria
• Dott.ssa Sonia Gencarelli, Referente Facoltà di Lettere e Filosofia
• Dott.ssa Ilaria Gallo, Referenti Facoltà di SMFN
• Dott.ssa Giuliana Gabrieli, Referente Facoltà di Scienze Politiche
IVADIS
STAFF DI SUPPORTO AL GRUPPO DI LAVORO A.A. 2008-2009:
• Sig.ri Ketty Cipri, Leonardo Ippolito, Francesco Lia, Claudia Mezzatesta, Simone
Nardi Supporto Ufficio
• Dott.ssa Federico Roberta, Sig. Amedeo Campo, Sig. Giuseppe Grupillo, Sig.ra Anna
Crugliano, Sig.ra Annarita Berardi Statistici
• 6 operatori per l’acquisizione dati tramite lettore ottico
• 73 rilevatori
IVADIS
L’ORIGINE……
IVADIS
L. 537/1993 (art. 5 cc. 22 e 23)
Istituisce i Nuclei di valutazione nelle università "con il
compito di verificare, mediante analisi comparative dei costi e
dei rendimenti, la corretta gestione delle risorse pubbliche, la
produttività della ricerca e della didattica, nonché
l'imparzialità ed il buon andamento dell'azione amministrativa. I
nuclei determinano i parametri di riferimento del controllo
anche su indicazione degli organi generali di direzione, cui
riferiscono con apposita relazione almeno annualmente.“
IVADIS
La relazione dei nuclei di valutazione interna è trasmessa al
Ministero dell'università e della ricerca scientifica e
tecnologica, al Consiglio universitario nazionale e alla
Conferenza permanente dei rettori per la valutazione dei
risultati relativi all'efficienza e alla produttività delle attività
di ricerca e di formazione, e per la verifica dei programmi di
sviluppo e di riequilibrio del sistema universitario, anche ai fini
della successiva assegnazione delle risorse.
IVADIS
L. 370/99 Disposizioni in materia scientifica e tecnologica
• COMITATO NAZIONALE PER LA VALUTAZIONE DEL
SISTEMA UNIVERSITARIO
•COSTRUZIONE DI UN APPOSITO FONDO INTEGRATIVO PER
L’INCENTIVAZIONE DELL’IMPEGNO DIDATTICO
•INTRODUZIONE DI APPOSITE DISPOSIZIONI PER IL
COMPLETAMENTO DEL QUADRO DI INTERVENTI PER
L’AUTONOMIA DIDATTICA UNIVERSITARIA
IVADIS
La legge:
•ribadisce e consolida l’attività dei Nuclei rivolta ad
“….adottare un sistema di valutazione interna della gestione
amministrativa, delle attività didattiche e di ricerca, degli interventi
del diritto allo studio, verificando anche mediante analisi comparative
dei costi e dei rendimenti, il corretto utilizzo delle risorse pubbliche,
la produttività della ricerca e della didattica, nonché l’imparzialità e il
buon andamento dell’azione amministrativa”
•introduce elementi nuovi nel sistema di valutazione dei Nuclei:
“…redigono una relazione contenente le informazioni e i dati
determinati ogni triennio dal Comitato…”
IVADIS
“….acquisiscono,
mantenendone
l’anonimato, le opinioni degli
studenti
frequentanti
sulle
attività didattiche e trasmettono
un’apposita relazione entro il 30
aprile di ogni anno… “
IVADIS
D.M. del 31/10/2007 prot. n. 544/2007 comma 2 art. 3:
stabilisce che i Nuclei di Valutazione devono procedere alla
verifica della sussistenza dei livelli di qualità, utilizzando gli
indicatori definiti nel doc. 7/07 del CNVSU. In particolare si fa
riferimento all’indicatore di efficacia che misura il livello di
soddisfazione degli studenti nei riguardi dei singoli
insegnamenti
IVADIS
Inoltre in tale DM si richiama il D.M. del 18 ottobre 2007, nel
quale si precisa che un corso di studio viene definito in
possesso dei requisiti indicati qualificanti se soddisfa almeno 5
dei 7 requisiti previsti, tra cui il seguente:
“la percentuale degli insegnamenti in cui viene rilevato il parere
degli studenti è superiore al valore mediano nazionale, relativo
ai raggruppamenti di facoltà definiti in relazione a quanto
previsto dal Sub. Allegato A.2. del D.M. n. 362/2007”.
IVADIS
PROGETTAZIONE
IVADIS
OBIETTIVI DELL'INDAGINE
L'indagine ha lo scopo di raccogliere
informazioni utili ai fini di migliorare la
qualità dei programmi didattici e il
rapporto studenti/docenti. Utilizzando le
valutazioni degli studenti si riescono ad
ottenere informazioni sui fattori che
facilitano o ostacolano l'apprendimento.
IVADIS
L’indagine
deve
fornire
informazioni
complementari e/o conferma di verifica
nell’ambito del processo più ampio e
complesso di valutazione di un Corso di Studi.
La rilevazione cerca di cogliere la percezione
che lo studente ha della didattica come gli
viene presentata, per l’attivazione delle sue
facoltà di apprendimento e per il modo con cui
“conoscenza ed abilità” vengono finalizzate ad
affrontare con successo le prove d’esame.
IVADIS
In generale: gli aspetti della didattica
che si sottopongono al giudizio dello
studente fanno parte delle esperienze
dirette sulle quali lo studente ha titolo
per rispondere (aule, dotazioni ed
attrezzature, carico di lavoro, ecc.).
IVADIS
POPOLAZIONE OGGETTO DI STUDIO
Tutti gli insegnamenti ed i moduli attivati
dall’Ateneo
UNITA’ DI RILEVAZIONE
Tutti gli studenti frequentanti
UNITA’ DI ANALISI
Insegnamenti/moduli
Docenti
Corso di Laurea/Facoltà/Ateneo
Aule
IVADIS
QUESTIONARIO
6 sezioni:
•Organizzazione del proprio corso di studi
•Organizzazione dell’insegnamento
•Attività didattiche e studio
•Infrastrutture
•Interesse e soddisfazione
•Informazioni sul proprio corso di studi
Una sezione speciale per i commenti personali
IVADIS
15 domande
quattro tipi di risposta
•Decisamente no
•Più no che si
•Più si che no
•Decisamente si
IVADIS
IVADIS
IVADIS
FASI PRELIMINARI
1. Progettazione
2. Analisi dei tempi e dei costi
3. Avvio dell’indagine: comunicazione ai
presidi di facoltà – sensibilizzazione
studenti
IVADIS
IVADIS
IVADIS
Le macro fasi dell’indagine
Pianificazione indagine
Costituzione di un
gruppo di progettazione
Analisi degli aspetti
concettuali ed operativi
dell’indagine
Predisposizione di un
documento di
programmazione
IVADIS
Periodicità nell’acquisizione dei dati
 Dati provenienti dalla Facoltà
•
Acquisizione all’inizio di ogni periodo
didattico
 Dati provenienti dalla rilevazione
•
Acquisizione ai 2/3 della durata di ogni
periodo didattico
IVADIS
Organizzazione delle attività didattiche nelle
facoltà dell’Ateneo
1. Economia
2. Farmacia e Scienza della Nutrizione
3. Ingegneria
4. Lettere e Filosofia
5. Scienze Fisiche Matematiche e Naturali
6. Scienze Politiche
•
Poli didattici distaccati (Crotone, Vibo
Valentia)
IVADIS
Contatto personale
amministrativo delle
Facoltà
Contatto associazioni
studentesche
Sensibilizzazione
Programmazione
attività sul campo
Formazione risorse
umane e verifica
competenze acquisite
Aggiornamenti del
sistema informatico
Protos2
Contatto referenti di
Facoltà
Costituzione di un
gruppo di progettazione
IVADIS
IL PROCESSO
Richiesta informazioni ai referenti di Facoltà
• Programmazione delle attività didattiche e
relative informazioni (docente, nome insegnamento, cdl
attivante o mutuante, crediti, ore di lezione…)
•Orario delle lezioni
File o materiale cartaceo
IVADIS
Programmazione periodica
delle rilevazioni
Stesura del piano delle
attività
Realizzazione
scadenziario
Preparazione elenco
insegnamenti attivi
Acquisizione
informazioni
programmazione
didattica
Controllo qualità dei
dati
IVADIS
Organizzazione della programmazione
INDIVIDUAZIONE STATUS INSEGNAMENTI:
•Rilevabili
•Non rilevabili
Per insegnamento rilevabile s’intende un insegnamento che abbia le
seguenti caratteristiche:
•almeno 24 ore di lezione;
•almeno 2 crediti formativi;
•l’attività didattica non sia svolta prevalentemente in un laboratorio.
IVADIS
Popolamento banca dati
insegnamenti attivi
Assegnazione codici
Caricamento dati
Controllo qualità dei
dati
IVADIS
Codifica: acquisizione informazioni banca dati
•Assegnazione di un codice:
•Insegnamento (3 cifre)
•Modulo (4 cifre)
•Gruppo (4 cifre)
•Docenti ……
•Analisi storica dei dati (controlli su codici
già esistenti)
Esigenza dell’introduzione dei moduli,
problemi corsi mutuati……
IVADIS
Predisposizione calendario
delle rilevazioni
Generazione automatica
calendario
rilevazioni da Protos2
Primo controllo
calendario
rilevazioni
Definizione calendario
rilevazioni
Controllo calendario
rilevazioni
IVADIS
Pianificazione calendario
•Assegnazione di data, ora e aula di rilevazione
• Controlli:
• in base alle aule
• corsi tenuti nella stessa ora stessa aula
stesso docente (errore, mutuazioni,…)
• docenti che risultano tenere
contemporaneamente due lezioni stessa ora,
aule diverse
nella struttura per la pianificazione
visualizzazione solo della prima ora di lezione
IVADIS
Caricamento dati
relativi alla rilevazione
Consegna materiale
ai rilevatori
Preparazione rilevazioni
Invio e-mail ai docenti
Gestione
risposte e-mail
Revisione
calendario
rilevazioni
Certificazione
insegnamenti attivi
Stampa scheda modulo
Controllo dati
della scheda
modulo
Preparazione
buste rilevazione
IVADIS
Invio “automatico e-mail docenti”
• Prima di inviare:
• controllo informazioni caricate
• certificazione dell’insegnamento
• Richieste docenti:
• verifica informazioni in nostro possesso
• comunicazione: periodo di sospensione,
#studenti frequentanti (informazione utile per
organizzazione rilevatori)
• Correzione calendario
•Calcolo tasso di risposta alla e-mail
Necessità
dell’orario
di
facilitare
il
processo
di
modifica
IVADIS
Creazione scheda di rilevazione
• Controllo: coincidenza data, ora e aula
tra calendario e scheda
IVADIS
Contatto con i
rilevatori
Risoluzione
eventuali problemi
di rilevazione
Monitoraggio andamento
rilevazioni
Controllo insegnamenti
rilevati ed
aggiornamento calendario
Controllo
buste rientrate
Rilevazione
Monitoraggio operato
rilevatori: studenti
osservatori
Reinserimento in
calendario rilevazioni
non effettuate
Contatto docenti corsi
non rilevati
Caricamento dati relativi
ai tentativi di
rilevazione
Aggiornamento
Protos2
IVADIS
Somministrazione dei questionari
• Formazione rilevatori
• Manuale di rilevazione
• Capo gruppo
• Coordina i rilevatori, comunica con
l’ufficio di supporto al nucleo di
valutazione
Attualmente sono impegnate nell’attività
di rilevazione 73 persone.
IVADIS
Calcolo tasso di copertura
Verifica status moduli
Impiego query
moduli attivanti
e mutuati
Aggiornamento
insegnamenti attivi
Controllo manuale
tra pacchi e
insegnamenti attivi
Calcolo tassi di
copertura
Individuazione
dei corsi con
0 o 1 studenti
Individuazione
dei corsi
non rilevati
IVADIS
Lettura ottica
Preparazione materiale
necessario alla lettura
Lettura dei
questionari raccolti
Controllo qualità
dei dati
Monitoraggio
lettura
IVADIS
Codifica di preparazione alla lettura ottica
dei questionari:
• Controllo delle informazioni relative agli
insegnamenti
• Acquisizione delle informazioni relative a
• # questionari distribuiti
• # questionari raccolti
• note di rilevazione
• nominativi rilevatori
OSS: utilizziamo tali informazioni per effettuare
controlli di verifica sulla stima delle ore per rilevatore
IVADIS
• creazione scheda lettura
•
IVADIS
Elaborazione dati e
trasmissione dei risultati
Controllo dati
Utilizzo software
Error control
Utilizzo del pacchetto
statistico SPSS
per l’elaborazione dati
Controllo dati
mediante pacchi,
tasso di copertura
e dati caricati
in Protos2
Invio e diffusione
dei risultati
Invio risultati
tramite e-mail
a Presidi e
referenti di
Facoltà
Protosweb
IVADIS
Elaborazione dei dati e strumenti di
diffusione dei risultati
• sintesi per i rilevatori
• docenti
• facoltà
• rapporto conclusivo per il comitato
nazionale
• sintesi dei principali risultati contenuti
nel rapporto annuale di valutazione
IVADIS
IVADIS 8
“Un po’ di numeri”
Periodo Lezioni:
Settembre 2007/Giugno 2008
 Effettuate 2681 rilevazioni
 Inviate ~ 1500 e-mail
 Raccolti ~ 83.404 questionari
 Costruiti 30 calendari di rilevazioni
IVADIS
Realizzazione Protos2-Web
Nuova funzionalità del software PROTOS2, la cui
caratteristica
principale
sarà
quella
di
consentire,con accesso differenziato, (mediante
l’uso di password personalizzate) ad ogni utente
autorizzato la visione dei risultati delle rilevazioni
del proprio insegnamento. I dati relativi alle
rilevazioni effettuate nell’ultimo periodo saranno
disponibili in rete in un tempo ragionevolmente
breve.