Diapositiva 1 - Dipartimento di Comunicazione e Ricerca Sociale

Analisi critica di un rapporto di ricerca:
L’undicesimo rapporto sullo stato del sistema universitario
del CNVSU
Valutazione delle politiche formative
19 Ottobre 2012
Perché abbiamo bisogno di analizzare criticamente
dei rapporti di ricerca?
Obbiettivo finale del progetto di ricerca:
Monitoraggio e valutazione dei cambiamenti nell’ateneo Sapienza (1992 -2012)
Obbiettivo intermedio:
Ricognizione delle dimensioni e dei relativi indicatori impiegati a livello italiano e
internazionale per valutare il sistema universitario, dunque:
individuazione delle principali agenzie di valutazione a livello internazionale e
nazionale;
mappatura e analisi degli indicatori impiegati da tali agenzie;
comparazione tra le agenzie, le dimensioni e gli indicatori;
selezione degli indicatori utilizzabili al fine del monitoraggio e della valutazione
dell’ateneo Sapienza.
Abbiamo bisogno di:
 Analizzare per avere ben presente chi ha prodotto il rapporto, a quali scopi,
utilizzando quali criteri, quali dati e quali tecniche di analisi;
E di farlo
 Criticamente, cioè facendo attenzione alla concettualizzazione dei criteri, alla
costruzione degli indicatori, alla loro parte estranea e a tutti i possibili errori
che non vorremmo replicare.
Cosa abbiamo bisogno di sapere
su un rapporto di ricerca valutativo?
1:
2:
3:
4:
5:
chi ha prodotto il rapporto?
qual è lo scopo del rapporto?
quali sono i criteri di valutazione utilizzati nel rapporto?
quali sono le fonti di dati utilizzate?
quali sono gli indicatori utilizzati?
a: sono riconducibili a uno schema concettuale univoco?
Quale?
… per ognuno di essi:
b: il rapporto di indicazione è chiaramente identificabile?
c: sono calcolati correttamente?
d: i dati su cui si basano sono affidabili?
L’undicesimo rapporto sullo stato del sistema universitario
CNVSU
1: chi ha prodotto il rapporto?
→ Il CNVSU
Comitato nazionale per la valutazione del sistema universitario (CNVSU)
Il CNVSU è stato istituito dall'articolo 2 della legge 19 ottobre 1999, n. 370; il
suo funzionamento è stato disciplinato con D.M. 4 aprile 2000, n. 178; la sua
costituzione è stata disposta con D.M. n. 101 del 14 maggio 2004.
L’Agenzia di Valutazione del Sistema Universitario e della Ricerca (ANVUR)
sostituisce tanto il CNVSU quanto il CIVR; è stata istituita con la legge 286 del
2006 e regolamentata in seguito con il DPR n. 76 del 1 Febbraio 2010 “al fine
di razionalizzare il sistema di valutazione della qualità delle università e degli
enti di ricerca pubblici e privati destinatari di finanziamenti pubblici, nonché
dell’efficienza e dell’efficacia dei programmi statali di finanziamento e di
incentivazione delle attività di ricerca e di innovazione” (art. 2, c. 138).
1: chi ha prodotto il rapporto?
Il
•
•
•
•
•
•
•
•
•
•
CNVSU è un organo istituzionale del Miur con il compito di:
fissare i criteri generali per la valutazione delle attività delle università;
predisporre una relazione annuale sulla valutazione del sistema universitario;
promuovere la valutazione;
determinare la natura delle informazioni e dei dati che i nuclei di valutazione
degli atenei sono tenuti a comunicare;
attuare un programma annuale di valutazioni esterne delle università o di
singole strutture didattiche;
effettuare valutazioni tecniche su proposte di nuove istituzioni universitarie
statali e non statali in vista dell'autorizzazione al rilascio di titoli aventi valore
legale;
predisporre rapporti sullo stato di attuazione e sui risultati della
programmazione;
predisporre studi e documentazione sullo stato dell'istruzione universitaria,
sull'attuazione del diritto allo studio e sugli accessi ai corsi di studio
universitari;
predisporre studi e documentazione per la definizione dei criteri di riparto
della quota di riequilibrio del fondo per il finanziamento ordinario delle
università;
svolgere per il Ministro attività consultive, istruttorie, di valutazione, di
definizione di standard, di parametri e di normativa tecnica.
L’undicesimo rapporto sullo stato del sistema universitario
2: qual è lo scopo del rapporto?
→ La rendicontazione (e la valutazione)
dello stato del sistema universitario
«fornire elementi sulle situazioni, comportamenti ed evoluzioni che si ritengono
validi sia del sistema universitario nel suo complesso, sia delle singole università,
ma anche, e forse soprattutto, di indicare gli elementi di debolezza del sistema se
non veri e propri “campanelli di allarme” che richiedono riflessioni ed interventi a
livello sia centrale che di ciascun ateneo»
In riferimento a:
1 - organizzazione, gestione e risultati dei processi di formazione universitaria:
• la domanda e l’offerta di formazione (cap. 2),
• i servizi agli studenti (cap. 3),
• la formazione alla ricerca (cap. 4).
2 - le caratteristiche e i problemi di gestione delle risorse:
• umane (cap. 5)
• finanziarie (cap. 6).
Al termine del Rapporto viene inoltre presentato un focus sul posizionamento del
sistema universitario italiano in una ottica internazionale (cap. 7).
L’undicesimo rapporto sullo stato del sistema universitario
3: quali sono i criteri di valutazione utilizzati nel rapporto?
→ Il confronto tra le medie degli indicatori
→ L’analisi della variabilità degli indicatori
→ Efficienza, ed efficienza comparabile
«Il Cnvsu, la Crui, il Cun più volte hanno ribadito
che gli indicatori di efficienza dei processi
formativi
usualmente
calcolati
non
sono
confrontabili tra le varie unità produttive, facoltà
e università, poiché non tengono conto della
diversa situazione in termini di risorse disponibili
e del contesto in cui le unità operano, e proprio
per questo gli indicatori sono detti indicatori
“parziali” di efficienza perché non vengono
calcolati a “parità di condizioni”. »
Indicatori
di efficienza
confrontabili
L’undicesimo rapporto sullo stato del sistema universitario
3: quali sono i criteri di valutazione utilizzati nel rapporto?
Efficienza, ed efficienza comparabile?
«Il risultato dei processi formativi, e della loro “efficienza”, è poi
esaminato sia con riguardo al percorso prima di arrivare alla laurea
(in termini di abbandono, “dispersione” e attività o inattività degli
studenti), sia in termini di risultato complessivo dei percorsi
formativi misurato dal numero di laureati (di primo e secondo
livello) e dal tasso di laurea.»
«indicatori di efficienza “comparabili” che consentono di verificare le
difficoltà che si incontrano quando si utilizzano, anche per la
ripartizione dei fondi, indicatori “parziali” di efficienza, cioè
indicatori calcolati non a parità di condizioni (di risorse, di fattori di
contesto, ecc.)»
Efficacia
E’ la capacità di raggiungere gli obiettivi prefissati.
Efficienza
E’ il rapporto tra i risultati ottenuti e i costi supportati.
Efficacia +
Efficacia -
Efficienza +
Efficienza Processi che raggiungono i risultati Processi che raggiungono i risultati
prefissati utilizzando al meglio le
prefissati pur non utilizzando al
loro risorse
meglio le loro risorse
Processi che non raggiungono i
risultati prefissati nonostante
utilizzino al meglio le loro risorse
(risorse troppo scarse rispetto agli
obiettivi)
(risorse ampie rispetto agli
obiettivi)
Processi che non raggiungono i
risultati prefissati non utilizzando al
meglio le loro risorse
L’undicesimo rapporto sullo stato del sistema universitario
4: quali sono le fonti di dati utilizzate?
→ «molteplici fonti statistiche»
•
•
•
•
•
•
•
•
•
NUCLEI, le procedure annuali dei Nuclei di valutazione di Ateneo
Indagini annuali sull’Istruzione Universitaria (Ufficio di statistica MIUR)
Banca Dati Offerta Formativa (MIUR)
Anagrafe Nazionale degli Studenti Universitari (MIUR-CINECA)
Anagrafe dottorati
Anagrafe dottorandi
Indagine Istat “L’inserimento professionale dei dottori di ricerca”
Banca dati del MIUR dell’omogenea redazione dei conti consuntivi
Rilevazione MIUR-CINECA sui Progetti di ricerca di rilevante interesse
nazionale
• Rapporto Education at a glance: OECD indicators
• Classifiche internazionali prodotte da:
• QS World University Ranking
• Times Higher Education
L’undicesimo rapporto sullo stato del sistema universitario
4: quali sono le fonti di dati utilizzate?
«Le elaborazioni presentate utilizzano dati provenienti da molteplici fonti
statistiche che non sono sempre facilmente comparabili per l’universo e il
tempo di riferimento e per la definizione delle variabili»
Esiste una rilevazione ad hoc
La principale rilevazione utilizzata è quella annuale effettuata tramite i Nuclei
di valutazione delle Università, prevista dalla legge n. 370/99.
La procedura NUCLEI è strutturata in sei sezioni: Offerta formativa, Studenti,
Personale, Dati finanziari, Strutture, Ricerca scientifica.
Le fonti sono sempre indicate chiaramente
Le fonti sono spesso accessibili on line
Le fonti sono quasi tutte ufficiali
L’undicesimo rapporto sullo stato del sistema universitario
5: quali sono gli indicatori utilizzati?
Indicatori descrittivi
In relazione alla formazione universitaria si presenta una distinzione tra:
Indicatori di processo → riferibili alla regolarità del percorso di studio
→ riferibili al proseguimento dell’attività di studio
(abbandoni e inattivi)
Indicatori di risultato → «fanno riferimento agli studenti che conseguono il titolo
di studio»
Il rapporto prende in considerazione numerosi aspetti del sistema universitario
e mira a valutarne diverse funzioni, ma non presenta una esposizione chiara
delle motivazioni alla base della scelta degli indicatori, né li classifica in base al
criterio cui fanno riferimento.
L’undicesimo rapporto sullo stato del sistema universitario
5: quali sono gli indicatori utilizzati?
a: sono riconducibili a uno schema concettuale univoco?
Da altre fonti (il rapporto Cnvsu del 2009, p. 5) sappiamo che il Cnvsu, sulla
scorta del Crui, per svolgere la propria attività di valutazione intende definire
e calcolare un sistema di indicatori che, in relazione agli obiettivi perseguiti e
all’oggetto della valutazione, possono essere raggruppati in quattro classi:
1.indicatori di risorse,
2.indicatori di processo,
3.indicatori di risultato (o di outcome),
4.indicatori di contesto,
«con l’obiettivo generale di monitorare i processi e valutarne i risultati».
Nel rapporto tuttavia non vi è traccia di una esposizione di questa
classificazione, soltanto due delle sue classi sono in effetti identificabili
chiaramente nel testo e solo in riferimento ai processi formativi.
L’undicesimo rapporto sullo stato del sistema universitario
5: quali sono gli indicatori utilizzati?
b: il rapporto di indicazione è chiaramente identificabile?
c: sono calcolati correttamente?
d: i dati su cui si basano sono affidabili?
…alcuni esempi!
1.
2.
3.
4.
5.
6.
7.
8.
9.
La domanda di formazione universitaria
La mobilità territoriale
Il carico didattico medio dei docenti
Il proseguimento degli studi
La regolarità dei laureati
I tassi di successo
Gli indicatori di efficienza dell’offerta formativa confrontabili
Il potenziale ricettivo (regionale)
Partecipazione, idoneità e iscrizione di candidati provenienti da altri atenei
per i dottorati di ricerca
10.Età media del personale docente
11.Tassi di partecipazione e successo PRIN
La domanda di formazione universitaria
b: il rapporto di indicazione è chiaramente identificabile?
«…è certamente interessante verificare quanta parte della domanda “potenziale”, misurata,
sia pure approssimativamente, dai maturi della scuola secondaria superiore, si trasforma in
domanda “effettiva”, cioè in immatricolati. A questo riguardo, per comprendere bene il
processo, in realtà è necessario considerare come domanda “potenziale” iniziale il numero dei
giovani della classe di età corrispondente all’età teorica di conseguimento del diploma di
maturità e, successivamente, il numero dei maturi che sono coloro che in pratica si possono
iscrivere all’università».
c: sono calcolati correttamente?
Rapporto percentuale tra Maturi e 19enni
Rapporto percentuale tra Immatricolati e Maturi
Rapporto percentuale tra Immatricolati e 19enni
d: i dati su cui si basano sono affidabili?
La serie dei 19enni è stata ricostruita sulla base di dati Istat. I dati sui maturi dal 2000 al
2007 sono stati tratti dall’Ufficio di statistica del MIUR. Fino al 1998, i dati sugli immatricolati,
iscritti totali, iscritti in corso e laureati e diplomati sono desunti dalle rilevazioni del MIUR al
31 gennaio di ogni anno e tengono conto dei soggetti che hanno pagato la prima rata di
iscrizione; dal 1999 al 2008 i dati sono ricavati dalla Rilevazione sull’Istruzione Universitaria
dell’Ufficio di statistica del MIUR al 31 luglio di ogni anno.
I dati 2009/10 sono da considerarsi provvisori.
La domanda di formazione universitaria
Il problema di queste “percentuali” è identificabile nel fatto che le popolazioni
poste al numeratore e al denominatore includono soggetti diversi, sarebbe stato
più corretto calcolare il rapporto percentuale tra Maturi e 19enni ponendo
al numeratore i Maturi 19enni, il rapporto percentuale tra Immatricolati e
Maturi ponendo al numeratore gli immatricolati che hanno conseguito il
diploma nell’anno precedente, e il rapporto percentuale tra Immatricolati e
19enni ponendo al numeratore gli immatricolati 19enni.
Concettualmente questi ultimi due rapporti possono essere assunti
come indicatori della domanda di formazione universitaria, ma per
assurdo nessuno degli immatricolati potrebbe avere 19anni o essersi
immatricolato l’anno successivo al diploma.
La parte estranea di questi indicatori è dovuta al fatto che non tutta la
domanda potenziale di formazione universitaria risiede tra i maturi o i 19enni,
dunque anche la domanda effettiva include altre parti della popolazione.
E’ difficile concettualizzare un indicatore che controlli questa parte di domanda,
per la difficoltà di individuare i detentori di domanda potenziale.
Sarebbe possibile rendere conto di quanta parte della domanda effettiva non
dipenda dalla domanda potenziale iniziale?
La mobilità territoriale
b: il rapporto di indicazione è chiaramente identificabile?
La mobilità territoriale degli immatricolati per la prima volta al sistema universitario in
Italia è analizzata confrontando la regione di residenza degli studenti immatricolati (esclusi
i residenti all’estero) con la regione sede del corso di studi.
c: sono calcolati correttamente?
•Uscita dalla regione: è la percentuale di studenti che scelgono di immatricolarsi in una
regione diversa da quella di residenza sul totale degli immatricolati residenti nella regione
[= E/A].
•Attrattività delle sedi regionali: è la percentuale di studenti immatricolati in una sede
universitaria della regione ma provenienti da altre regioni sul totale degli immatricolati
iscritti nelle sedi della regione [= D/B].
•Saldo migratorio netto: è la differenza tra gli immatricolati in ingresso e gli immatricolati
in uscita [= D-E].
d: i dati su cui si basano sono affidabili?
La fonte è indicata in appendice: i dati sono elaborati sulla base delle Indagini annuali
sull’Istruzione Universitaria condotte dall’Ufficio di statistica del MIUR e sono aggiornati fino
all’anno accademico 2008/09 e all’anno solare 2009.
* non sono compresi gli studenti residenti all’estero (pari a 11.986)
La mobilità territoriale
Gli indicatori sulla mobilità territoriale sono descrittivi, non presentano problemi
in riferimento al rapporto di indicazione, alla correttezza dei calcoli o
all’affidabilità dei dati.
Tuttavia non si tratta della mobilità territoriale complessiva, infatti si
tiene conto esclusivamente:
-della prima iscrizione
-delle iscrizioni al sistema universitario italiano
-da parte di studenti residenti in Italia.
Il problema di questi indicatori non è la parte estranea, ma il fatto che coprono
solo in parte l’estensione del concetto “mobilità”. Va sottolineato che
l’intestazione della tabella fa riferimento alla “mobilità regionale degli
immatricolati”, dunque risulta corretta.
Tuttavia non sarebbe preferibile includere le altre dimensioni della mobilità?
Il carico didattico medio
b: il rapporto di indicazione è chiaramente identificabile?
«…l’offerta didattica e la sua organizzazione è evidente che essa dipende in modo rilevante,
anche se non esclusivo, dall’entità del corpo docente a disposizione».
[…]
«Per rendersi conto del carico didattico medio dei docenti si può calcolare il numero medio di
immatricolati, di studenti “regolari” e di studenti totali per docente».
c: sono calcolati correttamente?
-Numero di immatricolati per docente di ruolo
-Numero di studenti regolari per docente di ruolo
-Numero di studenti totali per docente di ruolo
d: i dati su cui si basano sono affidabili?
La fonte è indicata in appendice: i dati sono elaborati sulla base delle Indagini annuali
sull’Istruzione Universitaria condotte dall’Ufficio di statistica del MIUR e sono aggiornati fino
all’anno accademico 2008/09 e all’anno solare 2009.
Il carico didattico medio
«Naturalmente il numero di studenti totali per docente è più alto rispetto a
quello degli studenti regolari e degli immatricolati (nell’anno accademico
2009/10 rispettivamente 29,5, 17,1 4,8). Da notare che il numero medio degli
immatricolati e degli studenti per docente si sono ridotti negli ultimi anni in
relazione all’aumento del numero dei docenti, ma ora stanno aumentando,
visto che il numero dei docenti nell’ultimo anno è diminuito e, probabilmente,
diminuirà anche negli anni futuri.
I valori medi di carattere generale riportati nella tabella 2.16 hanno poco
significato in quanto esiste una forte variabilità dei rapporti calcolati a livello di
singola facoltà (si vedano i dati riportati in appendice), che dipende da
molteplici fattori tra cui le caratteristiche e l’organizzazione di corsi di studio e
degli insegnamenti. Tuttavia come si vedrà nel capitolo 7 relativo ai confronti
internazionali, si tratta di un valore medio per il sistema universitario italiano
più alto di quello registrato negli altri Paesi, ciò significa che in media il carico
didattico dei docenti è superiore».
Né gli immatricolati né gli studenti, regolari o totali danno conto però del carico
di lavoro. Sarebbero probabilmente preferibili indicatori più specifici, come il
numero di corsi o di ore di corso per docente?
Il proseguimento degli studi
b: il rapporto di indicazione è chiaramente identificabile?
La quota di iscritti regolari, la quota di immatricolati inattivi e quella di iscritti inattivi e le
mancate iscrizioni al secondo anno sono presentati come indicatori di processo riferibili alla
regolarità e la produttività.
c: sono calcolati correttamente?
-Iscritti regolari sul totale degli iscritti corretto (cioè al netto degli iscritti con a.a. di prima
immatricolazione sconosciuto o già in possesso di un titolo universitario)
-Mancate iscrizioni al II anno sulle immatricolazioni
- Immatricolati “inattivi”, cioè la quota di iscritti ad un anno dall’immatricolazione che non
ha sostenuto alcun esame o acquisito crediti nell’ultimo anno solare
- Iscritti “inattivi”, cioè la quota di iscritti che, nell'anno solare successivo a quello di
riferimento, non sostengono alcun esame o non conseguono alcun credito (calcolati al netto
degli immatricolati inattivi).
d: i dati su cui si basano sono affidabili?
La fonte è indicata in appendice: i dati sono elaborati sulla base delle Indagini annuali
sull’Istruzione Universitaria condotte dall’Ufficio di statistica del MIUR e sono aggiornati fino
all’anno accademico 2008/09 e all’anno solare 2009.
Il totale delle percentuali non dà cento. Perché?
La regolarità dei laureati
b: il rapporto di indicazione è chiaramente identificabile?
Laureati per tempo di conseguimento del titolo dal primo ingresso al sistema universitario.
c: sono calcolati correttamente?
«…laureati per anno di conseguimento del titolo (rispetto al primo ingresso nel sistema
universitario) e durata media degli studi, valori assoluti e percentuali ».
d: i dati su cui si basano sono affidabili?
La fonte è indicata in appendice: i dati sono elaborati sulla base delle Indagini annuali
sull’Istruzione Universitaria condotte dall’Ufficio di statistica del MIUR e sono aggiornati fino
all’anno accademico 2008/09 e all’anno solare 2009.
I tassi di successo
b: il rapporto di indicazione è chiaramente identificabile?
Tasso di successo: numero di laureati in rapporto al numero di immatricolati per coorte.
Tasso di successo con regolarità: numero di laureati regolari in rapporto al numero di
immatricolati per coorte.
c: sono calcolati correttamente?
Tasso di successo – rapporto tra il numero di laureati ed il numero degli immatricolati di
tre anni prima
Tasso di successo con regolarità – rapporto tra il numero dei laureati regolari ed il
numero degli immatricolati di tre anni prima
d: i dati su cui si basano sono affidabili?
La fonte è indicata in appendice: i dati sono elaborati sulla base delle Indagini annuali
sull’Istruzione Universitaria condotte dall’Ufficio di statistica del MIUR e sono aggiornati fino
all’anno accademico 2008/092 e all’anno solare 2009.
«Nell’esame del numero e della regolarità dei laureati nei corsi
triennali si può tenere conto del numero di immatricolati tre anni
prima, non disponendo di dati trasversali e non potendo effettuare
un’analisi per coorti di immatricolati come si potrebbe fare ricorrendo
ai dati dell’anagrafe nazionale degli studenti».
Sarebbe preferibile calcolare gli indicatori per coorte? (!)
Gli indicatori di efficienza dell’offerta formativa confrontabili
Il Cnvsu, ha affidato ad un Gruppo di ricerca una apposita ricerca per
individuare metodi di stima di indicatori di efficienza dell’offerta
formativa confrontabili.
«Adottando un approccio per coorte, sono stati analizzati, mediante
l’applicazione di modelli di frontiera stocastica, i risultati conseguiti, in termini
di avanzamento negli studi, dagli studenti immatricolati nell’a.a. 2004/05 nei
successivi 4 anni di iscrizione, utilizzando un complesso e completo data-base
appositamente costruito con i dati elementari sulla coorte di studenti, nonché
su informazioni sulle risorse, di contesto, ecc., desunti da altre fonti statistiche.
L’applicazione di tali modelli […] ha permesso da un lato di studiare le variabili
che esercitano un’influenza decisiva sui diversi processi considerati e, dall’altro,
ha reso possibile la costruzione di indicatori di efficienza comparabili in grado
di porre in essere confronti ceteris paribus tra le diverse unità statistiche
considerate».
La frontiera viene stimata utilizzando le tecniche econometriche. Si ipotizza di conoscere
la funzione di produzione e si stima la funzione utilizzando i dati a disposizione ma non
si ipotizza che tutte le imprese sono efficienti.
«Le analisi svolte dal gruppo di ricerca hanno riguardato l’intero processo di
formazione universitaria degli immatricolati ad un corso di laurea di primo
livello».
Processi completi:
1) il processo completo di formazione universitaria dei laureati in corso
2) il processo completo di formazione dei laureati entro un anno fuori corso.
Processi intermedi:
3) Il processo di produzione di “capitale umano” al termine del primo anno,
definito in termini di crediti acquisiti attraverso il concetto di studenti
equivalenti al primo anno;
4) Il processo di produzione di “capitale umano” al termine del secondo anno,
definito in termini di crediti acquisiti attraverso il concetto di studenti
equivalenti al secondo anno;
5) Il processo di produzione di “capitale umano” al termine del terzo anno,
definito in termini di crediti acquisiti attraverso il concetto di studenti
equivalenti al terzo anno.
«Il numero di studenti equivalenti “prodotti” al termine del primo anno di
iscrizione (e allo stesso modo per gli studenti “superstiti” negli anni successivi)
è ottenuto rapportando l’ammontare dei crediti conseguiti entro il primo anno
di iscrizione al numero teorico di crediti conseguibili da uno studente in una
laurea triennale, pari generalmente a 60 per ciascun anno di iscrizione».
«Gli indicatori di efficienza comparabili così ottenuti dai modelli
stimati, sono stati confrontati con gli usuali indicatori di efficienza
parziale usualmente calcolati ed utilizzati dal MIUR, al fine di avere
qualche indicazione sulla “validità” in termini di comparabilità di questi
ultimi indicatori.
In generale il confronto per ciascun indicatore delle due graduatorie delle
facoltà, costruite l’una sulla base dell’usuale indicatore di efficienza
parziale e l’altra sulla base degli indicatori di efficienza comparabili,
mostrano una maggiore stabilità nella parte alta e in quella bassa della
classificazione. Si evidenzia invece una maggiore dispersione nella parte
centrale della distribuzione, con facoltà e università che salgono o
scendono nelle graduatorie degli indicatori comparabili rispetto alla
posizione che occupano nella graduatoria degli indicatori “parziali” ».
«Le facoltà “peggiori” o meno efficienti, cioè con indicatore di efficienza
usuale più basso, continuano ad essere “peggiori” anche costruendo un
indicatore di efficienza tecnica che tiene conto delle diverse
caratteristiche degli studenti e delle diverse dotazioni strutturali delle
unità e di contesto. Un discorso analogo vale per gli atenei “migliori” ».
Rapporto di ricerca “Individuazione di un sistema di indicatori per la misura
dell’efficienza della formazione universitaria” , per il CNVSU.
Il potenziale ricettivo (regionale)
b: il rapporto di indicazione è chiaramente identificabile?
«Per avere un’idea del potenziale ricettivo regionale gli alloggi disponibili sono stati rapportati
rispetto al numero degli idonei alla borsa di studio, scegliendo tale dato come
approssimazione del numero di potenziali fruitori dell’alloggio (che invece è costituito dal
sottoinsieme degli studenti fuori sede e pendolari in corso e i fuori corso che possono avere
diritto ad un periodo di proroga per l’alloggio)».
c: sono calcolati correttamente?
Posti alloggio per idonei– rapporto tra il numero di alloggi disponibili e gli idonei alla
borsa di studio
Posti alloggio per immatricolati– rapporto tra il numero di alloggi disponibili ed il
numero degli iscritti totali
d: i dati su cui si basano sono affidabili?
I dati relativi agli interventi degli Enti per il diritto allo studio universitario ed agli
esoneri dalla tassa d’iscrizione e dai contributi universitari sono stati ricavati dalla
rilevazione sul Diritto allo Studio (DSU), condotta dall’ufficio di statistica del MIUR.
I princìpi fondamentali per la realizzazione di un diritto allo studio uniforme
nel territorio (mediante legislazioni delle Regioni) sono contenuti nella legge
quadro sul diritto allo studio, Legge del 2 dicembre 1991, n. 390 , che
ripartisce le competenze tra:
I. lo Stato, che si occupa di indirizzo, coordinamento e programmazione degli
interventi;
II. le regioni, delegate all’attuazione degli interventi volti a rimuovere gli
ostacoli di ordine economico e sociale per la concreta realizzazione del diritto
allo studio universitario;
III.le università, che organizzano i propri servizi, compresi l’orientamento ed
il tutorato, in modo da rendere effettivo e proficuo lo studio universitario.
Gli indicatori dunque sono calcolati per regione con cognizione di
causa. Gli interventi per il diritto allo studio possono entrare negli
aspetti da valutare se il proprio oggetto di valutazione è un singolo
ateneo?
Partecipazione, idoneità e iscrizione di candidati provenienti da
altri atenei per i dottorati di ricerca
b: il rapporto di indicazione è chiaramente identificabile?
«Come regola generale si potrebbe dire che i partecipanti esterni hanno minori possibilità di
risultare idonei rispetto ai partecipanti “interni”, ma il confronto tra atenei non è omogeneo in
quanto, ciascun ateneo ha la possibilità di stabilire le modalità di svolgimento delle prove di
idoneità. […] Il fatto che la percentuale di successo degli interni sia superiore a quella degli
esterni è un elemento tendenzialmente non positivo, specie quando questo si accompagna ad
una forte selezione degli idonei. Non è pensabile infatti che gli esterni siano di qualità
decisamente inferiore e facciano domanda perché pensano di non avere possibilità nella sede
di origine. Anzi frequentemente sono i laureati migliori a fare domanda in più sedi e, nel caso
di più idoneità, scelgono la sede migliore».
% Partecipanti altro Ateneo
% Idonei Altro Ateneo
% Iscritti Altro Ateneo
c: sono calcolati correttamente?
d: i dati su cui si basano sono affidabili?
L’analisi delle caratteristiche dei dottorandi (quali mobilità, tipologia di sostegno finanziario a
supporto della frequenza del corso di dottorato, età all’iscrizione, ecc.) sono state analizzate
facendo riferimento all’Anagrafe dei dottorandi (ovvero gli iscritti ad un corso di dottorato),
la cui disponibilità di dati si estende fino all’anno 2008, includendo quindi coloro che si sono
iscritti al primo anno di un corso di dottorato il cui concorso è stato bandito nel 2008.
Età media del personale docente
b: il rapporto di indicazione è chiaramente identificabile?
«Tra le maggiori criticità del nostro Sistema, come appare anche con confronti internazionali,
vi sono le età del personale docente con valori medi particolarmente elevati. Peraltro, questi
sono aumentati per tutte le qualifiche dal 1988 al 2010 di oltre 5 anni ».
Età media del personale docente per qualifica:
1.Età media dei professori ordinari
2.Età media dei professori associati
3.Età media dei ricercatori
c: sono calcolati correttamente?
d: i dati su cui si basano sono affidabili?
I dati e le informazioni relativi alla consistenza ed alle caratteristiche del personale docente
sono ricavate dagli archivi MIUR-CINECA.
«E’ evidente che la notevole quota di nuovi entrati nei ruoli dopo la riforma dei
concorsi del 1998 e l’abbassamento delle età per la permanenza in servizio
degli ultimi anni, non sono riuscite a realizzare l’atteso ringiovanimento del
corpo docente ed è, invece, prevalso il naturale invecchiamento di quanti erano
già presenti nel sistema.
Le particolari distribuzioni delle età del personale consigliano, tuttavia, di
trattare con cautela i soli valori medi, in quanto sono presenti distinte
concentrazioni in alcune fasce di età.
Nel 2010, le età più frequenti per ricercatori e professori associati
risultano rispettivamente di 38 anni e di 48 anni, molto diverse da quelle
del 1998 quando erano di 49 e 52. Per i professori ordinari, invece, l’età più
frequente era nel 1998 di 58 anni e diventa di 63 anni nel 2010. E’ questa una
osservazione che conferma una modesta ma costante tendenza alle azioni di
ricambio generazionale per ricercatori e professori associati e un particolare
“addensamento” nel ruolo dei professori ordinari di soggetti prossimi ai limiti di
età, naturalmente causato dal passare del tempo».
Tassi di partecipazione e successo PRIN
b: il rapporto di indicazione è chiaramente identificabile?
«Tra le entrate finalizzate degli Atenei un posto di rilievo spetta ai finanziamenti dei
Progetti di ricerca di rilevante interesse nazionale (i cosiddetti PRIN)».
1.
2.
3.
4.
% di partecipanti su docenti presenti
% di valutati positivamente su partecipanti
% di finanziati su valutati positivamente
Finanziamento Miur (KEuro)
c: sono calcolati correttamente?
d: i dati su cui si basano sono affidabili?
«[…]si utilizzano i dati rilevati dalla apposita banca dati Miur-Cineca, anche se non sono
completamente omogenei con i dati dei bilanci delle università utilizzati in questo capitolo».
QS World University Ranking
Il ranking QS fa riferimento a 500 “Top universities”, il cui elenco è aggiornato
annualmente. Le università vengono valutate sulla base di 6 indicatori:
1. la valutazione dei pari (Academic peer review),
2. la valutazione dei datori di lavoro (Employer review),
3. la presenza di studenti stranieri (International students),
4.la presenza di docenti stranieri (International faculty),
5.le pubblicazioni, pesate in base al numero di citazioni (Citations per faculty),
6.le pubblicazioni, pesate in base al rapporto tra studenti e docenti (Student faculty).
Si tratta di indicatori che misurano la qualità dei processi formativi e della ricerca, unendo
così ad indicazioni qualitative di stakeholders, importanti informazioni quantitative; la
completezza della valutazione è quindi buona, pur se anche questo tipo di comparazioni
non è completamente esente da fattori di contesto nazionali
The QS University Rankings http://www.topuniversities.com/worlduniversityrankings/
l ranking THE http://www.timeshighereducation.co.uk/
I criteri del ranking QS SAFE dei sistemi universitari nazionali
1. System
This represents an evaluation of the overall strength of the system based on the
performance of all the institutions from that country meeting a certain qualifying
standard. More precisely, the number of institutions ranked 500 or higher, in the
given country, divided by the average position of those institutions.
2. Access
Widening participation is one of the hottest issues on the higher education
agenda today. The first component of delivering against that agenda, for any
given country, is having sufficient places at universities of an internationally
recognised standard. This indicator is calculated based on the number of places
at top 500 universities from the subject country (specifically the total number of
FTE students at the universities from that country featuring in the top 500 in
the QS World University Rankings™) divided by an indicator of population size
(specifically the square root of the population).
I criteri del ranking QS SAFE dei sistemi universitari nazionali
3. Flagship
There is some international debate as to whether a country with limited funds
ought to dilute their funds across many institutions in a system or concentrate
funds with a view to building at least one "world class university". Whether by
direct investment, or by riding the wave of domestic competition, the
performance of a country's leading university is a credit to the system from
whence it comes. This indicator takes the form of a normalized score based on
the global performance of the leading university from the country in question.
4. Economic
Not all nations, or higher education institutions within nations have access to
equal funds. The strength of the country's economy is a major factor but also
cultural influences that may affect factors such as industrial funding or alumni
donations play a role. This indicator recognizes two key factors, firstly the
relative fiscal emphasis that the given government places on higher education
and secondly, the impact or effectiveness of that investment – essentially
recognising performance relative to investment. The indicator takes an indexed
score (5 points for a university in the top 100, 4 points for 101-200, 3 points
for 201-300, 2 for 301-400 and 1 for 401-500) and factors it against the GDP
per capita for the country in question.
Un paio di domande…
su cui riflettere!
Come organizzereste le informazioni circa le agenzie di valutazione,
a livello nazionale ed internazionale, per la valutazione delle
politiche formative?
Come organizzereste le informazioni circa i rapporti di ricerca, a
livello nazionale ed internazionale, per la valutazione delle politiche
formative?
Come organizzereste le informazioni circa gli indicatori utilizzati, a
livello nazionale ed internazionale, per la valutazione delle politiche
formative?