Monitoraggio e valutazione delle attività nelle università

Gestione organizzativa e
valutazione dei servizi:
i processi organizzativi e
decisionali
1
Monitorare: raccogliere dati e informazioni
Valutare: esprimere un giudizio rispetto a qualche
criterio o parametro
dopo aver applicato uno o più metodi di valutazione
appropriati all’oggetto da valutare
2
I criteri ed i metodi possono essere:
Semplici o complessi
Assoluti o relativi
Ex-ante, concorrente, o ex-post
Quantitativi o qualitativi
Impliciti o espliciti
Temporali o sincronici
……….
Ma per individuarli occorre porsi tre domande fondamentali:
Chi valuta, cosa si valuta e perché si valuta?
3
Da quando le università sono oggetto di valutazione?
Da sempre
Le bolle papali e imperiali che concedevano i privilegi
universitari…
La concessione di finanziamenti da parte di privati,
autorità politiche e amministrative…..
Erano sempre il frutto di un’attribuzione di valore, in
seguito ad un processo decisionale (metodo), spesso
implicito ed informale, che portava ad un
riconoscimento, diretto o indiretto del valore, merito o
validità di date attività
4
La valutazione delle università è sempre esistita perché
c’è sempre stato qualcuno interessato ad evidenziare il
valore, sociale, politico, culturale ed economico derivante
dalle attività svolte all’interno delle università
Gli stakeholders, ovvero i portatori di interessi e
valori, che in cambio di risorse/contributi forniti
all’istituzione università si aspettano da essa qualche
beneficio, tangibile o intangibile
Esempi: finanziatori, protettori, clienti, docenti, ricercatori,
personale t.a., studenti, comunità scientifiche e
professionali, enti di vario genere, media ed opinione
pubblica
5
Cosa cambia negli ultimi decenni nei processi di valutazione ai
quali le attività universitarie sono sottoposte?
I metodi ed i criteri di valutazione da impliciti ed informali
diventano sempre più espliciti, formali e codificati (in parte
vale per tutta la pubblica amministrazione)
La capacità dell’università di assolvere i suoi compiti e le sue
responsabilità è sempre meno assunta su base fiduciaria, ma deve
essere dimostrata e verificata
Per quale ragione?
6
Il passaggio dall’università di élite (meno del 15% della
popolazione giovanile di riferimento iscritta) all’università di
massa (16%-50%), ed in qualche paese a quella “universale”
(più del 50%)
Viene a mancare l’omogeneità culturale, sociale ed ideologica che aveva
consentito di governare l’università senza ricorrrere a meccanismi espliciti
di responsabilizzazione (accountability)
Crescente differenziazione e complessità dei sistemi universitari:
- nei suoi scopi e nelle sue finalità
- nella popolazione studentesca
- nella classe docente
Informazione e conoscenza diventano le risorse critiche
(eonomia e società della consocenza)
Globalizzazione, internalizzazione, europeizzazione, il
processo di Bologna
7
Alcuni indicatori mostrano l’incapacità del sistema
universitario italiano tradizionale a gestire il cambiamento
•
Fino al 1985 un solo titolo di studio!
• Meno laureati in tutte le classi di età e meno ricercatori di tutti gli
altri paesi avanzati
• Alta percentuale di fallimento (nel periodo 1960-2000 solo il 31% di
chi si iscrive riesce a laurearsi)
• Tempi lunghi per laurearsi (7 anni e più)
• Elevata iniquità (bassa percentuale di laureati delle classi meno
favorite)
• Fuga di cervelli e scarsa capacità di attrarre docenti e studenti
stranieri
• Tra i più bassi investimenti privati e pubblici nel settore (rispetto ad
altre nazioni economicamente avanzate)
8
Le risposte variano da contesto nazionale a contesto
nazionale, ma, in prima approssimazione possiamo parlare
di due modelli:
Negli USA, che già durante il primo novecento hanno raggiunto un sistema
universitario di massa, le università sono responsabilizzate
- concedendo loro grande autonomia istituzionale
-differenziando le istituzioni post-secondarie sulla base di diverse tipologie
-metttendole in concorrenza tra di loro per l’acqusizione degli studenti e delel
commesse di ricerca
-- facilitando l’investimento di risorse private nel settore
In altre parole il monitoraggio e la valutazione tende ad essere
impersonale, in quanto affidato ai meccanismi della
competizione ( “quasi.mercati”)
9
Nei contesti europei e continentali:
-è aumentata l’autonomia delle università…..
- ma poiché la responsabilizzazione delle università è in
genere meno basata sulla competizione
- si è preferito monitorare e valutare le università attraverso
meccanismi espliciti, formali e codificati dalle autorità
Anche se c’è chi sostiene l’esistenza di un processo di
convergenza tra i due modelli
(soprattutto quando il finanziamento è legato a particolari
10
indicatori)
La natura multidimensionale del monitoraggio e della
valutazione
Non esiste una sola ragione o finalità per la quale si svolge il
monitoraggio e la valutazione
•Responsalizzazione, accountability con premi e penalità
•Certificazione (p.e., accreditamento)
•Miglioramento delle prestazioni (consulenza, sostegno e
sviluppo di capacità e di competenze)
•Informazione
Spesso le relazioni reciproche tra le quattro finalità
presentano una correlazione negativa
11
Gli ambiti (oggetti) della valutazione del monitoraggio e della
valutazione
Formazione, ma non più limitata ai giovani diplomati a
tempo pieno (lifelong learning)
Ricerca, non più soltanto disciplinare e di base, ma anche
applicata e di sviluppo, strategica ed orientata ai problemi in
termini transdisciplinari
Servizi all’economia e alla società (“terza missione”), dal
trasferimento tecnologico allo sviluppo culturale e delle
opportunità di tutti i “capaci e meritevoli”
Capacità di direzione e di gestione (corretezza e
managerialità nell’uso delle risorse)
12
Un grafico radar per mostrare il possibile interesse
differenziato dei diversi stakeholders per le finalità delle
università
Studenti
Enti territoriali
Imprese
100
80
60
40
20
0
Governo
Com. internaz
Academici
Amministratori
Com. profess.
Formazione
Ricerca
13
Criteri (indicatori, strumenti e metodi di monitoraggio e di
valutazione)
Focalizzazione degli indicatori :
-Input, Risorse (n. di studenti/ n. di docenti; spesa per
studente)
- Processo (sequenze di attività di “trasformazione” che
portano all’ottenimento di un output, risultato individuabile,
es. Crediti superati)
-- Output, risultato operativo di primo livello (es. N. laureati)
-- Outcome, risultato di secondo livello, impatto sulla realtà
circostante (es.: % di laureati occupati, corrispondenza delle
competenze acquisite con quelle utilizzate)
14
Criteri di valutazione
Efficienza (benefici rispetto alle risorse
utilizzate)
Efficacia (grado di raggiungimento di un
obiettivo, a volte predefinito)
Equità(grado o modalità di distribuzione
delle risorse e dei risultati)
15
Il criterio dell’efficienza
L’efficienza coincide con la capacità di generare
risultati di valore minimizzando gli sprechi di risorse
(“il modo giusto di fare le cose”).
Può essere descritta in termini di indicatori di
produttività (benefici/costi, output/input,
risultati/risorse, ricavi/costi, ecc…)
o in termini di costi unitari (costi/benefici)
E’ importante in quanto ci mostra il “valore aggiunto” di
un’attività e ci aiuta ad ottmizzare l’uso di risorse scarse
16
Il criterio dimensionale dell’efficacia
L’efficacia descrive la capacità di raggiungere gli obiettivi
prefissati e gli indicatori relativi si esprimono in termini di
percentuali (risultati ottenuti/risultati x 100)
(“le cose giuste da fare”).
Gli indicatori di efficacia sono tanti quanti gli obiettivi che ci
poniamo e che non riusciamo ad inserire in un calcolo di
efficienza basato sul rapporto tra costi e un’unica funzione di
utilità a causa delle nostre limitazioni informative e di
razionalità (multidimensionalità dell’efficacia)
17
Alcune tipiche dimensioni dell’efficacia
•Qualità (nei suoi diversi significati, di
prodotto o di processo)
•Eccellenza
•Innovazione
•Affidabilità
•Velocita di risposta
•Fatturato o quota di mercato
•Reputazione
Ecc….
18
Un esempio di definizione della qualità tratto dalel
specifiche ISO 8402/ISO 9000:
L’insieme delle caratteristiche di un oggetto o ente
che sono funzionali alla capacità di soddisfare
bisogni espliciti o impliciti

19
Esempi di indicatori di qualità in ambito universitario
• Soddisfazione studenti
• Frequenza ai corsi
• Qualità
dell’insegnamentoapprendimento
• Qualità delle strutture
• Reputazione dei docenti
• Regolarità del servizio
• Output
• Processo
• Processo
• Input
• Input
• Processo
20
I risultati e le prestazioni aziendali in termini di costi, qualità,
innovazione.
Il modello della balanced scorecard (tabella dei risultati bilanciati)
Indicatori di prestazioni
relative all’andamento
finanziario (es.)
Flusso di cassa (cash flow)
Margine operativo lordo o
netto
Fatturato
Quota di mercato
Indicatori di prestazioni
relative al funzionamento
interno (es.)
Costo medio unitario per
unità di prodotto
Tempo di attraversamento
processi
Difettosità (qualità interna)
Clima organizzativo
(soddisfazione dei dipendenti)
Indicatori di prestazioni
relative alla soddisfazione
dei clienti (es.)
Tempi paganento misisone
Indicatori di prestazioni
relative alla capacità
innovativa (es.)
Livello di informatizzazione
21
Ma che rapporto sussiste tra efficienza ed efficacia?
Nel breve periodo efficienza ed efficacia hanno un
andamento opposto (in presenza di maggiore efficienza,
otteniamo una minore efficacia). Ciò vale in particolar
modo per le aziende non aventi fini di lucro.
Tuttavia, anche per le aziende con fini di lucro, efficienza
ed efficacia tendono ad essere correlate negativamente ad
eccezione delle imprese che operano nei mercati
perfettamente concorrenziali nei quali il profitto risulta
essere l’unico indicatore di efficienza ed efficacia.
22
In una prospettiva dinamica, di medio-lungo periodo
(confronto di situazioni in periodi successivi di tempo)
dobbiamo tener conto che:
1.
risparmi di risorse (aumenti di efficienza) possono essere
utilizzati per migliorare qualche dimensione dell’efficacia;
2.
l’aumento di una dimensione dell’efficacia (ad esempio la
qualità) può comportare un aumento dei benefici complessivi
più che proporzionale all’eventuale aumento dei costi, con un
conseguente miglioramento dell’efficienza
3.
efficienza ed efficacia possono aumentare insieme grazie alla
utilizzazione di innovazioni (spostamento della curva di
trade-off)
23
Sebbene il criterio dell’equità possa essere considerato una
dimensione dell’efficacia, qui lo trattiamo separatamente,
indicando alcuni obiettivi attraverso i quali lo possiamo
concretizzare:
•Favorire il diritto allo studio di chi si trovi in condizione di
svantaggio
•Garantire l’affidabilità delle valutazioni
•Assicurare l’imparzialità delle procedure amministrative e dei
comportamenti individuali
•Attuare processi decisionali partecipativi e trasparenti
24
L’analisi e la valutazione dei processi organizzativi ed
amministrativi (i progetti good practices, I, II, III, IV, V)
CNVSU, Politecnico di Milano, Catalano, Azzone (2001-2006)
Benchmarking di alcuni macroprocessi di 14 università italiane
Sistema
informativo
Input e
macro
attività
Sistema decisionale
Servizi agli studenti
Personale
Macroattività
Acquisti
Contabilità
Supp. Ricerca
25
Università coinvolte nel Good practice II:
-Politecnico di Bari
-Napoli (Federico II)
-Bologna
-Padova
-Calabria
-Pavia
-Catania
-Siena
-Firenze
-Politecnico di Torino
-Genova
-Trento
-Politecnico di Milano
-Trieste
In tutti e cinque i progetti le università coinvolte sono state 26
26
Due tipi di benchmarking (nel GP II)
1) Benchmarking basato sulle prestazioni: dopo aver confrontato
le prestazioni dei diversi atenei nelle diverse aree, si definiscono
come good practices (buone pratiche) le procedure adottate dagl
atenei con migliori prestazioni (condizione: misurabilità ed
omogeneità degli indicatori prestazioni) (servizi studenti,
contabilità e gestione del personale
2) Benchmarking basato sui processi: confronto diretto fra le
soluzioni organizzative e procedurali adotate dai diversi atenei in
termini di risorse umane, finanziarie, tecnologiche, gestionali e
decisionali allo scopo di evidenziare risultati potenzialmente
interessanti anche da un puntoio di vista qualitativo (sistemi
informativi (sistemi informativi a supporto dei p rocessi
27
amministrativi)
I processi organizzativi
Sequenze di attività e di decisioni, finalizzate alla creazione di
un output domandato da un cliente, e al quale questi
attribuisce un valore.
Processi primari destinati a clienti esterni
Processi di supporto destinati a clienti interni (il cliente non
sperimenta il valore del processo)
28
Elementi costituenti un processo aziendale:
Input
Fasi o attività
Output
Risorse
Interdipendenze transazionali (sequenziali,
reciproche) e da azione comune (generiche, intensive,
cicliche) tra le fasi o attività
Metodi di gestione e di coordinamento
29
Gli indicatori della prestazione (performance) di
processo (spesso da bilanciare in quanto
caratterizzati da andamenti contrastanti)
1. Costi delle singole fasi e dell’intero processo
(efficienza parziale e complessiva)
2. Qualità ed efficacia della singola fase e dell’intero
processo
3. Tempi (efficienza ed efficacia)
30
Caratteristiche e risultati del progetto Good Practice II
Adotta un approccio per processi
Il livello delle prestazioni dei processi dipende dalle soluzioni
gestionali, organizzative, procedurali e tecnologiche
adottate nel governare i processi, ma anche da variabili
strutturali di base
Le variabili strutturali che il progetto ha cercato di
“sterilizzare” concentrandosi sui processi:
1. struttura organizzativa
2. dimensioni
3. strategie
31
1.
I processi (o macro-attività) sono stati suddivisi per attività e sottoattività comuni a tutet le università e ricostruite senza tener conto
degli uffici all’interno dei quali venivano svolte,
Esempio: Gestione Contabile
Attività
Sotto-attività
Gestione contrib. studenti
2
Gestione altri entrate
11
Gestione spese
18
Adempimenti fiscali
5
Bilancio
13
Gestione patrimoniale
7
Gestione unità senza autonomia finanziaria
5
Monitoraggio spesa e fabbisogno
2
32
2. Sono stati calcolati i costi complessivi delle attività, che sono
state a loro volta ripartite su ciascuna sotto-attività.
Tipologie di costo incluse nel costo delle macroattività edelle
sottoattività:
•Personale
•Formazione (ore x costo standard)
•Utilizzo pc, stampante, telefono (percentuale x standard, quota
fissa e n. scatti)
•Spese energia, acqua, gas rifiuti, pulizia e vigilanza per spazio
occupato
33
3. Definito il costo delle attività (risorse associate agli input) si è proceduto
ad individuare l’ouput (driver) o gli input del processo.
Esempi: gestione contabile
Attività
Gestione contrib. studenti
Gestione altre entrate
Output (driver)
N. iscritti
Tot. altre entrate
n. reversali
Gestione spese
Totale uscite
n. mandati
Adempimenti fiscali
n. operazioni
Bilancio
Gestione patrimoniale
n.d.
operazioni
Gestione unità senza autonomia
finanziaria
n. d.
Monitoraggio spesa e fabbisogno
n.d.
34
4. Dividendo il costo di ciascuna attività per la quantità di
output si è ottenuto il costo unitario di ciascuna attività, in
modo le università con i costi unitari più bassi (benchmark di
efficienza parziale)
Ma come tener conto nella valutazione della presenza di economie
di scala? (la maggiore efficienza potrebbe dipendere dalle
dimensioni e non dalle modalità di gestione dei processi)
35
5. Si sono individuati gli output (drivers) di ciascuno dei tre processi
analizzati e si calcolato il costo unitario dell’intero processo, dividendo
l’ammontare degli outputs per il costo complessivo del processo
(risultante dalla somma dei costi di tutte le attività coinvolte),
ottenendo così una misura di efficienza per l’intero processo
Processo
Output (driver)
generale
Indicatore di
efficienza
Gestione contabile
Totale entrate +
totale uscite
(milioni)
Costo per gestire un
milione di entrata o
uscita
Gestione del
personale
Personale di ruolo
Costo per gestire un
dipendente
Servizi agli studenti
Studenti iscritti
Costo per gestire
servizi agli studenti
36
6. Mediante una regressione statistica si è verificato se
ciascuno dei costi unitari dei tre processi dipendesse in parte
dalle dimensioni dell’ateneo (definite in termini degli output
di processo generali) e si è scoperto che (nelle 14 università,
anno 2001):
•All’aumentare delle dimensioni i costi unitari della gestione
contabile e della gestione del personale diminuivano (presenza di
effetti di scala)
•All’aumentare delle dimensioni i costi unitari dei servizi agli
studenti del personale non diminuivano significativamente
(assennza di effetti di scala)
37
7. Individuazione dell’ateneo più efficiente (benchmark) per
ciascuno dei tre processi
•Per i servizi agli studenti è risultato l’ateneo con il costo
minimo unitario
•Per gli altri due processi (con effetti di scala) l’ateneo più
efficiente è risultato quello con la maggiore differenza tra il
costo unitario che l’ateneo avrebbe dovuto avere in base alle sue
dimensioni (calcolato mediante l’analis di regressione) e il costo
unitario effettivo
•Si è quindi potuto calcolare il costo di benchmark per ciascuna
attività di tutti gli atenei, moltiplicando il costo minimo per il
valore reale dell’indicatore di output del singolo ateneo
38
8. Rilevazione degli indicatori di efficacia per i tre processi
8.1. Servizi agli studenti:
•Qualità percepita dei servizi di segreteria (indagini
campionarie di student satisfaction)
•Qualità oggettiva erogata (tempi di attesa allo sportello e ore
di apertura al pubblico)
•Livello di informatizzazione di undici procedure
L’indicatore di efficacia complessiva è stato calcolato
sommando i punteggi dei tre indicatori precedenti
39
8.2. Gestione contabile (indicatori specifici di qualità
erogata misurati attraverso un questionario):
•Tempestività nell’erogazione dei pagamenti
•Completezza dele informazioni contabili e del sistema di
bilancio
•Tempestività e capacità di rispetto delle scadenze
•Completezza dei sistemi di contabilità analitica
L’indicatore di efficacia complessiva è stato calcolato
sommando i punteggi dei quattro indicatori precedenti
40
8. 3. Gestione del personale (indicatori specifici di qualità
erogata misurati attraverso un questionario):
•Tempestività nell’evasione delle procedure concorsuali
•Completezza del sistema di pianificazione dei fabbisogni
•Completezza dei piani di formazione
•Completezza dei sistemi di valutazione e di incentivazione
L’indicatore di efficacia complessiva è stato calcolato
sommando i punteggi dei quattro indicatori precedenti
41
9. Valutazione contestuale dei 14 atenei sulla base degli
indicatori (normalizzati) di efficienza e di efficacia
Per ciascuno dei tre processi è stato costruito un grafico sulla cui
ascissa (asse orizzontale) sono stati collocati i punteggi di
efficienza e sulla cui ordinata (asse verticale) sono stati
collocati i punteggi di efficacia dei 14 atenei.
Cosa si è scoperto?
42
I risultati dell’analisi di benchmark
(ottimo unico o frontiera ottimale)
1. Nella gestione del personale un ateneo (Padova) è risultato
sia il più efficiente che il più efficace rispetto a tutti gli altri
2. Nel caso della gestione contabile non è risultato un unico
ateneo superiore in entrambi i criteri, ma tre università si
sono rivelate o più efficienti o più efficaci di tutte le altre,
mentre tra di loro non è possibile fare una graduatoria
univoca (Politecnico diTorino, Padova, Pavia)
3. Anche nei servizi agli studenti tre atenei sono risultati
superiori agli altri ma non tra di loro (tra cui Genova e
Trento) - non esiste un’altra università sia più efficiente che
efficace.
43
Servizi agli studenti
BENCHMARK EFFICIENZA-EFFICACIA
2,5
O
2
B
Efficacia
M
H
I
1,5
A
F
N
D
G
C
Series1
E
1
L
0,5
0
0,00
0,20
0,40
0,60
0,80
1,00
1,20
Efficienza
44
Gestione del personale
Benchmark efficienza-efficacia
12
N
10
C
A
8
Efficacia
I
O
M
L
H
F
B
P
G
D
6
Serie1
4
2
E
0
0
0,2
0,4
0,6
Effcienza
0,8
1
1,2
45
3. Gestione di bilancio e contabile
Benchmark efficienza-efficacia
9
8
N
B
O
7
M
P
Efficacia
6
D
H
5
F
4
E
I
G
C
Serie1
L
A
3
2
1
0
0
0,2
0,4
0,6
Efficienza
0,8
1
46
Come utilizzare i benchmark di efficienza ed efficacia?
•Considerare la propria posizione nei confronti dei due criteri
•Valutare in base alla propria strategia in quale direzione
muoversi (dove investire le proprie risorse scarse per migliorare le
prestazioni)
Le prestazioni degli atenei dipendono anche dalle scelte
strategiche di fondo (implicite o esplicite) !
47
Il cambiamento di prospettiva nel progetto “Good Practices
2005” (Tomasi, 2006 e Azzone, 2005)
Nei GP precedenti, l’obiettivo era individuare l’Ateneo che
gestiva meglio il rapporto efficacia/efficienza,…..
ora l’attenzione è su come si possono migliorare I processi
tecnici e amministrativi più importanti
costruendo una sorta di “Ateneo ideale”, che sia in grado di
mettere insieme il meglio delle università italiane e che possa
costituire un riferimento per tutti
48
Il cambiamento nel modello di riferimento nel GP5
Processi amministrativi
Attività
Comuni
Attività
Specifiche
Processi amministrativi
Attività
Prestazioni
complessive
Misura delle prestazioni
Analisi dei modelli
di gestione
Misura
prestazioni
Individuazione
Good Practice
Individuazione
eventuali cluster
Analisi modelli di gestione
Impatto sulle prestazioni
Spunti innovazione
Spunti innovazione
49
L’analisi dei processi di
approviggionamento, di supporto alla
ricerca (contratti UE) e ai sistemi
direzionali ha fatto emergere la
necessità di inserire nell’analisi alcune
variabili rilevanti prima trascurate:
– Livello di accentramento/decentramento
(focus finora sull’amministrazione centrale)
– Sovrapposizione tra personale docente e
tecnico amministrativo;
– Diversificazione dei servizi come
elemento qualificante
50
L’enfasi non è più sull’omogeneità e sulla capacità di fare le
stesse cose “meglio”, ma sulle “anomalie” innovative:
• Assetti organizzativi differenti;
• Ruoli differenti del personale;
• Servizi differenti;
• Modalità differenti di realizzare i servizi.
51
Processi amministrativi per un ateneo “ideale” sintesi delle
innovazioni più interessanti riscontarte nelle università
esaminate (da Tomasi, Codau, 2006)
1. Servizi per la didattica
• Possibilità di svolgere tutte le procedure in remoto
• Segreteria aperta anche al sabato
• Assistenza telefonica 24h*7 giorni
• Risposta alle mail in giornata
• Registrazione di tutte le informazioni (piani di studio, esami sostenuti) entro 7
giorni
• Elevata capacità di comunicazione con gli studenti
52
2. Approvvigionamenti
•
Presenza di una procedura di acquisto basata sulla
pianificazione, sull’analisi di mercato, sul calcolo dei
fabbisogni, sulla creazione di un DB condiviso
•
Capacità di gestire le spese in economia entro 7 giorni
dalla richiesta
•
Capacità predisporre i capitolati tecnici di gara e di
definire il contratto una volta espletata la gara in meno di
15 giorni
53
3. Personale
• Predisposizione dei bandi in meno di 3 giorni
• Presenza di piani di formazione basati sull’analisi dei fabbisogni,
valutazione
•degli interventi formativi, che coinvolge ogni anno più della metà
dei dipendenti
• Piani di inserimento per i neoassunti
• Presenza di un sistema di valutazione completo, basato su
comportamenti, competenze e risultati), i cui risultati sono
utilizzati per l’assegnazione degli incarichi e le progressioni di
carriera
• Alta soddisfazione dei docenti sui servizi forniti
54
4. Bilancio e Contabilità
• Presenza di un bilancio pluriennale e di un sistema di budget
esteso a tutte le strutture
• Presenza di un sistema di contabilità analitica per centri di costo,
attività e progetti, con report standard e autonomi
• Rispetto del fabbisogno e capacità di gestire la tesoreria con un
rendimento medio superiore al 3,5%
• Pagamento delle missioni in non più di 15 giorni
55
5. Supporto alla ricerca
• Strutture di supporto in grado di fornire informazioni aggiornate,
analizzare I possibili partner, scrivere il progetto
• Presenza di linee guida per la gestione dei contratti, la gestione
del progetto e la rendicontazione
• Supporto alla soluzione di problemi complessi con una
valutazione molto positiva da parte dei docenti
56
Organizzazione, gestione,
funzioni e processi nelle
biblioteche
universitarie
(Santoro, 2004,2005; Solimine, 2004, 2005 e altri)
57
Cultura organizzativo-manageriale e biblioteche
“è avvenuto assai presto in quei paesi "a
biblioteconomia avanzata", dove l'orientamento
all'utente è più forte, e invece è stato piuttosto tardivo
nel nostro paese, nel quale la "cultura del servizio"
non è molto radicata e dove prevale in molti casi una
concezione della biblioteca maggiormente legata al
carattere storico-antiquario delle collezioni” Solimine,
2004
58
La gestione per processi nelle biblioteche come superamento
(non cancellazione) della logica funzionale e forma
intermedia rispetto tra quest’ ultima e la logica
organizzativa divisionale
La logica funzionale: mettere insieme persone (nella stessa unità
organizzativa) che fanno le stesse cose o svolgono attività simili
La logica divisionale: mettere insieme persone che svolgono
attività diverse ma accomunate dalla responsabiltà di otetnere lo
stesso proddotto, servizio, risultato.
59
La gestione per proccessi viene introdotta all’interno di una
struttura solitamente funzionale
“Un processo taglia trasversalmente l'organizzazione: esso
infatti gestisce e coordina attività che sono "di competenza"
delle diverse funzioni ma allo stesso tempo il suo sviluppo
non "appartiene" a nessuna di esse, prescindendo dal
tradizionale ordinamento gerarchico proprio di
un'ordinamento per funzioni.
Il significato di questa "autonomia" dalle funzioni è peraltro
evidente, e consiste nel preciso orientamento al cliente
tipico dei processi, se è vero che essi nascono e si
sviluppano sulla base di specifiche esigenze di quest'ultimo
(input), e sono volti alla ottimale soddisfazione delle stesse
(output)” (Santoro)
60
La gestione per processi ha dunque lo scopo
“di orientare maggiormente un'organizzazione
verso obiettivi di soddisfazione del cliente
(esterno), migliorando al contempo la
soddisfazione dei dipendenti (ognuno diventa
consapevole del proprio contributo ed è fornitore
ma anche cliente di altri, e quindi migliora il modo
di lavorare) e preservando i vantaggi
dell'organizzazione classica in termini di costi ed
efficienza” (Santoro)
61
Si evita la parzialità dei processi all’interno delle funzioni
(acquisizioni, catalogazione)
“Difatti, se è vero che le acquisizioni e la catalogazione costituiscono
dei processi, è altrettanto vero che esse sono anche delle funzioni,
spesso incarnate da veri e propri "uffici" al cui interno prevale la logica
dello specialismo e della concentrazione sull'obiettivo:
cosa che, se da un lato può produrre eccellenti risultati sotto il profilo
del "prodotto intermedio",
dall'altro determina una scarsa permeabilità e una ancor minore
comunicazione con le altre funzioni a cui tale prodotto dovrà essere
trasmesso (nel nostro caso i settori della consultazione, del reference,
etc.), indebolendo o ignorando del tutto il fondamentale principio del
cliente interno” (Santoro)
62
Precondizione per ottenere la certificazione di qualità UNI EN
ISO 9001:2000
Per il Sistema qualità della Biblioteca Nazionale Centrale
di Firenze, sono stati individuati 10 processi primari, 7
processi di supporto e 6 processi trasversali.
Altra esperienza: la biblioteca del dipartimento di Scienze
statistiche dell'università di Bologna
63
Biblioteca a matrice su due livelli: funzioni e processi
(Sardelli)
le funzioni potrebbero essere:
•la lettura interna,
•il prestito locale e interbibliotecario,
•la consultazione, la consulenza e il reference,
•le informazioni e l'orientamento all'interno della biblioteca e verso
altre biblioteche,
•altri servizi di promozione e di comunicazione verso gli utenti anche
potenziali;
64
I processi:
biblioteconomici: l'approvvigionamento, sia come acquisizione di
materiali bibliografici su qualsiasi supporto, sia come acquisto di
strumenti, attrezzature e servizi, il trattamento sia descrittivo, sia
fisico/gestionale, l'erogazione/fruizione del servizio come momento
d'interfaccia tra la biblioteca e i suoi utenti.
di taglio non strettamente biblioteconomico quali: la gestione
dell'immagine, la gestione amministrativa e la contabilità, la
programmazione e lo sviluppo, e infine la gestione del personale, I
processi di monitoraggio dei risultati intermedi e finali
65
Se con la gestione per processi “l'accento si sposta
progressivamente dal terreno della mediazione tra
risorse (presenti o remote) e utenti a quello della
produzione di flussi informativi mirati e personalizzati”
(Di Domenico)…..
tende a diffondersi un modo “di intendere la professione
che sappia guardare oltre il modello consolidato di
reference e oltre lo stesso modello, 'parcellizzato', della
biblioteca elettronica”
66
In questo contesto il bibliotecario (Di Domenico):
•è in grado di analizzare e soddisfare bisogni informativi immediati:
•sa cogliere le impressioni dell'utente sul servizio, i suoi
suggerimenti, le sue esigenze inespresse, i suoi racconti di altre
esperienze;
•sa far circolare tra gli altri operatori il risultato delle proprie
esperienze di contatto;
•sa coinvolgere il management sulle problematiche dell'ascolto,
dell'innovazione, del cambiamento;
•sa anticipare le aspettative degli utenti e sa elaborare
tempestivamente prodotti e servizi originali a valore aggiunto
67
In verità, per Santoro e altri, l’applicazione della gestione per
processi consente di modellare meglio la realtà delle
biblioteche come
“non più o non solo come un insieme di cose, attività
e persone volte al raggiungimento di un fine, ma
come un "ambiente" il cui requisito essenziale è la
circolazione ampia e generalizzata della
conoscenza” (Di domenico)
68
In tal modo ciò che diventa essenziale è….
La gestione della conoscenza (knowledge
management)
Consistente nei macroprocessi di acquisizione, produzione,
elaborazione e diffusione della conoscenza per i propri clienti
interni ed esterni
69
Il valore aggiunto che caratterizza i prodotti della biblioteca
sono dunque le conoscenze che si acquiscono nel corso di un
processo complesso e a spirale nel quale le consoscenze tacite
degli attori vengono trasformate in conoscenze esplicite,
combinate, e applicate in modo innovativo alla risoluzione
dei problemi del contesto lavorativo (modello di Nonaka)
Il ruolo del bibliotecario cambia
da quello di un “burocrate semi-professionalizzato”
a quello di un dipendente che associa caratteristiche del
professionista ad alcune significative componenti del
“knowledge worker” (lavoratore della conoscenza)
70
I volti idealtipici del lavoro professionale
Gubitta) - PROFESSIONAL
(Costa-
Le caratteristiche
Competenze e abilità proprie
Elevata autonomia e scarsa dipendenza da
organizzazione
Corpo professionale
Lealtà al corpo professionale
Codici norme deontologiche
Percorsi formativi certificati
Fare bene il professional:
Capacità creative e di problem solving
Lavoro di gruppo
Il ruolo delle comunità di pratiche
71
Knowledge Workers
Le caratteristiche
Conoscenze teoriche e tecnologiche
Strutturate e spesso certificate
Significative esperienze e competenze applicative,
Contributo allo sviluppo e all’integrazione di
conoscenze
Assunzione di responsabilità professionali verso i
clienti sia interni che esterni
Il knowledge worker
Non corrisponde ad una specifica posizione
organizzativa
Quanto piuttosto da un “copione”
Spesso è inserito in posizioni senza responsabilità
72
gerarchica tradizionalmente intesa
Metodi di valutazione delle università
(da Turri., 2006, con modifiche)
Produttività
ed efficienza
Efficacia e
qualità
Professionali Procedurali
Analisi uso
delle risorse
Analisi degli
obiettivi
ottenuti, degli
impatti diretti e
indiretti
Relazioni di
auto
valutazione
Controlli di
legittimità
Analisi costiApplicazione di
benefici e costi- protocolli e
efficacia
modelli di
qualità (Campus
one)
Peer review
competitive e
non
(valutazione dei
pari)
Analisi delle
condizioni di
accesso ai
servizi
Analisi
bibliometriche
sul numero di
pubblicazioni
Audit sui corsi
di studio
Applicazione
della legge n.
241/90
Sondaggi e
questionari a
utenti e
stakeholders;
Panel, focus
73
Metodi e indicatori nella valutazione della didattica
Metodi basati sulla qualità totale (Campus One) e sistemi di
assicurazione della qualità (obbligatori dal 2010)
Questionari sui corsi e sull’esperienza complessiva (Alma
Laurea)
Peer review: presenza in aula, esame dei programmi del corso di
studio e dei singoli corsi, dei testi degli esami finali (external
examiners inglesi)
74
Complessità dei processi didattici e formativi
Risorse in entrata
(input)
Elemento critico del Risultati(output)
processo
•Competenze e
motivazione dei
docenti
•Personale t-a
•Strutture e
attrezzature
•Competenze,
motivazione e
tempo degli studenti
Qualità del rapporto •Servizi educativi
intersoggettivo
•Certificazioni
docente-discente
•Titoli di studio
•Conoscenze
(scarsamente
•Competenze
standardizzabile)
75
Indicatori consolidati (proposti dalla EUA) per la valutazione
della formazione (didattica)
•Punteggio di ammissione degli studenti (capacità di attrazione)
•Proporzione di studenti locali, non locali, internazionali (capacità di attrazione)
•Percentuale di ammissione (selettività)
•Proporzione di studenti con diversa estrazione sociale, etnica, di genere (accesso,
diversità)
•Tasso di abbandono al primo anno (capacità di orientamento, efficacia di processo)
•Investimenti nell’integrazione e nel tutoraggio (accesso)
•Voti di laurea (efficacia didattica)
•Tempo medio impiegato per la laurea (efficacia didattica)
•Tasso di occupazione laurati e grado di coorispondenza tra titolo di studio e
competenze lavorative
…ma le distorsioni interpretative sono sempre in agguato!
76
Monitoraggio e valutazione della ricerca (aspetti e metodi)
(da Turri, 2006 con modifiche)
Aspetti
Metodi
Organizzazione dell’unità di
ricerca ed elaborazione di chiare
linee di ricerca
Peer review competitiva e non,
indicatori quantitativi
Volume dell’output
Analisi bibliometriche
Qualità ed eccellenza dell’output
Analisi bibliometriche, peer
review competitiva , impact
factor, analisi delle citazioni
Impatto e significatività
dell’output sull’aumento di
conoscenza
Analisi bibliometrica, analisi
delle citazioni, peer review
competitiva
Utilità della ricerca dal punto di
vista tecnologico, economico e
sociale
Peer review competitiva e non,
analisi socio-economiche,
brevetti, licenze, spin-offs
77
Indicatori quantitativi per il monitoraggio e la valutazione
della ricerca (fonte EUA)
•Proporzione di personale accademico attivamente impiegato nella ricerca (potenziale di
ricerca)
•Rapporto tra il numero di studenti di dottorato rispetto a docenti (capacità di attrazione e
produttività, ma inversamente di qualità)
•Quota di dottorandi su numero di studenti complesivo (orientamento alla ricerca)
•Rapporto tra fondi per la ricerca e numero di docenti
•Ammontare medio delle comemesse per docente
•Proporzione di dottorati conclusi su numero di docenti (efficacia)
•Numero di pubblicazioni o brevetti su numero di docenti (produttività)
•Numero di citazioni su numero di docenti (qualità ed ececllenza nella ricerca)
•Numero di premi o altri riconoscimenti (eccellenz della ricerca)
78
Per alcuni la valutazione della ricerca è più agevole di quella
della didattica, ma occorre tener conto di alcuni elementi di
complessità:
•Indicatori quantitativi e qualitativi non vanno spesso nella
stessa direzione
•I database delle pubblicazioni non sono completi
•I responsabili della peer review devono essere motivati ad
operare con imparzialità (es: importanza della blind review, la
valutazione cieca)
•I parametri di valutazione variano al variare delle discipline e
del tipo di ricerca (pura o applicata, mono o pluriparadigmatica,
densità dei ricercatori rispetto agli oggetti di ricerca)
79
La valutazione della ricerca in Italia sul periodo 2001-2003.
L’esperienza CIVR (2005)
- Imitazione semplificata dell’esperienza inglese (RAE)
- I migliori prodotti scelti dalle università in 14 aree disciplinari e 6
interdisciplinari (in Gran Bretagna + di 60)
-Valutazione quantitativa di ciascun prodotto
-Per ciascuna area una graduatoria (ranking) delle singole università in base al
punteggio medio ottenuto dei prodotti presentati
Con nessuna conseguenza sul finanziamento delle università
80
La scala di valutazione della valutazione CIVR (20012003)
Eccellente
Buono
Soddisface
nte
Limitato
1
0,8
0,6
0,2
Numero di prodotti valutati= 1\2 per ciascun ricercatore
equivalente
Ogni prodotto è stato valutato da due valutatori, da un terzo in
caso di differenze estreme
81
Alcuni risultati interessanti (dopo una elaborazione personale
che ha diviso ciascuna graduatoria di area in tre gruppi con
lo stesso numero di università: superiore, medio, inferiore)
•Poche università appartengono soltanto ai primi due gruppi
(superiore e medio), poche altre non hanno alcuna posizione nei
gruppi superiori
•La stragrande maggioranza delle università presenta una
enorme varietà di posizioni nelle diverse graduatorie di area
•Non raramente alla reputazione di un’università non si
accompagna una posizione elevata nelle graduatorie di area
•Differenze notevoli nella severità dei giudizi forniti dai
valutatori delle diverse aree
82
Monitoraggio e Valutazione complessiva delle università
(metodi)
•Audit istituzionali (interni o esterni tramite peer review, gruppi
di esperti ed accademici)
•Ranking ufficiali o ufficiosi (effettuati da media o istituti di
ricerca)
•Modelli di valutazione collegati ai finanziamenti (basati su
formule, contratti o valutazioni competitive di eccellenza tramite
gruppi di esperti)
83
Tipiche finalità degli audit istituzionali
1.
Chiarire la presenza di una chiara missione/strategia e della sua traduzione
in obiettivi per le unità organizzative.
2.
Utilizzo appropriato di strumenti di supporto alla elaborazione della
strategia di strumenti come la SWOT analysis (analisi dei punti di forza,
delle debolezze, delle opportunità e delle minacce presenti nell’ambiente di
riferimento)
3.
Individuazione delle iniziative per realizzare la strategia, la missione e gli
obiettivi
4.
Individuazione dele inizitiative rivolte alla condivisione della strategie
5.
Efficacia e diffusione deli sistemi di assicurazione della qualità nella
didattica, nella ricerca e nei servizi
6.
Capacità dell’ateneo di cambiare (reagendo ai e anticipando i cambiamenti,
oppure innovando)
84
Esempi di ranking (graduatorie)
1) Jiao Tong University di Shanghai
Le prime 500 università nel mondo in base ad un punteggio calcolato secondo
la formula seguente:
Indicatore
Peso
Numero di laureati vincitori di premi nobel e
medaglie field
10%
Numero di docenti vincitori di premi nobel e medaglie
Field
20%
Numero di ricercatori più citati in 21 aree
disciplinari
20%
Numero di articoli su Nature e Science
20%
Numero di articoli pubblicati e presenti nei datta base
SCI e SSCI
20%
Rapporto tra n. di pubblicazioni e citazioni e n. di
docenti
10%
85
Sintesi parziale del ranking cinese
Numero di università in graduatoria nei
primi
Paese
100
200
500
USA
54
87
167
UK
11
22
43
Giappone
6
9
32
Germania
5
15
40
Canada
4
8
22
Francia
4
6
21
Svezia
4
4
11
Svizzera
3
6
8
Olanda
2
7
12
Australia
2
6
16
Italia
1
6
23
86
2) Times Higher Education Supplement: graduatoria delle prime
200 università in base ai seguenti indicatori e pesi:
Indicatore
Peso
Valutazione di circa 4000 docenti e ricercatori (peer
review)
40%
Valutazione dei laureati da parte di selezionatori
10%
Percentuale di docenti stranieri
5%
Percentuale di stranieri stranieri
5%
Rapporto studenti/docenti
20%
Rapporto tra numero di citazioni e n. di docenti
20%
Presente una sola Università italiana, al 196° posto
87
3) La valutazione degli Atenei di “la Repubblica”-Censis (nella quale l’Unical
risulta seconda tra i grandi atenei e sesta fra tutti I 60 atenei censiti)
Aspetti valutati
Indicatori
Servizi
•N. pasti x iscritto
•N. posti alloggio x 1000 iscritti
•Spazi sportivi x 1000 iscritti
Borse (diritto allo
studio)
•N. Borse di studio x 1000 iscritti
•N. Borse di collaborazione x 1000 iscritti
Strutture
•Posto aula x studente in corso
•Posti biblioteca x studente regolare
•Posti laboratorio x studente regolare
Web
Punteggio assegnato dal Censis alla
funzionalità e ai contenuti dei siti internet
88
La guida Censis-La Repubblica fornisce anche le graduatorie delle diverse
facoltà sui seguenti aspetti (con qualche variazione per Medicina):
Aspetti valutati
N. di indicatori utilizzati
Produttività didattica
4
Efficacia e qualità didattica
7
Efficacia nella ricerca
3
Profilo qualità docenti
5
Rapporti internazionali
3
Opportunità intrenazionali
1
N.B.: le graduatorie delle facoltà non sono aggregate per fornire una
graduatoria di ateneo sugli aspetti sopra elencati
89
Considerazioni su ranking e graduatorie
Ranking e graduatorie sono da più parti criticate, ma…
Vengono sempre più spesso usate e citate, tanto da diventare un
fattore importantante di prestigio e reputazione (vedi la
Commisione Europea)
Le nuove tendenze per ovviare alle critiche
1.
Graduatorie non singole, ma per gruppi e fasce (es. graduatoria del CHE
tedesco al servizio degli studenti stranieri)
2.
Graduatorie per aspetti separati non aggregabili in un’unica graduatoria
di ateneo e personalizzabili dall’utente (es.: CHE tedesco, La
fondazione Carnegie in USA, modello in costruzione finanziato dalla
Commisione Europea sulle diverse tipologie di istituzioni terziarie in
Europa
90
Modelli di valutazione legati al finanziamento
1. Basati su contratti e negoziazioni, più o meno informali tra
l’autorità o agenzia di finanziamento e l’ateneo
2. Basati su formule comprendenti più indicatori
I due modelli possono esere utilizzati contemporanaemente
91
I modelli di valutazione legati al finanziamento sulla base
di formule
(il caso italiano)
Primo modello (1995-97):
-Stima del costo standard per studente mediante modello
econometrico
-Con l’obiettivo di spostare fondi dalle università con costi
unitari maggiori a quelle con costi minori (riequilibrio)
- ma nel modello erano presenti anche indicatori incentivanti
(per esempio il numero di laureati)
92
Seconda modello di finanziamento/riequilibrio (1997-2003):
- formula pesata nel modo seguente:
- 70%per il numero di studenti in corso, 30% per n. di crediti regolari
(studente equivalente) e n. laureati con meno di due anni di ritardo
Terza modello di finanziamento/riequilibrio (2004 - ? ):
- 30% per il numero di studenti iscritti al secondo anno;
- 30% per n. di crediti superati e laureati con meno di due anni di ritardo
- 30% per la ricerca (n. di ricercatori corretto lievemente da qualità nella
ricerca e nelal capacità di ottenere fondi di ricerca da terzi )
- 10%per incentivi stabiliti dal Ministero
- da notare l’assenza di veri e propri indicatori di efficienza
93
La quantità di fondi destinati ala valutazione
(incentivazione/riequilibrio) in termini di perecntuale del
FFO (1995-2006)
First formula
model
Third formula
model
Second formula model
‘95
‘96
‘97
‘98
‘99
‘00
‘01
‘02
‘03
‘04
‘05
‘06
1,5
3,5
7
7,5
8
8
8,5
9
9,5
1,3
4,5
3,6
94
I risultati del modello per alcune università (2005)
Universities
BASILI CATA
BOLOGNA
CATANIA
CATANZARO
FERRARA
PADOVA
ROMA "La Sapienza"
ROMA "Tor Vergata"
ROMA TRE
CALABRIA
Attr. Effi- Effica Pot.
Stud. cacia cia Ricer,
(30%) Cred. laurea corret
(20%) ti
to
(10%) (30%)
0,62 0,39 0,28 0,59
5,88 6,5 7,11 5,39
3,07 2,63 2,2 2,51
0,58 0,78 0,45 0,27
1,04 1,12 1,12 1,39
3,91 4,84 5,93 4,53
7,02 6,43 6,49 6,56
2,41 2,33 1,72 2,86
2,06 2,22 1,92 1,12
1,74 1,68 1,97 1,17
Peso
totale
0,52
5,99
2,69
0,51
1,18
4,55
6,68
2,47
1,77
1,56
95
La posizione dell’Unical sulla base del modello di
valutazione (2005)
FFO Unical
2005/
FFO totale (a) euro
Percentual
e
96.000.000/
1,38%
L’1,56% di 6.984.000 = 109.000.000
6.984.000.000
Differenza tra FFO ottenuto nel 2005 e FFO che si sarebbe
dovuto ottenere in base alla formula
96.000.000 - 109.000.000 =
- 13.000.000 !
96