LA QUALITA` PER I SERVIZI DELL`UNIVERSITA` La soddisfazione

LA QUALITA’ PER I SERVIZI
DELL’UNIVERSITA’
La soddisfazione del cliente-utente
Laura Paolino
13 novembre 2003
•
Scopo della rilevazione di customer satisfaction
•
La customer satisfaction nella Vision
•
Metodi di rilevazione di customer satisfaction
•
Utilizzo dei risultati per il miglioramento continuo
Ufficio Valutazione e Qualità
1
La soddisfazione del cliente-utente
La customer satisfaction nella Vision
Il valore fondamentale in un SGQ è la soddisfazione del
cliente.
Attuare la gestione per la qualità significa
“ottenere la piena soddisfazione del cliente”.
Ufficio Valutazione e Qualità
2
La soddisfazione del cliente-utente
La customer satisfaction nella Vision
La norma si basa su otto principi di gestione:
PRINCIPI DI BUONA GESTIONE
1) Orientamento al cliente: Le organizzazioni dipendono dai propri clienti
2) Leadership: creare e mantenere un ambiente interno che coinvolga pienamente
3) Coinvolgimento del personale: le persone costituiscono l’essenza dell’organizzazione
4) Approccio per processi: per ottenere il risultato desiderato con maggiore efficienza
5) Approccio sistemico alla gestione: identificare, capire e gestire processi fra loro correlati
6) Miglioramento continuo: un obiettivo permanente dell’organizzazione
7) Decisioni basate su dati di fatto: le decisioni efficaci si basano sull’analisi di dati e
informazioni (dai importanti derivano dall’analisi della customer satisfaction)
8) Rapporti di reciproco beneficio con i fornitori: migliora la capacità di creare valore.
Ufficio Valutazione e Qualità
3
La soddisfazione del cliente-utente
La customer satisfaction nella Vision
⇒
⇒
⇒
⇒
⇒
0. Introduzione
1. Scopo e campo di applicazione
2. Riferimenti normativi
3. Termini e definizioni
4. Sistema di gestione per la Qualità
5. Responsabilità della Direzione
6. Gestione delle risorse
7. Realizzazione del prodotto
8. Misurazione, analisi e miglioramento
Ufficio Valutazione e Qualità
4
La soddisfazione del cliente-utente
La customer satisfaction nella Vision
⇒ 1. Scopo e campo di applicazione
1.1 La norma specifica i requisiti di un sistema di gestione per la qualità quando un’organizzazione
a) ha l’esigenza di dimostrare la sua capacità di fornire con regolarità prodotti che ottemperino ai
requisiti dei clienti ed a quelli cogenti applicabili,
b) desidera accrescere la soddisfazione dei clienti tramite l’applicazione efficace del sistema
⇒ 5. Responsabilità della Direzione
5.2 L’alta direzione deve assicurare che i requisiti del cliente sia no definiti e soddisfatti allo scopo di
accrescere la soddisfazione del cliente stesso
⇒ 6. Gestione delle risorse
6.1 L’organizzazione deve individuare e rendere disponibili le risorse necessarie per:
a) attuare e tenere aggiornato il sistema di gestione per la qualità e migliorare in modo continuo la
sua efficacia
b) accrescere la soddisfazione dei clienti, ottemperando ai requisiti del cliente
⇒ 7. Realizzazione del prodotto
7.2.1 L’organizzazione deve determinare
a) i requisiti specificati dal cliente, compresi quelli relativi alle attività di consegna e di assistenza
dopo la vendita
b) i requisiti non precisati dal cliente, ma necessari per l’uso specificato o per quello atteso, dove
conosciuto
Ufficio Valutazione e Qualità
5
La soddisfazione del cliente-utente
La customer satisfaction nella Vision
⇒ 8. Misurazione, analisi e miglioramento
8.2.1 Soddisfazione del cliente
L’organizzazione deve monitorare le informazioni relative alla percezione del
cliente su quanto l'organizzazione stessa abbia soddisfatto i requisiti del cliente
medesimo, rappresentando questo monitoraggio come una delle misure delle
prestazioni del sistema di gestione per la qualità. Devono essere stabiliti i metodi
per ottenere e utilizzare tali informazioni.
8.4 Analisi dei dati
L’organizzazione deve individuare, raccogliere ed analizzare i dati appropriati per
dimostrare l’adeguatezza e l’efficacia del sistema di gestione per la qualità e per
valutare dove possono essere apportati miglioramenti continui del sistema di gestione
per la qualità. Rientrano in tale ambito i dati risultanti dalle attività di monitoraggio e
misurazione e da altre fonti pertinenti. L’analisi dei dati deve fornire informazioni in
merito a:
a) soddisfazione del cliente
b) conformità ai requisiti del prodotto
………..
Ufficio Valutazione e Qualità
6
MIGLIORAMENTO CONTINUO DEL SISTEMA DI
GESTIONE DELLA QUALITA’
RESPONSABILITA’
DELLA DIREZIONE
CLIENTE
MISURAZIONI,
ANALISI E
MIGLIORAMENTO
GESTIONE
DELLE
RISORSE
REQUISITI
Elementi
in
entrata
CLIENTE
REALIZZAZIONE
DEL PRODOTTO
Ufficio Valutazione e Qualità
PRODOTTO
SODDISFAZIONE
Elementi
in uscita
7
La soddisfazione del cliente-utente
NORMATIVA DI RIFERIMENTO
UNI EN ISO 9000: SGQ Fondamenti e terminologia
UNI EN ISO 9001: SGQ Requisiti
UNI EN ISO 9004: SGQ Linee guida per il miglioramento delle
prestazioni
UNI 10600: Presentazione e gestione dei reclami nell’area dei
servizi pubblici e in applicazione della carta dei servizi
DPCM 27 gennaio 1994 “Principi sull’erogazione dei servizi
pubblici”
Ufficio Valutazione e Qualità
8
La soddisfazione del cliente-utente
NORMATIVA DI RIFERIMENTO
DPCM 27 gennaio 1994 “Principi sull’erogazione dei servizi
pubblici”
La presente direttiva dispone i principi cui deve essere uniformata progressivamente,
in generale, l’erogazione dei servizi pubblici.
I° PRINCIPI FONDAMENTALI
1 Eguaglianza
2 Imparzialità
3 Continuità
4 Diritto di scelta
5 Partecipazione
4. I soggetti erogatori acquisiscono periodicamente la
valutazione dell’utente circa la qualità del servizio reso, secondo le modalità
indicate.
6 Efficienza ed efficacia
Ufficio Valutazione e Qualità
9
La soddisfazione del cliente-utente
NORMATIVA DI RIFERIMENTO
DPCM 27 gennaio 1994 “Principi sull’erogazione dei servizi
pubblici”
II° GLI STRUMENTI
1 Adozione di standard
2 Semplificazione delle procedure
3 Informazione degli utenti
4 Rapporti con gli utenti
5 Dovere di valutazione della qualità dei servizi
4. I soggetti erogatori al fine di acquisire periodicamente la
valutazione degli utenti sulla qualità del servizio reso, predispongono apposite
schede a lettura ottica, e ne curano l’invio agli utenti; indicono riunioni
pubbliche con la partecipazione degli utenti di una determinata zona o di una
determinata zona o di una determinata unità di erogazione del servizio;
effettuano a campione, interviste con gli utenti, anche immediatamente dopo
l’erogazione di un singolo servizio.
6 Rimborso
Ufficio Valutazione e Qualità
10
La soddisfazione del cliente-utente
DEFINIZIONI
DPCM 27 gennaio 1994 “Principi sull’erogazione dei servizi
pubblici”
Carta dei Servizi: documento che esprime i termini dell’erogazione del servizio
Cliente: persona o organizzazione che riceve il prodotto/servizio (studente, utente
cittadino, dipendente)
Cliente interno o esterno del processo
Ufficio Valutazione e Qualità
11
La soddisfazione del cliente-utente
DEFINIZIONI
REQUISITI
esigenze o aspettative del cliente, espresse, implicite o cogenti.
⇓
CARATTERISTICHE DEL PRODOTTO
⇓
QUALITA’
Grado in cui un insieme di caratteristiche intrinseche soddisfa i
requisiti.
L’insieme delle caratteristiche di un prodotto/servizio che ne determinano la capacità di
soddisfare esigenze espresse ed implicite
Ufficio Valutazione e Qualità
12
La soddisfazione del cliente-utente
DEFINIZIONI: Le quattro nozioni di qualità
Qualità attesa:
insieme delle caratteristiche che il cliente si aspetta di trovare realizzate
esigenze ed aspettative, espresse ed implicite, definite contrattualmente e/o da disposizioni
legislative e/o dagli usi negoziali e consuetudinari
à ESPRIME CI0’ CHE IL CLIENTE SI ASPETTA
(in termini di benefici e costi )
IN BASE ALLE INFORMAZIONI, IMMAGINI,
COMUNICAZIONI E DELL’ESPERIENZA
Ufficio Valutazione e Qualità
13
La soddisfazione del cliente-utente
DEFINIZIONI: Le quattro nozioni di qualità
Qualità progettata:
insieme delle caratteristiche che l’organizzazione progetta per realizzare il proprio
prodotto e/o servizio, definito come interpretazione della qualità attesa.
à ESPRIME GLI OBIETTIVI CHE SI VOGLIONO RAGGIUNGERE
(fattori, standard, parametri di riferimento)
si individua con l’Analisi di Mercato
Qualità erogata:
insieme delle caratteristiche effettivamente realizzate dall’organizzazione fornitrice
à ESPRIME IL VALORE DELLA QUALITA’ REALMENTE EROGATA
(per diversi motivi può differire dalla Qualità progettata)
Qualità percepita:
l’esperienza reale del cliente trasmessa dalle caratteristiche del servizio/prodotto
à ESPRIME LA PERCEZIONE DELLA QUALITA’ EROGATA
si individua con l’Analisi di Customer Satisfaction
Ufficio Valutazione e Qualità
14
La soddisfazione del cliente-utente
DEFINIZIONI
Soddisfazione del cliente
percezione del cliente su quanto i suoi requisiti siano stati soddisfatti
à risulta dal confronto fra la percezione (qualità percepita )
e le aspettative (qualità attesa)
si individua con l’Analisi di Customer Satisfaction
ATTENZIONE
La percezione della qualità (qualità percepita) è influenzata dal complesso di comunicazioni
rivolte al cliente!
Le informazioni date sulle caratteristiche e i parametri del Servizio (Carta dei Servizi)
determinano le attese (la qualità attesa dipende, quindi, da quello che viene dichiarato).
à importanza della Carta dei Servizi! Se non dichiaro le caratteristiche del servizio che intendo
offrire, le attese dipenderanno da esperienze pregresse o esigenze personali diverse da persona e
persona e difficili da tenere sotto controllo in una analisi di Customer Satisfaction
Ufficio Valutazione e Qualità
15
La soddisfazione del cliente-utente
DEFINIZIONI
I FATTORI DI SODDISFAZIONE (Satisfaction drivers)
Fattori della qualità, generalmente correlati alle caratteristiche del prodotto e/o servizio, che
dovrebbero soddisfare le esigenze.
I fattori di soddisfazione sono correttamente definiti quando:
• identificano specifiche esigenze dei clienti
• identificano leve di miglioramento azionabili dall’organizzazione per conseguire determinati obiettivi attesi
(crescita della soddisfazione del cliente e degli indicatori di prestazione dell’organizzazione).
FATTORE DI QUALITA’ output di attività di processo o caratteristica del prodotto
(grandezza che intendo controllare)
esempio: tempo di attesa allo sportello
INDICATORE DI QUALITA’ output espresso nell’unità di misura della grandezza
esempio: tempo di attesa indicato in minuti
STANDARD DI QUALITA’
il valore del parametro che il processo è in grado di rispettare
esempio: 15 minuti +/- 5 minuti
Ufficio Valutazione e Qualità
16
La soddisfazione del cliente-utente
DEFINIZIONI
Analisi di mercato:
Attività di analisi progettata ed opportunamente pianificata,
condotta a campione, rivolta ai clienti con lo scopo di reperire
informazioni e dati inerenti i requisiti del prodotto/servizio che
si intende realizzare.
Analisi di Customer Satisfaction:
Attività di analisi progettata ed opportunamente pianificata,
condotta a campione, rivolta ai clienti con lo scopo di reperire
informazioni e dati inerenti l’efficacia e la qualità della
fornitura
Ufficio Valutazione e Qualità
17
La soddisfazione del cliente-utente
DEFINIZIONI
I 3 livelli della Soddisfazione del cliente
INSODDISFAZIONE:
aspettative disattese
SODDISFAZIONE:
aspettative raggiunte
DELIZIA:
aspettative superate
Ufficio Valutazione e Qualità
18
La soddisfazione del cliente-utente
METODI DI RILEVAZIONE DELLA
SODDISFAZIONE
⇒
8. Misurazione, analisi e miglioramento
8.2.1 Soddisfazione del cliente
L’organizzazione deve monitorare le informazioni relative alla percezione del cliente su quanto l'organizzazione
stessa abbia soddisfatto i requisiti del cliente medesimo, rappresentando questo monitoraggio come una delle misure
delle prestazioni del sistema di gestione per la qualità. Devono essere stabiliti i metodi per ottenere e utilizzare tali
informazioni.
METODI DI MONITORAGGIO DELLA SODDISFAZIONE DEL CLIENTE
Cliente esterno/utente
•
•
•
•
•
Gestione reclami e segnalazioni degli utenti
Indagini di soddisfazione degli utenti
Notizie provenienti dai media
Comunicazione diretta con gli utenti
Elaborazioni statistiche periodiche su indicatori di attività e di utenza
Cliente interno/personale
•
•
•
Incontri periodici con la Direzione
Indagini sul clima interno
Gestione reclami interni
Ufficio Valutazione e Qualità
19
La soddisfazione del cliente-utente
INDICATORI DI ATTIVITA’
Gli indicatori di performance rappresentano lo strumento che esprime la
“quantificazione” cioè se e come le attività all’interno di un processo, o il risultato del
processo stesso, raggiungono un determinato obiettivo.
(Gli indicatori di performance nascono quindi dagli obiettivi stessi).
Gli indicatori sono numeri:
Numeri semplici; Percentuali; Statistiche (media e dispersione); Indici di produttività;
Rapporti.
Indicatori dinamici (o predictive o in process): misurano l’output delle attività
all’interno del processo e permettono di prevedere l’esito del processo e modificarlo.
Indicatori statici (o reactive o resuly oriented): esprimono il risultato finale di un
processo e permettono di revisionare il ciclo successivo.
Ufficio Valutazione e Qualità
20
La soddisfazione del cliente-utente
INDICATORI DI ATTIVITA’
Sulla base dell’analisi di processo vanno condotte misurazioni della performance
globale, analizzando l’apporto delle singole attività:
– stabilire un giusto ventaglio di indicatori (né troppo ampio, né indicatori
difficilmente misurabili);
– le misurazioni devono riguardare almeno costi, tempi, qualità (rispetto delle
specifiche) e valore
– indicatori di efficacia (tempestività, accuratezza, durata, costo, adattabilità)
– indicatori di efficienza (tempo di processo tume cycle, risorse impiegate per unità
di output)
(nel flowchart indicare tempo medio delle varie attività, giorni impiegati per
ogni passaggio)
– indicatori di flessibilità (% di richieste inusuali evase, tempo medio)
Ufficio Valutazione e Qualità
21
La soddisfazione del cliente-utente
GESTIONE DEI RECLAMI
UNI 10600, DPCM 27 gennaio 1994
Reclamo: azione del cliente presentata in qualsiasi forma e con qualsiasi modalità al fornitore del
servizio, per comunicare che qualcosa non è coerente con le sue aspettative, in merito ad uno o più
requisiti definiti dalle specifiche del servizio, dalle forme contrattuali, dai regolamenti e/o dalla
Carta dei Servizi.
L’organizzazione deve prevedere modalità di presentazione dei reclami di facile accessibilità,
di facile comprensione, di facile utilizzazione.
L’organizzazione deve predisporre procedure scritte di gestione dei reclami che prevedano: i
tempi e le responsabilità di ciascuna fase, la gestione completa del reclamo, l’informazione
periodica all’utente, la risposta scritta e motivata al reclamante.
L’organizzazione deve gestire il reclamo al fine di un miglioramento continuo della qualità.
Resoconto dei reclami: almeno una volta all’anno l’organizzazione deve preparare un resoconto
di tutti i reclami ricevuti (tipologia dei reclami e percentuali; tempi medi di risposta e di
risoluzione, tasso di reclami, analisi andamentale).
Ufficio Valutazione e Qualità
22
La soddisfazione del cliente-utente
INDAGINE DI SODDISFAZIONE: LE FASI
Definizione precisa del prodotto/servizio o di quali aspetti di un servizio voglio sottoporre ad
indagine sulla soddisfazione del cliente (analisi dei processi coinvolti)
•
Fase Qualitativa (ha lo scopo di esplorare il fenomeno per identificare le variabili e le loro
interazioni)
•
a. Identificazione dei Fattori di Qualità
b. Riduzione del numero delle variabili
•
Fase Quantitativa (ha lo scopo di misurare il fenomeno ovvero la soddisfazione)
1. Identificazione dell’universo di riferimento
2. Scelta del campione
3. Ideazione del questionario
4. Scelta del metodo di rilevazione e somministrazione
5. Calcolo Indice Soddisfazione: punteggio item X peso item
Ufficio Valutazione e Qualità
23
La soddisfazione del cliente-utente
INDAGINE DI SODDISFAZIONE :
FASE QUALITATIVA
a) Ricerca ed identificazione dei criteri in base a cui l’utente effettua le
valutazioni di qualità: definizione esaustiva delle variabile razionali e emotive
che entrano in gioco nel processo di formazione delle aspettative sul
prodotto/servizio e quindi “la qualità attesa” e dell’importanza attribuita a
ciascuna variabile
⇒ utilizzo di metodologie di ricerca qualitativa (focus group, interviste non
strutturate, …)
b) Riduzione del numero delle variabili emerse: in base all’importanza relativa
delle variabili, scelta delle variabili che massimizzano l’informazione
Operando su un campione ridotto si identificano le variabili che spiegano la massima parte delle valutazioni degli
intervistati ( vedi analisi fattoriale).
Analisi fattoriale (factor analysis): Procedura statistica multivariata con cui è possibile individuare le dimensioni
essenziali (variabili latenti) che riassumono le informazioni contenute in una varietà di item, prove psicologiche o
indicatori comportamentali.
Ufficio Valutazione e Qualità
24
La soddisfazione del cliente-utente
INDAGINE DI SODDISFAZIONE :
FASE QUANTITATIVA
La fase quantitativa della rilevazione ha lo scopo di ottenere una misura della soddisfazione del cliente.
Si utilizza come strumento di misura della qualità percepita e della soddisfazione del cliente il
questionario.
Questionario: Insieme di domande o quesiti riguardanti uno o più argomenti, da sottoporre ad un
campione di clienti, formulati con precisi criteri allo scopo di effettuare specifiche rilevazioni
nell’ambito di una ricerca.
Per utilizzare un questionario come strumento di misura devo conoscerne o valutarne la validità e
l’attendibilità.
Attendibilità (affidabilità, fedeltà, reliability): capacità del questionario di ottenere risultati coerenti in
successive applicazioni ed una misura libera da errori casuali (ovvero il grado di similarità dei risultati
ottenuti da una stessa persona ad uno stesso test in momenti differenti).
α di Cronbach: Media delle correlazioni di tutti i possibili modi in cui si può dividere in 2 il questionario. Almeno pari
a 0.70
Validità: capacità del questionario di misurare effettivamente la variabile teorica che intende misurare.
Ufficio Valutazione e Qualità
25
La soddisfazione del cliente-utente
INDAGINE DI SODDISFAZIONE :
FASE QUANTITATIVA
Si opera su campioni numericamente consistenti che permettono di trarre
conclusioni inferenziali sull’universo.
1. Identificazione dell’universo di riferimento
Universo: L’insieme degli individui (collettività) oggetto della ricerca.
Un universo statistico deve essere sempre definito nei contenuti, nello spazio e
nel tempo.
⇒ gli utilizzatori di un servizio, gli abitanti del Friuli Venezia Giulia, i
clienti di un Supermercato, ecc.
Esempio: gli studenti che hanno utilizzato il Servizio Prestiti della
Biblioteca Generale nel 2002.
Ufficio Valutazione e Qualità
26
La soddisfazione del cliente-utente
INDAGINE DI SODDISFAZIONE :
FASE QUANTITATIVA
1. Scelta del campione
Campione rappresentativo: parte della collettività capace di rappresentare la
collettività in quanto possiede, in proporzione, le caratteristiche dell’universo.
⇒ Modalità di estrazione: modalità di scelta degli individui (unità statistiche) da
assegnare al campione.
La scelta del campione deve essere condotta in modo da garantire la completa
rappresentatività degli individui appartenenti all’universo di riferimento, in particolare le
variabili da campionare correttamente sono del tipo:
socio-demografiche (fasce di età, professioni, sesso, nazionalità)
geografico-territoriali
temporali
Ufficio Valutazione e Qualità
27
La soddisfazione del cliente-utente
INDAGINE DI SODDISFAZIONE :
FASE QUANTITATIVA
1. Scelta del campione
DISEGNI CAMPIONARI
• casuale
semplice estrazione casuale dall’universo di riferimento
• stratificato
estrazione casuale per strati dell’universo (proporzionale o
non proporzionale)
Campione casuale o probabilistico o statistico: Selezione casuale degli elementi da
osservare.
Tutte le unità della popolazione hanno la stessa probabilità di entrare a far parte del
campione
Campioni non probabilistici: Selezione intenzionale degli elementi da osservare
Selezione “per quote” da ogni strato previsto (età, sesso, condizione professionale, ecc.)
Ufficio Valutazione e Qualità
28
La soddisfazione del cliente-utente
INDAGINE DI SODDISFAZIONE :
FASE QUANTITATIVA
3. Ideazione del questionario
i
Costruzione degli item
i
Assegnazione pesi agli item
i
Ordinamento/Riduzione/Dilatazione Item in base priorità
i
Scala Punteggi
Ufficio Valutazione e Qualità
29
La soddisfazione del cliente-utente
INDAGINE DI SODDISFAZIONE :
FASE QUANTITATIVA
3. Ideazione del questionario
• Costruzione item: La formulazione di domande che riguardano i diversi aspetti del
servizio deriva
⇒ dalla “Carta dei Servizi”, cioè dalla descrizione delle caratteristiche del servizio.
⇒ dalla fase qualitativa con la quale sono stati individuati i fattori della qualità, cioè le
caratteristiche del servizio/prodotto correlate con la soddisfazione del cliente;
⇒ dall’analisi del processo (vedi flow chart del processo)
In questa fase devo costruire item che riguardino ogni attività del servizio analizzato e
indaghino la soddisfazione per ciascun fattore di qualità.
Ufficio Valutazione e Qualità
30
La soddisfazione del cliente-utente
INDAGINE DI SODDISFAZIONE :
FASE QUANTITATIVA
3. Ideazione del questionario
• Costruzione item: Accorgimenti operativi: Dare chiare istruzioni sulle modalità di compilazione
- domande semplici, brevi e di facile comprensione
non utilizzare parole ambigue, termini tecnici o gergali
non utilizzare doppie negazioni
collegamenti e richiami spiegati chiaramente
domande riferite a dati oggettivi
- domande neutrali
non utilizzare termini con connotazione emotiva
non indirizzare la risposta
- domande singole
una domanda alla volta
non domande sequenziali
- scala di risposta con numero pari di alternative
posizione intermedia è una scappatoia per eludere la domanda
Ufficio Valutazione e Qualità
31
La soddisfazione del cliente-utente
INDAGINE DI SODDISFAZIONE :
FASE QUANTITATIVA
3. Ideazione del questionario
• assegnazione pesi agli item: assegno un peso maggiore agli item che riguardano gli aspetti più
importanti
in base alla Carta dei Servizi
in base all’importanza dei diversi fattori della qualità da analisi qualitativa
Ufficio Valutazione e Qualità
32
La soddisfazione del cliente-utente
INDAGINE DI SODDISFAZIONE :
FASE QUANTITATIVA
3. Ideazione del questionario
• Ordinamento/Riduzione/Dilatazione Item in base priorità
Riduzione/dilatazione del numero degli item e loro ordinamento nel questionario in base ai seguenti
principi:
massimizzare il beneficio (l’informazione che ottengo) riducendo i costi (numero item)
utilizzare un numero maggiore di item per gli aspetti più problematici
(Non ricerca di conferme sulla soddisfazione:
ma ricerca dei fattori di insoddisfazione per intervenire e portare miglioramento!)
le domande più importanti vanno messe a metà questionario (dove l’attenzione è massima!!)
Ufficio Valutazione e Qualità
33
La soddisfazione del cliente-utente
INDAGINE DI SODDISFAZIONE :
FASE QUANTITATIVA
3. Ideazione del questionario
• Scala Punteggi
- scala ordinale a 4 modalità bilanciate (due positive e due negative)
- scala ordinale a 4 modalità asimmetrica (per nulla, poco, abbastanza, molto)
- scala ordinale a modalità neutrale nel mezzo
- scala a 7 punti equispaziata (1-7)
- scala a 10 punti equispaziata (1-10)
Utilizzare una scala di risposta con numero pari di alternative (posizione intermedia può essere
una scappatoia per eludere la domanda). L’ideale è una scala a quattro punti simmetrica o
asimmetrica.
Possiamo infatti immaginare 4 livelli di soddisfazione:
- non va bene (è meglio niente)
- non va bene (ma così è meglio di niente)
- va quasi bene (sono quasi soddisfatto)
- va bene (sono soddisfatto)
PER NIENTE SODDISFATTO
NON SODDISFATTO
SODDISFATTO
MOLTO SODDISFATTO
Ufficio Valutazione e Qualità
34
La soddisfazione del cliente-utente
INDAGINE DI SODDISFAZIONE :
FASE QUANTITATIVA
4. Scelta del metodo di rilevazione e somministrazione
Questionari autosomministrati:
Distribuzione porta a porta
Somministrazione in collettività (assistita o non assistita)
Questionario postale
C.S.A.Q. (Computerized Self-Administered Questionnaire) (via e-mail,
websurvey)
Intervista direttiva
Questionario cartaceo
C.A.P.I. (computer assisted personal interwiewing)
Intervista telefonica
P&P (Paper and pencil)
C.A.T.I. (Computer assisted telephone interwiewing)
Ufficio Valutazione e Qualità
35
La soddisfazione del cliente-utente
INDAGINE DI SODDISFAZIONE :
FASE QUANTITATIVA
4. Scelta del metodo di rilevazione e somministrazione
Scelta del metodo in base a:
• flessibilità e versatilità (adattabilità al contesto di utilizzo)
• economicità (in termini di risorse umane, finanziarie e materiali impiegate)
• rapidità di risposta
• controllabilità del campione
• ampiezza del campione (⇒ errore campionario e attendibilità)
• qualità dei dati (coerenza, correttezza e completezza delle risposte)
• tasso di risposta (% interviste realizzate rispetto alle pianificate)
Ufficio Valutazione e Qualità
36
La soddisfazione del cliente-utente
INDAGINE DI SODDISFAZIONE :
FASE QUANTITATIVA
4. Scelta del metodo di rilevazione e somministrazione
Questionario autocompilato
Le domande vengono lette direttamente dall’intervistato che compila il questionario.
Compilazione assistita l’intervistatore senza interferire con l’intervistato interviene a
sostegno su sua richiesta.
Compilazione autonoma l’intervistato è totalmente libero, non può avere assistenza.
Ufficio Valutazione e Qualità
37
La soddisfazione del cliente-utente
INDAGINE DI SODDISFAZIONE :
FASE QUANTITATIVA
4. Scelta del metodo di rilevazione e somministrazione
Ufficio Valutazione e Qualità
38
La soddisfazione del cliente-utente
INDAGINE DI SODDISFAZIONE :
FASE QUANTITATIVA
5. Analisi dei dati
• Esame dei dati discreti
• Conversione dei dati (da scala qualitativa a quantitativa, pesando i punteggi dei singoli item)
• Sintesi (elaborazioni, simulazioni e indicatori) dei dati discreti convertiti e formulazione
delle conclusioni generali sull’universo di riferimento
Tipi di scala di risposta
QUALITATIVE
- CATEGORICA (Variabili nominali: impiegato, operaio, medico, ecc.)
- ORDINALI (Variabili ordinali: insuff, suff, buono,ottimo)
QUANTITATIVE
- INTERVALLI (Variabili discrete: 1, 2, 3, 4)
- RAPPORTI (Variabili continue, zero significativo: 0, 1, 2, 3)
Ufficio Valutazione e Qualità
39
La soddisfazione del cliente-utente
INDAGINE DI SODDISFAZIONE :
FASE QUANTITATIVA
5. Analisi dei dati
Indice sintetico di soddisfazione:
Σ punteggio Item X peso Item
numero item
Margine di errore:se accettiamo un margine di errore del 5%;
possiamo calcolare quindi l’intervallo di confidenza
n= z2α/2 Ps (1-Ps)
E2
zα/2: il valore della soglia probabililtà campioni (1- α)
n: numerosità campionaria
α: probabilità al di sotto della quale il dato è
significativo
E: la precisione desiderata (margine di errore)
Ps: la proporzione delle risposte (es: % soddisfatti)
Ufficio Valutazione e Qualità
40
La soddisfazione del cliente-utente
INDAGINE DI SODDISFAZIONE :
FASE QUANTITATIVA
Per calcolare la soddisfazione bisogna quindi prevedere nel questionario 3 set di variabili:
• desiderabilità/importanza
• soddisfazione
• giudizio globale
per ogni aspetto considerato vengono infatti richiesti due giudizi: uno di importanza, l’altro di
soddisfazione.
Viene calcolata la correlazione tra la soddisfazione relativa al singolo aspetto e la soddisfazione
globale, in modo da ottenere un coefficiente di importanza latente
Si calcola (per ogni intervistato) l’importanza effettiva di ogni aspetto, pesando l’importanza
dichiarata sulla base dell’importanza latente.
Ufficio Valutazione e Qualità
41
La soddisfazione del cliente-utente
INDAGINE DI SODDISFAZIONE :
FASE QUANTITATIVA
Si verifica per ogni intervistato il grado di problematicità, ossia il gap esistente tra quanto
l’intervistato si aspetta e quanto effettivamente gli viene fornito, grazie ad una matrice che tiene
conto di entrambe le caratteristiche considerate.
È necessario porre attenzione alla direzione del gap, in modo da intervenire nella maniera
migliore:
se l’intervistato si sta lamentando del servizio offerto (alta importanza e bassa soddisfazione)
sarà infatti il caso di migliorare la qualità dell’aspetto considerato;
se viceversa la soddisfazione dovesse risultare più alta dell’importanza, potremmo decidere di
impegnare quelle risorse in modo più utile
.
Ufficio Valutazione e Qualità
42
La soddisfazione del cliente-utente
La valutazione della didattica
Legge 370/99: Ai sensi dell'articolo 1, commi 1 e 2, della Legge 19 ottobre 1999, n.370 "le
università acquisiscono periodicamente, mantenendone l'anonimato, le opinioni degli studenti
frequentanti sulle attività didattiche e trasmettono un'apposita relazione, entro il 30 aprile di ciascun
anno, al Ministero dell'università e della ricerca scientifica e tecnologica e al Comitato nazionale per
la valutazione del sistema universitario (…)".
Carta dei Servizi
Regolamento Didattico/Manifesto degli studi/Programma dell’esame/Guida
dello Studente
Cliente
Studente frequentante
Universo
Tutti gli studenti che frequentano i corsi di insegnamento attivati per l’a.a.
Campione casuale
Gli studenti presenti a lezione il giorno della rilevazione che accettano di
compilare il questionario (autoselezione del campione)
Ufficio Valutazione e Qualità
43
La soddisfazione del cliente-utente
La valutazione della didattica
Fattori di qualità
Organizzazione del CdL
Chiarezza della spiegazione
Utilità materiale didattico
Puntualità del docente
Sostenibilità carico di studi
Costruzione del questionario
Item da Commissione CNVSU
Riduzione item con analisi delle correlazione e fattoriale
Versione attuale 15 domande comuni a tutti gli atenei
Metodo di rilevazione
Questionario autosomministrato in collettività (assistito)
CSAQ (Clickval via web)
Analisi dei dati
elaborazione di indicatori sintetici e realizzazione di presentazioni
facilmente comprensibili e differenziate per i diversi portatori di
interesse (Senato Accademico, Nucleo di Valutazione, Presidi,
singoli Docenti, Studenti).
.
Ufficio Valutazione e Qualità
44
La soddisfazione del cliente-utente
La valutazione della didattica
.
Caratteristiche
generali della metodologia adottata:
• indagine il più possibile esaustiva degli insegnamenti attivi;
• indagine effettuata durante lo svolgimento dei corsi;
• somministrazione del questionario da compilarsi in forma anonima da parte degli
studenti presenti alle lezioni nel giorno fissato per la rilevazione;
• elaborazione di indicatori sintetici e realizzazione di presentazioni facilmente
comprensibili e differenziate per i diversi portatori di interesse (Senato Accademico,
Nucleo di Valutazione, Presidi, singoli Docenti, Studenti).
Ufficio Valutazione e Qualità
45
La soddisfazione del cliente-utente
La valutazione della didattica
a.a. 2001/2002
Il Questionario:
• elaborato dalla Commissione Senatoriale per la Didattica (ottobre 2001)
• approvato dal Senato Accademico (19/11/2001)
• composto da 22 domande
I contenuti:
• valutazione della qualità della didattica in senso stretto (capacità didattica
dell’insegnante, disponibilità verso gli studenti, articolazione delle lezioni, …)
• organizzazione del corso (puntualità del docente, materiale didattico, …).
• didattica integrativa
• 2 domande specifiche di customer satisfaction (insegnamento, item 18 - didattica
integrativa, item 22)
• 3 domande di controllo
Ufficio Valutazione e Qualità
46
La soddisfazione del cliente-utente
La valutazione della didattica
a.a. 2001/2002
Metodologia: lo strumento di rilevazione
VALUTAZIONE DELLA DIDATTICA
Per rispondere utilizza la scheda in allegato, che riporta la denominazione dell’insegnamento. Con le tue
valutazioni puoi contribuire a migliorare la qualità della didattica. Grazie!
1) Percentuale di lezioni di questo insegnamento frequentate nel presente anno accademico:
A: è la mia prima lezione B: <25%
C: 25-50% D: 50-75% E: 75-100%
2) L’insegnamento è incluso nel mio piano di studi:
A: di quest’anno accademico
B: dell’anno precedente
C: di 2 o più anni fa
Completa le frasi dalla 3 alla 18 scegliendo unpunto sulla seguente scala:
A
del tutto insufficiente
B
insufficiente
C
sufficiente
D
buono/a
3) Rispetto alla difficoltà di questo insegnamento, la mia preparazione di base era
4) All’inizio il docente ha presentato obiettivi, contenuti e struttura del corso in modo
5) Nel corso di insegnamento la progressione logica degli argomenti è risultata
6) La connessione con i contenuti degli altri insegnamenti è stata
7) Le lezioni hanno coperto il programma previsto in modo
8) Il materiale didattico per la preparazione all’esame (testi, dispense) è
9) Durante le lezioni, il docente ha dimostrato capacità di spiegare in modo
E
ottimo/a
10) L’abilità del docente nel mantenere elevato l’interesse è risultata
11) Il materiale utilizzato a lezione (lavagna, proiettori, handout, strumentazione varia) è stato
12) Durante le lezioni il docente ha risposto alle richieste degli studenti in misura
13) Il docente ha rispettato gli orari di lezione di questo insegnamento in misura
14) Le eventuali variazioni all’orario di lezione sono state diffuse in modo
15) Il docente ha fornito indicazioni su come studiare la materia in misura
16) Le modalità d’esame sono state chiarite in modo
17) Nell’ambito di questo insegnamento, la disponibilità del docente verso gli studenti è stata
18) Complessivamente, il mio grado di soddisfazione per questo insegnamento è
19) L’insegnamento ha incluso esercitazioni, laboratori, esperienze pratiche, seminari, progetti?
A: sì, condotte dal docente
C: no, anche se sarebbero utili
B: sì, condotte da collaboratori del docente
D: no, ma forse sarebbero utili
E: no, ma sarebbero inutili
Compila quest’ultima parte solo se alla domanda 19 hai risposto A oppure B.
Utilizza sempre la scala da A (del tutto insufficiente) a E (ottimo/a).
20) Il tempo dedicato alla didattica integrativa (esercitazioni, ecc.) è stato
21) Il coordinamento tra lezioni e didattica integrativa è risultato
22) Complessivamente, la didattica integrativa di questo insegnamento è stata
Ufficio Valutazione e Qualità
47
La soddisfazione del cliente-utente
La valutazione della didattica
a.a. 2001/2002
L’elaborazione e i risultati
Primo livello di output della lettura dei questionari per ogni Facoltà:
• un database con il dettaglio delle risposte date da ogni studente ad ogni insegnamento
• un database con il calcolo delle percentuali di risposta per ogni insegnamento
L’elaborazione è stata condotta a vari livelli di analisi:
• Singolo corso di insegnamento
• Facoltà
• Ateneo
• Attendibilità e validità del questionario
Ufficio Valutazione e Qualità
48
La soddisfazione del cliente-utente
La valutazione della didattica
a.a. 2001/2002
L’elaborazione e i risultati
Per ottenere il giudizio complessivo del singolo corso di insegnamento, gli item del
questionario sono stati raggruppati in 5 fattori rappresentativi dei diversi aspetti della
valutazione della didattica:
qualità della didattica
organizzazione del corso
didattica integrativa
customer satisfaction insegnamento
customer satisfaction didattica integrativa
Ufficio Valutazione e Qualità
49
La soddisfazione del cliente-utente
La valutazione della didattica
a.a. 2001/2002
Risultati a livello di singolo corso di insegnamento
Procedura di calcolo degli indicatori:
Ai giudizi sono stati assegnati i seguenti punteggi:
A
B
C
D
E
del tutto insufficiente
insufficiente
sufficiente
buono/a
ottimo/a
2
4
6
8
10
punteggio di item = media ponderata dei giudizi con le rispettive percentuali di risposta
punteggio di fattore = media aritmetica dei punteggi degli item di riferimento
Al denominatore è stata scorporata la percentuale dei non rispondenti. Inoltre, nei casi in cui tale percentuale è
risultata pari al 100%, il punteggio di item è stato scorporato dal calcolo del punteggio di fattore.
Per quanto riguarda la domanda filtro (item 19), nel caso in cui la percentuale di coloro che hanno risposto A o B è
risultata minore del 50%, si è deciso di non prendere in considerazione il punteggio assegnato alla didattica
integrativa, e di conseguenza anche quello della relativa customer satisfaction, in quanto considerati non
Ufficio Valutazione e Qualità
50
indicativi.
La soddisfazione del cliente-utente
La valutazione della didattica
a.a. 2001/2002
Risultati a livello di singolo corso di insegnamento
I giudizi complessivi sono stati riportati in una tabella riassuntiva in cui sono indicati per ogni
corso di insegnamento:
• identificativo di lettura (codice+suffisso)
• nome del corso di insegnamento
• nome del modulo (se previsto)
• nome del docente (come indicato sulla busta della rilevazione)
• anno di corso e periodo (se disponibile)
• corso di laurea (se disponibile)
• eventuale coinvolgimento nel progetto CampusOne
• numero questionari compilati
• percentuale di studenti che ha frequentato meno del 25% delle lezioni
• punteggio ottenuto nei 5 fattori
LETTURA
Insegnamento
nome
modulo
Cognome
e Nome
Docente
Note
I trim
CODICE
SUFF
nome
corso
XY001
Tiz
corso 1
Tizio
XY002
Cai
corso 2
Caio
XY003
Sem
corso 3
Sempronio
Campus
One
Numero
Corso di Rilevazio
questionari
Laurea
ne
compilati
% studenti con
meno del 25%
lezioni
Custome Customer
Didattica
Qualità Organizz
r
satisfaction
integrati
didattica
corso
(didattica
satisfacti
va
integrativa)
on
X
X
9
11,11
7,73
8,18
7,20
7,56
7,20
cdl B
38
15,79
5,43
4,91
-
4,68
-
cdl B
X
57
5,26
6,70
7,40
5,45
6,60
5,58
cdl A
Ufficio Valutazione e Qualità
51
La soddisfazione del cliente-utente
La valutazione della didattica
a.a. 2001/2002
Attendibilità e validità del questionario
Il nuovo questionario è stato sottoposto a una verifica di attendibilità, cioè della
capacità del questionario di ottenere una misura libera da errori casuali e risultati
coerenti in applicazioni successive.
Il coefficiente α di Cronbach (Cronbach, 1951) sui 35.324 questionari raccolti è
di:
α = .9325
(indica un alto indice di coerenza interna del questionario)
Ufficio Valutazione e Qualità
52
La soddisfazione del cliente-utente
La valutazione della didattica
a.a. 2001/2002
Attendibilità e validità del questionario
Infine abbiamo svolto un’analisi fattoriale confermatoria per verificare la
significatività dei fattori da noi utilizzati per raggruppare gli items e la validità
fattoriale del questionario.
L’analisi fattoriale (metodo delle componenti principali, rotazione Varimax) ha
evidenziato l'esistenza di tre fattori significativi:
• Il 1° fattore spiega il 47,3 % della varianza totale e presenta alte correlazioni
con gli item da noi utilizzati per calcolare il voto di Qualità didattica e di
Customer satisfaction del corso;
•Il 2° spiega l’8,12% della varianza totale e presenta alte correlazioni con gli item
da noi utilizzati per calcolare il voto di Didattica integrativa e Customer
satisfaction della didattica integrativa;
•Il 3° spiega il 6,26% della varianza totale e correla con i due items relativi alla
Puntualità da noi inseriti in Organizzazione corso
Ufficio Valutazione e Qualità
53
La soddisfazione del cliente-utente
La valutazione della didattica
Attendibilità e validità del questionario
Componen
te
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
Analisi fattoriale
Varianza totale spiegata
Autovalori iniziali
Pesi dei fattori non ruotati
% di
%
% di
%
Totale
Totale
varianza
cumulata
varianza
cumulata
8,505
47,25
47,25
8,505
47,25
47,25
1,462
8,124
55,374
1,462
8,124
55,374
1,127
6,259
61,633
1,127
6,259
61,633
0,781
4,337
65,97
0,716
3,977
69,947
0,712
3,956
73,903
0,614
3,412
77,316
0,548
3,045
80,361
0,496
2,753
83,113
0,464
2,577
85,691
0,393
2,184
87,875
0,377
2,096
89,971
0,372
2,068
92,039
0,351
1,952
93,991
0,334
1,854
95,845
0,272
1,51
97,355
0,258
1,433
98,788
0,218
1,212
100
Metodo di estrazione: Analisi componenti principali.
Ufficio Valutazione e Qualità
Pesi dei fattori ruotati
% di
%
Totale
varianza
cumulata
6,056
33,643
33,643
2,806
15,587
49,229
2,233
12,404
61,633
54
La soddisfazione del cliente-utente
La valutazione della didattica
Attendibilità e validità del questionario
Matrice dei componenti ruotata
Componente
1
2
3
0,682
0,184
0,205
I04
0,737
0,176
0,176
I05
I06
0,578
0,262
6,508E-02
I07
I08
I09
0,613
0,584
0,83
0,219
0,24
0,126
0,327
0,19
0,107
I10
0,797
0,149
8,083E-02
I11
I12
I13
I14
I15
I16
I17
I18
0,441
0,67
0,256
0,204
0,658
0,521
0,62
0,789
0,302
0,184
0,109
0,139
0,278
0,216
0,218
0,256
0,24
0,331
0,822
0,848
0,252
0,358
0,385
0,199
I20
0,19
0,85
9,989E-02
I21
I22
0,288
0,299
0,828
0,853
0,169
0,122
Metodo estrazione: analisi componenti
principali.
Metodo rotazione: Varimax con
normalizzazione di Kaiser.
Ufficio Valutazione e Qualità
55