La valutazione dei fondi strutturali: cerchiamo di fare un po

by user

on 06 июля 2016

Category: Documents

>> Downloads: 4

views

Report

Comments

Description

Download La valutazione dei fondi strutturali: cerchiamo di fare un po

Transcript

La valutazione dei fondi strutturali: cerchiamo di fare un po

ASSOCIAZIONE ITALIANA DI VALUTAZIONE
settembre - ottobre 2014, n.8
!!
!
SOMMARIO
Mita Marra: “La valutazione dei fondi strutturali: cerchiamo
di fare un po’ chiarezza…!”
Francesco Mazzeo Rinaldi: “Le criticità della Politica di
Coesione in Italia: causa o eﬀetto?”
Nicoletta Stame: “La valutazione di impatto dei fondi
strutturali, tra rigore e appropriatezza”
Andrea Naldini: “Programmi europei e valutazione: una
mappa con troppi vuoti”
Lodovico Conzimu: “La valutazione dei fondi strutturali:
uno sguardo sul recente passato in Italia”
Claudia Villante: “Lo stato della valutazione del FSE in
Italia”
Veronica Gaﬀey: “Evaluation of Cohesion Policy 2014 2020”
La valutazione dei fondi strutturali: cerchiamo di fare un po’ chiarezza…!
Idee per una cultura della valutazione
Mita Marra - Presidente dell’Associazione Italiana di Valutazione
1
La tiepida estate che volge ormai
alla fine è stata caratterizzata
invece da un rovente dibattito
tecnico-politico sullo spreco dei
fondi strutturali e sulla presunta
mancanza di valutazioni che
documentino esiti e impatti della
spesa europea. La polemica
sollevata sul sito lavoce.info ha
riempito le pagine dei giornali ed è
giunta fino alla Camera dei
Deputati in Commissione XIV Politiche UE, ove il prof. Perotti,
uno degli estensori dell’articolodenuncia, ha argomentato le tesi
sul “disastro dei fondi strutturali”,
condivise con il collega prof.
Teoldi, al cospetto di deputati ad
un tempo perplessi e sconcertati.
Ha fatto seguito, inoltre,
l’audizione del prof. Viesti
sull’impatto della politica di
coesione in particolare nel
Mezzogiorno. Insomma, si
comprende che il tema è stato
senz’altro rilevante e in quel
frangente, il Direttivo AIV ha
preso parte al dibattito,
pubblicando sul sito uno scritto
preliminare che ha suscitato
numerosi consensi tra i soci.
Consapevoli che la materia è
complessa, densa di tecnicismi che
rendono talvolta difficile mettere a
fuoco i passaggi amministrativi e
metodologico-valutativi, con
questo numero 8 della Newsletter
dedicato alla valutazione dei fondi
strutturali, proviamo a meglio
articolare le nostre
argomentazioni, riservandoci di
approfondire il tema nella RIV.
Noi dell’AIV non sottoscriviamo
le tesi avanzate da Perotti e Teoldi.
Ma non per questo intendiamo
avallare e giustificare la pratica
ancora molto carente della
valutazione dei fondi strutturali,
come avviene in Italia.
Diversamente da quanto Perotti e
Teoldi sostengono, siamo convinti
che sotto la rubrica valutazione
non devono annoverarsi solo ed
esclusivamente studi sperimentali
o controfattuali (v. Stame e Gaffey
in questo numero). Vale a dire,
valutazioni che misurano l’impatto
della spesa europea sul PIL pro
capite o sulla produttività dei
settori a livello aggregato
attraverso il confronto tra gruppi
di trattamento e gruppi di
controllo oppure sulla base della
comparazione tra scenari statisticamente elaborati - con e
senza politica.
La maggior parte delle valutazioni
disponibili e fattibili senza
predisporre campionamenti casuali
di trattati e non trattati (v.
Conzimu, Naldini e Villante in
questo numero), si concentrano sui
processi di “implementazione”, sul
funzionamento delle
organizzazioni che attuano le
politiche di coesione in contesti
circoscritti. Il punto è che questo
differenziato insieme di studi,
quantitativamente crescente,
presenta qualitativamente standard
ancora poco soddisfacenti. Le
domande valutative sono spesso
generiche, incapaci di porre
quesiti politicamente rilevanti e
metodologicamente realizzabili; la
raccolta dei dati sia quantitativi
che qualitativi è condizionata dai
vincoli di bilancio o limitata dalle
persistenti carenze amministrative;
i giudizi sugli effetti dei
programmi e sui rendimenti
istituzionali, quando e se espressi,
sono edulcorati, diplomaticamente
settembre - ottobre 2014, n.8
!
2
confezionati per non scontentare
nessuno - autorità di gestione,
governo centrale, commissione e
partner a vario titolo coinvolti.
Forse un po’ ottimisticamente, il
bicchiere è mezzo pieno - e quindi
i margini di miglioramento sono
enormi -, ma di sicuro non è
totalmente vuoto!
L’AIV è impegnata affinché la
presunta separazione tra studi
econometrici e controfattuali e
valutazioni theory-based e di
“implementazione” possa essere
superata attraverso il
miglioramento della qualità
metodologica, dell’utilità e della
rilevanza politica di tutte le
valutazioni dei fondi strutturali.
Francesco Mazzeo Rinaldi
(Università di Catania e vicepresidente AIV), che ha curato
questo numero 8 della Newsletter
AIV,
inquadra criticamente il
problema della spesa dei fondi
strutturali. Nicoletta Stame
affronta la questione della scelta
degli approcci valutativi. Andrea
Naldini (Ismeri Italia) e Vito
Conzimu (Ragione Sardegna e
membro del direttivo AIV)
ricostruiscono il quadro delle
valutazioni realmente condotte in
Italia, avanzando riflessioni
critiche di natura politica e
metodologica. Claudia Villante
(Isfol e membro del direttivo AIV)
illustra l’esperienza delle
valutazioni del Fondo Sociale
Euroepo. Chiude questo numero il
contributo di Veronica Gaffey
(Commissione Europea) che
presenta la visione istituzionale
della Commissione in relazione
alla prossima programmazione
2014-2020.
Il prossimo numero 9 della
newsletter AIV si occuperà di
valutazione delle politiche sociali.
Invitiamo i lettori ad intervenire
con commenti agli articoli e a
suggerire approfondimenti ai temi
trattati.
Per proporre contributi scrivete a:
[email protected]
Le criticità della
Politica di Coesione in
Italia: causa o eﬀetto?
Francesco Mazzeo Rinaldi – Università
degli Studi di Catania
([email protected])
Circa trenta miliardi di euro di
pagamenti monitorati, oltre
ottantamila soggetti coinvolti, più
di settecentomila progetti
finanziati sull’intero territorio
nazionale su ambiti di intervento
eccezionalmente estesi. Queste
sono solo alcune delle suggestive
cifre che caratterizzano la Politica
di Coesione (PC) in Italia nel ciclo
2007-13 (1). Non serve molto a
comprendere che siamo di fronte
ad un complesso quanto articolato
ed eterogeneo insieme di priorità,
strategie, obiettivi, programmi,
interventi, etc., implementati
seguendo complessi meccanismi,
regole e vincoli, in contesti sociali,
culturali e istituzionali assai
differenti.
Tali politiche sono da sempre
oggetto di opinioni contrastanti, di
critiche non sempre costruttive e,
più recentemente in Italia, di
giudizi impietosi. “Il disastro dei
fondi strutturali europei”
“Fallimento annunciato”, “In Italia
7 miliardi di euro finiti nel nulla”,
“l'Italia rischia di buttare più della
metà delle risorse”, “Fondi UE
spesi male da sempre”, etc., solo
per citare alcuni titoli apparsi
recentemente in diversi quotidiani
nazionali e siti specialistici. Il
messaggio, sostanzialmente, si
sviluppa rispetto a tre questioni
strettamente correlate.
I ritardi – non si spende quindi…
L’Italia è oggettivamente indietro
rispetto agli altri paesi europei, in
particolare le regioni Obiettivo
convergenza. Nel ciclo 2007-13 i
dati sono piuttosto sconfortanti,
anche rispetto al precedente ciclo
2000-06. La lentezza
nell’impegnare e, soprattutto, nel
realizzare spesa rappresenta un
problema in sé, considerato che le
risorse andrebbero spese con una
certa regolarità. La nota regola del
disimpegno automatico altro non
fa che accrescere a dismisura il
problema dei ritardi: valutare la
qualità dei progetti da finanziare,
l’efficienza e l’efficacia della
spesa, passa in secondo piano, a
favore di un unico grande
indicatore: la capacità di spesa
delle regioni. Si rafforza il
teorema per cui spendere
determina comunque sviluppo.
Poco importa che per evitare di
perdere denari si utilizzino
operazioni borderline, come le ha
recentemente definite Borromeo
(2), trasferimenti a società in
house, operazioni di ingegneria
finanziaria, etc. Poco importa che
la spesa si concentri in pochi mesi,
magari ‘allargando’ le maglie
selettive dei bandi, o scorrendo
improbabili graduatorie; la
virtuosità delle amministrazioni si
misura esclusivamente su questa
capacità. Le critiche, comunque, si
concentrano sui ritardi; è la
complessità attuativa della PC che
determina ritardi insostenibili,
bisogna cambiare politica….
provando a semplificare, questo è
quanto generalmente si comunica.
Ma quali sono gli effetti della PC
sulla crescita, occupazione….?
L’Italia non cresce da troppo
tempo ormai e i più recenti dati sul
PIL forniti dall'Istat sono
sconfortanti, in particolare se si
guarda al Mezzogiorno, dove si
registrano performance
particolarmente negative sia in
termini di PIL che sotto il profilo
dell’occupazione. Sono in molti a
osservare che nonostante i
numerosi e consistenti interventi
finanziati con i FS, in particolare
al sud, il Mezzogiorno continua a
peggiorare, anche se paragonato
alle altre regioni europee in
ritardo. Se non si riesce ad
invertire la rotta, a migliorare i
valori di crescita, occupazione,
produttività, etc. delle regioni del
Mezzogiorno, tanto vale trovare
forme alternative a questa politica
che ci fa solo perdere tempo e
risorse… Anche se con il rischio
di semplificare un po’, così si può
sintetizzare il pensiero critico dei
più.
Ma dopo tutto vengono valutate
rigorosamente queste politiche?
I numeri cui si faceva prima
riferimento danno un’idea
dell’articolato complesso di
programmi, progetti e interventi
settembre - ottobre 2014, n.8
!
3
che si realizzano nelle diverse
regioni ogni anno, strutturati
rispetto a indicatori di
monitoraggio, perlopiù input e
output e di valutazione,
principalmente risultati, outcome e
impatti. Nonostante i regolamenti
comunitari impongano in certi
casi, o invitino in altri, a compiere
valutazioni sui programmi e
progetti realizzati, “dei miliardi
spesi ogni anno in Italia in
progetti finanziati dai FS non si ha
la minima idea dei loro effetti”.
Qui più che sintetizzare riportiamo
una frase del recente ebook dal
titolo Il disastro dei fondi
strutturali europei (3). Le ragioni
in questo caso sono da rintracciare
nella inappropriatezza dei metodi
utilizzati nelle ‘numerose’
valutazioni condotte, che secondo
gli autori nulla dicono circa gli
effetti, in altri casi legate proprio
alla presunta mancanza di
valutazioni sull’efficacia e/o sugli
impatti della politica di coesione.
Ricapitolando: insostenibili ritardi
attuativi che dimostrano
inadeguatezza delle nostre
amministrazioni di attuare
politiche così complesse;
incapacità di incidere sulle
dinamiche macroeconomiche delle
nostre regioni più depresse nelle
quali si concentra la maggiore
spesa dei FS; buio assoluto circa
gli effetti presunti di queste
politiche… , mettono a nudo una
politica che, per molti, andrebbe
rifondata o forse meglio
abbandonata.
Oltre alle criticità qui tratteggiate,
un altro aspetto - critico - da
sottolineare riguarda il fatto che il
dibattito su queste politiche resta il
più delle volte superficiale, vago,
mai costruttivo. La PC è un male
in sé. Non si tratta, almeno per
quanto si vuol qui evidenziare, di
voler difendere la PC - sulla quale
peraltro ho sempre nutrito
parecchie riserve - ma, piuttosto,
ci si aspetterebbe un livello di
riflessione più serio, teso a
comprendere se tali criticità
dipendano da un impianto
fallimentare della PC o, piuttosto,
siano l’effetto di qualcos’altro.
Alcune brevi considerazioni a
riguardo.
Per quanto complesse e articolate
possano essere le regole
comunitarie che governano
l’attuazione dei FS, per ragionare
sulle criticità legate, anche, ai
ritardi attuativi in Italia bisogna
riferirsi ad una vera e propria
‘filiera del ritardo’, come
recentemente definita da Viesti lo
scorso 30 luglio in una audizione
alla Commissione Politiche
dell'Unione Europea (4). Filiera
che parte dalle classi dirigenti
politiche - nel varo di decisioni
politiche di programmazione
r e g i o n a l e - a ff e t t e d a u n a
patologica litigiosità e mai pronte
a rinunciare al proprio tornaconto,
per passare ad un ritardo
amministrativo, prima, ed
operativo, poi, legato
all’attivazione delle procedure. La
lentezza nel tradurre gli indirizzi
politici in attività amministrative
non è legata alle regole
comunitarie, ma è soprattutto
conseguenza della politica che non
decide, che non assume la
responsabilità di scegliere
selettivamente. Se le componenti
politiche non decidono di
distribuirsi i costi delle necessarie
rinunce da compiere adottando
strategie di sviluppo di lungo
periodo, su cui non si debba ridecidere ad ogni nuova legislatura
o, ancor peggio ‘rimpasto’, a cosa
serve sbandierare la logica della
concentrazione su pochi obiettivi
strategici? A chi serve ribadire che
la polverizzazione degli interventi
non può portare sviluppo? Ne
consegue che alle pesanti regole si
aggiunge l’onere delle
amministrazioni coinvolte di
dover avviare simultaneamente un
numero eccessivo di interventi,
troppo eterogenei, con un
sovraccarico delle strutture
amministrative preposte
all’attuazione, spesso debolmente
affidate ad assistenze tecniche
dalle quali non sono negli anni
riuscite ad affrancarsi. Nei ritardi
che si accumulano durante gli iter
amministrativi - dalla
pubblicazione del bando al
collaudo o conclusione del
progetto - le regole comunitarie
certamente non contribuiscono a
snellire le procedure che però, non
bisogna dimenticare, risentono di
un confuso quadro normativo, di
una burocrazia asfittica e di un
ricorso al contenzioso
settembre - ottobre 2014, n.8
!
4
amministrativo tutto italiano. Se a
tali questioni aggiungiamo i
vincoli imposti dal patto di
stabilità, il quadro sui ritardi
diviene forse un po’ più chiaro.
Il ragionamento sugli effetti dei FS
in Italia in termini di crescita e
sviluppo, in particolare nel
Mezzogiorno, non può prescindere
da alcune considerazioni di fondo
che dovrebbero farci riflettere su
quanto sia realmente possibile
aspettarsi. Seppur consistenti i
finanziamenti previsti dai FS nel
ciclo 2007-13, in particolare sul
totale della spesa in c/c, non
rappresentano granché se
rapportati al totale della spesa
pubblica in Italia. Aspettarsi che
da soli possano, ad esempio, far
ripartire il sud in termini di
crescita in un contesto economico
come quello attuale, ci porta fuori
dall’ambito di riflessione
possibile. Se a questo si aggiunge
che: 1) i FS intervengono su
molteplici ambiti, attraverso
numerose misure e spesso con
parcellizzazione di interventi; 2)
per considerare tali risorse
aggiuntive servirebbero politiche
‘ordinarie’ di investimento che
agiscano sugli ambiti di pertinenza
dei FS; 3) nel nostro paese la
contrazione delle risorse pubbliche
predilige proprio gli investimenti;
4) tale contrazione ha reso, in
particolare nell’ultimo periodo, i
FS di fatto risorse ‘sostitutive’
piuttosto che ‘aggiuntive’ in gran
parte degli ambiti di intervento; 5)
il mancato raccordo con le
politiche ordinarie mina alla base
la possibile efficacia della spesa
dei FS; si comprende meglio a
quale condizione si possa riflettere
seriamente sui possibili effetti.
Immaginare che la qualità della
spesa e, più in generale, che gli
effetti dei FS non dipendano
sostanzialmente dalle modalità e
dai numeri dell’azione pubblica
ordinaria, ci porta lontano dal
ragionamento, che prima o poi ci
si augura venga affrontato da chi
ha la responsabilità politica di
farlo.
Last but not least (dicono che un
po’ di internazionalizzazione aiuti
sempre), che dire delle
valutazioni.
I contributi in questo numero della
newsletter mi sembra che
chiariscano, se ce ne fosse ancora
bisogno, che: 1) sostenere l’idea
che solo alcuni metodi, o ancor
peggio semplici tecniche, possano
dire la verità sugli effetti di queste
politiche, è cosa assai inutile - si
veda il contributo di Stame e di
Gaffey; 2) pur risentendo di un
certo squilibrio territoriale e
settoriale, il numero di valutazioni
compiute su queste politiche è
decisamente consistente - si veda
Conzimu, Naldini e Villante; 3)
anche se la qualità di queste
valutazioni è risultata in alcuni
casi sotto le aspettative, sono state
realizzate ottime valutazioni,
anche sugli effetti. Su questi
aspetti non credo, in questo
contesto, serva aggiungere altro.
Piuttosto, sembra utile sottolineare
qui due questioni.
La prima: nel corso degli anni,
come si diceva, di valutazioni su
queste politiche ne sono state
compiute tante, su molteplici
ambiti, focalizzate su aspetti
differenti, alcune ben fatte, altre
meno (indipendentemente dai
metodi utilizzati), ma certamente il
bagaglio esperienziale è piuttosto
ampio (a differenza di molte altre
politiche pubbliche), presupposto
indispensabile per avviare una
qualunque riflessione. Fra le tante
possibili una mi sembra cruciale:
lo scarso interesse mostrato dai
vertici politico-amministrativi sui
risultati di queste valutazioni.
Raramente tali studi sono letti con
attenzione critica, figuriamoci
utilizzati per sostenere decisioni
politico-programmatiche. Si può
argomentare - e in alcuni casi a
ragione - che ciò dipenda dalla
complessità degli studi, o dalla
loro superficialità, o ancora da
domande
valutative
decontestualizzate, ma la verità di
fondo è che l’interesse per la
valutazione nel nostro paese resta
purtroppo ancora limitato; più se
ne parla meno la si usa.
La seconda, più tecnica, ha a che
fare con il difficile rapporto che da
sempre lega, non solo in queste
politiche, il monitoraggio alla
valutazione. Ho avuto modo di
argomentare su tale aspetto (5)
analizzando come l’impostazione
programmatica degli ultimi due
cicli e le indicazioni
‘metodologiche’ presenti nella
collana MEANS, prima, ed
Evalsed, poi, di fatto hanno
alimentato la separazione tra le
strutture di monitoraggio interne
preposte alla raccolta dei dati e le
analisi valutative, con l’effetto di:
standardizzare il monitoraggio
relegandolo a mera attività di
controllo; slegare i profili di
responsabilità connessi al ciclo
programmatico; separare la ricerca
valutativa dai processi attuativi e
dal contesto entro il quale il
programma si sviluppa;
depotenziare le opportunità di
apprendimento offerte dalla
valutazione indipendentemente dai
metodi utilizzati. Il nuovo ciclo
2014-20 grazie ad un nuovo
impianto programmatico basato
sui risultati, pone, in teoria, grande
attenzione all’individuazione di
indicatori di risultato e alle
modalità di monitoraggio e di
raccolta dati. Ma in realtà, se si
analizza il recente documento
guida per il monitoraggio e la
valutazione (6), in particolare gli
esempi forniti per l’uso degli
indicatori di risultato, ci si accorge
che monitoraggio e valutazione
non costituiscono un unico
processo, continuano ad esser
trattati come due elementi
separati; il monitoraggio è
generalmente ‘risolto’ attraverso
statistiche generali, poco a che
fare con il programma. Ancora una
volta chi si occupa di
monitoraggio non si preoccupa di
valutazione.
Conclusivamente, i limiti e le
criticità che hanno caratterizzato e
che temo continueranno a
caratterizzare, l’uso dei FS nel
nostro paese, tanto sul piano
programmatico-attuativo quanto
su quello valutativo, non possono
essere né affrontate né tanto meno
risolte guardando alla PC come
causa in sé. Una sua
riformulazione o, come da molti
suggerito, un suo abbandono,
dubito risolverebbe granché.
Piuttosto, sembrerebbe più sensato
indicare la PC come un ambito in
grado di rendere espliciti alcuni
problemi complessivi del nostro
paese, che se non affrontati
settembre - ottobre 2014, n.8
!
rischieranno di rendere inattive tali
politiche, improduttive le
programmazioni, inefficaci gli
interventi, inutilizzate le
valutazioni.
Riferimenti bibliografici
1 - Si rimanda al sito
Opencoesione dove le cifre sulle
politiche di coesione sono
facilmente consultabili
i n t e r a t t i v a m e n t e .
www.opencoesione.gov.it/
2 - Borgomeo C. (2013)
L'equivoco del Sud. Sviluppo e
coesione sociale. Laterza.
3 - Perotti R., Teoldi F. (2014) Il
Disastro dei Fondi Strutturali
Europei. Ebook http://
www.lavoce.info/wp-content/
uploads/2014/07/fondi-strutturalieuropei.pdf
4 https://www.youtube.com/
w
a
t
c
h
?
feature=youtu.be&v=NJb7JL8LV
Hc&app=desktop
5 - Mazzeo Rinaldi F. (2012) Il
Monitoraggio per la Valutazione:
concetti, metodi e strumenti.
FrancoAngeli Editore, Milano.
5
6 - CE (2014) Guidance
Document on Monitoring and
Evaluation– http://ec.europa.eu/
regional_policy/sources/docoffic/
2014/working/wd_2014_en.pdf
La valutazione di
impatto dei fondi
strutturali, tra rigore e
appropriatezza
Nicoletta Stame – Sapienza Università di
Roma
([email protected])
Recentemente è uscito su
lavoce.info un intervento di Perotti
e Teoldi che ha avuto una certa
eco, tra cui una risposta sul sito
AIV. Questi autori sostengono che
i fondi strutturali non funzionano,
e propongono pertanto di abolirli,
e a sostegno della loro tesi dicono
che comunque non è stata fatta
alcuna valutazione di impatto
robusta, intendendo con il metodo
controfattuale.
Il tema sollevato presenta diversi
aspetti che riguardano, da una
parte la domanda (il sistema di
valutazione dei FS) e dall’altra
l’offerta, ossia come viene fatta la
valutazione.
Dal punto di vista della domanda,
la UE non chiede una valutazione
dei risultati della politica di
coesione, ma si limita per lo più a
chiedere come sono stati spesi i
fondi (e, come è noto, la
situazione non è esaltante). Inoltre,
come anche è stato messo in luce
dall’intervento di Martini e Sisti
su lavoce.info, il modo in cui sono
fatti i bandi privilegia le offerte al
ribasso, di cattiva qualità e di
basso contenuto valutativo. Tra
l’altro, è da tanto tempo che AIV
si lamenta del fatto che ai
concorrenti si richiedono garanzie
finanziarie (di fatturato) che solo
grandi aziende, che di solito fanno
altro, possono dare, poiché ciò
scoraggia la partecipazione di
esperti valutatori che non hanno
quella base finanziaria (e vengono
poi assunti dalle società
vincitrici ….).
Ora, però, sembra che la UE –
analogamente ad altri organismi
internazionali – si stia orientando
verso richieste più pertinenti di
valutazione dei risultati, e allora
occorre fare un pò di chiarezza.
Una valutazione di impatto che sia
“robusta” deve essere fatta in
modo da tenere conto dei
programmi a cui ci si riferisce e
delle domande che vengono poste.
Ciò ha conseguenze sia per come
la UE e i committenti nazionali
pongono le domande di
valutazione – che dovrebbero
essere più specifiche e far capire
quali sono i problemi intravisti dal
committente – sia per come il
valutatore propone di valutarle. E
dovrebbe dar luogo ad una
consultazione e ad una interazione
positiva tra questi due attori, oltre
che con gli altri stakeholders
(attuatori, beneficiari).
Questi temi sono oggetto di ampio
settembre - ottobre 2014, n.8
!
6
dibattito nel campo delle politiche
internazionali di sviluppo,
sollevato da una serie di paper del
Centre for Global Development, e
del gruppo 3IE (International
Initiative for Impact Evaluation)
che sostenevano che, a fronte
degli insuccessi registrati, i
politici hanno bisogno di capire
“cosa funziona”, e a questo scopo
quella che serve è la valutazione
dell’impatto dei programmi
(definita come “la differenza
nell’indicatore di interesse (Y) tra
la situazione con intervento (Y1) e
la situazione senza intervento
(Y2)”) e che “una valutazione di
impatto è uno studio che affronta
la questione dell’attribuzione
identificando il valore
controfattuale di Y (Y0) in modo
rigoroso” (White, 2010). Posizioni
analoghe a quelle di Perotti e
Teoldi.
Nell’ampio dibattito che è seguito,
è emerso che la valutazione con
metodo controfattuale può essere
fatta al massimo in quello che è
stato (un po’ ironicamente)
quantificato come il 5% dei casi, e
ci si è domandati cosa si può fare
nell’altro 95%...
Partendo da
questa premessa, il Department
for International Development
(DFID)-UK ha commissionato ad
un gruppo di ricerca coordinato da
Elliot Stern (di cui ho fatto parte
anch’io, insieme a Barbara Befani,
Rick Davies, Kim Forss e John
Mayne) un rapporto che
rispondesse alla domanda:
“Sviluppare un più ampio raggio
di disegni e metodi rigorosi per la
valutazione di impatto di
programmi di sviluppo complessi;
verificare il caso che alternative ai
disegni sperimentali e quasi
sperimentali possano avere
equivalente robustezza e
credibilità – essi sono differenti
ma eguali. Verificare il potenziale
dei metodi qualitativi e dei metodi
misti. I corsivi sono miei ma,
come si vede, la domanda aveva
ben chiari i termini della
questione: legare il criterio del
rigore metodologico a quello
dell’appropriatezza, ossia “quali
sono i metodi (utilizzati in modo
rigoroso) appropriati ai
programmi”*.
I programmi internazionali di
sviluppo a cui si riferiva la
committenza del DFID hanno
caratteristiche simili a quelli della
politica europea di coesione. Anzi,
si può dire che molti dei
programmi di sviluppo di cui si
parla sono in realtà programmi di
redistribuzione e di sviluppo
sociale, oltre che di sviluppo
economico. Per questo motivo,
ritengo che l’elaborazione fatta in
questo contesto possa essere
significativa anche per la
valutazione dei fondi strutturali.
Il Rapporto del gruppo di lavoro
(Stern e altri, 2012) si intitola
“Broadening the space of designs
and methods for impact
evaluation”. Qui posso solo
richiamarne alcuni aspetti.
La
risposta che è stata fornita alla
domanda del DFID è articolata in
questo modo:
- Quali sono le caratteristiche dei
programmi: è il tema della
complessità invocato dal DFID.
- Quali sono le domande a cui la
valutazione di impatto deve
rispondere: è il tema degli
approcci alla causalità esistenti,
oltre a quello della differenza
usato
dal
metodo
controfattuale**.
Lavorando su queste basi, il
Rapporto si è interrogato su quali
approcci alternativi esistenti
potessero dare risposte a quelle
domande. Sono state così seguite
molte piste per illuminare i diversi
punti, giungendo ad una
identificazione dei criteri di
appropriatezza degli approcci.
Il disegno controfattuale (quando
sia impostato in modo “rigoroso”)
si adatta a programmi
caratterizzati da un intervento
singolo, realizzati in un ambiente
stabile, entro un tempo
determinato, secondo un preciso
protocollo. Esso non si adatta,
invece, quando i programmi sono
complessi (attuati a molti livelli,
composti di diverse parti
interagenti, a stadi temporali
successivi, ecc.) e quando essi
coesistono con altri programmi.
Il disegno controfattuale si adatta
a programmi caratterizzati da una
causalità lineare semplice (a causa
b), e la causa è necessaria e
sufficiente, ma non quando vi
sono causalità multiple e ricorsive.
Esso risponde alla domanda se
l’effetto (netto) può essere
attribuito alla causa (l’intervento
visto come azione singola), ma
non quando le domande di
valutazione sono altre.
La domanda di impatto, infatti,
oltre all’attribuzione può
riguardare:
- Il contributo che un programma
ha dato (“ha fatto la
differenza?”), secondo varie
combinazioni di cause
necessarie e/o sufficienti: ci si
riferisce alla letteratura in
materia di causalità multiple
(combinazioni di cause,
contribuzione, pacchetti di
cause);
- La spiegazione (“perché?”, “in
che modo ha fatto la
differenza?” ) che richiede una
teoria del programma da testare,
o da costruire insieme agli attori,
come consentono approcci di
valutazione basati sulla teoria o
di valutazione realista, che si
basano su forme di causalità
generative (meccanismi);
- L’equità (“per chi ha fatto la
differenza?”) che prevede un
differente modo di reagire al
programma a seconda dei valori
dei beneficiari e del contesto in
cui il programma è inserito,
come consentono approcci di
valutazione realista, di
valutazione partecipata, di studi
di caso e comparativi (come la
Qualitative Comparative
Analysis);
- La generalizzabilità (“potrebbe
estrapolarsi ad altre
situazioni?”) che prevede
l’analisi dei contesti spaziali e
temporali in cui un programma
potrebbe essere adattato, come
consentono disegni di
valutazione realista, e di studi di
caso ***.
A conclusione del lavoro sono
stati individuati i seguenti
approcci alternativi al disegno
controfattuale: valutazione basata
settembre - ottobre 2014, n.8
!
7
sulla teoria, valutazione realista,
contribution analysis, valutazione
partecipata, studi di caso e
comparativi. Ciascuno di essi
risponde a precise esigenze, ha
vantaggi e limiti. E quindi può
essere appropriato alle domande e
alle caratteristiche dei programmi.
Ma poi si è fatto un passo
successivo: data la complessità dei
programmi, è possibile che una
valutazione utilizzi più di un
approccio, secondo varie forme di
combinazione: un metodo può
annidarsi in un disegno che si basa
su un altro metodo; diversi metodi
possono annidarsi in diverse parti
del programma; diversi disegni
possono coesistere perché
coesistono scopi diversi della
valutazione, come accountability,
apprendimento, miglioramento. È
la stessa idea dei metodi misti (ora
così in voga anche presso i
controfattualisti che si rendono
conto dei limiti del loro metodo),
che si sviluppa negli approcci
misti.
In conclusione, il criterio di scelta
del disegno di valutazione è quello
dell’appropriatezza, sia di un
singolo disegno che di una
combinazione di disegni; e il
rigore metodologico va giudicato
sulla base del modo in cui viene
usato un approccio appropriato.
Ci sono valutazioni controfattuali
fatte bene e altre fatte male, così
come ci sono valutazioni realiste
fatte bene (in grado di ricostruire
teorie del programma, meccanismi
e contesti) e altre che ne hanno
solo il nome. E quando si dice
“fatte bene o male” non ci si
riferisce solo alla metodologia di
ricerca sociale e alla produzione di
conoscenza su un fenomeno, ma
alla costruzione di capacità
gestionali negli amministratori e di
empowerment dei beneficiari, in
altre parole: valutazioni che
possano essere usate ai fini del
miglioramento delle politiche.
Note
*Un analogo approccio pluralista
era presente anche in un corso
sulla valutazione dei Fondi
Strutturali coordinato dall’UVAL
(Unità di Valutazione degli
Investimenti Pubblici), i cui
contributi sono stati rielaborati in
Marchesi et al. (2011).
**Su questo tema era già
intervenuta sulla Newsletter
Barbara Befani (2013).
***Si veda il numero speciale di
Evaluation (vol. 19, n. 3) dedicato
agli studi di caso.
Riferimenti bibliografici
Befani B. (2013), “Metodi
rigorosi al di là del
controfattuale”, AIV Newsletter,
n. 3.
Marchesi G., Tagle L., Befani B., a
cura di (2011), Approcci alla
valutazione degli effetti delle
politiche di sviluppo regionale,
Materiali UVAL, n. 22.
Stern E., Stame N., Mayne J.,
Forss K., Davies R., Befani B.
(2012), Broadening the space of
designs and methods for impact
evaluation, working paper 38,
DFID (Department for
International Development, UK).
http://www.dfid.gov.uk/r4d/pdf/
outputs/misc_infocomm/
DFIDWorkingPaper38.pdf
White H. (2010), “A contribution
to current debates in impact
evaluation”. Evaluation 16(2).
settembre - ottobre 2014, n.8
Programmi europei e
valutazione: una
mappa con troppi
vuoti
!
8
Andrea Naldini – Ismeri Europa
([email protected])
Nei prossimi mesi inizierà il
nuovo ciclo 2014-2020 dei fondi
strutturali in Italia, con risorse UE
pari a circa 42 miliardi di euro a
cui si aggiungeranno risorse
nazionali per almeno 30 miliardi. I
programmi UE hanno sempre
avuto la valutazione come
strumento centrale del loro
modello di azione e gran parte
della valutazione italiana è
realizzata in quest’ambito.
I regolamenti europei hanno
spesso modificato gli indirizzi
della valutazione e alcune
importanti novità sono state
introdotte nel prossimo periodo
2014-2020: la valutazione dei
programmi europei torna ad essere
obbligatoria, ciascun asse
prioritario dovrà ricevere almeno
una valutazione e questa dovrà
concentrarsi sui risultati e, ove
possibile, sui primi impatti. Anche
altri tipi di valutazione (di
processo, gestionale, partecipativa,
ecc..) sono possibili, ma devono
trovare una collocazione in un
piano di valutazione, il quale
diviene anch’esso obbligatorio e
dovrà essere approvato entro il
2015.
Il prossimo scenario è quindi
quello di una valutazione più
intensa, più sistematica e più
orientata ai risultati di quanto
richiesto nel passato. Ciò è in
linea, peraltro, con la maggiore
attenzione ai risultati e alla
capacità gestionale richiesta dai
programmi.
Per meglio cogliere il valore di
queste novità e le sfide che
bisogna affrontare per migliorare
la valutazione in Italia è utile
soffermarsi su quanto avvenuto
nel periodo 2007-2013.
Premettiamo che nel periodo
2007-2013 la gestione dei
programmi europei in Italia ha
mostrato gravissime carenze
strategiche e gestionali, le quali
riflettono la debolezza delle
politiche nazionali e la bassa
capacità della nostra PA. Questi
temi non possono essere
approfonditi qui, ma sono lo
sfondo dell’esperienza valutativa
di questi anni. Ricordo anche che
negli anni passati la valutazione
era facoltativa, quindi ogni
responsabile di programma
operativo (PO) poteva decidere se
attivarla o meno.
La valutazione dei fondi europei
in Italia è stata nel complesso
insoddisfacente, nonostante si
possano individuare alcuni
interessanti cambiamenti. A fine
2012 una stima indicava che per
ogni 10 mila euro impegnati dai
fondi europei 425 euro hanno
sostenuto varie forme di assistenza
tecnica (354 nel FESR-Fondo
Europeo di Sviluppo Regionale e
615 nel FSE-Fondo Sociale
Europeo) e solo 9 euro hanno
finanziato la valutazione (6 euro
nel FESR e 16 Euro nel FSE).
Quindi, la valutazione rimaneva la
Cenerentola tra le attività di
accompagnamento dei programmi.
Nonostante ciò è stato realizzato
un numero consistente di rapporti
di valutazione: a fine 2013 si
contavano 107 valutazioni nei PO
FESR e 113 nei PO FSE, a cui si
aggiungono numerosi rapporti
nello sviluppo rurale.
Questi
numeri sono rilevanti anche in
confronto ad altri paesi europei,
ma non elevatissimi in rapporto
all’alto numero di programmi e
all’importante volume di risorse
loro assegnate. Inoltre, molti dei
principali programmi del sud
Italia, quelli che concentravano le
risorse maggiori e al tempo stesso
incontravano gravi problemi di
implementazione (p.e. Ricerca e
competitività, Campania, Calabria,
Sicilia, Attrattori culturali,
Energia), non hanno realizzato
nessuna attività valutativa o quasi.
Per esempio, il PO Ricerca e
Competitività con una dotazione
di oltre 4 miliardi e promotore dei
principali interventi per
l’innovazione nelle regioni meno
sviluppate ha finanziato solo
piccole analisi su interventi
conclusi nel periodo 2000-2006.
Non è un caso quindi che le
conoscenze derivabili dalla
valutazione si siano concentrate in
pochi settori “più valutati”, quali
gli aiuti alle imprese o la
formazione, mentre non esistono
risultati consistenti in altri settori
cruciali quali l’ambiente, i
trasporti o il turismo. Inoltre,
anche nei settori più presidiati
sono mancate comparazioni e
sintesi dei risultati delle
valutazioni che consentissero di
indirizzare le decisioni; in pratica,
ciascuno può dire e fare la sua
senza timore di essere smentito.
Le valutazioni, quindi, per
sistematicità e capacità di
approfondimento sono state
squilibrate tra territori e tra settori
di intervento.
Non c’è però solo un problema di
quantità di valutazione, ma anche
di qualità. Alcune analisi e peer
reviews europee hanno mostrato
una scarsa qualità delle valutazioni
dei fondi europei; le valutazioni
non sono peggio di quelle
realizzate in molte altre politiche
internazionali ma sono
sicuramente al di sotto delle
ambizioni e delle attese di queste
politiche. Su questo punto l’Italia
non si discosta dalla media
europea e le più frequenti
debolezze delle valutazioni sono
state: una insufficiente attenzione
ai risultati; un disegno valutativo
spesso inadeguato a causa di una
carente teoria del programma; un
utilizzo non rigoroso di metodi e
tecniche; valutazioni di impatto
effettuate su interventi
abbandonati e quindi di scarsa
utilità; una insufficiente capacità,
o volontà, di comunicare i risultati
della valutazione e di proporre
cambiamenti delle politiche.
Le cause di queste debolezze sono
varie e possono cambiare nei
diversi contesti, propongo
comunque un loro elenco non
esaustivo: resistenza alla
valutazione nella PA; insufficiente
indipendenza dei valutatori; ruolo
egemonico dei gestori dei
settembre - ottobre 2014, n.8
!
9
programmi sulla valutazione con
potenziale conflitto di interesse;
scarsa capacità delle
amministrazioni a fare i bandi ed
a guidare i processi valutativi;
tempi e risorse inadeguati per
realizzare valutazioni di qualità;
scarsa capacità dei team di
valutatori a confrontarsi con i temi
dello sviluppo; maggiore interesse
delle amministrazioni per i
processi, in quanto i risultati
vengono percepiti fuori delle loro
competenze; assenza di dibattiti
pubblici che consentano una
verifica della qualità ed utilità
della valutazione.
A fronte di queste debolezze
alcuni passi in avanti possono
comunque essere segnalati. Prima
di tutto, la diffusione, seppure
ancora limitata e non sempre
rigorosa, di metodi econometrici
di impatto controfattuale. In
secondo luogo, la diffusione di un
approccio più pragmatico e volto
ad analizzare pezzi omogenei di
programma, invece che interi
programmi troppo complessi da
interpretare. In terzo luogo, una
crescente capacità di alcune
amministrazioni, generalmente del
Centro-Nord, ma anche il
programma istruzione, ad
organizzare attività valutative in
modo sistematico e pianificato.
Il sistema di conoscenze restituito
dalla valutazione di questi anni è
quindi molto lacunoso e ricorda
una mappa con molti vuoti:
abbiamo qualche elemento ma non
riusciamo a ricostruire l’insieme.
Questa condizione impedisce di
utilizzare la valutazione in modo
regolare e su tutti i programmi
come supporto democratico alle
decisioni.
Innanzitutto, la scarsa valutazione
non ha garantito accountability:
non è chiaro cosa i programmi
hanno realizzato né se hanno
conseguito risultati significativi.
A questo riguardo anche la
discussione sulle valutazioni
realizzate è rimasta chiusa tra
pochi adepti (valutatori, gestori
dei programmi, Dipartimento
Politiche di Sviluppo,
Commissione Europea) e di certo
non ha aiutato. Per esempio negli
ultimi mesi alcuni accademici
(p.e. Nannariello, Perotti, Teoldi
su lavoce.info) o giornalisti si
sono cimentati con gli effetti dei
programmi europei, ma pur
toccando criticità vere le loro
analisi hanno spesso peccato di
superficialità o vaghezza proprio
perché non potevano basarsi su
valutazioni sistematiche.
Alcuni elementi di fondo che
hanno caratterizzato la negativa
esperienza della programmazione
2007-2014 (divari regionali in
aumento, disoccupazione in
crescita, deindustrializzazione di
vaste aree del paese, scarsa
innovazione, investimenti pubblici
fermi, incapacità di molte
amministrazioni) non trovano una
risposta, perché l’inadeguata
valutazione non ha saputo
collegare le politiche pubbliche ai
bisogni del paese. Non a caso la
definizione dei programmi
2014-2020 attualmente in corso è
in molti casi estemporanea oppure
riproduce in modo acritico modelli
passati.
Le sfide che attendono ora la
valutazione sono però importanti e
non si possono perdere. Nel
2014-2020 saranno obbligatorie
almeno 3-4 valutazioni per
programma (1 per ogni asse
prioritario) per un totale di circa
300 valutazioni, le quali andranno
rivolte non solo ai processi ma
soprattutto ai risultati; ulteriori
valutazioni saranno possibili ma
discrezionali. Queste attività
andranno obbligatoriamente
programmate in specifici piani di
valutazione che dovranno essere
definiti entro il 2015. Dopo la
definizione dei programmi, si
aprirà quindi nei prossimi mesi
una importante e diffusa
riflessione sulla valutazione dei
programmi comunitari.
Guardando ai limiti del passato è
necessario che questa discussione
segua alcuni principi
fondamentali:
•essere il più possibile pubblica e
coinvolgere i principali
stakeholders,
•mettere al centro la conoscenza
e non mode o approcci teorici
(controfattuale vs theory based)
e quindi pianificare le attività
valutative in relazione ai bisogni
di conoscenza e al ciclo del
programma;
•porre attenzione alla effettiva
realizzazione delle valutazioni
(domande valutative, tempi e
risorse, attenzione alla qualità) e
non a generici impegni,
•impegnarsi ad assicurare una
reale indipendenza dei
valutatori;
•p r e v e d e r e u n a a d e g u a t a
discussione pubblica e l’utilizzo
dei risultati della valutazione.
È inoltre importante prevedere la
sostituzione delle amministrazioni
che non si mobilitano
adeguatamente o che non
garantiscono una adeguata
indipendenza dei valutatori. È
anche necessario attivare diverse
forme di animazione e confronto
tra amministrazioni e programmi,
tra valutatori professionali ed
accademia, tra valutatori e
stakeholders.
In questo contesto l’AIV può
giocare un ruolo importante
monitorando questi processi e
segnalando quando questi
deragliano dai binari di una buona
ed efficace valutazione. L’AIV
può anche sostenere la diffusione
di criteri di qualità della
valutazione e può aiutare ad
amplificare la discussione sui
risultati delle valutazioni. La sfida
a colmare i vuoti della valutazione
dei fondi europei è quindi rivolta
anche all’AIV.
Note
*Vedi A. Naldini La severa
lezione della programmazione
2007-2013 in Scenari economici,
Confindustria, n.20 giugno 2014.
**Vd. http://ec.europa.eu/
regional_policy/sources/docgener/
evaluation/pdf/eval2007/
note_peer_group_exercise_10201
3.pdf
settembre - ottobre 2014, n.8
!
La valutazione dei
fondi strutturali: uno
sguardo sul recente
passato in Italia
Lodovico Conzimu - Regione Autonoma
della Sardegna
([email protected])
10
Sono passati ormai quasi 40 anni
da quando la politica regionale
europea, sorta nel 1975 con
l'istituzione del Fondo Europeo di
Sviluppo Regionale (FESR), ha
iniziato a promuovere lo sviluppo
economico e sociale dei contesti
t e r r i t o r i a l i m a rg i n a l i o i n
condizioni di arretratezza. Oggi,
dopo un così lungo lasso di
tempo, si devono necessariamente
fare i conti con una sempre
maggiore ed insistente richiesta di
trasparenza ed accountability da
parte dell'opinione pubblica
europea. Da più parti, nel mondo
politico, accademico, i media si
domandano quale sia stato il loro
impatto in termini di crescita e
riequilibrio dei divari territoriali,
più precisamente, di valutarne gli
effetti. A questo proposito, nel
seguente articolo, si descriverà
come in questi anni vi siano state
esperienze valutative che
sembrano particolarmente
consistenti anche se, come
evidenzia Naldini nel suo
contributo, non sempre hanno
garantito qualità e coperto tutti i
settori interessati dalla Politica di
coesione.
Ma tale esigenza non è solo il
frutto del dibattito odierno su
questo tema, ma ha radici lontane.
Infatti, già nei primi anni di avvio
della politica regionale e con la
prima riforma dei fondi strutturali
(1988) era emersa la necessità di
accompagnare gli interventi, con
un’analisi dei loro esiti*.
Bisogna, quindi, riconoscere che
con l'avvio dei fondi strutturali,
con tutti i limiti che si conoscono,
vi sia stato un forte impulso,
soprattutto in Italia, per la
v alut a z i on e d e l l e p o l i t i c h e
pubbliche. Nelle pubbliche
amministrazioni, dove i concetti
di efficienza ed efficacia hanno
sempre avuto difficoltà ad
imporsi, con l'avvento dei
programmi comunitari, il tema
dell'accountability inizia a trovare
spazio, per dare conto degli
interventi posti in essere con il
contributo dei fondi strutturali.
Oggi ci ritroviamo dopo tre cicli
di programmazione, all'alba del
nuovo settennio 2014-2020, con
l'introduzione di nuove regole e
nuove sfide, e dove la
valutazione, almeno secondo
quanto ribadito dai documenti
ufficiali, sembra assurgere ad un
ruolo di ancora maggior prestigio.
La filosofia di tutto il nuovo
periodo di programmazione si
poggia sulle parole guida resulted
oriented, le azioni devono essere
focalizzate verso risultati concreti
e, soprattutto, misurabili.
Seguendo tale approccio, nei
regolamenti** è stato introdotto
l'obbligo di predisporre Piani di
valutazione in cui definire
modalità, temi e metodi per la
valutazione della futura politica di
coesione. Pratica già presente nel
recente passato 2007-2013, ma in
questo caso viene ribadita, con la
cogenza di una previsione
normativa ad hoc, l'importanza di
dotarsi di uno strumento che
consenta di sistematizzare tutto il
complesso iter delle valutazioni.
In Italia, i Piani di valutazione
hanno riguardato non solo i fondi
strutturali, ma si è voluto dare una
visione d'insieme, considerando
come parametro di rifermento la
politica regionale unitaria
(esaminando, quindi, sia le
politiche confinanziate con fondi
strutturali che quelle finanziate
dalle sole risorse nazionali).
Le diverse Autorità di Gestione
avevano predisposto proprio Piani
settembre - ottobre 2014, n.8
!
11
di valutazione per organizzare la
funzione di valutazione,
individuando le modalità
organizzative della valutazione, le
risorse, i meccanismi di selezione
delle valutazioni, le attività
valutative intraprese e da
intraprendere e le modalità di
disseminazione dei risultati.
L'Unità di valutazione degli
investimenti pubblici (UVAL) del
Dipartimento per la coesione e lo
sviluppo economico ha
predisposto un database,
raccogliendo direttamente le
informazioni presso i Nuclei di
Valutazione e Verifica degli
Investimenti Pubblici regionali ed
in capo a Ministeri. Secondo i dati
presenti in tale DB per il solo
periodo 2007-2013 sono state
censite, a livello regionale e
nazionale, ben 322 attività
valutative di vario genere, sia di
carattere trasversale e generale
(incentrate sui Programmi
Operativi regionali e nazionali)
che di tipo tematico, più
circoscritto e puntuale
(analizzando politiche od
argomenti specifici). Una mole di
analisi, dati, informazioni notevoli
che hanno visto operare esperti e
professionisti della valutazione a
tutti i livelli, sia in ambito
pubblico che privato, che si sono
cimentati in diversi ambiti tematici
e hanno utilizzato differenti
tecniche e metodologie.
Entrando nel merito delle
valutazioni condotte finora sui
fondi strutturali, si nota che la
maggior parte di queste rientrano
nella categoria di attività
meramente "regolamentari",
ovvero che
possono essere
considerate alla stregua di
adempimenti formali, attenendosi
al rispetto di quanto previsto dalla
normativa europea, e non il frutto
di una reale esigenza informativa e
di un chiaro mandato valutativo.
Tu t t a v i a a n c h e i n q u e s t e
valutazioni si possono rinvenire
informazioni di estremo interesse,
che se opportunamente utilizzate
rappresentano un'imprescindibile
fonte per inquadrare l'andamento
in termini di capacità di spesa,
realizzazioni, efficienza allocativa
dei Programmi Operativi che
hanno operato nel territorio
italiano.
Le valutazioni cosiddette
tematiche, invece, si distinguono
dal fatto che oltre ad avere oggetti
valutativi definiti, appaiono
derivate da un processo di
definizione delle domande
valutative maggiormente
intelligibile. In questo caso le
ricerche si sono concentrate su
alcuni particolari aspetti (politica,
intervento, ecc.). Utilizzando la
terminologia propria dei fondi
strutturali possiamo suddividere
queste valutazioni in ex ante, in
itinere ed ex post.
Fig.1 Le valutazioni sui fondi
strutturali sulla programmazione
2000-2006 e 2007-2013
Fonte: nostra elaborazione su dati
UVAL - DPS
Come si può facilmente intuire
dalla fig. 1, e contrariamente a
quanto da più parti si afferma, in
questi anni sono state condotte
innumerevoli valutazioni sugli
effetti (ex post appunto) che hanno
toccato diversi campi, dalle
politiche anticrisi, alla Ricerca e
Sviluppo, allo sviluppo locale.
La tabella 1 mostra come molte di
queste si sono concentrate nel
valutare i diversi interventi
formativi, soprattutto i loro
possibili esiti occupazionali, che
da tempo ormai rappresentano il
fulcro delle politiche di capacity
building della Commissione
europea e su cui è possibile,
quindi, avere a disposizione
informazioni in un arco temporale
più esteso. La varietà è comunque
ampia sia in termini di ambito di
interesse che di oggetti. Alcune
valutazioni hanno riguardato
progetti specifici (come per es. il
caso della Regione Campania con
la valutazione denominata: “Tra il
dire e il mare”: una valutazione ex
post del progetto integrato “città di
***
Napoli” 2000-2006 ), altre
politiche di stretto interesse della
Regione stessa (come la
valutazione su "Le politiche di
sostegno al settore dei Trasporti"
della Regione Sicilia).
Tab. 1. Gli ambiti d'interesse delle
valutazioni sui fondi strutturali
della programmazione 2000-2006
e 2007-2013. n. di valutazione per
settore.
settembre - ottobre 2014, n.8
!
12
Come ricordato in precedenza
sono in netta prevalenza le
valutazioni sul tema formazione.
Sappiamo che sulla qualificazione
dei lavoratori, piuttosto che sulla
promozione di percorsi
professionali, si sono investite
notevoli risorse (in primo luogo
del Fondo Sociale Europeo-FSE)
ragion per cui si è maggiormente
concentrata l'attenzione su tale
ambito. Interessante notare come
tali indagini valutative non si siano
soffermate sul solo aspetto
occupazionale, ma anzi abbiano
osservato l' "evaluando" in tutte le
sue sfaccettature, dalla qualità
dell'offerta formativa (Regione
Lazio) all'analisi comparativa sui
costi delle attività formative
(Provincia Autonoma di Trento),
fino alla valutazione dei
fabbisogni professionali e
formativi delle imprese (Regione
Marche). Il maggior spettro di
indagine sul tema della
formazione, non ha certo
comportato un mancato
approfondimento sulla questione
dell'efficacia di tali interventi
formativi, come dimostrano le
analisi dell’efficacia dei percorsi
di alta formazione condotte dal
Ministero dell’Istruzione,
dell’Università e della Ricerca,
"Alta formazione e occupabilità percorsi di transizione al lavoro
nel Mezzogiorno"****.
Altro tema caldo ha riguardato lo
Sviluppo locale, che soprattutto
con la progettazione integrata ha
trovato ampio spazio nei
Programmi Operativi Regionali.
Pur essendo la progettazione
integrata una modalità operativa di
attuazione dei Programmi
Operativi, spesso questa è stata
considerata come un’entità unica,
sia per la sua particolare ed
innovativa natura progettuale (topdown ed integrata, appunto) che
per il volume di risorse che ha
mobilitato.
In particolare, sono le regioni del
centro-sud (Campania, Puglia,
Sicilia, Umbria) che hanno
dimostrato una maggiore
attenzione a tale tematica, con
approfondimenti sia sul versante
dell'efficacia ("Valutazione ex post
dei Progetti Integrati del POR
2000-2006 della Regione
Campania"***** e "L’attuazione
dei PIT in Sicilia una Valutazione
finale dell’esperienza"******) che
su quello dell'attuazione
("Indagine valutativa su uno
strumento di Policy: i PIT–Primo
stato di avanzamento della
Regione Puglia"*******). Anche
a livello "centrale" l'argomento è
stato trattato con particolare
interesse, anche in considerazione
del fatto che la stessa
progettazione integrata
rappresentava una sfida ed
un'opportunità cara all'allora capo
dipartimento Fabrizio Barca.
Proprio l'UVAL ha predisposto
alcune “Valutazioni dell’impatto di
alcuni PIT della programmazione
2000-2006 e delle sue
determinanti”******** attraverso
le quali si sono valutati metodi e
risultati, in relazione agli obiettivi
di trasformazione economica e
sociale che gli stessi PIT si
prefiggevano di raggiungere.
Queste valutazioni hanno fornito
una lettura analitica dei risultati
raggiunti tenendo conto di tutti
quei fattori che potevano
influenzare gli esiti finali del PIT
stesso: risorse umane; vincoli
istituzionali; inerzie burocratiche;
pregresse iniziative di sviluppo;
specificità del territorio.
Altra politica su cui lo sforzo
conoscitivo si è dispiegato, è
quella relativa al supporto alle
imprese (tab. 1), che rappresenta
l'altro grande pilastro (oltre a
quelli riguardanti gli investimenti
infrastrutturali e sul capitale
umano) della politica di coesione,
un "pacchetto" di interventi su cui
i fondi strutturali hanno puntato
settembre - ottobre 2014, n.8
per sovvertire lo stato di disagio
economico delle aree dell'Europa
maggiormente arretrate.
!
In questo ambito, risultano
interessanti i lavori presentati su
un tema "scottante" nel dibattito
europeo, relativamente alle misure
di agevolazione di accesso al
credito (si veda per es. le
valutazioni della Regione
Sardegna e del Molise sui
rispettivi
Fondi
di
Garanzia*********). Gli
interventi di ingegneria finanziaria
hanno rappresentato, almeno
stando a queste prime valutazioni
un boccata d'ossigeno per il
mondo imprenditoriale.
Questa breve rassegna sulle
valutazioni condotte in questi
ultimi anni sui fondi strutturali,
pone in evidenza un contesto
attivo, che ha consentito la
costruzione di un notevole
patrimonio informativo.
Naturalmente, questo non significa
che la qualità sia sempre garantita
ed omogenea in tutti i lavori o che
i risultati di tali analisi abbiano
sortito chissà quale effetto sul
decisore finale (preferisco la
versione italiana di policy maker).
Tuttavia, questo complesso di
valutazioni rappresenta
un'opportunità per chi intende
favorire e promuovere la
valutazione delle politiche
pubbliche, in quanto da una parte
garantiscono un interessante
parametro di confronto e,
dall'altra, permettono una
maggiore consapevolezza da parte
dell'opinione pubblica sull'utilizzo
di una fetta consistente di risorse
pubbliche.
Note
13
*L'articolo 6 del regolamentoquadro dei fondi strutturali per il
periodo 1989 - 1993 stabiliva per
la prima volta che "al fine di
apprezzare l’efficacia degli
interventi strutturali, l’azione
comunitaria è oggetto di una
valutazione ex ante ed ex post
destinata a valutare il suo
impatto”.
**Regolamento (UE) n.
1303/2013
***Tra il dire e il mare: una
valutazione ex post del progetto
integrato “città di Napoli”
2000-2006
****http://www.dps.mef.gov.it/
documentazione/snv/
piani_valutazione/Pon_ricerca/
2 0 0 0 - 2 0 0 6 /
Alta_formazione_e_Occupabilita.
pdf
*****http://www.dps.mef.gov.it/
documentazione/snv/
piani_valutazione/campania/
Valutazione_ex_post_PIPOR.pdf
******http://www.dps.mef.gov.it/
documentazione/snv/
piani_valutazione/sicilia/
Valutazione_PIT_Rapporto_Finale
.pdf
*******http://www.dps.mef.gov.it/
documentazione/snv/
piani_valutazione/puglia/
4_Val_expost_PIT.pdf
********http://www.dps.mef.gov.it/
materialiuval/
*********http://
www.dps.mef.gov.it/
documentazione/snv/
piani_valutazione/molise/Fondo
%20di%20garanzia0006BIS.pdf
Lo stato della
valutazione del FSE in
Italia
Claudia Villante - Isfol
([email protected])
Nella programmazione dei fondi
strutturali 2007/2013 si è affidata
alle Amministrazioni titolari dei
Programmi Operativi l’opportunità
di definire temi, tempistiche,
interventi da valutare, nonché
metodologie e strumenti di analisi.
La scelta effettuata di lasciare alle
singole Autorità di Gestione tale
libertà di azione nasce dall’idea di
legare la valutazione alle esigenze
conoscitive dei singoli territori e
di utilizzare gli esiti degli studi per
aumentare l’efficacia delle scelte
di policy dei decisori politici.
Questa scelta ha dato origine ad un
panorama diversificato di
valutazioni, di domande
valutative, di metodologie e
approcci che, se da un lato ha
avvicinato la ricerca alle priorità
delle Amministrazioni, dall’altro
ne ha aumentato le responsabilità
decisionali e gli oneri
o rg a n i z z a t i v i c o n n e s s i a l l a
garanzia di qualità dei processi e
dei risultati.
Il Regolamento 1083/2006, art.
47, comma 2, ha introdotto una
distinzione in merito alla funzione
attribuita alla valutazione,
attribuendo ad essa una doppia
natura:
1) Una natura strategica,
finalizzata all’esame dello
sviluppo di un programma o di
un gruppo di programmi rispetto
alle priorità comunitarie e
nazionali, e
2) Una natura operativa,
orientata a supportare il
monitoraggio/la sorveglianza di
un programma operativo.
Nello stesso Regolamento veniva
inoltre stabilito che le attività
valutative dovevano essere svolte
in tre fasi:
-‐ iniziali (ex ante), per apprendere
da altre esperienze già concluse,
al fine di migliorare
l’impostazione dell’attuazione;
-‐ durante l’attuazione (on-going),
per affrontare problemi, nuove
opportunità, migliorare i
processi attuativi e,
eventualmente, modificare il
programma;
-‐ nella fase finale (ex post), volta
ad accumulare conoscenze per il
periodo successivo di
programmazione ed evitare
errori futuri, nonché a rendere
conto alla collettività di quanto
settembre - ottobre 2014, n.8
!
14
fatto in precedenza.
Contrariamente a quanto è
avvenuto nel precedente periodo
di programmazione, la
Commissione nel 2007-2013 non
ha stabilito né un calendario di
produzione delle valutazioni né
tanto meno l’obbligo di condurre
alcune tipologie specifiche
di
valutazione durante il periodo di
attuazione (come ad esempio la
valutazione intermedia), ma ha
incoraggiato la costruzione di
sistemi nazionali e regionali basati
sulla realizzazione di valutazioni
ricorrenti lungo tutto il periodo di
attuazione dei programmi
operativi. L’idea era di avviare un
processo fondato sulla
“valutazione continua” senza più
vincoli temporali esterni e
maggiormente adattato alle
priorità e alle esigenze interne.
Questo mutato contesto ha
generato tuttavia percorsi molto
differenziati tra le Autorità di
Gestione responsabili di condurre
tali valutazioni. Da una parte,
infatti, sono stati prodotti
approfondimenti tematici e
valutazioni specifiche molto utili
ed interessanti, basati su scelte
metodologiche di tipo
sperimentale e non, e dall’altro si
sono verificati veri e propri vuoti
valutativi: la mancanza di vincoli
ha quindi messo in trasparenza la
presenza di culture valutative
interne alle amministrazioni molto
“illuminate” da un lato, e l’assenza
totale di tale sensibilità dall’altro.
Basta leggere il recente report
della DG Employment*, per
mappare la virtuosità di alcune
realtà regionali rispetto ad altre e
tirare le somme dello stato di
avanzamento del dibattito intorno
alla valutazione nel nostro Paese
rispetto agli altri Stati membri.
Esaminando gli studi mappati da
questo report, emergono
informazioni interessanti in merito
alle scelte metodologiche adottate.
Gli approcci sono stati:
1)
valutazioni focalizzate
sui processi di gestione e di
implementazione dei Programmi
Operativi, effettuate con analisi
di secondo livello di materiali di
divulgazione, interviste in
profondità agli stakeholder e
manager;
2)
valutazioni di secondo
livello basate sui dati di
monitoraggio, volte a
valorizzare gli indicatori previsti
dai Programmi Operativi (come
ad esempio i tasso di copertura
degli interventi, il tasso di
partecipazione dei destinatari
finali degli interventi, ecc);
3)
valutazioni basate su
indagini campionarie, effettuate
attraverso l'invio di questionari,
volte a quantificare l’effetto
lordo degli interventi in termini
di impatti occupazionali oppure i
livelli di soddisfazione dei
destinatari finali;
4) valutazioni basate su dataset di
natura amministrativa,
finalizzate ad osservare nel
tempo l’evoluzione di fenomeni
occupazionali;
5) valutazioni di impatto
controfattuale, effettuate su
destinatari finali degli interventi
(in particolare di interventi
personalizzati come i voucher
formativi);
6) valutazioni basate su
metodologie miste (analisi dei
dati di monitoraggio e indagine
su un campione di beneficiari
finali), in particolare centrate
sull’analisi di efficacia relativa
degli interventi.
Il Sistema Nazionale di
Valutazione, che ha operato per
molto tempo presso il
Dipartimento dello Sviluppo
Economico, ha effettuato, nel
tempo, un lavoro di raccolta e
sistematizzazione delle valutazioni
condotte dalle Autorità di
Gestione. Tuttavia si tratta di un
lavoro che è attualmente non
aggiornato e l’unica mappatura
settembre - ottobre 2014, n.8
che ad oggi può fornire un quadro
della produzione è quella già
citata, realizzata dalla DG
Employment, Social Affairs and
Inclusion.
!
L’Isfol ha realizzato nel 2012
un’analisi degli studi valutativi in
corso**, basandosi sulle
“dichiarazioni di intenti”
contenute nei Piani Unitari di
Valutazione (PUV) e sulla base di
questionari compilati dai
Responsabili di tali Piani, previsti
dal Regolamento 1083/2006. Da
questa mappatura emergeva un
quadro molto ricco (se non altro in
termini quantitativi) così come
emerge dalla figura di seguito
riportata:
Fig.1 – Valutazioni Fse per
Regioni e Province Autonome*
da 0 a 1
da 5 a 9
da 2 a 4
da 10 a 14
dato non
presente
Fonte: elaborazione Isfol su dati
Snv. La Calabria è assente in
quanto non ha risposto al
questionario, 2012.
La figura 2 riporta, per tipologia di
valutazione e amministrazione
committente, la distribuzione di
tali prodotti in fase di avvio.
Regioni obiettivo (valori
percentuali)
Fonte: elaborazione Isfol su dati
Snv, 2012
Facendo un rapido confronto con
queste due uniche fonti di dati si
osserva il basso “tasso
realizzativo” delle valutazioni
condotte nel nostro Paese. Le
valutazioni condotte tra il 2006 e il
mese di dicembre 2011 riferite a
interventi/progetti finanziati con il
FSE sono state complessivamente
113. Secondo lo studio della DG
Employment gli studi portati a
termine, con riferimento alle
stesse tematiche, sono appena 20.
Sebbene vada considerato che il
report della Commissione faccia
riferimento alle valutazioni
relative agli interventi volti a
supportare i processi di accesso al
mercato del lavoro, va ricordato
che il FSE ha finanziato nel nostro
paese tali processi in maniera
esclusiva, mentre possono
considerarsi marginali le
valutazioni che attengono alle
stesse tipologie di intervento in
altre politiche e fondi di
finanziamento. Facendo un
semplice rapporto tra report di
valutazioni previsti dai Piani
Unitari di Valutazione (fonte Isfol)
e prodotti realizzati (fonte DG
Employment) emerge infatti una
percentuale pari a 17,7!
Dal punto di vista delle tematiche
affrontate dalle valutazioni
concluse, secondo la fonte Isfol, i
principali argomenti di analisi
sono stati:
Fig.2
15
-‐ G l i e s i t i a s o s t e g n o
dell’occupabilità, relativi:
o
ai corsi attivati in seno
alle direttive “diritto-dovere di
istruzione”, orientati ai giovani
soggetti all’obbligo formativo,
e ai percorsi formativi rivolti
ai lavoratori disoccupati;
o
all’analisi integrata
dell’efficacia degli interventi
formativi in termini di
diversificazione degli esiti nei
singoli contesti territoriali
provinciali;
o
alla comprensione dei
fattori che influenzano il
miglioramento delle
performance aziendali, delle
caratteristiche degli
investimenti realizzati e delle
criticità nella fase di
realizzazione.
-‐ G l i e s i t i d i i n t e r v e n t i d i
formazione continua per gli
occupati, finalizzati ad
interpretare l’articolazione di
esperienze, comportamenti e
attese espresse dagli occupati
che hanno fruito negli ultimi
anni di interventi di
riqualificazione, aggiornamento
o riconversione professionale.
-‐ L’analisi degli effetti generati
dalle politiche di contrasto alla
crisi socio-occupazionale.
-‐ L’analisi del rafforzamento della
capacità amministrativa
regionale e l’attuazione di
specifici modelli di governance.
-‐ L’analisi di impatto della
progettazione integrata, quale
strumento di sviluppo locale.
-‐ L’analisi della capacità di
comunicazione e diffusione con
riferimento al grado di risposta
alle esigenze di conoscenza dei
programmi, realizzato dalle
attività in corso di attuazione, e
al grado di trasparenza e di
accessibilità delle informazioni
sulle opportunità offerte dai
programmi comunitari.
settembre - ottobre 2014, n.8
!
In generale le analisi condotte
evidenziano diverse criticità,
soprattutto se messe a confronto
con le richieste nell’ambito della
programmazione 2014-2020. In
particolare va segnalata:
-U n n u m e r o l i m i t a t o d i
destinatari finali coinvolti nelle
analisi;
- l'assenza di una valutazione del
rapporto tra risultati (di qualsiasi
tipo) e le spese sostenute (costiefficacia);
- la mancanza di connessioni
causali, in alcuni casi
parzialmente, in altri totalmente,
tra la descrizione del contesto
economico in cui si verifica
l'attuazione del Programma, e il
contributo che il FSE (e dei suoi
risultati) intende fornire;
- la mancanza di analisi di larga
scala di analisi contro-fattuali.
Se si considera che nel periodo di
programmazione che si sta
aprendo, la Commissione Europea
ha posto uno specifico accento
sulle valutazioni di impatto basate
sull’evidenza dei dati per orientare
le politiche ed
i programmi
(evidence base policy) le
esperienze condotte a questo
proposito risultano molto limitate.
Se da una parte è vero che esistono
politiche di intervento che male si
conciliano con i metodi
controfattuali (si vedano a questo
proposito tutti gli interventi di
natura sociale, a cui peraltro il
FSE destinerà una fetta di almeno
il 20% delle risorse complessive),
è anche vero che per la mancanza
di una tradizione in questo ambito
tutta italiana, (ad eccezione di
pochi e limitati casi che si
riferiscono ad universi limitati di
destinatari***), occorre avviare un
lavoro serio di riflessione e di
costruzione anche a partire dal
patrimonio di conoscenze già
presente nella nostra Associazione.
16
Note
*European Commission, DG
Employment, Social Affairs and
Inclusion, ESF Expert Evaluation
Network, Final synthesis report:
Main ESF achievements,
2007-2013, March 2014.
**Luisi D., Mastracci C.,
Santomieri K., Si può fare.
Capacità valutative, realizzazioni
e apprendimenti per la valutazione
delle politiche per le risorse
umane. Riflessioni a partire
dall’analisi dell’attuazione, Isfol,
Collana Research Paper, numero
4 - dicembre 2012, dei Piani
unitari di valutazione 2007-2013.
Lo studio ha utilizzato la banca
dati delle valutazioni gestita dal
Sistema Nazionale di Valutazione
e ha effettuato una rilevazione
diretta presso le amministrazioni
attraverso la compilazione di un
questionario on line da parte dei
R e s p o n s a b i l i d e i P U V. L a
rilevazione è avvenuta tra il mese
di novembre 2011 e il mese di
gennaio 2012, con qualche
integrazione successiva entro
marzo 2012. Le informazioni
raccolte si riferiscono allo stato
delle valutazioni della politica
regionale previste e/o realizzate
dalle diverse Amministrazioni
entro il mese di dicembre 2011.
***A questo proposito si citano i
casi della Provincia Autonoma di
Trento e Piemonte dove sono state
condotte analisi di tipo
controfattuale.
EVALUATION OF COHESION
POLICY 2014-2020
Veronica Gaffey - Head of Unit Evaluation
and European Semester
Brussels, September 2014
Result Orientation and
Implications for Evaluation
The result orientation is at the
heart of the new cohesion policy
for 2014-2020.
This new
approach will have important
consequences, both for those who
manage Structural Funds and
those involved in the evaluation of
the programmes.
The ex post evaluation of the
2000-2006 cohesion policy
programmes was the most
intensive undertaken yet. Twenty
evaluations were undertaken for
the Directorate General for
Regional and Urban Policy, being
finally completed in 2011. The
Directorate General for
Employment and Social Affairs
also carried out an intensive
evaluation work programme. An
important finding was the multiple
nature of cohesion policy
objectives which are not confined
to economic development but
include also strengthening social
and territorial cohesion. This,
combined with lack of clarity in
operational programmes on the
precise objectives which they were
intended to achieve and how that
achievement could be verified,
helped us to understand that if
evaluation was to fully play its
role, policies and programmes
would have to change.
This was the genesis of the result
orientation for the future policy.
Another pressure was a growing
demand from Member States for a
greater accountability for what the
policy achieved in real terms as
opposed to the more traditional
focus on absorption of funds and
correct expenditure in audit terms.
The main change for the future is
that we ask for each priority in a
programme: What do you want to
change? This is the specific
objective. The specific objective
should have a corresponding result
indicator with a baseline. The next
question is to ask will the
allocated funds deliver the
proposed outputs and how will this
contribute to change in the
expected result - and the result
indicator (the intervention logic).
We recognise that other factors
will contribute to change. It is the
role of evaluation to assess the
extent of the contribution of the
policy to change and disentangle
this from the role of other
factors.The evaluator will,
therefore, have a clearer idea of
settembre - ottobre 2014, n.8
!
the objective to be achieved,
against which success can be
measured. We have found in the
current period that over 80% of
Member States evaluations are
concerned with implementation
issues – how project selection
operates, bottlenecks to
absorption, appropriateness of
indicator systems, etc. Few
evaluations deal with impact (the
contribution to change). We want
to redress this balance.
In summary, what legal provisions
for the 2014-2020 period should
deliver for evaluation is:
A clear statement of objectives
with associated indicators
against which the policy can be
evaluated.
An enlarged role for evaluation
which in addition to supporting
"the quality of the design and
implementation of programmes"
is to "assess their effectiveness,
efficiency and impact".
An evaluation plan for each
programme which must be
drawn up within one year of the
approval of the programme.
For each priority, there must be
an evaluation during the
programming period on how it is
contributing to its objectives
(impact evaluation).
The monitoring committee
debates the evolution of the
result indicators, monitors the
evaluation plan and follows up
the findings of evaluation.
Each year from 2016, the
Commission sends a report to
the Council and European
Parliament synthesising the
evidence on the performance of
the policy from the Annual
Implementation Reports and
available evaluations.
Current State of Evaluation
Capacity in Europe
Through Structural Funds, the
European Commission has
supported the development of
evaluation capacity since the early
1990s. Much has been learned
over the period, so much so that it
is often said that cohesion policy is
the most evaluated of all EU
policies. However, we believe that
now is the time to make a step
•
•
•
•
•
•
17
forward in terms of improving the
rigour of evaluations and in
ensuring that issues of causality
gain a higher prominence.
Member States' capacities for and
interest in evaluation vary widely.
We have some traditionally very
active Member States with strong
evaluation societies – such as Italy.
Since 2004 following enlargement
of the EU, some of the newer
Member States have invested very
significantly in developing their
evaluation capacity: Poland and
Hungary deserve particular
mention. Other Member States do
very few Structural Fund
evaluations, even if they have a
strong capacity at national level,
while others invest in evaluation
but capacity is limited.
In the current programming
period, there are very few
requirements for evaluations
which must be carried out. We
have encouraged a needs-based
approach to evaluation: evaluate
what you need to know when you
need to know it. For 2014-2020,
we require an evaluation of each
priority at some point during the
programming period, looking at
effects. But the timing and method
is open.
Can it be done?
The changes for 2014-2020 are
quite important and will be
challenging to deliver on. There
are challenges both for managing
authorities and for evaluators.
Managing authorities will need to
plan evaluations from the
beginning of the programming
period. This will include planning
for the data to be available for
evaluations and their timing. It
should therefore include some
reflection on the most appropriate
methods to be used. Managing
authorities will need to be open to
receiving evaluations which may
find that priorities are not
achieving their objectives and
changing their policies
accordingly. A further challenge
for managing authorities is that in
times of fiscal consolidation,
pressure may be put on resources
for evaluation – both financial and
human. This is short-sighted, as
evaluation is an important input to
the quality of spending but the
danger is real.
For evaluators, this new interest in
causality requires a higher quality
of evaluations.
Descriptive
evaluations focused on bottlenecks
to implementation will not suffice.
Evaluations will need to make
j u d g e m e n t s o n e ff e c t s a n d
effectiveness. If they play their
role and live up to this challenge,
evaluations will have a much
stronger influence on the decision
making process.
We have some years to put the
new requirements into practice.
Evaluation plans will be
completed in late 2014/early 2015.
The first annual implementation
reports for the new policy are
required in mid 2016 and in this
year the Commission sends out the
first of the annual reports to the
Council and Parliament on the
performance of the policy.
In
reality, we know that evaluations
on effects will be later in the
programming period, from 2019
onwards. But now is the time to
prepare – through evaluations of
the current programming period.
The European Commission (both
the DGs for Regional Policy and
Employment and Social Affairs)
has recently launched the ex post
evaluation of cohesion policy
2007-2013, which must be
completed by the end of 2015.
This will be broken down into
several thematic work packages.
But the intention is to build on
evidence which is produced by
national and regional evaluations
as well as carrying out new
research.
It is important that
managing authorities carry out
evaluations in order to understand
how effective current programmes
are, to feed into continuous
improvement of interventions
which will continue into the next
programming period.
Supports from the European
Commission
Guidance for impact evaluation
has been updated and published by
the Directorate General for
Regional Policy. The "Evalsed"
Sourcebook on methods has been
revised with new sections and
links prepared by experts on
settembre - ottobre 2014, n.8
!
18
different types of and approaches
to impact evaluation*. The DG has
produced draft guidance for
designing terms of reference for
impact evaluations which will be
finalised shortly. This has seemed
to be a weak starting point in the
delivery of high quality
evaluations. We also plan to
provide further guidance and
supports for the process of
developing evaluation plans.
The European Commission does
not prescribe methods to be used
and does not favour any one
method over any other. We believe
that each evaluation requires its
own methodology – a combination
of methods which will answer the
evaluation questions taking
account of the data and the
resources available for the
evaluation. All evaluations should
contain a section on the
m e t h o d o l o g y, i n c l u d i n g a n
assessment of the inevitable
constraints of the methodology,
since no methodology can ever be
perfect and perfect data are never
available.
Expectations for Evaluators
Although it is clear that evaluators
by themselves cannot change
current practice, you can be part of
the solution. And it is in your
interests.
Because, as I have
suggested above, the prize is that
evaluation begins to play a
stronger role in decision making.
Of course evaluators are
dependent on the requests for
evaluation from the managing
authorities.
But within these
constraints, the challenge is to
consciously seek to be more
rigorous in the work that you do.
Evaluators should ensure that their
work is methodologically sound; it
must be analytical and critical and
conclusions evidence based.
Through more such evaluations,
evaluators will contribute to build
up the evidence base on what
works, where, for whom and in
what context. The Commission for
its part commits to carry out meta
analysis of such evaluations across
Member States and regions.
Together, European Commission,
managing authorities and
evaluators, can transform cohesion
policy into a genuinely
accountable policy – one that is
accountable for the results it
achieves – and one which also
learns continuously how to
improve.
Note
*Evalsed Sourcebook at: http://
ec.europa.eu/regional_policy/
information/evaluations/
guidance_en.cfm
ASSOCIAZIONE ITALIANA DI VALUTAZIONE
!!
Cari soci, poche righe per sollecitare i vostri contributi sulla Collana Valutazione, dell’Associazione Italiana
di Valutazione.
La collana, che si prefigge la diffusione della cultura della valutazione in Italia, ha iniziato le proprie
pubblicazioni nel 2000 ed ha attualmente al proprio attivo XX titoli. E’ referata da due referee anonimi, scelti
tra i Senior Advisors ovvero tra esperti di valutazione, italiani o stranieri, scelti dal Comitato Editoriale, che
dal 2013 è composto da Stefano Campostrini, Mauro Palumbo (Direttore della collana), Guido Pellegrini,
Nicoletta Stame.
Si articola in tre sezioni, cui i testi sono assegnati sulla base del giudizio del Comitato Editoriale:
• Teoria, metodologia e ricerca comprende testi di carattere teorico e metodologico, manuali di valutazione di
carattere generale o settoriale, antologie di autori italiani e stranieri.
• Studi e ricerche accoglie rapporti di ricerca, selezioni di contributi a Convegni, altre opere, monografiche o
antologiche, che approfondiscono la valutazione all’interno di un contesto specifico.
• Strumenti ospita testi più brevi, dedicati ad una tecnica o ad un tema specifico, orientati all’utilizzo diretto
da parte del fruitore, rivolti di norma ad un pubblico di professionisti e operatori.
Saremmo lieti che una maggior quantità di soci si avvalesse di questo importante strumento di diffusione
della cultura valutativa e a tal fine vi sollecitiamo a voler considerare l’opportunità di utilizzarla come canale
privilegiato di pubblicazione.
Le modalità per pubblicare nella collana sono le seguenti.
L’autrice/autore propone un testo per la pubblicazione nella collana scrivendo al Direttore di Collana.
Questi, dopo aver esaminato l’indice ragionato o un indice corredato da un abstract, che permetta di
comprendere il taglio del lavoro e quindi di valutare la sua accettazione nella collana, lo invia ai colleghi del
Comitato Editoriale, che si pronunciano su:
a) pubblicabilità sulla Collana
b) inserimento in sub collana
Una volta ottenuto il giudizio positivo del Comitato e la proposta di collocazione in sub Collana, il Comitato
definisce due referee anonimi, che attraverso il Direttore della Collana riceveranno i testi e invieranno le
osservazioni.
Nel frattempo, l’autrice/autore stipula con FrancoAngeli un contratto di edizione, che stabilisce costi e
modalità della pubblicazione. L’AIV in questo contratto standard è destinataria del 2% del prezzo di
copertina a titolo di diritti d’autore e l’autrice/autore dell’8%. Eccezioni sono fatte nei casi in cui la
pubblicazione sia integralmente o parzialmente finanziata da terzi o dallo stesso autore. Si sottolinea che le
modalità di copertura del costo della pubblicazione sono definite dall’Autrice/ore con l’Editore, ovviamente
all’interno delle regole vigenti per la Collana.
L’editore pubblica il volume solo a seguito del parere favorevole del Direttore, che si fonda sui pareri dei
referee e, ove opportuno, anche dei componenti del Comitato Editoriale (nel caso, ad esempio, ci siano
contrasti fra i referee o ci si chieda se l’autrice/autore abbia o meno rispettato le indicazioni di modifica del
testo da parte dei referee). In particolare, se i referee si esprimono positivamente e le osservazioni non sono
molto rilevanti diamo per scontato che l’autrice/ore ne tenga conto; se sono di un certo peso (riformulare
capitoli, aggiungere o tagliare, ecc.), allora il manoscritto va in seconda lettura, una volta rimaneggiato, ed è
soggetto ad ulteriore parere del Comitato.
19
ASSOCIAZIONE ITALIANA DI VALUTAZIONE
!!
La Rassegna Italiana di Valutazione (RIV) è dal 1996 la rivista della Associazione Italiana di Valutazione.
Esce in tre numeri all’anno ed è pubblicata da Franco Angeli. Inserita nella fascia più alta del ranking
Anvur delle riviste di area sociologica, la RIV ha l’obiettivo di dare visibilità e spazio al dibattito ed alle
pratiche valutative migliori caratterizzanti il nostro Paese aprendosi al tempo stesso anche al confronto con
le esperienze internazionali più rilevanti. Le proposte di pubblicazione sono sottoposte ad un rigoroso
processo di referaggio e la pubblicazione dei fascicoli è curata dalla redazione della RIV e supervisionata
dal Comitato Editoriale dell’AIV. Dal 2013 la RIV è disponibile in versione sia cartacea che digitale. Le
regole per la candidatura di contributi e più ampie informazioni sulla rivista sono disponibili al http://
www.francoangeli.it/riviste/sommario.asp?IDRivista=109&lingua=it.
La RIV è attualmente diretta da Alberto Vergani; fanno parte della redazione Daniele Checchi, Vincenzo
Fucilli, Veronica Lo Presti, Daniela Oliva, Emanuela Reale, Paolo Severati.
20
Per associarsi ad AIV, le quote d’iscrizione sono:
-100,00 euro, soci ordinari
-50,00 euro, soci giovani, a norma di Statuto e Regolamento sotto i 30 anni di
età e i dottorandi (senza limiti di età), iscritti ai Master patrocinati AIV.
-150,00 euro, soci amici dell’AIV
Effettuare il pagamento della quota associativa tramite bonifico bancario
versando la quota associativa sul c/c di Banca Prossima IBAN IT 41 L033
5901 6001 0000 0062 397
Importante!!! Nella causale del bonifico specificare il proprio nome e cognome
21
www.valutazioneitaliana.it