Slide Leone Teoria del Programma 23-4-2015

20/04/2015
Le componen) della Teoria del programma: come codificarle e schema)zzarle per lo sviluppo dei Piani di valutazione 23 Aprile 2015 Palazze0o delle Carte Geografiche Via Napoli 36, Roma Liliana Leone (Consulente proge.o NUVAL) e-­‐mail [email protected] • 
Cos’è la valutazione guidata dalla teoria del programma Negli ulJmi 50 anni molJ valutatori h anno contribuito allo sviluppo di un filone di valutazione denominato valutazione orientata alla teoria (theory-­‐
oriented) o guidata dalla teoria (theory-­‐driven) (Chen and Rossi 1987), la valutazione Basata sulla Teoria (TBE), (Weiss 2000) e la valutazione realista (Pawson, Tilley 1997). •  La Teoria del Programma (TdP) è l’elemento che accomuna tuW i diversi approcci; essa consiste in una serie di affermazioni che descrivono come e a<raverso quali meccanismi un programma, in determinate condizioni, dovrebbe avere successo. •  Si esplicitano i requisiJ necessari per o0enere i risultaJ desideraJ. Implica l’insieme delle assunzioni circa i problemi od opportunità di sviluppo e i nessi con le aWvità e le strategie che il programma intende ado0are per o0enere determinaJ effeW. Leone L. 23/04/2014 2 1
20/04/2015
• 
Cos’è la valutazione guidata dalla teoria del programma L’a0enzione è posta sulle teorie dei p olicy makers, dei manager del programma e degli altri stakeholders, sulla raccolta di ipotesi e assunzioni. Queste teorie vengono espresse in termini di ‘catena logica della policy’. •  Varietà di conce0ualizzazioni: logica del programma, catena dei risultaJ, modello causale, teoria del cambiamento, logica di intervento (EC 2013). •  La TdP svolge un ruolo primario nella idenJficazione dei bisogni, nella proge0azione degli intervenJ, nella formulazione delle policy e nella valutazione degli outcome e dei processi di implementazione (Funnell, Rogers 2011). •  Tu0avia non è sufficiente ricostruire la catena logica (logical Frame): “TBE is an effort to examine the mechanisms by which programs influence successive stages of parGcipants’ behavior.” (Weiss 2000:35). Leone L. 23/04/2014 3 Figura 1 -­‐ U)lizzare Teorie Esplica)ve e Teorie del cambiamento per pianificare e valutare i programmi PROGRAMMAZIONE
VALUTAZIONE
Leone L. 23/04/2014 4 2
20/04/2015
Uso della teoria del programma •  Serve a capire le cause di ciò che si osserva e generalizzare gli apprendimen). •  Le valutazioni testano le ipotesi. La TdPpuò essere uJlizzata per una singola valutazione, per sviluppare un Piano di valutazioni o anche per riassumere le evidenze tra0e da più valutazioni. VALUTAZIONE •  Il programmatore analizzando la Teoria del programma dovrebbe comprendere meglio i risulta) offerJ dalla valutazione, prevedere meglio tali effeW e disegnare programmi migliori! Fine esplica)vo
Finalità conosci)va esplora)va
U)lizzazione Trasferimento conoscenze
Leone L. 23/04/2014 5 ComponenJ della Teoria del Programma Si usano in genere 4 componenJ per descrivere un programma: 1. 
2. 
3. 
4. 
Le assunzioni o ipotesi alla base del programma input e aRvità Risulta) e outcomes a<esi Meccanismi a<esi e teorie del cambiamento La TdP viene rappresentata tramite una sequenza logica di step-­‐
blocchi che spiegano: •  il nesso e la progressione temporale tra intervenJ, risultaJ intermedi e outcome •  IdenJfica teorie del cambiamento e/o i meccanismi che fanno funzionare gli intervenJ (Es: credenze, i desiderata e i costruN cogniGvi che influenzano le scelte e le azioni dei diversi a.ori) Leone L. 23/04/2014 6 3
20/04/2015
Come fare? Sviluppare la catena SE -­‐ Allora Con gli stakeholder occorre idenJficare le maggiori aWvità del programma e le diverse assunzioni e teorie del programma che soggiacciono all’azione. Per sviluppare una teoria del programma selezionare una delle aWvità del programma e rispondere alle seguenJ tre domande. Ripetere l’esercizio per tu0e le macroaWvità: •  SE (IF) l’aWvità xxx viene offerta ……..ALLORA (THEN) quale dovrebbe essere il risultato per i partecipanJ? •  PERCHE’ ritenete che tale aWvità possa portare a determinaJ risultaJ? Quali sono le assunzioni circa i cambiamenJ che dovrebbero realizzarsi? Tali assunzioni si basano su teorie formalizzate o teorie del cambiamento usate da altri? •  QUALI EVIDENZE ci sono che tali aWvità dovrebbero portare a daJ risultaJ (precedenJ studi e valutazioni, esperienza pregressa del programma etc.)? Esistono possibili spiegazioni alternaJve che giusJficano i nessi causali ipoJzzaJ? Leone L. 23/04/2014 7 Occorre fare 2 operazioni: q 
La Valutazione basata sulla teoria disJngue tra teoria dell‘implementazione e teoria del programma. •  La prima si focalizza su cosa succede nell’a0uazione del programma concepito come un susseguirsi di fasi e azioni per capire se sono state fedeli a quanto previsto. •  La seconda cerca di spiegare quale meccanismo colleghi input ad effeW. Il cambiamento è prodo0o dalla risposta che queste aWvità generano nei beneficiari e nellambiente. q 
Lavorare per individuare i meccanismi che possono favorire il cambiamento voluto, per trarre indicazioni da per programmi futuri. 4
20/04/2015
Errori più comuni Frame semplificatorio: Si uJlizza solo il modello logico (Logical frame), solo la teoria della implementazione, senza ‘interrogare’ il programma e testare gli assunJ e le teorie del cambiamento o indagare come e se si aWvano i meccanismi previsJ Scopo
Obiettivi
Perché e in quali circostanze?? Assunzioni
Outputs
Assunzioni
Tasks
Assunzioni
Leone L. 23/04/2014 9 Possibili schemi logici Variabili considerate per sviluppare gli schemi logici: •  Step logici delle diverse azioni e meccanismi previsJ (es: FP Weiss ) •  Distanza nel tempo o nelle connessioni logiche tra diversi livelli di risultato: immediato, intermedio, finale •  Gerarchie causalità •  DisJnzioni tra ambiJ di conoscenza e Jpi di teorie (v. Legge fumo UK) •  ….. ALCUNI ESEMPI Leone L. 23/04/2014 10 5
20/04/2015
Programma: formazione professionale per drop out Teoria del programma Teoria dell’Implementazione (aWvità) + Teorie del cambiamento (meccanismi ) SE ALLORA Si pubblicizza un progetto di
Formazione professionale
(FP)
I giovani vengono a saperlo
I giovani sono interessati e
motivati a parteciparvi
I giovani che appartengono a
target eleggibile vengono
iscritti
Il programma fornisce attività
di formazione professionale in
locali agibili
I giovani si iscrivono
La formazione risponde ai
bisogni del mercato del lavoro
La formazione viene erogata
in modo adeguato.
I giovani acquisiscono skill e
sviluppano conoscenze (alcuni
no)
I giovani frequentano
regolarmente (alcuni no)
(Teorie apprendimento sociale)
Leone L. 23/04/2014 11 La formazione insegna adeguaJ a0eggiamenJ sul lavoro I formatori offrono aiuto e supporto. • I giovani internalizzano i valori di un occupazione regolare e appropriaG comportamenG sul lavoro (Teoria Planned AcGon e autoefficacia) Il programma comunica ai giovani offerte di lavoro (e una lista di offerte esiste). (Teoria reJ legami deboli) Il programma indirizza i giovani verso appropriaJ lavori. • I giovani cercano lavoro • …si comportano appropriatamente nei colloqui di lavoro • I datori offrono un occupazione • ..acce.ano il lavoro • …vanno al lavoro regolarmente Il programma assiste i datori e i giovani nella transizione al lavoro aiutandoli nei problemi che incontrano . • I giovani acce.ano l’autorità sul lavoro • fanno bene il loro lavoro e si comportano bene con i loro colleghi • rimangono al lavoro Liberamente tratto da Weiss 2000
Leone L. 23/04/2014 12 6
20/04/2015
Modelli logico basato su catena risultaJ sequenziali 13 Leone L. 23/04/2014 Teoria del Programma del Microcredito a favore di donne povere Microcredito • A donne comunità povere Assunzioni ARvità imprenditoriale •  Empowerment delle donne •  Supporto sociale comunità (rispe0o Meccanismi impegni) o ToC Leone L. 23/04/2014 Benessere •  Migliore nutrizione bambini •  Aumento reddito familiare •  Bassa sofferenza bancaria 14 7
20/04/2015
Teoria del Programma Microcredito a favore di donne povere Esempio: “Se sviluppiamo intervenG di microcredito a favore di gruppi di donne di una comunità povera, queste saranno in grado di prendere autonoma iniziaGv (empowerment) e sviluppare a4vità commerciali o un lavoro autonomo, ciò garanGrà un reddito per loro e i loro figli e si tradurrà in sviluppo socioeconomico della comunità e in condizioni di nutrizione e di salute migliori per i bambini” Leone L. 23/04/2014 15 Teoria del programma di ‘Una mela al giorno Meccanismi causali
!
Catena
attività
Leone L. 23/04/2014 16 8
20/04/2015
Differen) pa<erns di causalità Tipi di casualità Esempi Una causa associata con un Programma di sostentamento per riduzione outcome/esito immediata del basso reddito Una causa associata a esiJ Un programma di miglioramento delle mulJpli infrastru0ure (TrasporJ e commercio) per l’accesso a servizi di base MulJple cause associate a mulJpli esiJ Un programma per la promozione di sJli di vita salutari a0raverso strategia mulJse0oriali Cause mulJple associate a Migliorare la salute materno-­‐infanJle tramite una 1 esito principale combinazione di migliori servizi neonatali, educazione alla salute,…indirizzaJ a famiglie a basso reddito Modificato da CEVAS su base DFID Tab 3 Department International Development, Wp 38, 2012
Leone L. 23/04/2014 17 Sviluppare quesiJ di valutazione di un programma sull’innovazione sulla base della TdP Box – Quesi) di valutazione sulla innovazione dell’health care •  Quali cara.erisGche delle innovazioni ne influenzano il tasso e il grado di adozione? •  Qual’è la natura del processo di adozione di una innovazione e perché alcune persone ado.ano le innovazioni più velocemente di altre? L’influenza sociale come promuove l’adozione di innovazioni? •  Quali elemenG del contesto organizzaGvo interno influenzano l’adozione e assimilazione delle innovazioni nelle organizzazioni? Quali del contesto esterno ....? •  Quali sono le cara.erisGche di strategie efficaci di implementazione delle innovazioni delle modalità d’erogazione dei servizi sanitari e cosa ne assicura la sostenibilità (fino a obsolescenza? (Greenhalgh et al. 2004) Leone L. 23/04/2014 18 9
20/04/2015
Leroy JL, Ruel M and Verhofstadt 2009) Leone L. 23/04/2014 19 ACCORDO DI PARTENARIATO 2014-­‐2020 ITALIA ALLEGATO I -­‐ RISULTATI ATTESI – AZIONI (se.embre 2014) RA 9.1- Riduzione della povertà,
dell’esclusione sociale e promozione
dell’innovazione sociale
AZIONI
9.1.1 Misura Sostegno Inclusione
Attiva Misura SIA
9.1.2 Servizi sociali innovativi di
sostegno a nuclei
9.1.3 Sostegno tramite strumenti di
ingegneria finanziaria (microcredito)
9.1.5 Alfabetizzazione e inclusione
digitale
RA 9.2- Incremento dell’occupabilità e della
partecipazione al mercato del lavoro delle
persone maggiormente vulnerabilità
RA 9.3- Aumento/ consolidamento/
qualificazione dei servizi e delle infrastrutture
di cura socio-educativi
RA 9.4- Riduzione del numero di famiglie con
particolari fragilità sociali ed economiche in
condizioni di disagio abitativo
RA 9.5- Riduzione della marginalità estrema e
interventi di inclusione a favore SFD e delle
popolazioni Rom, Sinti e Camminanti
RA 9.6- Aumento della legalità nelle aree ad
alta esclusione sociale …
RA 9.7- Rafforzamento dell'economia sociale
Leone L. 23/04/2014 20 10
20/04/2015
Teorie del Programma OT9 Inclusione sociale Strategie Realizzazion
e di azioni di lotta alla povertà e all'esclusion
e che interessino l'insieme delle politiche Assunzioni Meccanismi ipotizzati Le cause principali della povertà ed emarginazione di singoli e famiglie comprendono un accesso inadeguato ai servizi di base (es: sanità, alloggi e istruzione), l'esclusione dal mercato del lavoro e un lavoro di scarsa qualità. Per chi può lavorare, la via più sicura per uscire dalla povertà è ottenere un lavoro. Una forza lavoro più quali<icata riduce rischio esclusione sociale Sono necessari approcci trasversali a tutti gli ambiti di policy. È necessario migliorare il coordinamento delle politiche macroeconomiche e microeconomiche riconoscendo il ruolo fondamentale di una serie di politiche che non rientrano negli ambiti tradizionali dell'inclusione e della protezione sociale. La prevenzione è il modo più efEicace e sostenibile di combattere la povertà l’ES. L'intervento tempestivo può evitare che le persone che diventano indigenti restino prigioniere di situazioni socioeconomiche sempre più difEicili. Le persone più lontane dal mercato del lavoro necessitano anche di un sostegno sociale migliorato che continui dopo il conseguimento di un posto di lavoro, per evitare l'effetto "porta girevole" che fa rimbalzare dalla disoccupazione a lavori precari di scarsa qualità. L’Erogazione sufEiciente di servizi di assistenza di elevata qualità, efEicienti e a prezzi accessibili: -­‐ Si favorisce l’inserimento lavorativo delle donne (v. servizi conciliazione) -­‐ Si previene il distacco dal MKT del lavoro dei familiari incrocio domanda/
offerta lavoro strategie integrate a livello verticale e orizzontale tra settori Rompere spirale della ‘povertà trappola’ tra generazioni Prevenire meccanismo ‘porta girevole’ Incentivazione di domanda servizi di cura Leone L. 23/04/2014 21 Teoria del programma OT9 Inclusione Sociale Accordo partenariato ASSUNTI La deprivazione materiale si concentra in Italia su famiglie con oltre due minori. Quando associata a ‘povertà’ educaJva’ produce il trasferimento delle condizioni di povertà ed esclusione sociale alle generazioni successive Inclusione AWva – Contrasto povertà minorile (AP Ot 9) Iter procedure da Azione POR/PON a bando Implementazione: misure trasferimento economico ‘condizionate’ AWvazione soluzioni innovaJve economia sociale Leone L. 23/04/2014 OUTCOMES RA9.1 Riduzione dell’8% soggeW in povertà o esclusione sociale Vincoli di spesa e accesso a bandi inibiscono/favoriscono reJ comunitarie? Finanziamento di soluzioni standardizzate? (es: budget di capacitazione) Reale aWvazione disposiJvi ‘integraJ’? Presenza piani dispersione scolasJca e IeFP? Quando funziona la condizionalità? 22 11
20/04/2015
Teoria del programma OT9 Inclusione Sociale Accordo partenariato ASSUNTI Vi è un calo dei presidi sociosanitari in parJcolare nel Mezzogiorno e nelle aree interne. Rete del Welfare d’Accesso Servizi di cura per gli anziani e i minori (AP 2014, p.101) OUTCOMES >PosJ lavoro Riduzione disincenJvo finanziario x le donne a lavorare >Qualità della vita territori Iter procedure da Azione POR a bando Rischio a0razione soluzioni x isJtuzionalizzazione (>invesJmenJ e reddiJ garanJJ anni futuri?) implementazione GaranJsce sostenibilità futura per Comuni /ambiJ? Leone L. 23/04/2014 23 Teoria del programma OT9 Inclusione Sociale Accordo partenariato ASSUNTI Vi è un calo dei presidi sociosanitari in parJcolare aree Mezzogiorno e aree interne. Incremento occupabilità e partecipazione a MKT lavoro persone più vulnerabili OUTCOMES (RA 9.2 p45) Ø  Inclusione sociolavoraJva Iter procedure da Azione POR a bando Si supportano disposiJvi integraJ tra di diversi se0ori a livello locale? implementazione Uso ICF sostanziale con adozione modello teorico funzionamenJ umani? Aumentano opportunità inclusione? Leone L. 23/04/2014 24 12
20/04/2015
Teoria del programma iniziale del Trasferimento Monetario Condizionale (TMC) Leone L. 23/04/2014 25 TanJ possibili meccanismi: il caso del TMC •  (M1) Disincen)vo consumi non meritori. I trasferimenJ per funzionare devono proteggere il consumo di beni ‘meritori’ prevenendo comportamenJ irresponsabili. •  (M2) Desideri e ampliamento orizzonte temporale. Accrescere incenJvi a invesJre in capitale fisico e umano migliora l’allocazione delle risorse. •  (M3) Aumento delle capacitazioni e dei gradi di libertà grazie al supporto all’alla fruizione di Fruizione di servizi sociali, sanitari ed educaJvi miraJ. •  M4) Migliore capacità di cura grazie a educazione alla salute delle madri •  M5) Genitori incen)va) a rispe<are l’obbligo scolas)co –o iscrivere a scuola figlio (per rido.o bisogno di reddito aggiunGvo del minore) •  M6) Incen)vo rispe<o performance scolas)che (per i genitori). •  M7) Miglior coordinamento interis)tuzionale in fase di presa in carico e nell’offerta di servizi integraJ (Versante offerta) •  M8)….. Leone L. 23/04/2014 26 13
20/04/2015
Sussidio vincolato a frequenza scolasJca regolare dei minori Contesto Meccanismi Outcome AbitanJ a reddito medio-­‐
alto che intendono mandare entrambi i figli a scuola non aWvato nessun effe0o del programma (Ferreira, Filmer, Shady 2009) AbitanJ in condizioni di InvesGmento differenziato povertà che non avrebbero sull’istruzione dei figli (in mandato i figli a scuola in funzione del reddito) presenza di trasferimento monetario sufficiente e presenza fratelli non avenJ diri0o al CC con (eg: Cambogia) iscrizione del figlio avente diri0o e rido0a iscrizione dell’altro figlio desJnato a produrre reddito AbitanJ con reddito medio basso che avrebbero mandato 1 solo figlio a scuola (eg: Colombia) può esserci un effe0o di displacement –ricaduta posiJva-­‐ sull’altro figlio non eleggibile. IncenJvo frequenza scolasJca minori Leone L. 23/04/2014 27 Programma Sperimentazione Prefe0ura Regione Lombardia: la sequenza dei meccanismi ipoJzzaJ nel programma Fase 1 à
Fase 2 à
Fase 3 à
Fase 4
Fase 1 bis à
Si individuano
trasgressori
Invito a colloquio in
Prefettura o presso sede
ASL-CP e/o invio a
trattamento
Riconoscimento di
comportamenti
problematici rispetto
consumi sostanze
Per coloro che non
seguono procedura
Sanzioni
amministrative
Meccanismo “Se
trasgredisci ti
becco”
Meccanismo
“Sermone e
Dissuasione”
Meccanismo
“vergogna e/o
timori per la
salute”
Meccanismo
“Minaccia sanzione e
dissuasione”
Fermo da parte delle
FFOO di soggetti
che consumano o
sono in possesso di
modiche quantità di
sostanze illegali e
segnalazione a
Prefettura
I soggetti temendo
sanzioni amministrative
accettano di sostenere il
colloquio prefettizio e
temendo i controlli
mantengono durante il
trattamento l’astinenza
emersione domanda
di aiuto; i soggetti
utilizzano l’esperienza
per rimettere in
discussione alcuni stili
e atteggiamenti.
Effetto dissuasivo
connesso a sanzione
ricevuta; i soggetti non
reiterano
comportamenti
sanzionati per evitare
aggravamenti delle
sanzioni
Tratto da: Leone, 2004, Leone 2008
Leone L. 23/04/2014 Per coloro che
aderiscono alle
procedure
Meccanismo
“Consapevolezza
dei rischi e
adozione
comportamenti più
protettivi”
I soggetti si sentono
intimoriti e/o sono più
consapevoli dei rischi
evitano consumi
sostanze illeciti.
Quelli con problemi di
abuso avviano
percorsi trattamentali:
i SERT agganciano
utenti non intercettati
in precedenza
28 14
20/04/2015
Teoria del programma di una misura sanzionatoria e quesiJ di valutazione IL PROBLEMA Danni da fumo di seconda mano: •  80% del fumo è invisibili •  I bambini esposJ sono più a rischio per la sindrome della morte in culla •  Il fumo di seconda mano conJene più di 4,000 componenJ chimiche •  Il fumo può rimanere in aria fino a 2.5 ore anche con un finestrino aperto MISURA SANZIONATORIA In Inghilterra e Galles dal 1/10/2015 entrerà in vigore una legge che vieta il fumo in automobile quando vi sono minori a bordo. La multa prevista è di £50. Leone L. 23/04/2014 OUTCOME ATTESI • 
Riduzione danni alla salute dei minori •  Pressione sociale avversa a fumo. 29 Costruzione del ‘modello logico’ legislaJvo QUESITI
1.Quanto è significaJvo il rischio? (Evidence base: Tossicologia) 2. Incontrerebbe il supporto della popolazione? (Evidence base: Indagini) 3. La misura sopravviverebbe alle aWvità di lobbying? (Evidence base: Scienze PoliGche) 4. E’ a0uabile? (Evidence base: Valutazione meccanismi applicaGvi) Tratto da Ray Pawson 2010
Leone L. 23/04/2014 30 15
20/04/2015
Le componen) della Teoria del programma: come codificarle e schema)zzarle per lo sviluppo dei Piani di valutazione per
GRAZIE !
ne
l’attenzio
Leone L. 23/04/2014 31 16