CURSO POLÍTICAS PRESUPUESTARIAS Y GESTIÓN PÚBLICA POR RESULTADOS EXPOSICIÓN

CURSO POLÍTICAS
PRESUPUESTARIAS Y GESTIÓN
PÚBLICA POR RESULTADOS
EXPOSICIÓN
EVALUACION DE IMPACTO
ANTIGUA, GUATEMALA
AGOSTO, 2009
http://www.eclac.org/ilpes/
QUÉ ES EL IMPACTO?
http://www.eclac.org/ilpes/
DEFINICION DE IMPACTO
EL IMPACTO ESTÁ COMPUESTO POR
LOS EFECTOS A
MEDIANO Y LARGO PLAZO QUE TIENE UN PROYECTO O
PROGRAMA EN LA POBLACION OBJETIVO Y EN EL
ENTORNO, SEAN ESTOS EFECTOS O CONSECUENCIAS
DESEADAS (PLANIFICADAS) O SEAN NO DESEADAS
PLANIFICACION
ACTIVIDADES--- BIENES Y SERVICIOS--- PROPOSITO--- FIN
PROCESOS
LOGROS
PRODUCTOS
RESULTADOS
IMPACTOS
DEFINICION DE IMPACTO
LA EVALUACION DE IMPACTO TIENE POR OBJETO
DETERMINAR SI EL PROGRAMA PRODUJO LOS EFECTOS
DESEADOS
EN
LAS
PERSONAS,
HOGARES
E
INSTITUCIONESY SI ESOS EFECTOS SON ATRIBUIBLES A
LA INTERVENCION DEL PROGRAMA
TAMBIEN
PERMITE
EXAMINAR
CONSECUENCIAS
NO
PREVISTAS EN LOS BENEFICIARIOS, YA SEAN POSITIVAS
O NEGATIVAS
DEFINICION DE IMPACTO
ALGUNAS DE LAS PREGUNTAS QUE PUEDE ABORDAR
UNA EVALUACION DE IMPACTO:
¿Cómo afectó el proyecto o programa a los beneficiarios?
¿Algún mejoramiento fue el resultado directo del programa
o proyecto o se habría producido de todas formas?
¿Se podría modificar el diseño del programa para mejorar
sus efectos?
¿La intervención
previstos?
está
produciendo
los
beneficios
¿Se están empleando los recursos en forma eficiente? O
¿se justificaban los costos?
DEFINICION DE IMPACTO
• Estas preguntas no se pueden contestar
simplemente a través del resultado de un
proyecto.
¿ POR QUE?????????????????
• Puede haber otros factores o sucesos que
estén correlacionados con los resultados,
sin ser causados por el proyecto o
programa
DEFINICION DE IMPACTO
Secuencia de resultados a lo largo de una línea de
tiempo
Una cadena de impacto, “cadena de relaciones
Plausibles” ENTRE SUS ACTIVIDADES Y LOS CAMBIOS
PRODUCIDOS
Tiempo
I
N
S
U
M
O
S
Proceso
Producto
Resultados
Impacto
DEFINICION DE IMPACTO
¿Cómo identificar el Impacto de nuestro programa?
El impacto no se produce inmediatamente requiere tiempo
para desarrollarse, tiempo durante el cual el número de
factores que intervienen aumenta, hace más difícil la
atribución de un cambio a un único factor
LOGROS
PROCESOS
PRODUCTOS
RESULTADOS
IMPACTOS
BRECHA DE ATRIBUCIONES
ATRIBUCION
DEL
IMPACTO
ATRIBUCION CLARA AL
PROGRAMA
PROYECTO
ATRIBUCION
CLARAOAL
PROGRAMA O PROY
DEFINICION DE IMPACTO
OBSTÁCULOS PARA ATRIBUIR IMPACTO:
1. EL MUNDO SOCIAL ES COMPLEJO, LOS FENOMENOS SOCIALES TIENEN
MUCHAS CAUSAS QUE PUEDEN INFLUIR EN LOS RESULTADOS LOGRADOS.
2. ES DIFICIL DESARROLLAR MODELOS SOBRE COMPORTAMIENTO SOCIALES
PORQUE LAS TEORIAS NO SON LO SUFICIENTEMENTE GENERALIZABLES.
3. SUS EFECTOS SON PRODUCTO DE UN CONJUNTO ASOCIADO DE
PROGRAMAS.
NINGUN PROGRAMA ERRADICARIA POR SI SOLO LA
POBREZA O NINGUN PROGRAMA DE REHABILITACION CRIMINAL PUEDE
ERRADICAR POR COMPLETO LA REINCIDENCIA.
4. ALGUNOS SON DIFICILES DE EVALUAR POR EL LARGO TIEMPO QUE LLEVAN
EN OPERACIÓN Y PORQUE HAN CUBIERTO UNA VASTA CANTIDAD DE
POBLACION OBJETIVO
EVALUACION DE IMPACTO
DOS MOMENTOS O TEMAS PARA LAS
CUALES UNA EVALUACION DE IMPACTO ES
PARTICULARMENTE RELEVANTE:
EVALUACION DE IMPACTO
1. PARA EVALUAR UN PROGRAMA NUEVO O
CAMBIOS QUE SE QUIERAN INTRODUCIR EN
EL DISEÑO DE UN PROGRAMA EXISTENTE. EN
ESTE ULTIMO CASO LA COBERTURA ES
FRECUENTEMENTE PARCIAL Y POR TANTO ES
POSIBLE CONDUCIR UNA EVALUACION QUE
COMPARE LA POBLACION QUE PARTICIPA EN
EL PROGRAMA HOY RESPECTO DE LOS QUE
INGRESARÁN
EVALUACION DE IMPACTO
2. CUANDO SE ESTÁ REVISANDO LA UTILIDAD DE
UN PROGRAMA QUE ESTÁ IMPLEMENTÁNDOSE,
AÚN CUANDO PAREZCA QUE ESTÁ OBTENIENDO
CIERTOS RESULTADOS. LO QUE INTERESA AQUÍ
SON ESTIMACIONES PRECISAS DE SU EFICACIA
PARA
AJUSTAR,
EFICIENCIA.
MEJORAR
SU
EFICACIA
Y
EVALUACION DE IMPACTO
PREREQUISITOS PARA DESARROLLAR UNA
EVALUACION DE IMPACTO:
EL PROYECTO DEBE TENER CLARAMENTE
ESTABLECIDO SUS OBJETIVOS PARA PODER
IDENTIFICAR LOS INDICADORES Y VARIABLES
QUE SE MEDIRAN
SU EJECUCION DEBE TENER UN PORCENTAJE
RELEVANTE DE FOCALIZACION, DE OTRA FORMA
SERÍA UNA PÉRDIDA DE RECURSOS Y TIEMPO.
UN PROY. O PROGRAMA ES UNA HIPOTESIS
CAMBIO POSITIVO
MATRIZDE
DE EVALUACION
OBJETIVOS
INDICADORES
FIN
IMPACTO
PROPÓSITO
RESULTADOS
PRODUCTOS
COMPONENTES
ACTIVIDADES
PROCESOS
VERIFICACIÓN
SUPUESTOS
¿Cómo estamos aportando a l as
soluciones estratégicas propuestas?
¿Cómo está cambiando el estado o
comportamiento de los
beneficiarios?
¿Cuántas unidades de productos y
servicios estamos generando?
¿Cuántos recursos invertimos, cuánto
personal contratamos, cuántos
materiales? Cuánto nos cuesta?
EVALUACION DE IMPACTO
ESTABLECER IMPACTO ES
ESENCIALMENTE
ESTABLECER CAUSALIDAD.
LAS RELACIONES CAUSALES
SON ESTABLECIDAS EN
FORMA PROBABILISTICA:
EVALUACION DE IMPACTO
EL ROL DEL EVALUADOR ES
IDENTIFICAR CON PRECISIÓN
ESTAS HIPÓTESIS E INDAGAR
SOBRE LA EXISTENCIA DE LAS
RELACIONES CAUSA-EFECTO
EN LA EJECUCIÓN DEL
PROGRAMA
CAUSA
A
B
LO QUE SIGNIFICA: SI EJECUTAMOS EL PROGRAMA “A”, ENTONCES *B*
TIENE UNA MAYOR PROBABILIDAD DE LOGRARSE
SI EJECUTAMOS UN PROGRAMA DE RACIONES ESCOLARES, ENTONCES ES
MAS PROBABLE QUE ESOS NIÑOS/AS MEJOREN SUS NIVELES DE NUTRICION
ESTO ES LA PROBABILIDAD DE B, DADO A, ES MAS ALTA QUE LA
PROBABILIDAD DE B, SIN A.
PB CON “A”
=
Incremento mayor
PB SIN “A”
=
Incremento menor
EJ. PROGRAMA DE REDUCCION DE DESEMPLEO ES EXITOSO SI HAY UN CAMBIO EN
LA POBLACION OBJETIVO EN EL NIVEL DE “DESEMPLEO”
SI EL PROGRAMA TIENE IMPACTO EL DESEMPLEO DISMINUIRÁ
PERO NINGUN PROGRAMA DISMINUIRÁ EL DESEMPLEO TOTALMENTE.
EVALUACION DE IMPACTO
UN
IMPACTO
SUELE
EXPRESARSE COMO UN BENEFICIO
DE
MEDIANO
OBTENIDO
O
POR
LARGO
LA
PLAZO
POBLACION
OBJETIVO DEL PROGRAMA
EVALUACION DE IMPACTO
EN MARCO LÓGICO EL IMPACTO,
SE
MIDE
A
NIVEL
DE
FIN DEL
PROGRAMA.
EN
LA
PLANIFICACIÓN
ESTRATÉGICA EL IMPACTO, SE MIDE
GENERALMENTE A NIVEL DE LA
MISIÓN.
EVALUACION DE IMPACTO
EL TEMA ES SI UN PROGRAMA
O
PROYECTO PRODUCE MAS
EFECTOS
DE
LO
QUE
HUBIERA OCURRIDO SIN SU
IMPLEMENTACION
EVALUACION DE IMPACTO
BENEFICIO NETO
BENEFICIO SIMPLE O BRUTO
EJ.
PROGRAMA
ALFABETIZAR ADULTOS
PARA
EVALUACION DE IMPACTO
BENEFICIO SIMPLE O BRUTO
•
CORRESPONDEN A TODOS LOS CAMBIOS
EN LA POBLACION QUE OCURREN
DURANTE Y
DESPUÉS DEL PROGRAMA
•
HAY INCREMENTO
O NO? EN LOS
PUNTAJES
DE LECTURA
Y
ESCRITURA DE LOS A.M
•
PRUEBA ANTES Y DESPUÉS
•
LA DIFERENCIA EN LOS PUNTAJES
EVALUACION DE IMPACTO
BENEFICIO NETO = IMPACTO
SON SÓLO AQUELLOS “ATRIBUIBLES” AL
PROGRAMA DESPUÉS DE CONTROLAR
OTROS FACTORES QUE PUEDEN HABER
INFLUÍDO.
EJ. UNA SOBRINA QUE AYUDA AL ADULTO
UNA PROFESORA PARTICULAR
ESTAR MÁS MOTIVADO/A
TENER MEJORES
ESTUDIAR
CONDICIONES
PARA
EVALUACION DE IMPACTO
POR TANTO LA MEDICIÓN DE IMPACTO DE
UN PROGRAMA O PROYECTO SE DEBE
CALCULAR:
BENEFICIO
NETO =
EFECTOS
DEL
PROGRAMA
▬
OTROS
FACTORES
EXTERNOS
±
EFECTOS
DE
DISEÑO
EVALUACION DE IMPACTO
FACTORES EXTERNOS (pueden presentarse)
INFLUENCIAS O CONTAMINANTES DE LOS
DATOS.
VARÍAN SEGÚN EL TIPO DE PROGRAMA
EVALUADO.
CAMBIO ENDÓGENO (ANIMO, ENFERMEDADES, ETC.)
EVENTOS QUE INTERFIEREN (TERREMOTO NO DELIVERY)
TENDENCIAS DE MADURACIÓN (PROG DE NNA)
BENEFICIO NETO =
EFECTOS DEL PROGRAMA
▬
OTROS FACTORES EXTERNOS
±
EFECTOS DE DISEÑO
EVALUACION DE IMPACTO
EFECTOS DE DISEÑO
SIEMPRE ESTAN PRESENTES
AMENAZAN
LA
VALIDEZ
EVALUACION
ES POSIBLE ESTIMARLOS
DE
LA
EFECTO ESTOCÁSTICO (CUAN SIGNIFICATIVAS SON LAS
VARIACIONES)
INSTRUMENTOS UTILIZADOS (CONFIABILIDAD)
INDICADORES UTILIZADOS (VALIDEZ)
BENEFICIO NETO =
EFECTOS DEL PROGRAMA
▬
OTROS FACTORES EXTERNOS
±
EFECTOS DE DISEÑO
EVALUACION DE IMPACTO
ESTRATEGIAS
PARA
AISLAR
EXTERNOS
Y
BENEFICIO NETO
DE
DISEÑO
FACTORES
MEDIR
EL
EVALUACION DE IMPACTO
Ejemplo, si un recién graduado de un
programa
de
capacitación
obtiene
empleo,
directo
del
¿es
un
programa
laboral
resultado
o
habría
encontrado empleo de todas formas?
EVALUACION DE IMPACTO
PARA RESPONDER LA PREGUNTA ES NECESARIO
SEPARAR EL EFECTO DEL PROGRAMA DE OTROS
FACTORES .
• SEPARAR
LOS
CONSECUENCIA
BENEFICIOS
DE
LA
LOGRADOS
INTERVENCIÓN
COMO
DEL
PROGRAMA, DE:
¾ LO QUE HABRÍA OCURRIDO SI EL PROYECTO NUNCA
SE HUBIERA REALIZADO
EVALUACION DE IMPACTO
¿QUÉ ES EL IMPACTO?
EL IMPACTO DEL PROGRAMA CORRESPONDE A LA DIFERENCIA
QUE REGISTRA EL INDIVIDUO (i) QUE PARTICIPÓ EN EL
PROGRAMA (EN UNA DETERMINADA VARIABLE) RESPECTO DE
UN INDIVIDUO (I) QUE NO PARTICIPÓ DEL PROGRAMA EN LA
MISMA VARIABLE (ESCOLARIDAD, NUTRICIÓN, ETC.)
impacto
=
(Puntaje de la persona i participante del programa – Puntaje
de la persona i que no participó en el programa)
EVALUACION DE IMPACTO
PARA DETERMINAR EL IMPACTO:
1.
IDENTIFICAR LA(s) VARIABLE(s) QUE DEBEN
SER MEDIDAS PARA DETERMINAR SI EL PROGRAMA
HA GENERADO REALMENTE LOS BENEFICIOS O
IMPACTOS ESPERADOS:
¾ VARIABLES UTILIZADAS EN LA SELECCIÓN
DE LOS BENEFICIARIOS DEL PROGRAMA
¾ VARIABLES QUE REPRESENTAN LOS
RESULTADOS DEL PROGRAMA
EVALUACION DE IMPACTO
2. PARA ASEGURAR RIGOR METODOLÓGICO, UNA
EVALUACIÓN DE IMPACTO DEBE ESTIMAR EL
ESCENARIO CONTRAFACTUAL O ALTERNATIVO:
•
TODA EVALUACIÓN DE IMPACTO IMPLICA ESTABLECER UN
GRUPO DE CONTROL (aquellos que no participan en un programa
ni reciben beneficios) QUE LUEGO SE COMPARA CON LOS QUE
PARTICIPAN EN EL PROGRAMA.
• TODA EVALUACIÓN DE IMPACTO IMPLICA ESTIMACIONES DE
LAS DIFERENCIAS CON/ SIN PROGRAMA.
EVALUACION DE IMPACTO
Grupo de control
•
UN GRUPO DE CONTROL ES UN CONJUNTO DE PERSONAS
SIMILARES AL GRUPO DE BENEFICIARIOS, CON LA
DIFERENCIA DE NO HABER PARTICIPADO EN EL PROGRAMA.
•
¿SIMILARES EN QUÉ?
•
EN LAS CARACTERÍSTICAS SOCIOECONÓMICAS O EN
GENERAL, EN TODAS AQUÉLLAS QUE LOS HABRÍAN HECHO
SUSCEPTIBLES DE SER ELEGIDOS COMO BENEFICIARIOS.
•
ES FUNDAMENTAL CONOCER LA POBLACIÓN POTENCIAL, LA
POBLACIÓN OBJETIVO Y LOS BENEFICIARIOS EFECTIVOS.
•
CONOCER LOS CRITERIOS DE SELECCIÓN O ELEGIBILIDAD
DEL PROGRAMA
EVALUACION DE IMPACTO
MEDIR IMPACTO ES ESTABLECER EL
BENEFICIO NETO PARA UNA PERSONA
QUE PARTICIPA EN UN PROGRAMA O
PROYECTO
ESTO SE HACE COMPARANDO LAS
MEDIDAS
OBTENIDAS
POR
LA
PERSONA QUE PARTICIPA Y LA
PERSONA QUE NO PARTICIPA EN EL
PROGRAMA
EVALUACION DE IMPACTO
PI REPRESENTA A UNA PERSONA
TIENE DOS VALORES POSIBLES:
•
•
Pi = 1
Pi = 0
La Persona participa en el programa
La Persona no participa
EN LA VARIABLE ESTUDIADA (“S”):
•
•
Pi = 1, su ganancia en escolaridad “S” es = S1i
Pi = 0, su ganancia en escolaridad “S” es = S0i
•
LA GANANCIA DE UNA PERSONA (REPRESENTADA POR “Gi”),
EN ESCOLARIDAD DEBIDO A SU PARTICIPACIÓN EN EL
PROGRAMA SE ESTABLECE:
¾ Gi = S1i – S0i, DADO QUE PARTICIPÓ EN EL PROGRAMA
EVALUACION DE IMPACTO
SI SE DESEA SABER LA GANANCIA PROMEDIO,
PROMEDIO ÉSTA ES LA
MEDIA DE TODAS LAS “G”, CON LO QUE SE OBTIENE LA
GANANCIA MEDIA EN ESCOLARIDAD ENTRE TODOS LOS QUE
PARTICIPARON EN EL PROGRAMA.
SIEMPRE QUE ESTA MEDIA SE CALCULE EN FORMA CORRECTA
(USANDO MUESTRAS ADECUADAS DE LA ENCUESTA),
PROPORCIONARÁ UNA ESTIMACIÓN INSESGADA DE LA
VERDADERA GANANCIA MEDIA.
A ESTA MEDIA
A VECES SE LE DENOMINA EL “EFECTO
TRATAMIENTO” O “EFECTO TRATAMIENTO PROMEDIO DE LOS
PARTICIPANTES DEL PROGRAMA”.
EVALUACION DE IMPACTO
PERO LO QUE SE HA CALCULADO : Gi = S1i – S0i,
ES LA DIFERENCIA EN LA ESCOLARIDAD MEDIA ENTRE LOS
NIÑOS DE FAMILIAS BENEFICIADAS POR EL PROGRAMA Y LOS
DE FAMILIAS FUERA DE PROGRAMA.
ELLO PORQUE EXISTE NO SE HA CALCULADO AÚN EL SESGO DE
SELECCIÓN (ERROR)
PROBLEMA:
NO SE CONOCE EL SESGO, NO SE PUEDE
OBSERVAR CÓMO HABRÍA SIDO LA ESCOLARIDAD DE LOS
NIÑOS QUE PARTICIPARON EN EL PROGRAMA SI NO HUBIESEN
PARTICIPADO EN ÉSTE
ESTE SESGO ES MUY IMPORTANTE:
SIN EL PROGRAMA, LOS PADRES PROBABLEMENTE HABRÍAN
ENVIADO A SUS HIJOS A LA ESCUELA AUNQUE QUIZAS EN
MENOR PROPORCIÓN QUE OTROS PADRES.
SI LO ANTERIOR ES CIERTO ENTONCES HAY UN SESGO EN EL
CÁLCULO DEL IMPACTO.
PARA LA EVALUACION LO QUE INTERESA ES LA ESCOLARIDAD
ADICIONAL DEBIDO AL PROGRAMA. LA HIPOTESIS ES QUE ESTO
SÓLO AFECTA A LAS FAMILIAS QUE EFECTIVAMENTE
PARTICIPAN.
EN OTRAS PALABRAS, ES NECESARIO SABER CUÁNTA
ESCOLARIDAD MENOS SE PODRÍA HABER ESPERADO SIN EL
PROGRAMA.
PROGRAMA
EVALUACION DE IMPACTO
ESCOLARIDAD
ADICIONAL
DEBIDO AL
PROGRAMA
Y
y2
Logro
Beneficiarios
y1
Control
Sesgo
y0
PUNTO DE
PARTIDA
t0
CUÁNTA
ESCOLARIDAD
MENOS SIN
PROGRAMA
t1
T
EVALUACION DE IMPACTO
DISEÑO EXPERIMENTAL
DISEÑO CUASI-EXPERIMENTAL
DISEÑO EXPERIMENTAL
DISEÑO EXPERIMENTAL. METODOLOGIA TÉCNICAMENTE MÁS
SÓLIDA O ROBUSTA.
CONSISTE
EN
LA
SELECCIÓN
ALEATORIA
BENEFICIARIOS DENTRO DE UN GRUPO.
DE
LOS
SE CREA DOS GRUPOS ESTADISTICAMENTE IDÉNTICOS ENTRE
SÍ, UNO QUE PARTICIPA EN EL PROGRAMA (= 1) Y OTRO QUE
CUMPLIENDO TODAS LAS CONDICIONES PARA PARTICIPAR
ESTA FUERA DEL PROGRAMA (= 0)
La principal ventaja de esta técnica es la simplicidad en la
interpretación de los resultados: el efecto del programa sobre el
variable que se evalúa se puede medir a través de la diferencia
entre las medias de las muestras del grupo de tratamiento y el
grupo de control.
DISEÑO EXPERIMENTAL
EJ. LAS PRUEBAS DE MEDICINAS, DONDE TIENES UN GRUPO AL
QUE LE DAS EL MEDICAMENTO Y A OTRO GRUPO QUE LE DAS
UN PLACEBO.
PROBLEMAS:
¾ ÉTICO (MÉDICO, NUTRICIÓN, ETC.)
¾ POLÍTICAMENTE DIFÍCIL EXCLUIR A ALGUNOS
¾ CAMBIOS EN EL GRUPO DE CONTROL (MIGRACIÓN, ETC.)
DISEÑO CUASI-EXPERIMENTAL
GENERALMENTE LA
BENEFICIARIOS DE
ALEATORIA
SELECCIÓN DE LOS
UN PROGRAMA NO ES
™
SE BASA EN TÉCNICAS QUE GENERAN GRUPOS
DE COMPARACIÓN QUE SE ASEMEJAN AL
GRUPO DE “TRATAMIENTO” (EL QUE PARTICIPA
EN EL PROGRAMA),
™
EL
IMPACTO
DEL
PROGRAMA
EN
EL
DISEÑO CUASI EXPERIMENTAL NO PUEDE SER
DETERMINADO A TRAVÉS
DE
LA
SIMPLE
DIFERENCIA DE MEDIAS, YA QUE EXISTEN
CARACTERÍSTICAS NO OBSERVABLES
QUE
CREAN UN SESGO DE SELECCIÓN (ERROR).
DISEÑO CUASI-EXPERIMENTAL
EXISTEN VARIAS ALTERNATIVAS METODOLÓGICAS: TODAS
TIENEN EN COMÚN EL TRATAR DE SIMULAR LAS CONDICIONES
DE UN DISEÑO EXPERIMENTAL A PARTIR DE LOS DATOS DE LOS
BENEFICIARIOS DEL PROGRAMA.
SE APLICAN UNA VEZ QUE EL PROGRAMA ESTÁ EN EJECUCIÓN,
ES DECIR YA SE SELECCIONARON LOS BENEFICIARIOS/AS.
LOS GRUPOS DE CONTROL Y TRATAMIENTO NO SON IGUALES
ENTRE SÍ, Y POR LO TANTO LO CENTRAL DE LA EVALUACIÓN
SERÁ APLICAR CONTROLES ESTADÍSTICOS PARA ELIMINAR O
MINIMIZAR LAS DIFERENCIAS.
DISEÑO CUASI-EXPERIMENTAL
LA TÉCNICA SE
ESCENARIOS:
BASA
EN
LA
CONSTRUCCIÓN
DE
DOS
UN ESCENARIO “SIN PROGRAMA” O CONFRACTUAL
UN ESCENARIO “CON PROGRAMA”
ESCENARIO CONFRACTUAL
= = = GRUPO DE CONTROL
FORMADO POR PERSONAS PARECIDAS A LOS BENEFICIARIOS
DEL PROGRAMA, CUYA ÚNICA DIFERENCIA ES QUE NO
PARTICIPAN EN EL PROGRAMA.
EN ESTOS CASOS SE BUSCA EL EFECTO NETO CREANDO
GRUPOS QUE SE SUPONE PODRÍAN CONSTITUIR POBLACION
OBJETIVO DEL PROGRAMA.
EVALUACION DE IMPACTO
•
EXIGENCIAS PARA EL DESARROLLO DE UN DISEÑO CUASIEXPERIMENTAL:
EXISTENCIA DE UNA BASE DE DATOS DE BENEFICIARIOS Y
NO BENEFICIARIOS QUE CONTENGA PARA AMBOS GRUPOS
INFORMACIÓN SOBRE LOS CRITERIOS DE ELEGIBILIDAD DEL
PROGRAMA (EJ. CONDICIÓN SOCIOECÓNOMICA, TAMAÑO DE
LA FAMILIA, ESCOLARIDAD, ETC.)
INFORMACIÓN SOBRE LAS VARIABLES QUE PERMITIRÁN
MEDIR LOS RESULTADOS FINALES O IMPACTOS ESPERADOS
DE LA INTERVENCIÓN (EJ. NIVEL DE INGRESOS, PUNTAJES
EN
LA
PRUEBAS,
CONDICIÓN
LABORAL,
ESTADO
NUTRICIONAL, ETC.)
DOS MÉTODOS
CUASI-EXPERIMENTALES
PARA EVALUAR
EL IMPACTO DE UN PROGRAMA
CONTROLES CONSTRUIDOS (MATCHING):
LA POBLACION QUE PARTICIPA EN EL PROGRAMA SON
PAREADAS (MATCHED) CON UN GRUPO EQUIVALENTE.
SE BUSCAN PERSONAS O GRUPOS CON CARACTERÍSTICAS
SIMILARES NO CON RESULTADOS IGUALES
LA INFORMACIÓN PARA EL “MATCHING”: PROVIENE DE
VARIABLES UTILIZADAS PARA SELECCIONAR A LOS
BENEFICIARIOS DEL PROGRAMA Y DE LAS VARIABLES
DE RESULTADOS MÁS RELEVANTES.
PARA CONSTRUIR EL GRUPO DE CONTROL: i) TOME ESTA
INFORMACIÓN; ii) CALCULE LA PROBABILIDAD DE UNA
PERSONA DE PARTICIPAR EN EL PROGRAMA LO QUE LE
ENTREGARÁ UN PUNTAJE; iii) CONSTRUYA EL MATCHING
CON LA PERSONA DEL GRUPO DE CONTROL QUE TIENE EL
PUNTAJE MAS CERCANO
Cumplimiento
POBLACIÓN de características
EN PROGRAMA de población
requeridas
para ingreso
al programa
8
P1
10
P2
5
P3
7
P4
Muestra
4
P5
10
P6
7
P7
8
P8
4
P8
9
P10
6
P11
5
P12
Pn
Cumplimiento
POBLACIÓN de características
SIN PROGRAMA de población
requeridas
para ingreso
al programa
4
P1
8
P2
5
P3
7
P4
4 seleccionados
P5
10
P6
6
P7
6
P8
4
P8
9
P10
7
P11
5
P12
Pn
CONTROLES CONSTRUIDOS:
UN BUEN GRUPO DE COMPARACIÓN PROVIENE DEL MISMO
ENTORNO ECONÓMICO Y SE LE HA APLICADO EL MISMO
CUESTIONARIO QUE AL GRUPO DE TRATAMIENTO POR PARTE
DE ENTREVISTADORES SIMILARMENTE CAPACITADOS.
DOS POSIBLIDADES:
™ INDIVIDUAL MATCHING SE SELECCIONA UNO A UNO,
BUSCANDO UNA PAREJA PARA CADA PARTICIPANTE, PARA
CADA BENEFICIARIO DEL PROGRAMA SE BUSCA AQUEL QUE
TIENE EL PUNTAJE MÁS CERCANO.
™ GRUPOS
EN
UN
NIVEL
MÁS
AGREGADO,
(CON
“CARACTERISTICAS SIMILARES” EN LAS DISTINTAS VARIABLES
POR EJEMPLO LA MISMA PROPORCION DE NNA POR SEXO, POR
EDAD, ETC..)
LA FÓRMULA
EFECTO
NETO =
Resultado
del grupo
participante
del
Programa
─
Resultado
del grupo
de control
construido
±
SESGO
(ERROR)
AFECTAN LA PARTICIPACIÓN PERO SON
DESCONOCIDOS (MOTIVACIÓN)
CONTROLES REFLEXIVOS O MÉTODO DE LA DOBLE DIFERENCIA:
LA POBLACION PARTICIPANTE DEL PROGRAMA SON
COMPARADAS, CON MEDIDAS BASADAS EN DOS DIFERENCIAS.
EL IMPACTO PROMEDIO DEL PROGRAMA SE ESTIMA:
1. MIDIENDO EL CAMBIO EN LAS VARIABLES DE RESULTADO
EXPERIMENTADO POR CADA GRUPO MUESTREADO
PRIMERA DIFERENCIA:
DIFERENCIA CAMBIO ENTRE LA LÍNEA DE BASE Y LA
ENCUESTA DE SEGUIMIENTO
2. SE COMPARA EL CAMBIO QUE MUESTRA EL GRUPO DE
BENEFICIARIOS DEL PROGRAMA CON EL CAMBIO REGISTRADO
EN EL GRUPO DE NO BENEFICIARIOS DEL PROGRAMA:
SEGUNDA DIFERENCIA
ELIMINA EL EFECTO DE CARACTERÍSTICAS NO OBSERVABLES QUE
AFECTAN LA SELECCIÓN DE BENEFICIARIOS PERO EXIGE UNA LÍNEA
DE BASE Y ESTUDIOS DE SEGUIMIENTO DEL GRUPO DE CONTROL
Y
PRIMERA DIFERENCIA
Con programa
y2
Medir
Beneficiarios
SEGUNDA
DIFERENCIA
COMPARA
y1
y0
Medir
Control
LINEA
DE BASE
t0
t1
T
EVALUACION DE IMPACTO
•
MÉTODOS CUALITATIVOS
EN UNA EVALUACIÓN DE IMPACTO SE USAN PRINCIPALMENTE
PARA ENTENDER E INCORPORAR LA PERCEPCIÓN DE LOS
BENEFICIARIOS/AS EN LA EVALUACIÓN.
SON MÉTODOS
COMPLEMENTARIOS.
TÉCNICAS
CUALITATIVAS:
OBSERVACIÓN
PARTICIPANTE,
GRUPOS FOCALES, REGISTROS AUDIOVISUALES.
PUEDE PROPORCIONAR INFORMACIÓN SOBRE:
¾ LAS FORMAS EN QUE LOS HOGARES Y LAS COMUNIDADES
PERCIBEN UN PROYECTO O PROGRAMA Y CÓMO LES AFECTA.
¾ ANALIZAR
Y
REGISTRAR
COMPORTAMIENTOS
LOS
PROCESOS
Y
LOS
CUANDO HAY POCO CONOCIMIENTO A PRIORI DE LA ÁREA DEL
PROGRAMA, HAY ALGUNAS CARACTERÍSTICAS ÚTILES PARA CONSTRUIR
GRUPOS DE CONTROL (PROBADAS POR DIVERSOS ESTUDIOS EN EL
MUNDO)
1.CARACTERISTICAS DE LA PERSONA
- Edad
- Sexo
- Educación
- Estatus socioeconómico (ingreso anual y activos)
- Tenencia (tierras o vivienda)
- Estado civil (soltero, casado, divorciado, etc.)
- Etnicidad (grupo cultural, raza, etc.)
- Habilidades intelectual (CI, habilidad cognitiva, conocimiento)
- Participación laboral (tipo de empleo, etc.)
2. CARACTERISTICAS DE LA FAMILIA u HOGAR
•
Ciclo vital (edad promedio hogar)
•
Número de personas en el hogar
•
Número de hijos
•
Estatus socioeconómico (ingreso anual del hogar y
activos del hogar)
•
Tenencia (tierras o vivienda)
•
Etnicidad (grupo cultural, raza, etc.)
•
Promedio de años de educación formal
•
Participación laboral (número y tipos de trabajos)
3. CARACTERISTICAS DE UNIDADES
ORGANIZADAS (escuelas, cursos, sindicatos, etc.)
9 Tamaño
9 Jerarquía (niveles de autoridad, organigrama)
9 Número de sub-unidades
9 Número de funciones distintivas (personas que trabajan en
roles distintos)
9 Tipo de empresa, industria, etc.
9 Tasa de crecimiento anual
9 Presupuesto
4. CARACTERISTICAS DE COMUNIDADES
™ Tipo de organización de gobierno o Estado
™ Tamaño de la Población
™ Número de Familias u hogares
™ Tamaño del territorio
™ Tasa de crecimiento
™ Densidad poblacional (x km cuadrado)Localización en
relación con otras unidades territoriales (parte de un área
metropolitana?, pueblo?, etc.)
LINEA BASE
estratos
nivel de
activos
nivel de marginalidad de la
localidad
alta
media
baja
bajo
E11
E12
E13
medio
E21
E22
E23
alto
E31
E32
E33
Principales pasos en el diseño e implementación de una
evaluación de impacto
Durante la identificación y preparación del proyecto
-- Determinar si realizar o no una evaluación
-- Aclarar los objetivos de la evaluación
-- Examinar la disponibilidad de datos
-- Diseñar la evaluación
-- Formar el equipo de evaluación
Si se recopilan datos:
(a) Diseñar y seleccionar muestras
(b) Elaborar instrumentos de recopilación de datos
(c) Reunir y capacitar personal para trabajo en terreno
(d) Realizar pruebas piloto
(e) Recopilar datos
(f) Administrar datos y acceder a ellos
Durante la implementación del proyecto
* * Recopilar datos actuales
** Analizar los datos
** Redactar los resultados y analizarlos con las autoridades
responsables y otras partes interesadas
** Incorporar los resultados en el diseño del proyecto
INDICADORES DE DESEMPEÑO
Resultados finales (impacto):
- Tasa de descenso de la desnutrición 2001-2007, en NNA del programa,
desagregado por crónica y global y según niveles de reducción indicados
en el programa, respecto del promedio nacional.
-Porcentaje de la superficie agropecuaria y pesquera apoyada que
registra evidencia de reversión del deterioro y conservación de los
recursos naturales durante cinco años, respecto del grupo de control
-Relación entre la variación porcentual del ingreso bruto promedio de los
pequeños productores beneficiarios del programa y la variación
porcentual del ingreso bruto promedio de los pequeños productores de
México (por tipología de productor)
http://www.eclac.org/ilpes/
Esta presentación fue elaborada por:
Rosario Bello
Consultora ILPES / CEPAL
[email protected]