¿Por qué evaluar impacto?

Magdalena Valdés
Directora Ejecutiva J-PAL LAC
 Propiedad intelectual

El contenido de la siguiente clase es propiedad del Abdul

Latif Jameel Poverty Action Lab (J-PAL).

El material está destinado a su uso como material de

estudio del curso en línea JPAL101SPAx Evaluación de
Impacto de Programas Sociales y no debe ser utilizado
para otros medios sin la autorización expresa de J-PAL.
¿Cómo aumentar la participación
escolar (matriculación y asistencia)?
• Trabajas como asesor en el Ministerio de
Educación de tu país.
• Aumentar la participación escolar ha sido
identificado como una de las prioridades del
nuevo gobierno.
• Tu jefe te cuenta que hay US$ 10 millones
disponible para invertir en un programa para
lograr este objetivo
• Te pregunta en qué intervención recomiendas
invertir. ¿Qué le respondes?
¿Cómo aumentar la participación escolar
(matrícula y asistencia)?

Uniformes Becas al Mejorando salud

Escolares mérito

Transferencias Libros Información

Nuevas sobre retornos
Monetarias Escuelas gratuitos
 Evaluaciones en África
Tiempo adicional de educación por US $100

Uniformes Becas al Libros Mejorando salud

Escolares mérito gratuitos

0 meses 12 ½
8 meses 2 meses
años
Evaluaciones en Latinoamérica
Tiempo adicional de educación por US $100

Transferencias Información
Monetarias sobre retornos

4 días 3 meses

México República
Dominicana
Objetivos

• Entender qué es una evaluación de impacto

• Comprender la importancia de las evaluaciones de

impacto

• Conocer los principales obstáculos para la producción y

el uso de las evaluaciones de impacto
Tipos de evaluación
¿Qué es evaluar?

Evaluación

Evaluación
de
programas

Evaluación
de impacto
Tipos de evaluación de programas

Evaluación de Necesidades

Evaluación Teórica

Evaluación de Procesos

Evaluación de Impacto
Impact Evaluation

Cost-Effectiveness
Evaluación Analysis
de Eficiencia
Evaluación de necesidades

Evaluación de Necesidades

Evaluación Teórica

Evaluación de Procesos

Evaluación de Impacto
Impact Evaluation

Cost-Effectiveness
Evaluación Analysis
de Eficiencia
Evaluación de necesidades

Estudio sistemático que:

– Identifica la naturaleza, el Resultados
alcance y las causas de deseados
una necesidad.
– Define y describe la Necesidad
población objetivo a ser
atendida. Resultados
actuales
– Determina la intervención
que se necesita para
solucionar la necesidad.

Población
Necesidad Solución
Objetivo
Fuente: Basado en Banco Mundial 2012
Preguntas que requieren una
evaluación de necesidades
¿El programa está basado en una buena
conceptualización del problema que busca solucionar?

• ¿Cuál es la naturaleza y la magnitud del problema o

necesidad?
• ¿Cuáles son las posibles causas?
• ¿Cuáles son las características de la población
objetivo?
• ¿Qué programas son los más pertinentes para esta
población?
• ¿Qué programas existen ya para responder el
problema?
Ejemplo: programa de Mejoramiento de
Viviendas
Encuesta Nacional de Campamentos

Fuente: CIS - TECHO 2015

Mapas de vulnerablidad territorial

Fuente: CIS - TECHO 2016

Evaluación teórica

Evaluación de Necesidades

Evaluación Teórica

Evaluación de Procesos

Evaluación de Impacto
Impact Evaluation

Cost-Effectiveness
Evaluación Analysis
de Eficiencia
Evaluación teórica

• Evalúa la teoría que está detrás del programa:

– ¿Es viable y factible?
– ¿Cuán bien responde a las necesidades de la
población objetivo?

Describir la • Marco Lógico

teoría • Teoría de Cambio

• Revisión de literatura
Determinar • Panel de expertos
su calidad • Entrevistas
Preguntas que requieren una
evaluación teórica
¿La teoría detrás del programa es factible?

• ¿Cuáles son los resultado finales que se esperan lograr con el

programa?

• ¿Cómo se pretende llegar a esos resultados finales?

(¿A través de qué insumos, actividades, productos y
resultados intermedios?)

• ¿Qué supuestos y riesgos hay implícitos en nuestra teoría de

cambio?

• ¿Qué tan razonables son estos supuestos, y qué tan grandes

los riesgos?
Ejemplo de Teoría de Cambio
Altos niveles de porbreza en
asentamientos precarios

Voluntariados Material de
Construcción

Viviendas
mejoradas

Mayor sensación Mayor disposición a

de seguridad acumulación de activos

Mejores
Mayor Mayor
relaciones
Satisfacción empleabilidad
interfamiliares
Evaluación de procesos

Evaluación de Necesidades

Evaluación Teórica

Evaluación de Procesos

Evaluación de Impacto
Impact Evaluation

Cost-Effectiveness
Evaluación Analysis
de Eficiencia
Del dicho al hecho…

• La teoría de cambio nos dice cómo el programa

debería funcionar.

• Pero implementar un programa según lo planeado no

es fácil.

• Importante estudiar qué pasa en la práctica.

• Una evaluación de procesos evalúa la implementación

de un programa
Preguntas que requieren una
evaluación de procesos
¿El programa se implementa de manera adecuada?
– ¿Se implementa según lo planeado?
– ¿Cumple con los estándares relevantes?
– ¿Permite lograr los objetivos del programa?

• ¿Cuántas personas están recibiendo el servicio? ¿Son las

personas correctas?
• El servicio recibido, ¿es adecuado en términos de cantidad,
calidad y tipo?
• El personal que ejecuta el programa, ¿cuenta con todas las
competencias requeridas?
• ¿Cómo se administran los recursos?
Encuesta de TECHO
Planes Implementados
90%
Porcentaje de campamentos donde se ha

80%

70%

60%
implementado

50%

40%

30%

20%

10%

0%
Tutorías Fomento Asesorías Talleres Plan de salud Bibliotecas Talleres de
educativas productivo jurídicas electivos aprendizaje
popular

Fuente: CIS - TECHO (2009)

Encuesta de TECHO
Aspectos que se debe mejorar del trabajo de los
voluntarios en campamentos
40%
Porcentaje de las mesas de trabajo que

35%
considera que se debe mejorar

30%

25%

20%

15%

10%

5%

0%
Coordinación con Participación en Constancia en lo Compromiso con Relación con las
la mesa de trabajo las actividades de que hacen el campamento familias
campamento
además de su
plan

Fuente: CIS - TECHO (2009)

Evaluación de impacto

Evaluación de Necesidades

Evaluación Teórica

Evaluación de Procesos

Evaluación de Impacto
Impact Evaluation

Cost-Effectiveness
Evaluación Analysis
de Eficiencia
¿Qué es impacto?

Resultado de los participantes del

programa después de participar
en el programa

Resultado que esos mismos

participantes hubieran obtenido en
ese mismo momento, en el caso
hipotético de no haber participado

Contrafactual
IMPACTO
Preguntas que requieren una
evaluación de impacto

¿El programa tiene los efectos esperados sobre los

beneficiarios?

• ¿Se mantienen estos efectos en el tiempo?

• ¿Todos los componentes del programa son necesarios para

lograr impacto?

• ¿Algunos grupos de beneficiarios están más afectados por la

intervención que otros?

• ¿Existen efectos adversos no planificados?

Evaluación de impacto de TECHO

• Evaluación de impacto de las mediaguas:

– El Salvador
– Uruguay
– México
¿Cuál fue el impacto?

18% Satisfacción con calidad de piso

Satisfacción con la protección que ofrece

20% contra lluvia

Satisfacción con calidad de vida

16%

No hubo impacto en:

• Adquisición de bienes
• Mercado Laboral
• Salud
Procesos vs. Impacto
Evaluación de Procesos ¿Cuánto?
¿Cómo? ¿Por qué? Evaluación de Impacto

Mide si el progreso con

Mide el progreso con respecto a los objetivos es
respecto a los objetivos causado por el programa

Monitoreo continuo y Puntual, limitada en el

frecuente tiempo

Se realiza durante la Se diseña antes de la

implementación del implementación, se
programa consiguen resultados
finales después
Se puede realizar de
Preferentemente se realiza
manera interna o
externamente con apoyo
externa
de los equipos internos

Evidencia descriptiva Evidencia causal

Evaluación de eficiencia

Evaluación de Necesidades

Evaluación Teórica

Evaluación de Procesos

Evaluación de Impacto
Impact Evaluation

Cost-Effectiveness
Evaluación Analysis
de Eficiencia
Evaluación de eficiencia

Análisis costo-beneficio: compara los beneficios del

programa con sus costos en una unidad común
– Implica monetizar los costos y beneficios
– Se realiza generalmente ex-ante

Análisis costo-efectividad: compara el cambio en la

variable de impacto principal con los costos del
programa
– Permite comparar el impacto relativo de distintas
intervenciones
– Se realiza generalmente ex-post
Preguntas que requieren una
evaluación de eficiencia

¿Se logra el impacto de una manera eficiente?

• ¿Es el costo del programa razonable en relación con la

magnitud del impacto?

• ¿Existen intervenciones alternativas que cumplirían los mismos

objetivos a menor costo?

• ¿Los recursos son usados de manera eficiente?

Análisis costo-efectividad en mediaguas
Cambio en la medida de Impacto (tasa de pobreza)
dividido por medida de Costo (dólares).

Costo del
programa
$
En Resumen

• ¿El programa está basado en una buena

Evaluación de
conceptualización del problema que
Necesidades busca solucionar?

Evaluación Teórica • ¿La teoría detrás del programa es factible?

Evaluación de • ¿El programa se implementa según lo

Procesos planeado?

Evaluación de • ¿El programa alcanzó los objetivos para los

Impacto cuales fue diseñado?

Evaluación de • ¿Se logra el impacto de una manera

Eficiencia eficiente?
La importancia de evaluar
impacto
¿Por qué evaluar impacto?
Existen varios motivos por los cuales estamos
interesados en evaluar un programa:

1. Mejorar el programa

2. Hacer más eficiente el gasto público

3. Contestar preguntas de relevancia general

1. Mejorar el programa

Generar información enfocada en el diseño o la

reformulación del programa, con el fin de mejorar su
desempeño y resultados.
– Encontrar soluciones concretas e implementarlas
en el corto plazo
– Permite entender la importancia relativa de los
componentes y procesos del programa
– Implica trabajar en colaboración estrecha con los
responsables del programa
2. Hacer más eficiente el gasto público

Emitir un juicio final en cuanto al uso eficiente de los

recursos y la contribución real del programa a la
resolución de los problemas.
– Útil para tomar decisiones en cuanto a la
asignación de recursos, continuidad del
programa, acciones legales.
– Interesa a los tomadores de decisión de alto
nivel, financistas, legisladores.
– Evaluaciones independientes.
3. Contestar preguntas de relevancia
general
Generar bienes públicos contribuyendo al conocimiento
en ciencias sociales y económicas
– Genera conocimiento sobre mecanismos y efectos
de una intervención
– Sirve de base para innovaciones y nuevos enfoques,
con potencial para replicaciones y escalamientos
– Interesa tanto a implementadores como a financistas
y comunidad de investigadores y hacedores de
política pública.
Ejemplo: transferencias monetarias
condicionadas en México
Ejemplo: transferencias monetarias
condicionadas en México
¿Qué fue lo que permitió el éxito del programa?
• Empoderamiento político
• Apoyo externo del BID
• Avalado por evidencia científica
 Ejemplo: transferencias monetarias
condicionadas en México
¿Cuál fue el rol de la evidencia en el éxito?
• Dio sustentabilidad política al programa en el
tiempo.
• Entregó información al mundo de la efectividad
de la innovación (a muy bajo costo político y
financiero)
• Ayudó a mejorar el diseño del programa a lo largo
del tiempo
Inicio

Fuente: Banco Mundial (2017)

Gran crecimiento en 10 años

Fuente: Banco Mundial (2017)

Falta de evaluaciones de
impacto y uso de sus resultados
¿Cómo decidimos cuáles programas
implementar?
Ideología
Propia
Conocimiento Externa
Apoyo
Evidencia
Presupuesto
Experiencia
Personal Político
Colectiva Capacidad

Programas
/ Políticas
 ¿Cómo decidimos cuáles programas
implementar?

Hacer política pública Hacer política pública

basándose en la opinión basándose en evidencia

Autor de la imagen: Brandon Reynolds. Encargado por University of Cape Town Graduate School of Development Policy and Practice
 Vamos por buen camino
Número de evaluaciones aleatorizadas publicadas en el área de desarrollo internacional

Año de publicación

Fuente: Cameron et al (2016)

 Pero aún queda mucho trabajo por
hacer
Evidencia en Medicina
234.107 estudios clínicos

Fuente: https://ClinicalTrials.gov
11 de enero 2017
¿Por qué existe tan poca evidencia?

1. Medir impacto fuera del laboratorio es complejo.

• Problema de confiabilidad del impacto estimado
• Importancia de una estrategia de identificación
adecuada y bien justificada.
– ¿Estamos aislando el efecto del programa de otros
elementos relevantes?

– ¿Cuál es la estrategia de identificación causal?

– ¿Estamos comparando manzanas con manzanas?

¿Por qué existe tan poca evidencia?

2. Pensar en la evaluación a tiempo

Necesidad de pensar en la evaluación
antes de que se implemente el programa.

3. Problemas de Agencia
• Temporalidad de los incentivos
• Carácter de bien público de la evidencia
• Aversión al riesgo y paradigma sobre el rol de la
evaluación
Uso de evidencia

Incluso cuando existe evidencia rigurosa, muchas veces

no se usa sistemáticamente para diseñar mejores
programas

• Dificultad en identificar la evidencia “rigurosa” de la que

no lo es….
– Baja credibilidad por su mal uso…
– Poco conocimiento de causalidad
• Falta de cultura de evaluación y aprendizaje
• Validez externa
¿Cuándo no evaluar impacto?

• Cuando ya existe suficiente evidencia sobre la

efectividad de la intervención
• Cuando el programa no está maduro y el diseño
está sujeto a modificaciones
• Cuando el público objetivo ya ha recibido el
programa
• Cuando no es posible identificar un grupo de
comparación válido
¿Cuándo evaluar impacto?

• Cuando hay preguntas causales sin respuesta

• Cuando existe incertidumbre sobre la mejor
estrategia de intervención para atacar un problema
• Cuando se está implementando un programa piloto
• Cuando se prevé escalar un programa
• Cuando un programa se está implementando de
manera gradual
• Cuando el programa incorpora nuevos servicios o
beneficiarios
Conclusiones
En resumen

• Existen diferentes tipos de evaluaciones. En este curso

nos focalizaremos en evaluaciones de impacto, las
cuales responden preguntas sobre causa y efecto.

• Evaluar impacto puede ayudar a mejorar el diseño de

los programas sociales, aumentar la eficiencia del gasto
público, y aprender.

• Este potencial de las evaluaciones de impacto no se

está aprovechando lo suficiente, por falta de
producción y uso.