Teoría de cambio e

indicadores

Raquel Bernal
Evaluación de impacto de políticas y programas
2021-20

1
 Agenda

I. Introducción
II. Evaluación de necesidades
III. Teoría de cambio
IV. Indicadores
V. Ejemplo Programa Jardines Sociales Colombia

2
I. Introducción

3
 Hemos hablado sobre…
1. Las razones por las cuales es importante una
evaluación de impacto.
2. Los diferentes tipos de evaluación que
aportan al estudio de la efectividad y costo-
eficiencia de un programa.
3. La importancia de aportar recomendaciones
acerca del programa o política evaluada.

4
Teoría de Cambio

Pero, antes de dar inicio al

proceso evaluativo, es
importante tener bien
pensado lo que estamos
evaluando y cómo medirlo.

5
Componentes de las Evaluaciones de
Programas
Componente Descripción
Evaluación de Necesidades ¿Cuál es el problema?

Teoría de Cambio ¿Cómo, en teoría, el programa

resuelve el problema?

Evaluación de Proceso ¿Ha funcionado el programa

como fue planeado?

Evaluación de Impacto ¿Se han cumplido los objetivos?

¿En qué magnitudes?

Costo-Efectividad ¿Cómo se compara este proyecto

con respecto a las alternativas?

6
 Teoría de Cambio

En esta clase hablaremos de los dos primeros

pasos que se requieren para evaluar programas
y que sientan las bases lógicas detrás de la
evaluación.

7
II. Evaluación de necesidades

8
 ¿Qué es la evaluación de necesidades?

La evaluación de necesidades es un enfoque

sistemático para:

o Identificar la naturaleza y el alcance de un

problema social
o Definir la población objetivo a ser atendida
o Determinar la atención que necesitan para
hacer frente al problema

9
 ¿Qué es la evaluación de
necesidades?
¿Cómo se hace una evaluación de necesidades?
• La evaluación de necesidades se construye a
partir de:
o Indicadores sociales
o Encuestas
o Censos
o Entrevistas, etc.

10
Ejemplo 1: Incrementando el ahorro
Componente Descripción
Necesidad Incrementar el ahorro formal

Problema Costos de transacción de

bancos son muy altos
Solución Reducir los costos de
transacción de retiros
Solución Alternativa Mercadear cuentas para los
más pobres

Diseño Una cuenta bancaria con tarjeta

débito gratis que reduce el
costo de realizar retiros
bancarios

11
Ejemplo 1: Incrementando el ahorro

¿Por qué incrementar el ahorro?

Falta de acceso al ahorro no significa que los pobres no
quieran o no puedan ahorrar.
Collins et al. (2009) demuestran que hogares en situación de
pobreza ahorran de diversas manera informales, pero que
estos métodos son usualmente costosos.
Aportela (1999) sugiere que banca formal incrementa ahorro,
inversiones e ingresos.
Mecanismo de protección contra choques.

12
Ejemplo 1: Incrementando el ahorro
¿Cuál es el obstáculo al
ahorro formal?
• Altas comisiones de
retiro hacen menos
probable que las
personas ahorren en el
sector formal.

13
Ejemplo 1: Incrementando el ahorro

¿Cómo atacar este problema

para incrementar el ahorro?

Hacerlo menos costoso y más

conveniente para el usuario.

14
 Ejemplo 1: Incrementando el ahorro
¿Cuál es una solución?
Reducir las tasas de
transacción de retiro
(comisión) que cobra el banco
y dar tarjetas débito gratis.

Esto responde a la necesidad si

logra hacer del ahorro formal
más atractivo.

15
Ejemplo 2: Pobreza y salario mínimo

Componente Descripción
Necesidad Disminuir los niveles de
pobreza
Problema Salarios muy bajos
Solución Establecer un salario mínimo
más alto
Solución Alternativa Incentivar la entrada al sector
formal
Diseño Aumentar el salario mínimo
real

16
III. Teoría de cambio

18
 Teoría de Cambio

• Representa la cadena CAUSAL entre:

– Necesidades/Objetivos
– Insumos
– Productos
– Resultados intermedios
– Impactos (esperados y no deseados)
• Facilita la definición de la hipótesis a verificar.
• Facilita la construcción de indicadores para
medir distintas metas del programa.
19
 Cadena de causalidad

Objetivos Resultados
Insumos Productos Impactos
Intermedios

¿A qué necesidad ¿Qué puedo Consecuencia Factores de Lo que quiero

responde? hacer para lograr directa de la transición que modificar según los
Especifica la ese objetivo? intervención. conectan los objetivos del
población objetivo Primer resultado productos con los programa.
observable de la impactos.
Son Medibles
acción.
20
Ejemplo 1: Incrementando el ahorro

Insumos Productos Resultados Impactos

Objetivos
Intermedios

Aumenta el
Diseño e
Clientes Incrementa la ahorro
implementa-
Incentivar el abren cuenta cantidad de (inversión,
ción de
ahorro y reciben dinero que consumo
cuenta
tarjeta débito guardan en durables,
bancaria con
gratis los bancos fluctuaciones
retiros gratis
etc.)

21
 Ejemplo 2: Pobreza y salario mínimo

Insumos Productos Resultados Impactos

Objetivos
Intermedios

Reducir la Aumento en Mayores ingresos Mayor consumo y

Aprobación de
pobreza salario mínimo entre los más ahorro entre los
ley/negociación
real pobres más pobres

22
 Ejemplo 3: Desnutrición y
computadoras
Insumos Productos Resultados Impactos
Objetivos
Intermedios

Mejorar la Generar Computadoras

Padres y niños Disminuir la
nutrición de los información que incluyan
más informados desnutrición de
niños de escasos sobre el valor libros pre-
sobre la los niños más
recursos nutricional de grabados sobre
nutrición pobres
las comidas la nutrición

23
IV. Indicadores

24
 Indicadores
Una definición objetiva del éxito de un programa
tiene que estar basada en resultados tangibles.

Para esto necesitamos desarrollar indicadores que

nos permitan:
– Cuantificar los insumos en la intervención
– Evaluar la implementación de la intervención
– Cuantificar los resultados e impactos
– Registrar las percepciones de la intervención.

25
 Indicadores

En algunos casos el desafío está en definir indicadores.

Buenos indicadores deben ser:

C laros: precisos y sin ambigüedad

R elevantes: apropiados para la medición en cuestión
E conómicos: fáciles de medir y recolectar
A decuados: suficientes para detectar impactos en
hipótesis claves

26
 Indicadores

Ejemplo: Programa nutricional para niños Canasta

Programa Canasta consiste en la entrega de un mercado
por niño con el objetivo de mejorar la situación
nutricional de la primera infancia.
¿Cuál es el indicador claro, relevante, económico y
adecuado?
Un indicador de estado nutricional como talla para la
edad, peso para la edad o medición de desnutrición
directamente.
27
 Indicadores
Ejemplo: Programa para el Adulto Mayor
Ejemplo: el programa consiste en la entrega de un subsidio
monetario equivalente a 50% de un SMLV mensual con el
objetivo de “proteger al adulto mayor que se encuentre en
estado de vulnerabilidad contra el riesgo económico de la
imposibilidad de generar ingresos y contra el riesgo de la
exclusión social”.
¿Cuál es el indicador claro, relevante, económico y
adecuado?
¿Ser pobre? ¿No sentirse excluido socialmente? ¿Sentirse
menos vulnerable? ¿Estar más contento con la vida?
28
 Indicadores
En otros casos el desafío está en la medición.

Por ejemplo:

Corrupción: Los actos de corrupción son difíciles de medir

porque por definición quienes comenten estos actos tienden a
esconderlos.

Ahorro: El ahorro es difícil de medir ->

Problemas de agregado: existen diferentes fuentes de ahorro,
incluyendo formales e informales.
Problemas de medición a través de tiempo: El momento de la
medición (justo antes o después de un retiro) puede afectar en
gran medida los resultados.
29
 V. Ejemplo
Programa Jardines Sociales de
Bienestar en Colombia

30
 Antecedentes

Cerca de 1.3 millones de niños entre 0 y 5 años de edad son

atendidos en Hogares Comunitarios de Bienestar Familiar en
Colombia. Comparados con niños elegibles pero no
participantes, los beneficiarios se desempeñan peor en
nutrición, salud y desarrollo cognitivo.

31
Programa Jardines Sociales
El gobierno decide cualificar el servicio de hogares comunitarios a través de
la modalidad de jardines sociales:
o Infraestructuras para 300 niños (22 hogares comunitarios de la vecindad)
o Personal pedagógico idóneo
o Aulas por rangos de edad con currículo estructurado
o Materiales y rutinas pedagógicas adecuadas.

32
 Evaluación

Imaginemos que debemos evaluar el impacto de este

programa de atención integral a la primera infancia.
• ¿Cuáles son los resultados de interés más
importantes?
• ¿Cómo los podemos medir?
• ¿Qué datos tienen que ser recolectados para medir
impacto?

33
 Teoría de cambio

Recordemos:

Una teoría de cambio identifica la cadena causal

entre la intervención y los resultados finales
esperados.

34
 Teoría de cambio

Insumos Productos Resultados Impactos

Necesidades
Intermedios

Disminuye la
Niños atendidos Niños mejor
Niños atendidos en Programa Jardines desnutrición,
por personal nutridos, que
malas condiciones Sociales para mejoran
idóneo, con aprenden más y
de calidad con cualificar el servicio condiciones de
servicio integral y mejor material, con
repercusiones en Hogares salud, mejora
currículos bien menor incidencia
sobre desarrollo Comunitarios desarrollo cognitivo
estructurados de enfermedades
y socioemocional

Impactos de largo plazo

Niños con mejores
resultados en primaria y
secundaria, jóvenes con
menores tasas de
criminalidad y embarazo
adolescente, adultos con
mejores ingresos
35
 ¿Dónde podemos conseguir
información?
Datos primarios:
• Encuestas
• Exámenes, pruebas
• Algunos juegos para
medir preferencias
• Observación, Logs

¿Cuáles podrían ser algunos problemas con

estos recursos?
36
 Teoría de cambio
Insumos Productos Resultados Impactos
Necesidades
Intermedios

Disminuye la
Niños atendidos Niños mejor
Niños atendidos en Programa Jardines desnutrición,
por personal nutridos, que
malas condiciones Sociales para mejoran
idóneo, con aprenden más y
de calidad con cualificar el servicio condiciones de
servicio integral y mejor material, con
repercusiones en Hogares salud, mejora
currículos bien menor incidencia
sobre desarrollo Comunitarios desarrollo cognitivo
estructurados de enfermedades
y socioemocional

• Educación del educador • Apertura de centros • Asistencia a centro • Probabilidad de

• Escalas estandarizadas • Cualificaciones de los • Incidencia de desnutrición
de calidad educadores enfermedades • Puntajes estandarizados
• Logros de aprendizaje • Matrícula completa • Calidad de atención en tests de habilildad
de los niños/as en centros en centros cognitiva y
• Cumplimiento de • Cambios en las socioemocional
minuta nutricional inversiones en el • Examenes hemoglobina,
• Etc. hogar coprológico
37
 Conclusión

• La Teoría de cambio nos ayuda a ordenar

ideas y pensar bien sobre las preguntas
que se están haciendo y cómo medir las
respuestas.

• Una buena evaluación de impacto

depende en gran medida del trabajo
previo que se realice.
38
 Taller # 1 - individual

• Con el estudio de caso de cada uno,

construya:
❖ La hoja de descripción del programa o política a
estudiar según las indicaciones en el programa.
❖ El diagrama de teoría del cambio completo,
incluyendo indicadores concretos para las etapas
(en Canva y el formato será importante).

Entrega: próxima clase (23 de agosto).

39