Evaluación de Impacto

Econometría I
PUCP

Fuente: Basado en el Capítulo 2 de Bernal (2011)

 Evaluación de Impacto

• El principal objetivo de una Evaluación de Impacto es

estimar el impacto o demostrar el efecto causal de un
programa sobre una o más variables de resultado en un
conjunto de individuos.

• Los resultados de una evaluación de impacto pueden

ayudar para la toma de decisiones para: i) mejorar el
diseño de un programa, ii) eliminar programas, o iii)
escalar programas.
 La dificultad en una Evaluación de Impacto

• Para obtener el efecto del tratamiento, necesitaríamos

evaluar la diferencia entre la variable de resultado de los
participantes con programa y la variable de resultado de
los participantes en ausencia del programa, lo que se
denomina contrafactual.

• En otras palabras, lo que se busca es poder tener al

mismo individuo en ambas situaciones o estados.
 Términos claves

1 individuo i recibe tratamiento

Di
0 en caso contrario

variable de resultado para cada individuo

Yi ( Di )
i dado su estado 𝐷𝑖

Yi (1) es la variable de resultado del individuo i si es tratado

Yi (0) es la variable de resultado del individuo i si no es tratado.
 Ejemplo: Programa Nacional Cuna Más
Supongamos que debemos evaluar el impacto del programa Cuna Más
del Ministerio de Desarrollo e Inclusión Social. Este programa busca
mejorar el desarrollo infantil de los niños y niñas menores de 3 años en
zonas de pobreza y extrema pobreza.

Población objetivo:
Niños y niñas menores de 3 años en zonas de pobreza y pobreza extrema.

Objetivo del programa:

Brindar atención integral a las niñas y los niños menores de 3 años en
cuanto a su salud, nutrición, juego, aprendizaje y desarrollo de
habilidades sociales.

Pregunta de Evaluación
¿Cuál es el impacto del Programa Nacional Cuna Más en el Desarrollo
Infantil de los niños y niñas menores de 3 años?
 Ejemplo: Programa Nacional Cuna Más

Como definimos la participación al programa:

1 = si el niño participa en el programa Cuna Más

Di =
0 = si el niño no participa en el programa Cuna Más

Sobre que queremos ver el efecto

Yi = Desarrollo Infantil (p.ej.: Puntaje en la escala abreviada

Nelson Ortiz)

¿Podemos tener otras variables de resultado? Sí, va depender

de las preguntas que se planteen en el estudio. Por ejemplo:
Estado nutricional de los niños y niñas menores de 3 años.
 Efecto del tratamiento (i)

El efecto del tratamiento o programa sobre el individuo i

estaría dado por:
𝜏𝑖 = 𝑌𝑖 1 − 𝑌𝑖 (0)

Problema:
Sólo se puede observar UNO de los dos resultados
potenciales para cada individuo i. Es decir, el individuo i
sólo puede ser participante o no participante, pero no
ambas al mismo tiempo.
 Efecto del tratamiento (ii)

Podemos escribir el resultado observado de la siguiente

manera:

𝑌𝑖 = 𝐷𝑖 𝑌𝑖 1 + 1 − 𝐷𝑖 𝑌𝑖 (0)

Dado que no se puede obtener el efecto del tratamiento

para cada individuo i. El análisis debe concentrarse en el
impacto promedio del programa en la población o en
un subconjunto de la población bajo estudio.
 El contrafactual (i)

• Un aspecto importante en Evaluación de Impacto es

entender la idea del contrafactual.

• El contrafactual, es lo que hubiese pasado a los

participantes del programa si no hubieran sido
beneficiarios de este.

• Como en la realidad el contrafactual no existe, cada

evaluación busca de manera explícita o
implícita construir una estimación del contrafactual lo
más precisa posible.
 El contrafactual (ii)

• Esta estimación del contrafactual se representa con un

grupo que se denomina el grupo de control o de
comparación o de contraste. Son los individuos que no
participaron en el programa, mientras que el grupo de
tratamiento son los individuos que participaron del
programa.
 ¿Qué efectos se pueden estimar?

Los efectos que se pueden estimar son:

• Average Treatment Effect o Efecto Promedio del

Programa (ATE)

• Average Treatment Effect on the Treated o Efecto

Promedio del Programa en los Tratados (ATT)

• Average Treatment Effect on the Untreated o Efecto

Promedio del Programa en los No Tratados (ATU)
 Efecto Promedio del Programa (ATE)

𝜏𝐴𝑇𝐸 = 𝐸 𝜏𝑖 = 𝐸[𝑌𝑖 1 − 𝑌𝑖 0 ]

• Se interpreta como el cambio en la variable resultado

cuando un individuo pasa aleatoriamente de ser
participante a ser no participante.

• Relevante particularmente para la evaluación de

programas universales.
 Efecto Promedio en los Tratados (ATT)
𝜏𝐴𝑇𝑇 = 𝐸 𝜏 𝐷 = 1 = 𝐸 𝑌 1 𝐷 = 1 − 𝐸[𝑌 0 |𝐷 = 1]

𝐸[𝑌𝑖 (1)|𝐷𝑖 = 1] como el promedio de la variable de

resultado para los individuos tratados dado que
participaron en el programa.

𝐸[𝑌𝑖 (0)|𝐷𝑖 = 1] como el promedio de la variable de

resultado de individuos tratados dado que no hubieran
participado en el tratamiento. Es decir, cómo les habría
ido en el escenario hipotético de que el programa no
hubiera existido (contrafactual).
 Efecto Promedio en los Tratados (ATT)

• Mide el impacto del programa en aquellos individuos que

participaron efectivamente.

• Parámetro de mayor interés en la evaluación de impacto,

porque la mayoría de programas son focalizados y no
universales.
 Efecto Promedio en los no Tratados (ATU)

𝜏𝐴𝑇𝑈 = 𝐸 𝜏 𝐷 = 0 = 𝐸 𝑌 1 𝐷 = 0 − 𝐸[𝑌(0)|𝐷 = 0]

𝐸[𝑌𝑖 (1)|𝐷𝑖 = 0] como el promedio de la variable de

resultado para los individuos no tratados si hubieran
podido participar en el tratamiento. Es decir, cómo les
habría ido en el escenario hipotético de que no
hubieran participado del programa (contrafactual).

𝐸[𝑌𝑖 (0)|𝐷𝑖 = 0] como el promedio de la variable de

resultado para los individuos no tratados dado que no
participaron en el programa.
 Efecto Promedio en los no Tratados (ATU)

• Parámetro relevante para determinar si el programa se

debe extender a otros subconjuntos de población fuera
del que en la actualidad es elegible.

• Este parámetro estimado busca responder a la pregunta:

¿Cuál sería el efecto de extender un programa a los no
participantes en el mismo?
 ¿Cómo nos aproximamos al contrafactual?

Para estimar el ATT y ATU se debe encontrar una

aproximación para el contrafactual.
Para ATT:
No observado ? Observado

𝐸[𝑌(0)|𝐷 = 1] ≈ 𝐸[𝑌(0)|𝐷 = 0]

Podría ser una aproximación inexacta, dado que quienes

participan en el programa, en general, son distintos de
quienes no lo hacen; por lo tanto, la variable de resultado
suele ser distinta entre el grupo de control y el de
tratamiento, aun en ausencia del programa.
 ¿Cómo nos aproximamos al contrafactual?

τATT= 𝐸 𝑌 1 𝐷 = 1 − 𝐸 𝑌 0 𝐷 = 1

τATT+𝐸 𝑌 0 𝐷 = 1 = 𝐸 𝑌 1 𝐷 = 1

Restamos a ambos lado E[Y(0)|Di=0]

τATT+𝐸 𝑌 0 𝐷 = 1 − 𝐸 𝑌 0 𝐷 = 0 = 𝐸 𝑌 1 𝐷 = 1 − 𝐸 𝑌 0 𝐷 = 0

=0 Lo que observamos
 Condición para la aproximación

Para recuperar 𝜏𝐴𝑇𝑇 se requiere que:

𝐸 𝑌 0 𝐷 =1 −𝐸 𝑌 0 𝐷 =0 =0

• Implica que la variable de resultado en ausencia del

programa debe ser idéntica para los individuos tratados
y los individuos no tratados.

• En otras palabras, la participación en el programa es

independiente de las características de los individuos.
 ATT aproximado

Asumiendo que se cumple:

𝐸 𝑌 0 𝐷 =1 −𝐸 𝑌 0 𝐷 =0 =0
𝜏𝐴𝑇𝑇 se puede expresar como:
𝜏𝐴𝑇𝑇 = 𝐸 𝑌 1 𝐷 = 1 − 𝐸[𝑌(0)|𝐷 = 0]
El estimador muestral sería el siguiente:
𝜏𝐴𝑇𝑇 = 𝑌|𝐷 = 1 − 𝑌|𝐷 = 0
Donde 𝑌ത es el promedio muestral de la variable de
resultado dado su estatus de participación.
 Independencia condicional

El estimador 𝜏𝐴𝑇𝑇 se puede obtener de la siguiente

regresión:
𝑌𝑖 = 𝛽0 + 𝛽1 𝐷𝑖 + 𝑢𝑖
Si la condición:
𝐸 𝑌 0 𝐷 =1 −𝐸 𝑌 0 𝐷 =0 =0
se cumple, esto implica que:
Quienes participan en el
programa no son
𝐸 𝑢𝑖 𝐷𝑖 = 0 sistemáticamente distintos
Supuesto de Independencia de aquellos que no
condicional. participan en el programa.
 Propiedades del estimador

Bajo independencia condicional el estimador de mínimos

cuadrados ordinarios (MCO) de es:

1. Consistente:
𝑝
𝛽1 𝛽1

2. Insesgado:
𝐸 𝛽1 = 𝛽1
 Parámetro estimado

Efecto del programa

𝛽1 Diferencia de medias de la variable de resultado entre el
grupo de tratamiento y el grupo de control

𝜏𝐴𝑇𝑇 = 𝐸 𝑌 1 𝐷 = 1 − 𝐸[𝑌(0)|𝐷 = 0]
= 𝛽0 + 𝛽1 − 𝛽0 = 𝛽1

Por lo tanto, el estimador de estaría dado por:

𝛽1 = 𝑌ത 𝐷 = 1 − [𝑌ത|𝐷 = 0]
 Ejemplo: Programa Nacional Cuna Más

𝐸[𝑌 1 |𝐷 = 1] Puntaje promedio en la escala

abreviada Nelson Ortiz para los niños
que participan del programa.

𝐸[𝑌 0 |𝐷 = 1] Puntaje promedio en la escala

abreviada Nelson Ortiz para los niños
participantes ante ausencia del
programa. El contrafactual.

𝐸[𝑌 0 |𝐷 = 0] Puntaje promedio en la escala

abreviada Nelson Ortiz para los niños
que no participan del programa.
Promedio en el grupo de control.
 Ejemplo: Programa Nacional Cuna Más

• Si se cumple que:
𝐸 𝑌 0 𝐷 =1 −𝐸 𝑌 0 𝐷 =0 =0

Entonces el efecto del programa se podría estimar a través

de la comparación de medias de la variable de resultado
del grupo de tratamiento y el grupo de control.

El efecto se puede estimar con la regresión

𝑌𝑖 = 𝛽0 + 𝛽1 𝐷𝑖 + 𝑢𝑖
β1 = Efecto del programa sobre el desarrollo infantil
Algunos ejemplos de Evaluaciones de
Impacto
Cueto et al (2008): El impacto del
programa META
Diaz y León (2013): Evaluación de
Impacto de Sinfonía por el Perú
Diaz y Saldarriaga (2013): Impacto del
programa Juntos
 Sesgo de selección

Fuente: Basado en el Capítulo 3 de Bernal (2011)

 Términos Claves

1 individuo i recibe tratamiento

𝐷𝑖 =
0 de lo contrario

Variable de resultado para cada individuo 𝑖

𝑌𝑖 𝐷𝑖 =
dado su estado 𝐷𝑖

𝑌𝑖 (1) es la variable de resultado del individuo i si es tratado

𝑌𝑖 (0) es la variable de resultado del individuo i si no es tratado
Efecto individual del programa: 𝜏𝑖 = 𝑌𝑖 1 − 𝑌𝑖 (0)
 Términos Claves

𝐸[𝑌(1)|𝐷 = 1] Media de la variable de resultado en el

grupo de participantes.
Media que hubieran obtenido los
𝐸[𝑌(0)|𝐷 = 1] participantes si el programa no hubiera
existido.
Media de la variable de resultado entre
𝐸[𝑌(1)|𝐷 = 0]
los no participantes en el programa, si
hubieran podido participar.
𝐸[𝑌 0 |𝐷 = 0] Media de la variable de resultado de
quienes no participaron en el programa.
 ¿Qué sucede cuando no se cumple el supuesto
clave en una Evaluación de Impacto?
El objeto de la evaluación de impacto es estimar:
𝜏𝐴𝑇𝑇 = 𝐸 𝜏 𝐷 = 1 = 𝐸 𝑌 1 𝐷 = 1 − 𝐸[𝑌(0)|𝐷 = 1]

No observado
Para calcularlo suponemos que:
𝐸 𝑌 0 𝐷 =1 −𝐸 𝑌 0 𝐷 =0 =0

El principal reto es determinar bajo qué condiciones este

supuesto sería válido.
El supuesto se viola cuando hay autoselección.
 Sesgo de selección
Cuando los individuos se autoseleccionan en el programa:

• Existen características observadas y no observadas que

causan que unos individuos decidan participar y otros
decidan no hacerlo. Por lo tanto, los dos grupos podrían ser
sistemáticamente diferentes.

• El grupo de tratamiento y el de control son generalmente

distintos, aun en ausencia del programa.

𝐸[𝑌(0)|𝐷 = 1] ≠ 𝐸[𝑌(0)|𝐷 = 0]
 Ejemplo: Programa Nacional Cuna Más
• En el programa Cuna Más las madres deciden si enviar o no a su
hijo o hija a un Centro de Cuidado Diurno.

• Esto hace que participar tenga un costo para las madres (p.ej.:
tiempo para dejar a su hijo o hija)

• Así existen diferencias entre el perfil de las madres de los niños

que envían a sus hijos o hijas a Cuna Más y aquellas que no envían
a sus hijos o hijas.

Madres más o menos

Incidiría en el nivel de
preocupadas por el
desarrollo de los niños.
desarrollo de sus hijos
 Consecuencia del sesgo de selección

• Al violarse el supuesto :
𝐸 𝑌 0 𝐷 = 1 − 𝐸[𝑌(0)|𝐷 = 0] ≠ 0

𝑌𝑖 = 𝛽0 + 𝛽1 𝐷𝑖 + 𝑢𝑖

en la regresión 𝐸[𝑢𝑖 |𝐷𝑖 ] ≠ 0 implica :

Existen características observadas y no observadas de los

individuos contenidas en 𝑢𝑖 que explican tanto la decisión
de participar en el programa, 𝐷𝑖 , como la variable de
resultado 𝑌𝑖
 Consecuencias en las propiedades del estimador

• Cuando se viola el supuesto de independencia condicional, el

estimador ̂1 de mínimos cuadrados ordinarios (MCO) deja de
ser insesgado.

• Por ende, el efecto del programa no se puede obtener de la

comparación de las medias de la variable de resultado entre los
tratados y no tratados. ̂1 captura tanto el efecto directo del
programa como el efecto que tienen otros factores no medidos
(p. ej., motivación de la madre por enviar a su hijo o hija a Cuna
Más) sobre el desarrollo infantil.
 ¿Cómo eliminamos el sesgo de selección?

• Si las características del individuo que explican tanto la

participación en el programa como la relación con la
variable de resultado son observadas, se deben introducir
explícitamente en el modelo de regresión, para eliminar el
sesgo, así:
𝑌𝑖 = 𝛽0 + 𝛽1 𝐷𝑖 + 𝛽2 𝑋𝑖 + 𝑢𝑖

Donde:
Xi=Características observadas del individuo i.
 Ejemplo: Programa Nacional Cuna Más

Si las madres más educadas son aquellas que deciden enviar a

sus hijos a un Cuna Más, mientras que las menos educadas
deciden no hacerlo. Entonces la variable de control que
debería ser incluida en la regresión es:

Xi = Nivel educativo de las madres

De esta manera se elimina el sesgo de selección y ̂1 es un

estimador insesgado y consistente del programa.
 ¿Qué pasa si las variables que explican la
participación no son observadas?
Si las variables que determinan la participación en el
programa no se observan o no están registradas en la base
𝐸(𝛽1 ) ≠ 𝛽1

Suponiendo que Wi sea la variable omitida, es decir:

- Modelo Estimado 𝑌𝑖 = 𝛽0 + 𝛽1 𝐷𝑖 + 𝑢𝑖
- Modelo que se debería estimar 𝑌𝑖 = 𝛽0 + 𝛽1 𝐷𝑖 + 𝛽2 𝑊𝑖 + 𝑢𝑖
Al no poder incluir Wi en la regresión, le estamos atribuyendo
al programa parte del efecto que tiene W sobre Y.
 Ejemplo: Programa Nacional Cuna Más

Si, por ejemplo, la diferencia entre los niños participantes y

no participantes son las actitudes de la madre hacia la
educación y esta variable no ha sido medida, entonces el
efecto que se encuentre del programa va ser sesgado.

𝐸(𝛽1 ) ≠ 𝛽1
 Dirección del sesgo

La dirección del sesgo depende de la correlación entre la

variable no observada (omitida) y la participación del
individuo en el programa:

𝐶𝑜𝑟𝑟 𝐷𝑖 𝑊𝑖 > 0 𝐶𝑜𝑟𝑟 𝐷𝑖 𝑊𝑖 < 0

𝛽2 > 0 𝐸 𝛽1 > 𝛽1 𝐸 𝛽1 < 𝛽1

𝛽2 < 0 𝐸 𝛽1 < 𝛽1 𝐸 𝛽1 > 𝛽1
 Ejemplo: Programa Nacional Cuna Más

Si las actitudes de las madres hacia la educación

aumenta la probabilidad de
𝐶𝑜𝑟𝑟 𝐷𝑖 𝑊𝑖 > 0
participar en el programa
𝐸 𝛽1 > 𝛽1
y aumenta el puntaje en el
desarrollo infantil 𝛽2 > 0

Si las actitudes de las madres hacia la educación

disminuye la probabilidad de
𝐶𝑜𝑟𝑟 𝐷𝑖 𝑊𝑖 < 0
participar en el programa
y aumenta el puntaje en el 𝐸 𝛽1 < 𝛽1
𝛽2 > 0
desarrollo infantil
Tipos de diseño de Evaluación
de Impacto
EVALUACIONES EXPERIMENTALES Y
CUASI-EXPERIMENTALES
Objetivo
Estimar el efecto causal del programa P sobre un resultado Y

Impacto = Yt - Yc

donde:
P es el programa
Y es la variable de resultado.
Yt es el resultado con el programa
Yc es el resultado sin el programa
Métodos de Evaluación
Los métodos de evaluación son:

• Método Experimental: se cuenta con grupo de

tratamiento y control, y existe asignación aleatoria
a cada estado o situación.

• Método Cuasi-Experimental: se cuenta con grupo

de tratamiento y control pero no hay selección
aleatoria a cada estado o situación.
MÉTODO EXPERIMENTAL
 La aleatorización o asignación aleatoria nos
permite contar con un buen contrafactual
En una muestra grande, dos grupos seleccionados al azar
cuentan en promedio con características similares. El grupo
que participa de Jornada Escolar Completa es el grupo de
tratamiento, el que no participa es el contrafactual o grupo
de control.

Grupo de Tratamiento Grupo de Control

Para la estimación del impacto de un programa con
diseño experimental (RCT), basta con realizar una
regresión lineal

𝑌𝑖 = 𝛽0 +𝛽1 𝑊𝑖 +𝜇𝑖

Y: variable de
resultado Efecto del
programa

W: toma el valor
Término
de 1 si el
de error
individuo es
tratado, 0 si no
Aspectos a tomar en cuenta

▪Aleatorización: el nivel de la aleatorización puede variar

según la naturaleza del programa y otros criterios.

▪Tamaño de muestra: para que los grupos de tratamiento y

control se parezcan en promedio, la muestra tiene que ser
relativamente grande.

▪Balanceo entre grupos: es posible verificar si la aleatorización

fue bien hecha comparando las características observables de
ambos grupos.
Tamaño de Muestra (i)
Tamaño de Muestra (ii)
Diaz y León (2013): Evaluación deImpacto del programa
Sinfonía por el Perú

Balanceo
Limitaciones

▪ La asignación aleatoria enfrenta diferentes retos en la

práctica (contaminación, retos logísticos, no participación
del programa).

▪ No siempre se puede evaluar un programa con un diseño de

asignación aleatoria: i) algunos programas de interés ya
están en marcha, ii) la naturaleza del programa hace difícil
realizar una aleatorización (programas sociales).

▪ El diseño de asignación aleatoria es el “benchmark” pero

existen otros métodos igual de robustos (métodos cuasi-
experimentales).
Diaz y León (2013). Efectos de Sinfonía por el
Perú
Métodos cuasi-experimentales
Métodos Cuasi-Experimentales
No existe asignación aleatoria a cada situación (tratamiento y
control), razón por la cual existe sesgo de selección. Así,
existen diferentes métodos estadísticos que permiten
asegurar contar con un grupo comparable y eliminar el sesgo
de selección.

Los métodos cuasi-experimentales más usados son:

▪ Diferencias en Diferencias (DD)

▪ Emparejamiento o Propensity Score Matching (PSM)
▪ Regresión Discontinua (RD)
▪ Variables Instrumentales (VI)
Diferencias en diferencias (DD)
Útil para evaluar un programa expost y el grupo de tratamiento y
de control no tienen que ser necesariamente iguales.

Esta estrategia combina dos elementos: i) existencia de dos

grupos: tratamiento y control, y ii) observación de ambos
grupos antes y después del programa.

Supuesto clave (tendencias iguales): En ausencia del programa,

el grupo de tratamiento y el grupo de control seguirían la
misma tendencia. Esto implica que las diferencias entre ambos
grupos, de haberlas, son fijas en el tiempo.
¿En qué consiste el métodode Diferencias en
Diferencias?

Antes del Después del

Diferencia
programa programa
B A A-B
Grupo de 110 150 40
tratamiento
D C C-D
Grupo de
115 125 10
control
(A-B)-(C-D)
Doble
diferencia DD = 30**

**Diferencia estadísticamente significativa al 5%

Impacto = DD = (A-B) – (C-D) = 30**

 Estimación del impacto del programa usando el
método de DD mediante una regresión lineal

Y: variable de
Impacto del
resultado Término
W: toma el valor Programa
Toma el valor de error
de 1 si individuo [La interacción entre la
de 1 si
es tratado, 0 si no variable temporal y la
individuo es
participación del
observado en
programa que permite
la línea de
capturar la no
seguimiento, 0
linealidad]
si no
Limitaciones

▪El cumplimiento del supuesto clave de tendencias iguales.

Se puede testear parcialmente si tenemos dos
observaciones antes del programa. Sin embargo, aún así,
es posible que el grupo tratado y el grupo control
evolucionen de manera distinta.

▪Una posible solución es el uso de un estimador de triple

diferencia pero requiere más de dos puntos en el tiempo.
Chinen y Bonilla (2017): Evaluación de impacto del
programa Soporte Pedagógico: Ecuación

Efecto del programa

 Chinen y Bonilla (2017): Evaluación de impacto del
programa Soporte Pedagógico: Tendencias paralelas

Supuesto de Tendencias
iguales
[El estudio logra el
cumplimiento de este
supuesto mediante el uso de
PSM para encontrar en
promedio escuelas
comparables]
Chinen y Bonilla (2017): Evaluación de impacto del
programa Soporte Pedagógico: Resultados

Resultados en
Matemática
Método de emparejamiento (i)

▪El método de emparejamiento presenta otra estrategia útil

para evaluar un programa ex-post. No requiere de línea de
base o de una base de datos panel o longitudinal.

▪En ausencia de asignación aleatoria, casi siempre el grupo

que recibe el programa será diferente al grupo que no lo
recibe.

▪Sin embargo, dentro de cada grupo algunos individuos

serán más parecidos que otros. Podemos emparejar
individuos similares de ambos grupos.
Método de emparejamiento (ii)

• El contrafactual será formado por los individuos del grupo

no tratado que comparten características similares a los
tratados.

• Supuesto clave: variables que determinan la participación

en el programa son observables.
Focalización de un programa en pobres

Participantes No participantes

Muy pobres

Pobres

No pobres

Ricos
Probabilidad de participar en el Programa

Participantes No participantes

Muy pobres
Muy alta Muy alta

Pobres
Alta Alta

No pobres
Baja

Ricos
Muy baja
Se busca “emparejar” a los participantes que más
se parecen (y excluir al resto)
Participantes No participantes

Muy pobres
Muy alta Muy alta

Pobres
Alta Alta

Soporte común
¿En qué consiste el Emparejamiento?
▪ Para “emparejar” a los individuos se hace en función a
variables observables, tales como: Nivel educativo, Tipo de
ocupación, Área de residencia, Características del hogar (techo,
paredes, pisos), entre otras. Sin embargo, estas variables
deben provenir de un buen conocimiento del programa.

▪ La técnica de propensity score matching (PSM) asigna a cada

individuo una probabilidad de acceder al programa
(independientemente de si participa en el programa o no).

▪ La idea es comparar a individuos con una probabilidad similar

de acceder al programa y se compara solo a individuos en el
“soporte común”.
 Soporte Común
• Se estima el modelo “logit” o “probit” de participación en el
programa en función de las variables observables. Luego se
estima la probabilidad predicha y se grafica los gráficos de
distribución para cada grupo.
Densidad
Control Tratado

Soporte común

Menor probabilidad Mayor probabilidad

Probabilidades asignadas usando PSM (i)
Participantes No participantes

Muy pobres

80% 73% 72% 70% 78% 70%

Pobres

60% 57% 55% 54% 59% 53% 52%

*Vecino más cercano con reemplazo

Probabilidades asignadas usando PSM (ii)
Participantes No participantes

Muy pobres

80% 73% 72% 70% 78% 70%

Pobres

60% 57% 55% 54% 59% 53% 52%

*Vecino más cercano con reemplazo

Probabilidades asignadas usando PSM (iii)
Participantes No participantes

Muy pobres

80% 73% 72% 70% 78% 70%

Pobres

60% 57% 55% 54% 59% 53% 52%

*Vecino más cercano con reemplazo

 Ejemplo: probabilidades asignadas según PSM*

Participantes No participantes

Muy pobres
80% 73% 72% 70% 78% 70%

Pobres

60% 57% 55% 54% 59% 53% 52%

*Vecino más cercano con reemplazo

Probabilidades asignadas usando PSM (iv)
Participantes No participantes

Muy pobres
80% 73% 72% 70% 78% 70%

Pobres

60% 57% 55% 54% 59% 53% 52%

*Vecino más cercano con reemplazo

Pasos a seguir para el PSM
▪ Se estima modelo de participación en el programa (Logit o Probit) a
partir de un conocimiento específico de la intervención. Luego se estima
la probabilidad que tiene cada individuo de ser parte del programa
según las variables observadas consideradas.

▪ Se define la zona de soporte común, es decir, la parte de la distribución

de probabilidades de los tratados y controles que se superponen.

▪ Luego se empareja a los individuos que se ubican en el soporte común.

Para ello se pueden usar diferentes algoritmos para empatar a los
individuos (p.ej.: vecino más cercano). También se puede optar por
estimar una regresión lineal que controla por la probabilidad de
participación.

▪ Por último se estima el impacto del programa sobre la variable de

resultado.
Estimación no paramétrica del impacto de un
programa con PSM
Diferencia en el nivel de
consumo de cada par

(Yt- Yc) (Yt- Yc) …… (Yt- Yc)

Impacto = Pareja 1 Pareja 2 Pareja N

Impacto de del
programa Número de pares

*En este caso se presenta la fórmula para el “Vecino más cercano con reemplazo”
 A manera de ejemplo: Vecino mas
cercano (i)
En este método se compara el resultado que obtiene cada individuo tratado
con el grupo de control que tenga el puntaje de propensión más cercano
(probabilidad). Así se calcula la diferencia entre cada par de unidades
emparejadas en la variable de resultado y se promedian todas las diferencias
para calcular el ATT.

𝐶 𝑖 = 𝑝𝑖 − 𝑝𝑗

Lo que se tiene es que C(i) es el conjunto de parejas que se han hecho entre
la observación tratada y las de control. El vecino puede ser uno o más y se fija
una distancia determinada entre la observación tratada y de control.

1
Luego el estimador ATT viene dado por: 𝐴𝑇𝑇 = σ 𝑌𝑖𝑇 − σ 𝑤𝑖𝑗 𝑌𝑗𝐶 y
𝑛𝑇
1
𝑤𝑖𝑗 =
𝑛𝐶
 A manera de ejemplo: Vecino mas
cercano (ii)
En cuanto a que distancia usar (“caliper”); de acuerdo a Austin (2011), la
distancia óptima para el emparejamiento es la quinta parte (0.2) de la
desviación estándar del puntaje de propensión del emparejamiento.
 A manera de ejemplo:
Emparejamiento de Kernel
En el método de Kernel se empareja todas las observaciones de tratamiento
en el soporte común con un promedio ponderado de todas las observaciones
del grupo control.

Los pesos para cada observación de control son inversamente proporcionales

a la distancia entre los puntajes de propensión de las observaciones tratadas
y de control. Así, el estimador se calcula de la siguiente forma:

𝑝𝑗 − 𝑝𝑖 Da un peso decreciente a
1 σ𝑗∈𝐶 𝑌𝑗𝐶 𝐾 observaciones que
𝑇 ℎ𝑛
𝐴𝑇𝑇 = ෍ 𝑌𝑖 − se encuentran mas lejos
𝑛𝑇 𝑝 − 𝑝𝑖
σ𝑘∈𝐶 𝐾 𝑘 de cada observación
ℎ𝑛 tratada

Donde K es la función de Kernel y h es un parámetro de ancho de banda.

Estimación paramétrica del impacto de un
programa con PSM mediante una regresión lineal
Otra opción es evaluar el impacto del programa utilizando una
regresión lineal, la cual controla por el propensity score y por
otras variables.

Y: variable de
resultado Efecto del
programa

w: toma el valor Probabilidad de

Término
de 1 si participa participar
X: Vector de de error
del programa, 0 si
controles
no
adicionales
Limitaciones

El emparejamiento se realiza usando variables

observables, pero si la participación en el programa
depende de otras variables que no observamos, se
mantiene el sesgo de selección.

Si bien se comparan individuos con la misma

probabilidad de participar en el programa, estos
individuos no comparten un mismo contexto. Para
esto se puede escala la probabilidad de propensión.
León (2016): Evaluación de Impacto del programa
Bono Escuela

Balanceo
León (2016): Evaluación de Impacto del programa
Bono Escuela

Reducción del sesgo

León (2016): Evaluación de Impacto del programa
Bono Escuela

Resultados en
Matemática
Método de Regresión Discontinua (RD)

Estrategia útil para evaluar un programa ex-post.

Se emplea en casos donde la regla para acceder a un programa se

determina a partir de un punto de corte arbitrario, lo que provee
un buen experimento natural. Algunos ejemplos:

▪ Pensión 65 ú otros programas de adulto mayor.

▪ Cupos en universidades o en colegios exclusivos (p.ej., COAR).
▪ Bono escuela del MINEDU.
▪ Programa Jornada Escolar Completa (JEC) del MINEDU.
Formas de estimar los efecto con el método de
RD
Se puede estimar el efecto usando dos métodos:

▪ Estimación Paramétrica: se utiliza toda la muestra

de estudio y se busca la mejor forma funcional
entre la variable de resultado y la de focalización o
asignación.

▪ Estimación No Paramétrica: se realiza la estimación

en un ancho de banda donde las diferencias entre
tratados y controles serían nulas o semejantes a un
diseño experimental.
Tipos de Regresión Discontinua (RD)
• Nítida (Sharp): se utiliza cuando el tratamiento
(variable Di) es una función perfecta y discontinua de la
variable de asignación.

• Difusa (Fuzzy): se utiliza cuando La variable de

asignación no determina de manera perfecta la
participación en el programa. En estos casos, se usa el
puesto en el ranking como variable instrumental. Así,
primero se estima una ecuación para predecir la
probabilidad de participar y luego el valor predicho es
usado en la estimación del impacto del programa.
Regresión discontinua: Cumplimiento del
programa
Pr(D)
Nítida
1
Probabilidad de Participación

Difusa

0.5 No recibe el programa Recibe el programa

Xo X
Instrumento de Focalización
Toda la muestra vs Ancho de banda

Número de secciones

5 6 7 8 9 10 11 12 13 14 15 16 17 …..

Elegible para JEC: 8 o más secciones

 Estimación paramétrica del impacto usando RD

Si la participación en el programa se determina a partir de una

variable (asignación) Z, el impacto del programa se puede calcular
con una regresión lineal simple.

Variable de
resultado D toma el valor de 1 si
Variable de Término
asignación está en la zona de
de error
Efecto del asignación, 0 si no
programa
Estimación no paramétrica del impacto usando RD
(i)
• Se realiza los análisis en una parte de la muestra que son parte de la
evaluación o en un vecindario local.

• Se fija un segmento de banda (h) a la derecha e izquierda del punto de

corte o umbral que será donde se hará los análisis de regresión para
ver el impacto del programa.

• Surgen dos problemas al usar esta metodología. En primer lugar está el

fijar el tamaño del segmento de banda para los análisis RD. De acuerdo a
la literatura existe dos maneras de fijar este valor: i) fijado de manera
arbitraria, es decir, el investigador fija los valores de acuerdo a los cuales
se hacen los análisis, y ii) fijado a través de un método estadístico como
lo hacen Imbens y Kalyanaraman (2012) o Imbens y Lemieux (2008).
Estimación no paramétrica del impacto usando RD
(ii)
• El segundo problema está en que el usar simple diferencia de
medias en el vecindario establecido (h) puede llevar a posibles
sesgos debido a la forma funcional de la relación entre la variable
de selección y la de resultado, motivo por el cual se recomienda
testear en el vecindario establecido las mismas formas funcionales
testeadas con la estrategia paramétrica.
Aspectos Claves en una RD

Los supuestos son:

• El umbral es arbitrario.
• Los determinantes de la variable de resultado (Yi), son muy parecidos a
la izquierda y a la derecha del umbral.
• Los individuos o los administradores del programa no
contribuyen en la decisión de si participar o no.
• Los individuos no pueden ajustar el valor de X (variable de asignación)
en respuesta a los criterios elegibilidad del programa.
• Cualquier autoselección está dada sobre la base de
características exógenas.
Análisis gráfico: Supuesto de no manipulación

Caso de no manipulación Caso de manipulación

f(Xi)
f(Xi)

Xo Xo
Variable de asignación Variable de asignación

X X

Se debe demostrar que la variable de asignación no ha sido manipulada. Si

la función de densidad de probabilidad de X tiene un salto peculiar
justamente cerca al umbral 𝑋𝑜 entonces eso sería evidencia de
manipulación e invalidaría el diseño RD. Asimismo, se puede realizar una
prueba de densidad de McCrary (2008). Esta prueba se basa en buscar
discontinuidades alrededor del punto de discontinuidad o umbral.
Análisis gráfico: Supuesto de continuidad local

Continuidad en observables Discontinuidad en observables

W W
Variable observada w

Variable observada w
Xo X Xo X
Variable de asignación Variable de asignación

Se debe proveer evidencia estadística que muestre que no hay saltos en las
variables observadas alrededor del umbral 𝑋𝑜; por lo tanto, es válido asumir
que el grupo a la izquierda del umbral es comparable con el grupo a la
derecha del umbral.
Impacto del programa en RD
RD Nítida
Dado que la variable de
asignación determina
perfectamente la participación
en el programa, se estima la
regresión lineal y el parámetro β
es el efecto del programa.
RD Difusa
Dado que la variable de
asignación ya no determina
perfectamente quien participa
del programa, se debe usar un
modelo en dos etapas.
La primera etapa es estimar la
participación en el programa y la
segunda es usar la probabilidad
predicha en la ecuación anterior.
Se usa como instrumento el
ranking.
Regresión Discontinua Nítida

𝜏𝑅𝐷𝑁 𝑋𝑜 = lim 𝐸 𝑌𝑖|𝑋𝑖 = 𝑥 − lim 𝐸 𝑌𝑖|𝑋𝑖 = 𝑥

𝑥↓𝑋 𝑜 𝑥↑𝑋 𝑜

El valor promedio de la variable de resultado en una vecindad

arbitrariamente pequeña a la izquierda del umbral menos el valor
promedio de la variable de resultado en una vecindad arbitrariamente
pequeña a la derecha del umbral.
Regresión Discontinua Difusa
• El efecto del programa es el salto en Y en el umbral
ponderado por el salto en la probabilidad de participación
en el umbral.

𝜏𝑅𝐷𝑁 𝑋𝑜 = 𝐸 𝜏𝑖|𝐷𝑖 = 1, 𝑋 ≥ 𝑋𝑜
lim 𝐸 𝑌𝑖|𝑋𝑖 = 𝑥 − lim 𝐸 𝑌𝑖|𝑋𝑖 = 𝑥
𝑥 ↓𝑋 𝑥 ↑𝑋 𝑜
=
lim 𝑃𝑟 𝐷 = 1|𝑋 = 𝑥 − lim 𝑃𝑟 𝐷 = 1|𝑋 = 𝑥
𝑥 ↓𝑋 𝑜 𝑥 ↑𝑋 𝑜
Ejemplo: Programa Bono Escuela (i)
Supongamos que debemos evaluar el impacto del programa Bono Escuela
del MINEDU. Este programa entregaba incentivos monetarios a los
docentes en función de los resultados de aprendizaje de sus estudiantes.

Población objetivo:
Los y las estudiantes de instituciones educativas públicas primarias y
secundarias a nivel nacional.

Objetivo del programa:

Tiene como objetivos: i) mejorar los resultados educativos (p.ej.:
aprendizaje) de los estudiantes a nivel primario, y ii) motivar a los
docentes para que mejoren su desempeño en el aula y la escuela

Pregunta de Evaluación
¿Cuál es el impacto del Programa Bono Escuela sobre los aprendizajes de
los estudiantes?
Ejemplo: Programa Bono Escuela (ii)

Incentivo grupal: todos los docentes y el director de la

escuela reciben el incentivo monetario.

Esquema de ranking: se ordenan a las escuelas en función

de un índice de mejora escolar que recoge aspectos de
mejora académica y de gestión de cada escuela.

Comparación Justa: se generan los rankings por estratos

homogéneos al interior de cada Unidad de Gestión Local
en cada región del país, de esta forma se asegura que
todas las escuelas se sientan capaces de poder obtener el
bono.
Programa Bono Escuela: Manipulación en la
variable de asignación
Grupo A
Se puede apreciar que
no hay manipulación
2

alrededor del punto de

corte o umbral (Xo=0)
1.5

de la variable de
asignación del
1

programa
.5
0

-1 -.5 0 .5 1
Variable de asignación - Centrada
kernel = epanechnikov, bandwidth = 0.1000
ANÁLISIS DE DISCONTINUIDAD EN VARIABLES
OBSERVABLES ALREDEDOR DEL PUNTO DE CORTE:
VALIDEZ DE LA IMPLEMENTACIÓN DE LA RD
 Rural Multigrado
1

1
.8

.8
.6

.6
multigrado
area_med

.4

.4
.2

.2
0

-.6 -.4 -.2 0 .2 .4 .6 -.6 -.4 -.2 0 .2 .4 .6

i14_r i14_r
 Estudiantes Mujeres Estudiantes en Extraedad

1
.8

.8
prop_extraedad_prim
.6

.6
prop_mujeres

.4

.4
.2

.2
0

-.6 -.4 -.2 0 .2 .4 .6 -.6 -.4 -.2 0 .2 .4 .6

i14_r i14_r
 Estudios Pedagógicos y Titulo Mobiliario en buen estado
1

1
.8

.8
ratio_mobiliario
propdoc_pedti

.6

.6
.4

.4
.2

.2
0

-.6 -.4 -.2 0 .2 .4 .6 -.6 -.4 -.2 0 .2 .4 .6

i14_r i14_r
 Tiene Electricidad Tiene Agua

1
.8

.8
.6

.6
electricidad

agua
.4

.4
.2

.2
0

-.6 -.4 -.2 0 .2 .4 .6 -.6 -.4 -.2 0 .2 .4 .6

i14_r i14_r
 Tiene Desague Acceso a Internet
1

1
.8

.8
.6

.6
desague

internet
.4

.4
.2

.2
0

-.6 -.4 -.2 0 .2 .4 .6 -.6 -.4 -.2 0 .2 .4 .6

i14_r i14_r
 Pruebas de discontinuidad en observables
alrededor del umbral

***p<0.001, **p<0.01, *p<0.05, +p<0.10

Nota: Se utilizó para los análisis de continuidad un análisis no-paramétrico (regresión lineal local) de Kernel triangular. El ancho de banda
seleccionado fue de 0.15. Así mismo, se probó tendencias lineales y cuadráticas alrededor del punto de corte. Errores estándar entre paréntesis.
León (2016). Efecto del BonoEscuela en el Rendimiento
promedio en Matemática (Estimación paramétrica)
León (2016). Efecto del BonoEscuela en el Rendimiento
promedio en Matemática (Estimación no paramétrica)
León (2016). Efecto del BonoEscuela en el Rendimiento
promedio en Matemática y Comprensión (Estimación
no paramétrica)
Limitaciones

• El diseño de RD requiere de una muestra grande alrededor

del umbral en el caso de usar la estimación no paramétrica.

• El usar el método paramétrico asegura tener validez externa

dado que se usa toda la muestra de estudio, mientras el
método no paramétrico asegura validez interna dado que
estima el efecto en un vecindario. Por este motivo, se
recomienda usar ambos métodos para estimar el efecto del
programa.
Método de Variables Instrumentales
▪ Supongamos que tenemos un programa que cuenta con
selección aleatoria de sus participantes a tratamiento y
control. Sin embargo, la participación a este programa es
voluntaria.

▪ Un problema con un programa de acceso voluntario es que

no necesariamente todos aquellos a los que se les ofrece el
tratamiento lo reciben (incumplimiento imperfecto). Por
ejemplo, en programas de capacitación laboral (PROJOVEN)
es común que un porcentaje considerable de la población
seleccionada como beneficiaria decida no asistir a la
capacitación. Esto da lugar a un sesgo de selección y por
ende afecta el diseño del experimento.
¿Qué es una variable instrumental?

Una variable instrumental es :

▪ Explica una parte importante de la variabilidad en el acceso

a un programa (Variable Instrumental es Informativa).

▪ No está correlacionada con los resultados potenciales de

acceder al programa (Variable Instrumental es Válida).

Si bien esta metodología no requiere de datos experimentales

para llevarse a cabo, si requiere de mucha imaginación para
pensar en los posibles instrumentos.
Perova y Vakis (2009). Welfare impacts of the “Juntos”
Program in Peru: Evidence from a non- experimental
evaluation
Perova y Vakis (2009). Welfare impacts of the “Juntos”
Program in Peru: Evidence from a non- experimental
evaluation
A manera de Resumen

▪Para estimar el impacto de un programa necesitamos

identificar un contrafactual.

▪El método experimental es el benchmark dado que cuenta

con asignación aleatoria, pero en el caso de programas
sociales poco viable.

▪Los métodos cuasi-experimentales son una buena solución

cuando se cumplen los supuestos de cada método. Sin
embargo, debemos saber que método es mejor o más
adecuado para el tipo de programa e información que
tenemos del programa a evaluar.
Referencias
Agüero, J. M. (2016). Evaluación de impacto de la jornada escolar completa.

Austin, P. C. (2011). Optimal caliper widths for propensity‐score matching

when estimating differences in means and differences in proportions in
observational studies. Pharmaceutical statistics, 10(2), 150-161.

Bernal, R. P. (2011). Guía práctica para la evaluación de impacto (No. 361.25

B517). Universidad de Los Andes, Bogotá (Colombia).

Bonilla, J., & Chinen, M. (2017). Evaluación de impacto del programa de

soporte pedagógico del Ministerio de Educación del Perú.

Gertler, P. J., Martínez, S., Premand, P., Rawlings, L. B., & Vermeersch, C. M.
(2011). Impact Evaluation in Practice; La Evaluación de Impacto en la
Práctica. World Bank Publications.

McCrary, J. (2008). Manipulation of the running variable in the regression

discontinuity design: A density test. Journal of econometrics, 142(2),
698-714.