Propiedad intelectual

El contenido de la siguiente clase es propiedad del Abdul

Latif Jameel Poverty Action Lab (J-PAL).

El material está destinado a su uso como material de

estudio del Curso de evaluación de impacto de Políticas
Públicas y no debe ser utilizados para otros medios sin la
autorización expresa de J-PAL.
Curso de evaluación de
impacto de Políticas Públicas

14 – 16 de febrero
Lima, Perú
Amenazas
al diseño experimental
y análisis de resultados

Martin Valdivia

Investigador Principal
GRADE
Objetivos

• Identificar las principales amenazas al diseño de

una evaluación aleatoria.

• Definir estrategias para prevenir cada una de estas

amenazas.

• Introducir algunos métodos para el análisis de

resultados.
I. Externalidades

II. Desgaste

III. Cumplimiento imperfecto

IV. Análisis de los efectos del tratamiento

Externalidades

No en la
evaluación

Población
objetivo
Tratamiento

Muestra de Tratamiento
Asignación
la
aleatoria
evaluación
Control
Externalidades positivas: PROGRESA

• Beneficiarios compartieron transferencias con familia

extendida
• Esto aumentó matrícula escolar secundaria en
hogares no-elegibles en comunidades tratadas.
Externalidades negativas: TMC en Colombia

• Familias que reciben transferencia solo matriculan a

algunos hijos.
• Una vez matriculados, familias desviaban recursos hijos
no-seleccionado a seleccionados.
• Perjudica particularmente a hijas.
Tipos de Externalidades

Pueden tomar muchas formas:

Físicas Comportamiento

Efectos de
Información
mercado

8
El gobierno ofrece incentivos financieros a
empresas por contratar a trabajadores
jóvenes. Como consecuencia, las empresas
despiden a trabajadores de mayor edad.
¿Que tipo de externalidad tiene esta
intervención?

A. Física
B. Comportamiento
C. Información
D. Efectos de mercado

0% 0% 0% 0%
9
Minimizar las externalidades

• Pueden representar una amenaza a la validez interna

• Se pueden reducir aleatorizando a un nivel mayor

Las externalidades pueden ser una amenaza, o un objetivo

de investigación en sí mismo
Cómo medir las externalidades

Variando la intensidad del tratamiento

C Control puro

C Control 50%
C C T T
T Tratamiento 50%

T Tratamiento puro
0% 50% 100%
Cómo medir la magnitud de las
externalidades
Comparamos hogares que no reciben tratamiento
(amarillo) en relación a los hogares no tratados de
comunidades que tienen grupos de tratamiento (café)

C Control puro

C Control 50%
C C T T
T Tratamiento 50%

T Tratamiento puro
0% 50% 100%
Comparación entre grupos de control

• Sin externalidades desde grupo de tratamiento:

Control puro = Control en zonas tratadas.

• Con externalidades:

C Control puro

C Control 50%
C < C
I. Externalidades

II. Desgaste

III. Cumplimiento imperfecto

IV. Análisis de los efectos del tratamiento

Desgaste muestral

• Ocurre cuando “desaparecen” personas de la

muestra: No es posible conseguir datos de los
resultados de interés para algunas unidades de la
muestra.

• Es independiente de si la persona participa o no en la

intervención.
Ejemplo: Programa de reforzamiento escolar
Programa de reforzamiento escolar

Problema: Algunos alumnos obtienen resultados

académicos desfavorables año tras año.

Programa: Se ofrece un programa de reforzamiento

escolar enfocado en estudiantes de bajo rendimiento.

Diseño de la evaluación: Se aleatoriza qué colegios

recibirán el programa de reforzamiento escolar.
Antes de la intervención

Antes
T C
20 20
25 25 Comprobamos que existe
balance entre los grupos
30 30
Promedio 25 25
Diferencia 0
*La tabla muestra los
resultados de la prueba de
matemáticas para tres
estudiantes en cada
grupo.
Después de la intervención

Después
T C
22 20 Regresamos al final del año...
27 25 • Niños en colegios T aumentan
32 30 en 2 puntos su puntaje en
prueba de matemáticas.
Promedio 27 25
Diferencia 2

*La tabla muestra los

resultados de la prueba de
matemáticas para tres
estudiantes en cada
grupo.
Después de la intervención

Después
T C Imaginemos que, en
realidad, todos los
22 20
estudiantes que sacan 20
27 25 puntos o menos dejan de
32 30 asistir al colegio durante el
transcurso del año…
Promedio 27 25
Diferencia 2

*La tabla muestra los

resultados de la prueba de
matemáticas para tres
estudiantes en cada
grupo.
Si los estudiantes que reciben 20 puntos
o menos desertan, nuestra evaluación…

A. Sobreestimaría el
impacto
B. Subestimaría el impacto
C. La estimación seguirá
siendo válida, solo
cambia la interpretación
D. No se puede determinar

0% 0% 0% 0%
21
A. B. C. D.
Deserción
Sin deserción Con deserción
T C T C
22 20 22 Ausente
27 25 27 25
32 30 32 30
Promedio 27 25 Promedio 27 27,5
Diferencia 2 Diferencia - 0,5

¡El desgaste hace parecer que el programa no funciona!

Desgaste muestral

Es un problema para una evaluación porque…

• Los que “desaparecen” del grupo de tratamiento

pueden ser diferentes a los del grupo de control.

– Esto se denomina desgaste diferencial.

– Los grupos dejarían de ser comparables.

Desgaste muestral

Es un problema para una evaluación porque…

• El tamaño muestral podría reducirse y afectar el

poder estadístico de la evaluación.

• El nivel de desgaste puede ser tan elevado que

puede poner en riesgo la viabilidad de la evaluación.
Estrategias para minimizar el desgaste

Durante la etapa de análisis de los resultados de la

evaluación, uno de los primeros pasos debe ser:

• Reportar los niveles de desgaste en ambos grupos.

• Ver si existen diferencias en características observables

entre unidades que desertan de cada grupo.

Además existen ciertas estrategias para minimizar y

afrontar el desgaste muestral.
Prevenir

Tomar medidas para prevenir el desgaste:

• Emplear varias estrategias de levantamiento.

• Hacer encuestas más cortas.

• Pilotear los instrumentos que se utilizarán en el

levantamiento de datos.

• Ofrecer incentivos, siempre y cuando no distorsionen

las respuestas.

• Ser estratégico al decidir en qué momento se llevará

a cabo la encuesta.

26
Insistir

• Decidir al inicio que se intentará encontrar a todos

los individuos que participaron en la evaluación.
– Esta estrategia también puede ser costosa.

• En casos donde es imposible, tomar una muestra

representativa de los que desertaron y buscarlos.
Tener suerte

• Asumir que el desgaste es aleatorio.

• Tener la misma tasa de desgaste en grupos T y C apoya

este supuesto.

• Si las características de las personas que salen de la

muestra son las mismas en T y C, los resultados serán
válidos porque los dos grupos seguirán siendo
comparables.

• Pero no se podrán generalizar los resultados a la

población entera.

28
Métodos econométricos

Cuando se llega a la etapa de análisis y se descubre que

hay cierto nivel de desgate, existen métodos econométricos
que se pueden usar para afrontar el problema.

• Asumir los resultados más extremos posibles para los

desertores.

• Eliminar las colas de la distribución: Asumir que los

desertores provienen de los extremos de la distribución y
eliminar del análisis los extremos para los dos grupos.

29
I. Externalidades

II. Efectos de la evaluación

III. Desgaste

IV. Cumplimiento imperfecto

V. Análisis de los efectos del tratamiento

Cumplimiento imperfecto
• Aún si la intención de asignar es aleatoria, quién recibe
el programa podría no ser tratado.
• Ocurre cuando:
– Personas del grupo de tratamiento no reciben el
tratamiento.
– Personas del grupo de control reciben el tratamiento.
– Implementadores del programa no siguen protocolos de
asignación.
– Algunas personas desafían su asignación.

 Podría reintroducirse un sesgo de selección.

“Non compliers”

No en la
evaluación

Población
objetivo

Participantes
Tratamiento
Muestra de
Asignación No asisten
la
aleatoria
evaluación No
Control participantes

Cruzado
¿Por qué puede ser una amenaza?
• Se minimiza la diferencia en qué tan expuesto está
cada grupo a la intervención.

• Si la diferencia en el nivel de exposición es menor, esto

reduce la estimación de impacto.

• Reduce la comparabilidad de los grupos

experimentales

• Existen ciertos problemas de interpretación presentados

por los que deciden desafiar su asignación.

33
Estrategias para minimizar el
cumplimiento imperfecto

• Hacer que la inscripción al programa sea fácil.

• Ofrecer incentivos

• Monitorear el trabajo del equipo de campo

• Aleatorizar a un nivel mayor

• Ofrecer una intervención básica que todos reciben,

incluyendo el grupo de control

34
I. Externalidades

II. Efectos de la evaluación

III. Desgaste

IV. Cumplimiento imperfecto

V. Análisis de los efectos del tratamiento

Interpretando resultados
Repasemos el concepto de cumplimiento imperfecto.

No en la
evaluación

Población
objetivo

Participantes
Tratamiento
Muestra de
Asignación No asisten
la
aleatoria
evaluación No
Control participantes

Cruzado
Si ocurre cumplimiento imperfecto,
¿qué deberías hacer?
A. Trasladar todos los
tratados al grupo T y
todos los no tratados al
grupo C
B. Eliminar del estudio a los
que no cumplieron con
su asignación original
C. Mantener los grupos T y
C intactos y
compararlos
D. Ninguna de las
anteriores 0% 0% 0% 0%

A. B. C. D.
37
“Non compliers”

No en la ¿Qué podemos hacer?

evaluación

Población
¿Cambiarlos?
objetivo
¡No!

Participantes
Tratamiento
Muestra de
Asignación No asisten
la
aleatoria
evaluación No
Control participantes

Cruzado
Interpretación de resultados

Siempre preservar los grupos de acuerdo a su asignación

inicial, porque sabemos que esos grupos sí son
comparables.

Entonces, ¿cómo se deben interpretar los resultados

cuando hay cumplimiento imperfecto?

Una opción es medir el efecto de intención de tratar (ITT).

39
Programa de Subsidio a la Demanda
por Educación Privada en Colombia

= Asisten a escuela privada

= Con empleo

= Sin empleo

50% desempleo 75% desempleo

• Después de que los estudiantes terminan la secundaria

encuestamos al grupo tratamiento y al grupo de control.
• Determinamos la tasa de desempleo en cada grupo. 40
Intención de Tratar
Con la “Intención de Tratar”, comparamos:
Promedio del grupo asignado al tratamiento
menos
Promedio del grupo asignado al control
50% desempleo 75% desempleo

Estimación ITT
= 25%
desempleo

41
¿Qué nos dice el ITT?
Mide lo que le ocurrió en promedio a las personas del
estudio que fueron asignadas al grupo tratamiento.
• Mide el efecto de recibir una beca y NO el efecto
de asistir a una escuela privada.
• El efecto de asistir a una escuela privada
seguramente es diferente al efecto de recibir una
beca.
• En este escenario el tratamiento es asistir a una
escuela privada, mientras recibir una beca un
incentivo para recibir el tratamiento.

42
¿El efecto de intención de tratar será
mayor o menor que el impacto “real”?

A. Mayor
B. Menor
C. Serán iguales

0% 0% 0% 0%

A. B. C. D.
43
¿Cuándo es útil medir el ITT?

• Cuando tenemos preguntas sobre la implementación

real de un programa.

• Puede que nos interese ver lo que pasaría al ofrecerle la

oportunidad de recibir el programa a la población
objetivo.

En ese caso el ITT puede ser más relevante.

44
¿Qué pasa si estamos interesados en el
efecto de recibir el tratamiento?

• En vez de comparar las personas asignadas al grupo T y

al grupo C, queremos estimar el impacto para aquellas
personas que efectivamente asistieron a una escuela
privada.

• ¿Cuál es el efecto de:

¿Recibir un incentivo para participar en el programa?
vs.
¿ Participar en el programa?

45
Interpretando los resultados

Entre los que recibieron una beca, quienes terminaron

yendo a una escuela privada probablemente hay
diferencias con los que decidieron no ir.

Es decir, hay sesgo de selección.

¿Qué hacemos?

46
Efecto Promedio Local del Tratamiento
Dividimos (conceptualmente) a los tratados y a los
controles en tres grupos:
1. Los que siempre asisten a una escuela privada,
independientemente de si son asignados a
tratamiento o a control (“always takers”).
2. Los que nunca asisten a una escuela privada,
independientemente de si son asignados a
tratamiento o a control (“never takers”).
3. Quienes actúan del modo en que fueron asignados:
solo asisten a la escuela privada si se les da una
beca, es decir si son asignados al grupo de
tratamiento (“compliers”).

J - PAL | E FECTOS DE T RATAMIENTOS I 47

 Efecto Promedio Local del Tratamiento
Siempre asisten a Always-takers
una escuela
privada

Asisten solo si Compliers

reciben la beca

Nunca asisten a
una escuela Never-takers
privada

Dado que la asignación a T y C fue aleatoria, la

distribución de estos tres tipos de personas debería ser la
misma en T y C.

48
 Efecto Promedio Local del Tratamiento
Siempre asisten a Always-takers
una escuela
privada

Asisten solo si Compliers

reciben la beca

Nunca asisten a
una escuela Never-takers
privada

• Para calcular el impacto de recibir el tratamiento, nos interesa

comparar a los compliers de T con los compliers de C.

• Esta estimación de impacto se dice que es local, en rigor solo

es válida para los compliers.
49
Efecto Promedio Local del Tratamiento
Para estimar el LATE:

Promedio del grupo tratamiento – Promedio del grupo control

Tasa de cumplimiento en T – Tasa de cumplimiento en C

50% - 75% = - 50%

75% - 25%

50
¿Por qué la formula del LATE es así?
Volvamos al ITT:

ITT = Promedio de T – Promedio de C

El efecto ITT incluye el

impacto en tratados, y en
no tratados!

De hecho, equivale a un
promedio ponderado del
impacto del tratamiento
en tres grupos.

51
 ¿Por qué la formula del LATE es así?
ITT = (impacto en compliers) x (prop. compliers)
+
= 0, no son
(impacto en never-takers) x (prop. never-takers) tratados
+
(impacto en always-takers) x (prop. always-takers) = 0, mal
estimado

Siempre asisten a una

escuela privada

Asisten solo si reciben

la beca

Nunca asisten a una

escuela privada
52
¿Por qué la formula del LATE es así?
ITT = (impacto en compliers) x (prop. compliers)

LATE <1

El efecto ITT es un efecto

LATE “diluido”: el efecto
de ofrecer el programa
será más pequeño que el
efecto de recibir el
programa, si el programa
se ofrece a algunas
personas que no reciben.

53
¿Por qué la formula del LATE es así?
ITT = (impacto en compliers) x (prop. compliers)

LATE

ITT
Reordenando… LATE =
prop. compliers

Promedio del grupo tratamiento – Promedio del grupo control

Tasa de cumplimiento en T – Tasa de cumplimiento en C

54
¿Por qué la formula del LATE es así?
Partiendo de un modelo de regresión...
Yi = a+B.Ti+ei

Angrist y Pischke muestran:

B=[E(Yi|Zi=1)-E(Yi|Zi=0)]/[P(Ti=1|Zi=1)-E(Ti=1|Zi=0)]

Donde Z=1 es ser asignado al grupo de tratamiento.

J - PAL | E FECTOS DE T RATAMIENTOS I 55

LATE como Variable Instrumental
1. Primera etapa de la regresión:
T=a0+a1Z+Xc+u
Donde a1 es la diferencia en la inscripción [take-up].

2. Obtener valor esperado del tratamiento:

Pred(T|Z,X) = a0+a1Z+Xc

3. Realizar regresión de Y sobre el valor esperado del

tratamiento en vez del tratamiento:
Y=b0+b1Pred(T|Z,X)+Xd+v

J - PAL | E FECTOS DE T RATAMIENTOS I 56

LATE: Temas a considerar
• No se puede generalizar al grupo entero, solo a los
“compliers”.

• El hecho de recibir una oferta al programa debe

influenciar la tasa de participación para el grupo que
recibe esa oferta.
- Si nadie del grupo de tratamiento va a una escuela
privada, es imposible medir el LATE.
- El ITT será cero, pero eso no quiere decir que la
educación privada no sea mejor!

J - PAL | E FECTOS DE T RATAMIENTOS I 57

LATE: Temas a considerar
• El tratamiento (la educación privada) debe ser la única
vía por la cuál se produce el impacto.
• Podría no cumplirse si los que ganan la lotería reciben
una carta explicando la importancia de la educación
para su futuro.

58
¿Cuál es la diferencia entre la diferencia
entre la estimación ITT y LATE?
A. ITT nos dice el efecto de
recibir el programa, LATE
nos dice el efecto de
ofrecer el programa
B. LATE nos dice el efecto
de recibir el programa,
ITT nos dice el efecto de
ofrecer el programa
C. LATE suele ser menor
que ITT

0% 0% 0% 0%

A. B. C. D.
59
Conclusiones
Conclusiones: Externalidades
• Son una amenaza si el grupo de control puede ser
“contaminado” por el tratamiento.
• Se puede prevenir este riesgo aumentando el nivel de
aleatorización (escuelas en vez de estudiantes).
• Pueden ser un objetivo de investigación en sí mismas.
Conclusiones:
Desgaste
• Parte de la muestra “desaparece”.
• Puede afectar nuestra estimación especialmente si está
correlacionado con el tratamiento.

Cumplimiento imperfecto
• Cuando no se cumple la asignación experimental
• ¡Hay que dejar los grupos originales intactos!