El Colegio de Mxico

Alejandro Castillo Antonio

Micro-econometra y evaluacin de programas

Otoo 2013 Fecha de entrega: mircoles 11 de septiembre

Carlos Chiapa Labastida cchiapa@colmex.mx

Tarea 2 Parte 1: Teora

a) Sea Ti una variable binaria que denota tratamiento y sean y0i y y1i los resultados potenciales sin y con tratamiento, respectivamente. Si asumimos que Ti y (y01, y1i) son estadsticamente independientes o que al menos se cumple el supuesto de independencia de medias, E(yjiTi) = E(yj), j=0,1, el efecto tratamiento medio, E(y1i-y0i), se puede estimar consistentemente de dos manera: calculando la diferencia en las medias muestrales de los grupos con y sin tratamiento y corriendo la regresin: yi = + Ti + i. Demuestra que el coeficiente de la pendiente = COV (yi,Ti) / Var(Ti) = E(y1i - y01). Se sabe que = (Xi-Xmedia)(Y-Ymedia) / (Xi-Xmedia)2 Si Yi = TiY1 + (1-Ti)Y0 COV (y,T) / V(T) = E(Yi*Ti) E(Yi)(Ti) / [E(Ti2) E(Ti)] Si E(y1 y0): con = P(T=1), Entonces: COV (y,T) / V(T) = E({Ty1 + (1-T)y0}T) E({Ty1 + (1-T)y0}) / (1- ) = E(Ty1) E(Ty1) E{(1-T)y0} / (1- ) = E(Ty1)(1-) E{(1-T)y0} / (1- ) = E(y1T=1)*(1- ) E(y0T=0)* (1- ) / (1- ) = E(y1T=1) = E(y1 y0). b) El curso se ha centrado en estimar el efecto tratamiento medio, E(y1 y0). Bajo una asignacin aleatoria del tratamiento, es posible obtener un estimador consistente e insesgado de este efecto. Desgraciadamente, en la vida real muchas veces resulta imposible asignar un tratamiento aleatoriamente. en estos casos, lo que normalmente se opta por hacer es asignar de manera
1

El Colegio de Mxico

Alejandro Castillo Antonio

aleatoria la elegibilidad para recibir el tratamiento. La consecuencia de este tipo de asignaciones es que los individuos acaban determinando si aceptan o no el tratamiento. La consecuencia de este tipo de asignaciones es que los individuos acaban determinando si aceptan o no el tratamiento. El problema, desde un punto de vista economtrico es que esta decisin puede estar relacionada con los beneficios mismos del tratamiento, y1-y0. Es decir, puede haber autoseleccin para recibir el tratamiento. La consecuencia de este tipo de asignaciones es que los individuos acaban determinando si aceptan o no el tratamiento. El problema, desde un punto de vista economtrico es que esta decisin puede estar relacionada con los beneficios mismos del tratamiento, y1 y0. Es decir, puede haber autoseleccin para recibir el tratamiento por parte de los individuos. Cuando esto sucede, dentro de la literatura de evaluacin de programas, al efecto tratamiento medio, E(y1-y0), se le conoce como el efecto de intentar tratar (intent to treat) o simplemente ITT. Por otra parte, al efecto tratamiento medio de quienes realmente reciben el tratamiento, E(y1-y0T=1) se le llama efecto sobre los tratados (treatment on the treated) o TOT. TOT puede ser estimado consistentemente bajo supuestos ms dbiles que los necesarios para estimar ITT. Demuestra que TOT puede ser estimado consistentemente calculando la diferencia en las medias muestrales asumiendo nicamente que T y y0 son estadsticamente independientes o que E(y0T) = E(y0). Si tenemos que D = E[YiTT] E[YiCC], restando y sumando E[YiCT], el resultado esperado para un sujeto en el grupo de tratamiento que no ha sido tratado, se obtiene: D = E[YiTT] E[YiCT] - E[YiCC] + E[YiCT] = E[YiT - YiCT] + E[YiCT] - E[YiCC], El primer trmino, E[YiT - YiCT], es el efecto tratamiento que se trata de aislar, es decir, el efecto del tratamiento en los tratados. El segundo trmino, E[YiCT] - E[YiCC], es el sesgo de seleccin que captura la diferencia en los resultados potenciales no tratados y el grupo de comparacin. Por otra parte, el efecto de tratamiento promedio puede ser estimado como al diferencia en medias empricas de Y entre los dos grupos: Destimada = Eestimada[YiCT] - Eestimada[YiCC], donde Destimada denota el promedio de la muestra. Cuando el tamao de la muestra aumenta, esta diferencia converge a E[YiCT] - E[YiCC]. La aleatorizacin implica que la seleccin por sesgo sea igual a cero.

El efecto de treatment on the treated es definido como:

2

El Colegio de Mxico

Alejandro Castillo Antonio

ETT = E1 (YT=1) E0(YT=1) c) Imagina que la Secretara del Trabajo decide llevar a cabo un proyecto piloto en la ciudad de Mxico para investigar si un programa de entrenamiento laboral sumamente exitoso en Bogot, Colombia, podra rendir los mismos resultados aqu. En particular, los egresados del programa en Bogot han logrado encontrar trabajos con un salario 50% ms alto que aquellos que no participaron en el programa. La Secretara del Trabajo ha decidido asignar aleatoriamente la elegibilidad para participar en el piloto del programa y te ha pedido que lo evales. i) Asume que el salario promedio de la poblacin relevante es $2,000 con una desviacin estndar de $3,500, que la Secretara del Trabajo est interesada en detectar un aumento de al menos un 50% en los salarios de los trabajadores que reciban el programa de entrenamiento, a un nivel de significancia del 0.01 y con un poder estadstico del 90%. Supn adems que se espera que la proporcin de individuos asignados a recibir el programa sea igual a la proporcin de individuos asignados al grupo de comparacin. Cuntos individuos debe haber en cada grupo? Tenemos: EMD: $1,000 Salario promedio: $2,000 Desviacin estndar: $3,500 Nivel de significancia: 001 Poder estadstico: 90% Se busca detectar al menos un aumento del 50% a los salarios de los trabajadores. Despejando N: 1000=(3.61)
1 3500 * 3500 0.5(1 0.5) N
3500 * 3500 N
N

1000=(3.61)(2) 1000=(7.22)(

3500

N =25.2700

N=638.5734

El Colegio de Mxico

Alejandro Castillo Antonio

ii)

Ahora supn que la Secretara del Trabajo te advierte que es muy probable que dentro de los trabajadores elegibles para participar en el entrenamiento laboral slo el 70% acabe participando. Estas fallas en el incumplimiento del tratamiento por parte de los trabajadores elegibles para recibirlo afectan el poder del experimento. Ante este escenario, el efecto mnimo detectable se calcula de la siguiente forma: EMD = (t + t1-k)
1 P(1 P)

2 1
N c

Donde c denota la proporcin de los trabajadores elegibles que realmente recibe el tratamiento. Para dimensionar los efectos de las fallas en el cumplimiento del tratamiento realiza los siguientes dos ejercicios: Mantn constante el tamao de la muestra encontrada en (i) y calcula el nuevo EMD. En trminos porcentuales, cunto aument el EMD? Tenemos: Salario promedio: $2,000 Desviacin estndar: $3,500 Nivel de significancia: 0.01 Poder estadstico: 90% N: 638.5734 EMD=3.61*
1 3500 * 3500 (1/ 0.7) 0.5(1 0.5) 638.5734

EMD=3.61*2*138.5041*1.428571429 EMD=1,428.57086 En porcentajes aument un 42.85% aproximadamente.

Mantn constante el EMD de (i) y calcula el tamao de la nueva muestra. En trminos porcentuales, cunto aument la muestra?

Tenemos: EMD: $1,000 Salario promedio: $2,000 Desviacin estndar: $3,500 Nivel de significancia: 0.01 Poder estadstico: 90%
4

El Colegio de Mxico

Alejandro Castillo Antonio

Se busca detectar al menos un aumento del 50% a los salarios de los trabajadores. Despejando N: 1000=(3.61)
1 3500 * 3500 0.5(1 0.5) N
3500 * 3500 (1/0.7) N
N

1000=(3.61)(2) 1000=(7.22)( 1000=

36100 N

3500

)(1/0.7)

N =36.1

N=1,303.21

1000=(3.61)

1 3500 * 3500 0.5(1 0.5) N

3500 * 3500 N
N

1 0 .7

1000=(3.61)(2) 1000=(7.22)(
N =36.1

3500

)(1.428571)

N=1,303.21

iii)

Supn que la muestra final del experimento fueron 1,500 trabajadores y que slo el 70% de los elegibles recibieron el tratamiento. Bajo este escenario, cules son las virtudes y defectos de ITT y TOT? De los dos efectos, cul es apropiado presentar y por qu?

Salario promedio: $2,000 Desviacin estndar: $3,500 Nivel de significancia: 0.01 Poder estadstico: 90% N: 1,500

El Colegio de Mxico

Alejandro Castillo Antonio

EMD=3.61*

1 3500 * 3500 (1/ 0.70) 0.5(1 0.5) 1500

EMD=3.61*2*90.3696*1.428571429 EMD=932.0978743 En porcentajes disminuy un 6.79% aproximadamente, con respecto al EMD inicial.

Por otra parte, si no se considera la tasa de incumplimiento (EMD simple), se tiene: Salario promedio: $2,000 Desviacin estndar: $3,500 Nivel de significancia: 0.01 Poder estadstico: 90% N: 1,500 EMD=3.61*
1 3500 * 3500 0.5(1 0.5) 1500

EMD=3.61*2*90.3696 EMD=652.468512 En porcentajes disminuy un 34.75% aproximadamente, con respecto al EMD inicial. La tasa de incumplimiento parcial afecta el poder estadstico de manera importante. El EMD aumenta linealmente con la tasa de cumplimiento y aumenta proporcionalmente a la raz cuadrada del nmero de observaciones.

El anlisis ITT de los resultados de un experimento se basa en la asignacin inicial de tratamiento y no en el tratamiento eventualmente recibido. Este anlisis pretende evitar varios artefactos engaosos que pueden surgir en la investigacin de intervencin tales como el desgaste no aleatorio de los participantes del estudio o cruzado. El ITT no requiere la observacin de la situacin de cumplimiento del anlisis. EL anlisis TOT, en una medida utilizada para comparar los tratamientos o intervenciones en experimentos aleatorios, evaluacin de las intervenciones de polticas y ensayos mdicos. ste anlisis mide la diferencia de los resultados promedios entre las unidades asignadas al tratamiento y las unidades asignadas al control. En un ensayo aleatorio, el TOT puede ser estimado de una muestra usando una comparacin en resultados promedios de las unidades tratadas y no tratadas. Sin embargo, para este caso, es conveniente usar el ITT.
6

El Colegio de Mxico

Alejandro Castillo Antonio

Parte 2: Ejercicios prcticos El objetivo de este ejercicio es familiarizarnos con las estrategias de estimacin cuando se tienen datos provenientes de un experimento aleatorio y que empiecen a desarrollar la capacidad de ser crticos de las literatura econmica emprica que consumen. En este ejercicio se pide que se estime el impacto de un experimento aleatorio que recompensaba a maestros de escuelas primarias en base a las calificaciones que obtenan los alumnos y que los castigaba si los alumnos no presentaban los exmenes. Los datos para este ejercicio provienen de Glewwe, Ilias y Kremer (2010). El artculo se encuentra dentro de la seccin Artculos del sitio del curso. Se recomienda fuertemente que el artculo sea ledo antes de intentar hacer este ejercicio. a) Replica la Tabla 2 de Glewwe, Ilias y Kremer (2010) utilizando las regresiones largas que los autores reportan haber usado: yie = + Tie + Xie + ie Graba los resultados de STATA en un log.file y entrega ese log.file. Escribe tus do.files de tal manera que cualquier persona los pueda leer y entender. Esto es, explica claramente cul es el propsito de cada comando antes de correrlo. Un do.file lleno de comandos sin explicacin asegura que cualquier persona se pierda al leer el log.file (incluso uno mismo despus de un tiempo determinado). Por lo tanto, se otorgarn cero puntos a los resultados que no se puedan identificar fcilmente. La decisin de asignar cero puntos a los resultados que no se encuentren fcilmente no cambiar an cuando ex post se demuestre que todos los resultados s estaban reportados. Qu es fcilmente? Si se deben invertir ms de cinco segundos para encontrar el resultado de alguna regresin, el do.file est mal escrito y la probabilidad de que se le asignen cero puntos a los resultados de esa regresin es uno la probabilidad de que tampoco se encuentren los resultados de las regresiones subsecuentes tambin es uno. Repito, este criterio aplica an cuando, posteriormente, se demuestre que uno slo se deba haber invertido seis segundos para darse cuenta lo claro que estaban escritos los cdigos!

Panel A Para replicar los resultados del Panel A, utiliza la condicin if table==A. La variable que denota las calificaciones de los alumnos (test scores) es t; la dummy indicadora del tratamiento (incentives) es inc; la dummy que indica el sexo de los alumnos es sexdum; las variables dummy que indican las divisiones geogrficas son d1-d7; las variables dummy que indican las diferentes combinaciones de grado y
7

El Colegio de Mxico

Alejandro Castillo Antonio

materia son j4k1-j4k7, j5k1-j5k7, j6k1-j6k7, j7k1-j7k7, j8k1-j8k7; la variable que denota el ao es year; la variable que contiene la clave de las escuelas es s.

Panel B Para replicar los resultados del Panel B, utiliza la condicin if table2==B C E. La variable que denota si los alumnos presentaron el examen gubernamental es tmock. En este caso controla nicamente por el sexo de los alumnos y el grado al que asisten (std). Para el ao 0 (nicamente), limiten las observaciones a los alumnos que se encuentran cursando los grados 4 a 8.

Panel C Sigue las mismas instrucciones para el Panel B. la variable que denota si los alumnos presentaron el examen de la ONG International Child Support (ICS) es tics.

Panel D Para replicar los resultados del Panel D, utiliza la condicin if table2==D. La variable que denota abandono escolar (drop out) es dropout. En este caso controla solamente por el sexo de los alumnos.

Panel E Sigue las mismas instrucciones para el Panel B excepto que ahora limita las observaciones a los alumnos que se encuentran cursando los grados 4 a 8 para todos los aos. Adems, para el ao 1 y el ao 2 considera slo a los alumnos que no hayan abandonado la escuela. La variable con los cdigos del estado de cada estudiante en el ao 1 es sstd98v4; en el ao 2 es sstd99v3.

Table 2 Panel A Variable inc N B inc N C inc Ao 0 0.036 63,812 0.002 (.00648933) 14,945 Ao 1 0.113 73,367 0.129 (.0099742) 9,731 Ao 2 0.215 73,789 0.070 11,651 0.010 (.00742968) Ao 3 0.026 57,674 -0.005 8,964 0.032 (.01748741)

(0.0081136) (0.00746521) (0.00797809) (0.00851051)

(.00788452) (.00970843 )

0.010 0.113 (.00545827) (.00783433)

8

El Colegio de Mxico

Alejandro Castillo Antonio

N D inc N E inc N

14,921 0.004 13,841 0.002 14,945

13,085 -0.008 13,347 0.129 9,627

12,982 -0.008 (.00588898) 12,007 0.076 (.00887107) 10,032

2,277 0.002 (.00481846) 9,479 -0.004 (.01143013) 7,529

(.00578403) (.00572399)

(.00648933) (.01002388)

b) Replica la Tabla 2 de Glewwee, Ilias y Kremer (2010) utilizando ahora regresiones cortas (sin controles): yie = + Tie + ie Graba los resultados de STATA en un log.file y entrega ese log.file.

Panel A

Variable Inc N

Table 2 sin controles indicados Ao 0 Ao 1 Ao 2

Ao 3

0.054 0.206 0.224 0.051 (.00804519) (.00733874) (.00795402) (.00848396) 63,812 73,367 73,789 57,674 0.000 15,224 0.116 11,122 0.070 13,518 -0.007 10,372 (.00659987) (.00936453) (.00742125) (.00900413) 0.012 0.102 0.016 0.026 (.00600725) (.00751259) (.00693805) (.01647101) 15,718 14,982 14,849 2,578 0.004 14,093 0.000 15,224 -0.007 14,014 0.115 11,000 -0.009 13,622 0.073 11,566 0.003 13,571 -0.007 8,623 (.00569734 ) (.00553515) (.00563825) (.00410958)

Inc N

Inc N

Inc N

Inc N

(.00659987) (.00941692) (.00840905) (.01069001)

Panel A

Table 2 regresiones sin ningn control (parciales) Variable Ao 0 Ao 1 Ao 2 Ao 3 Inc 0.054 0.206
9

0.224

0.051

El Colegio de Mxico

Alejandro Castillo Antonio

N B Inc N C Inc N Inc N E Inc N

(.00804519) (.00733874) (.00795402) (.00848396) 63,812 73,367 73,789 57,674 0.001 15,224 0.116 11,122 0.073 13,634 0.089 11,940 (.00660467) (.00944175) (.00836895) (.0091262) 0.012 0.103 0.020 0.004 (.00600706) (.00751567) (.00784797) (.01912024) 15,718 14,982 14,982 2,578 0.004 -0.007 -0.009 0.003 (.00569734 (.00553515) (.00563825) (.00410958) ) 14,093 14,014 13,622 13,571 0.001 15,224 0.116 11,000 0.073 11,566 -0.007 8,623 (.00660467) (.00948893) (.00845358) (.01069239)

c) Cmo difieren los resultados que obtienes en (a) de los resultados reportados por los autores en la Tabla 2? Todos los resultados son similares a los presentados por los autores, a excepcin del ao 1. Sin embargo, cabe resaltar que para este ao, el panel D si es parecido a los resultados que obtuve.

d) Cmo difieren los resultados que obtienes en (b) de los resultados que obtienes en (a)? En este apartado, la comparacin entre ambos resultados si es diferente, aunque los resultados son ms o menos comparables, es decir, la desviacin no es tan marcada, a excepcin, generalmente, del panel A. Todos los dems son ligeramente parecidos. En lo que respecta al nmero de observaciones, nicamente son semejantes en el panel A. en su mayora, son mayores en el cuadro obtenido en b) ms que los obtenidos en a).

e) Utiliza el ao 0 como lnea basal (informacin de los individuos antes de que inicie el tratamiento). Calcula y reporta en una tabla la desviacin estndar y el nmero de individuos en las escuelas con tratamiento y el nmero de individuos en las escuelas de comparacin para las calificaciones de los alumnos (t), la dummy indicadora de si los alumnos presentaron el examen gubernamental (tmock), la dummy indicadora de si los alumnos presentaron el examen de la ONG (tics) y la tasa de abandono (dropout). Antes de obtener las estadsticas descriptivas, asegrate de estar seleccionando las muestras adecuadas (por ejemplo, para calcular la media y la
10

El Colegio de Mxico

Alejandro Castillo Antonio

desviacin estndar de las calificaciones de los alumnos es necesario utilizar la condicin if (table2==A & year==0).

f) Utiliza el comando sampsi de STATA para calcular el poder estadstico que tienen los autores para identificar los efectos del ao 2 que encontraste en el inciso (b) para las calificaciones de los alumnos (t), la dummy indicadora de si los alumnos presentaron el examen gubernamental (tmock), la dummy indicadora de si los alumnos presentaron el examen de la ONG (tics) y la tasa de abandono (dropout).

Lee con atencin la descripcin del comando sampsi en el help de STATA. Habiendo hecho esto, normaliza a 0 el #1; utiliza la que encontraste en el inciso (b) para cada una de las variables como #2, respectivamente; y utiliza las siguientes opciones: sd(#), alpha(#), n1(#), n2(#) y onesided. Utiliza las desviaciones estndar y los nmeros de individuos en las escuelas de comparacin y con tratamiento que calculaste en el inciso (e) para sustituirlas en sd(#), n1(#) y n2(#), respectivamente. Como nivel de significancia (alpha (#)) utiliza el mnimo entre el valor-p de cada una de las s 0.05. Graba los resultados de STATA en un log.file y entrega ese log.file. Interpreta los resultados.

Regresin Panel A: Dependent variable: score on formula used to reward teachers Panel B: Dependent variable: take government exam (linear probability model) Panel C: Dependent variable: take NGO exam (linear probability model)

Poder estadstico estimado

1.00

1.00

0.59

11

El Colegio de Mxico

Alejandro Castillo Antonio

Panel D: Dependent variable: dropping out (linear probability model)

0.47

Se obtiene el poder estimado para la comparacin de dos muestras de proporcin. La prueba de hiptesis es: H0: p1=p2, donde p1 es la proporcin en la poblacin 1 y p2 es la proporcin en la poblacin 2. Tcnicamente, el poder es la probabilidad de rechazar la hiptesis nula cuando la hiptesis alternativa especfica es verdadera.

g) Dado lo encontrado en los incisos (a)-(f), compras los resultados reportados por los autores en la Tabla 2? Por qu? Tomando como referencia a lo concluido en el documento: Resumiendo los resultados de las pruebas, no es claro cmo impacto en el ao 1, pero para el ao 2, una vez que los maestros tuvieron la oportunidad de ver cmo trabajaba el programa, hay evidencia que el programa increment las calificaciones en los exmenes del gobierno. El impacto de las estimaciones en el ao 2 de las pruebas de la NGO fueron cercanas a cero, aunque debido a estimaciones imprecisas, las diferencias en los impactos estimados en los exmenes del gobierno y del NGO son tambin no significativos. Los resultados entonces pueden ser usados para descomponer el impacto el programa en la formula usada para premiar a los maestros dentro del impacto de la lata participacin en los exmenes del gobierno y el impacto de las altas puntuaciones en el examen para quienes participaron. En resumen, el programa claramente incremento las calificaciones en la frmula para premiar a los maestros, pero dos tercios del impacto se debieron al incremento en el nmero de estudiantes tomando los exmenes del gobierno. El otro tercio reflej el incremento un incremento en las calificaciones de los exmenes del gobierno, al menos algunos de los cuales refleja un incremento en las habilidades para tomar el examen. En general, mientras que el programa dirigido claramente a las ganancias en los resultados estrechos que eran el foco de los incentivos, se encontr poca evidencia de un incremento ms amplio en el capital humano de los estudiantes. Finalmente, la conclusin de que para el programa y el contexto que examinan, los incentivos docentes basados en calificaciones de los exmenes fueron insuficientes para resolver el problema de la alta ausencia de maestros sugiere que vale la pena explorar otros tipos de reformas para abordar el problema de los incentivos dbiles para maestros. Por tanto, es muy difcil comprar estos resultados, dado lo anterior y las no semejanzas para el ao 1.
12