El diseo experimental

Martn Valdivia GRADE

Esquema de presentacin
I. Introduccin II. Por qu aleatorizar

III. Cmo aleatorizar

IV. Ventajas y desventajas del diseo experimental

I. Introduccin

El diseo experimental
El problema de la inferencia causal:
Cmo ha cambiado la vida de los beneficiarios de mi programa comparado con como hubieran cambiado si mi programa no hubiera existido?

Pero, un mismo individuo no puede ser observado en dos estados distintos (con o sin programa) en el mismo momento

Diferente de las preguntas de monitoreo:

Qu servicios llegaron a recibir o usar los beneficiarios de mi programa? Cmo ha cambiado la vida de los beneficiarios de mi programa despus de haber participado en el programa?

El diseo experimental II
Cofluencia de factores hace el tema complicado
Shocks agregados (macroeconmicos, climticos, etc.) Seleccin de beneficiarios por el programa (lugares, definicin de elegibilidad)

Auto-seleccin de los beneficiarios (motivacin, espritu empresarial etc. definen take up)

Tomamos las diferencia entre:

Qu ocurri con el programa
- Qu hubiera ocurrido sin el programa = Impacto Este ltimo escenario se denomina el contrafactual.

Impacto

Resultado primario

Intervencin

Impacto

Tiempo

Impacto
Intervencin
Impacto Resultado primario

Tiempo

Impacto
Intervencin

Resultado primario

Impacto

Tiempo

Contrafactual
El contrafactual generalmente se construye a partir de la seleccin de un grupo no afectado por el programa
Evaluacin Aleatoria:
Sesgo de seleccin de beneficiarios
Usa una asignacin aleatoria del programa para crear un grupo de control. Argumenta que un cierto grupo excluido del programa replica el contrafactual

Evaluacin No Aleatoria:

El diseo experimental hoy

En la actualidad, los experimentos aleatorios juegan un rol importante en development economics. Los experimentos que se utilizan para medir el impacto de programas sociales alrededor del mundo difieren de aquellos experimentos en el sector salud, tanto en escala como en presupuesto. Los experimentos aleatorios se han convertido en un importante instrumento para evaluar muchos programas sociales. J-PAL, as como IPA, CEGA, E-Pod, etc, se dedica exclusivamente a apoyar este tipo de evaluaciones.

II. Por qu aleatorizar?

El sesgo de seleccin

El sesgo de seleccin II

Sesgo positivo con auto-seleccin

Escuelas que compran libros de texto son las que le dedican ms tiempo a la educacin de sus hijos, mayor prioridad

Sesgo negativo si la focalizacin del programa funciona adecuadamente Aunque no se puede observar ese sesgo Ambos procesos pueden operar conjuntamente

Aleatorizacin y la estimacin del impacto de una intervencin

Elimina sesgo de seleccin: En el contexto de una regresin:

Aleatorizacin y la estimacin del impacto de una intervencin II

Dos supuestos claves adicionales:
Estabilidad del valor de la unidad de tratamiento (Rubin, 1980)? En ingls: Stable Unit Treatment Value Assumption (SUTVA)
Estado de tratamiento de cualquier unidad no afecta el resultados potencial de las otras unidades (no interferencia) El tratamiento para todas las unidades es comparable (tratamientos sin variaciones)

Externalidades, efectos de equilibrio general y SUTVA

Entrenamiento laboral (job training) muy masivo (EEG) Tratamientos que suponen transferencia de Informacin clave puede ser transmitida a red de amigos Tratamientos flexibles que se adaptan a la necesidad del beneficiario

Aleatorizacin y la estimacin del impacto de una intervencin III

Externalidades, EEG general establecen complicaciones, pero tambin oportunidades para otras preguntas. Externalidades y los mecanismos de difusin (Chong, et. al., 2012)
Estudio busca evaluar el impacto de un programa de capacitacin por internet en salud sexual y reproductiva para estudiantes de escuelas pblicas en Colombia Escuelas tratadas asignaban tiempo a la revisin de esos materiales Escuelas asignadas aleatoriamente al tratamiento, pero con diferencias entre aulas En algunas escuelas tratadas, se observaban dos aulas, solo una tratada directamente No se encontraron efectos sobre los tratados indirectamente, el proceso de difusin no traspasa las aulas Si se encontr un efecto ms fuerte para aquellos alumnos cuyos amigos cercanos tambin fueron tratados, sobre conocimiento y actitudes

Aleatorizacin y la estimacin del impacto de una intervencin IV

Otro ejemplo: Gin y Mansuri (2011)
Impacto de una campaa de promocin del proceso electoral sobre el voto femenino y la eleccin del candidato en Pakistn Grupos de manzanas dentro de las localidades fueron asignadas aleatoriamente a tratamiento y control; algunos hogares no tratados directamente fueron observados al final Mujeres tratadas directa e indirectamente votaron ms (12 pps) large spillovers Por qu nos importara?
10 mujeres tratadas aumentaban en 9 las mujeres que votaban. Costo por voto: US$ 2.3.

Aleatorizacin y la estimacin del impacto de una intervencin V

Un ejemplo de tratamiento heterogneo o flexible: programas integrales de desarrollo rural
Varios elementos en la intervencin: crdito, asistencia tcnica, estrategias de comercializacin, infraestructura Intervenciones se aplican segn la demanda Descomposicin de la intervencin puede aportar mucho ms informacin acerca de qu es lo que funciona

III. Cmo aleatorizar?

Cmo operativizar una aleatorizacin?

Aleatorizacin simple
Asumiendo que requieres 100 en cada grupo, de acuerdo a tus clculos de poder

En STATA, sobre una base de datos con las unidades de observacin, algo como esto:
gen double random=uniform() sort random gen n=_n if random~=. gen treatment=0 if n<=100 replace treatment=1 if n>=101 & n<=200

Qu pasa si no hay marco muestral posible? De todas maneras, este tipo de programa/estrategia no es el mayor de los factores a tomar en cuenta

20

Viabilidad de la aleatorizacin
La definicin de quines sern los beneficiarios del programa ha estado siempre en manos de los implementadores del programa
La aleatorizacin les quita poder Impide que usen sus conocimientos acerca quines deben/merecen recibir el tratamiento del programa Consideraciones ticas para la exclusin de ciertos grupos necesitados de los beneficios del tratamiento (que ellos ya saben que los beneficia)

Estrategias tiles:
Puede ayudar que Implementadores incorporen criterios de elegibilidad, aunque ello puede limitar validez externa de los resultados De todas maneras, es til que el grupo elegible sea ms grande que el tamao de la intervencin que puede manejar el programa en una primera etapa

21

Alternativas para la aleatorizacin

No es necesario limitarse a programas nacientes
Podemos trabajar con programas ya existentes Sobre innovaciones, expansiones, etc.

Diferentes opciones:
Diseo aleatorio por etapas Asignacin aleatoria en la burbuja Diseo de estmulos

22

Diseos por etapas

Es til cuando restricciones administrativa o financieras impiden que el programa atienda a la poblacin elegible desde el inicio
Nadie est siendo excluido totalmente: A la larga, todos obtienen algo Miguel y Kremer (2004) con proyecto de desparasitacin: 25 escuelas cada ao por tres aos

Algunas Inquietudes
Ventana de oportunidad puede ser ms corta que el tiempo necesario para que los efectos de un programa se materialicen (microcrdito?) Puede complicar la estimacin de los efectos a largo plazo Individuos en grupos rezagados pueden alterar su comportamiento si saben que recibirn el tratamiento luego (y si la ventana es muy corta)

Diseo por etapas

3

Ronda 1
Tratamiento: 1/3 Control: 2/3
3

1 2 3 1 1 3 3 2 3 2 2 2 3

Ronda 2
Tratamiento: 2/3 Control: 1/3
La evaluacin aleatoria finaliza
1 3

2
2 2

2 3 3 3

3
1 3 1

1 1

2 2 1

2 3

Ronda 3
Tratamiento: 3/3 Control: 0
2

1
3 1

3 2 1 3

Aleatorizacin en la burbuja
En ocasiones, un socio puede no estar dispuesto a aleatorizar entre personas elegibles - microfinanzas
El socio podra estar dispuesto a aleatorizar en la burbuja. Las personas en la burbuja estn en la lnea limtrofe en trminos de elegibilidad Justo por encima del umbral no elegible, pero casi

Karlan and Zinman (2007)

Aleatorizan la asignacin de crdito entre las solicitudes marginales de un banco en Sudfrica, establecidas por un sistema de credit scoring

Qu efecto del tratamiento medimos nosotros? Qu significa esto para la validez externa?

Asignacin aleatoria en la burbuja

Tratamiento

Dentro de la burbuja, compare el tratamiento con el control

No participantes

Participantes

Control

Diseo de estmulos
En ocasiones, es prctica o ticamente imposible asignar el acceso al programa en forma aleatoria
Pero la mayora de los programas tiene una aceptacin inferior al 100% En ese caso, puede asignarse aleatoriamente el estmulo para recibir tratamiento

Ejemplo: Len (2012)

Votacin en Per es obligatoria y la ausencia supone una multa En el 2006, sin embargo, una ley redujo estas multas, aunque pocos saban al respecto, especialmente en zonas ms pobres Se asign aleatoriamente los barrios de Lima en los cuales se provea informacin acerca de la reduccin de la multa elasticidad voto/costo = -0.21, especialmente entre menos interesados e informados polticamente

Diseo de estmulos
Estimular No estimular

compare los estimulados con los no estimulados Estos deben ser correlacionados

participado

no particip

no compare participantes con no participantes ajustar por incumplimiento en la fase de anlisis

Cumpli No cumple

Mtodos de asignacin aleatoria recapitulacin

Diseo

Los ms tiles cuando

La suscripcin al programa es sobrepasada

Ventajas

Desventajas

Lotera Bsica

Familiares Fciles de entender Fciles de implementar Se pueden implementar en pblico

Puede que el grupo de control no coopere Desgaste diferencial

Mtodos de asignacin aleatoria - recapitulacin

Diseo

Los ms tiles cuando

Se expanden en el tiempo A la larga, todos deben recibir tratamiento

Ventajas
Fciles de entender La restriccin es fcil de explicar El grupo de control cumple, porque ellos esperan beneficiarse ms tarde

Desventajas
La anticipacin del tratamiento puede afectar la conducta a corto plazo Es difcil medir el impacto a largo plazo

Diseo Por Etapas

Mtodos de asignacin aleatoria recapitulacin

Diseo Son ms tiles cuando
El programa debe estar abierto a todos los recin ingresados Cuando la aceptacin es baja, pero se puede mejorar fcilmente con un estmulo

Ventajas
Se puede asignar en forma aleatoria a nivel individual, aun cuando el programa no sea administrado a ese nivel

Desventajas
Mide el impacto de aquellos que responden al estmulo Necesita un aliciente suficientemente grande para mejorar la aceptacin El estmulo mismo puede tener un efecto directo

Estmulo

Otros aspectos de la aleatorizacin

La unidad de aleatorizacin ptima (individual, grupos)
Tratar a los maestros y medir el rendimiento educativo de los nios Reparto de alimentos en una comunidad: limitaciones ticas/polticas para excluir familias elegibles al interior

Tamao y balance de la muestra

Con muestras relativamente pequeas, es posible que el grupo de tratamiento o de control difieran en variables relevantes para el anlisis

32

La unidad de aleatorizacin
Como dijimos antes, diferenciar la unidad de aleatorizacin (UA) de la de observacin (UO) puede permitir analizar otras preguntas: mecanismos de difusin En todo caso, la diferencia entre la UA y la UO requiere algn cuidado a la hora de estimar los efectos del programa
Ya no podemos usar las diferencias simples Modelo con efectos fijos a nivel de la unidad mayor (escuela, comunidad)

Yij = a + b Tij + vj + eij

33

Tamao y balance de la muestra

Si la muestra es relativemente, hay que estratificar
dividir la muestra en diferentes subgrupos seleccionar el tratamiento y control de cada subgrupo

Que variables son buenos estratificadores?

variables que podran tener un impacto importante sobre la variable de resultado subgrupos sobre los cuales se pueda pensar que el impacto del programa podra ser diferente valor de la variable en la lnea de base

Estimacin: Yi = a + b Ti + g Xi + ei
Aunque reduce grados de libertad, si correlacin con variable Y es fuerte, aumenta precisin del efecto estimado
34

Evaluacin de impacto como instrumento de gestin

Diseo simple puede ser complicado de aceptar para el implementador
Resultado nulo o negativo no puede desligarse de su capacidad de gestin

Tratamientos mltiples
Decidir entre diferentes intervenciones posibles Diseo completo: control, tratamiento 1, tratamiento 2, tratamiento completo Permite comparar tratamientos, pero tambin analizar sustituibilidad/complementariedad

Yi = a + b1 T1 + b2 T2 + b3 T1 T2 + ei

Tratamientos mltiples
Tratamiento 1 Tratamiento 2 Tratamiento 3

Gracias!