TRADUCIENDO LA INVESTIGACIÓN EN ACCIÓN

¿Por qué aleatorizar?

Sebastian Galiani
Washington University in St. Louis
Abdul Latif Jameel Poverty Action Lab
 TRADUCIENDO LA INVESTIGACIÓN EN ACCIÓN

I – El Problema de Atribuir 
Causalidad
Relaciones Causales
• El objetivo de muchos estudios en medicina, física,
economía, ciencias sociales y biología es encontrar
relaciones de CAUSA‐EFECTO entre variables o eventos.
• Por ejemplo, buscar la mejor cura para una enfermedad o
la política más eficiente para combatir la pobreza.
• El interés en RELACIONES CAUSALES está motivado por
cuestiones de políticas públicas, consideraciones teóricas
o problemas de los agentes que tienen que tomar
decisiones.

3
Preguntas causales
• Ejemplos de preguntas causales en Ciencias Sociales:
1. ¿Cuál es el efecto de un plan social (ej, transferencia
condicional) en la educación?
2. ¿Cuál es el efecto de la provisión de agua potable en la
mortalidad infantil?
3. ¿Cuál es el efecto del tamaño de la clase (n° alumnos) en
la performance de los alumnos?
4. ¿Cuál es el efecto de proveer crédito a las PyMEs sobre su
productividad?
5. ¿Cuál es el efecto del encarcelamiento en la reincidencia
criminal? 4
Problema de Atribuir Causalidad
• Ejemplo 1: Alumno con bajas calificaciones. Causa: pocas
horas de estudio?
‐Otros factores? Circunstancias particulares que llevaron a mala
performance; desmotivación por bajas notas anteriores a pesar de
haber estudiado mucho…

• Ejemplo 2: Paciente con enfermedades respiratorias.

Causa: fumar?
‐ Otros factores? Vida sedentaria; antecedentes familiares…

En general podemos asociar un presunto efecto a múltiples

causas. ¿Cómo Atribuir Causalidad?

5
Problema de Atribuir Causalidad
• Condiciones para Atribuir Causalidad (John Stuart
Mill): A es la presunta causa del efecto B si:
1. A sucede antes que B.
2. Si los niveles de A varían, tiene que haber
consecuentemente variaciones en los niveles de B.
3. No hay otra explicación posible para el efecto B, que no
sea la presunta causa A.
En esta clase: estudiar qué método nos asegura las 3
condiciones

6
Problema de Atribuir Causalidad
• En la práctica primero precisar:
– La población bajo análisis (ej, alumnos de escuela primaria)
– Cuál es la presunta CAUSA; “Tratamiento”.
– Cuál es la variable de resultado en la que se mide el EFECTO.

• Analizar CAUSALIDAD es contestar la pregunta:

– qué hubiera pasado si las unidades bajo “Tratamiento” no lo hubieran
recibido. Cómo serían los niveles de esas variables de resultado en
ausencia del tratamiento.

• Idealmente nos gustaría contar con el CONTRAFACTUAL. Pero

no es observable: Problema Fundamental de la Inferencia
Causal
– Ej. Cómo hubiera sido la performance de alumnos que estudiaron en
clases más chicas si ellos mismos hubieran sido asignados a clases con
más alumnos. 7
Problema de Atribuir Causalidad
• Si llamamos Y a la variable de resultado de interés y T a la
asignación de Tratamiento:

YTi si T=1
Yi = Yi = T YTi + (1 – T ) YCi
YCi si T=0
• Queremos estimar el efecto de T: YT‐ YC
i i
• El problema es que cada unidad la vamos a observar en YT o en
YC . No es posible estimar efecto individual.
• Técnicas estadísticas permiten estimar EFECTO PROMEDIO.
Comparando la variable de resultado promedio del GRUPO de
TRATAMIENTO y de un GRUPO de CONTROL.
• El GRUPO de CONTROL recrea el CONTRAFACTUAL
8
Problema de Atribuir Causalidad

YT YC
Grupo Observable NO 
Tratamiento Y=YT Observable
T=1 Contrafactual
Grupo NO  Observable
Control Observable Y=YC
T=0 Contrafactual

9
Importancia del Grupo Control

• Típicamente para evaluar el IMPACTO de POLÍTICAS o

intervenciones se suele analizar qué ocurrió con las
unidades tratadas después del Tratamiento.
• ¿Qué pasaría si comparamos las unidades del Grupo
Tratamiento ANTES y DESPUÉS de la intervención?
(Ver figuras siguientes).

10
10
 Impacto: Escenario #1
Resultado primario

Intervención

Impacto

Tiempo 11
 Impacto: Escenario #2

Impacto
Resultado primario

Intervención

Tiempo 12
 Impacto: Escenario #3
Resultado primario

Intervención

Impacto

Tiempo 13
Importancia del Grupo Control
• Hay distintos métodos para recrear el Contrafactual
que no es observable.
– Lo ideal sería que las unidades del grupo de control fueran
iguales a las del grupo de Tratamiento. Esto incluye:
– Características observables (ingreso, edad, localización
geográfica, nivel educativo, etc.) que podemos medir.
– Características NO observables (motivación, gustos,
habilidad, etc.) que en general no podemos medir.

• La única diferencia entre el Grupo de Tratamiento y el Grupo

de Control debería ser la asignación al Tratamiento.

14
14
Problema de Selección
• Los individuos que eligen una acción (ej. ir a determinada
escuela o solicitar un crédito) son en general diferentes a
las personas que no lo hacen.

• Por ejemplo: ¿Qué variables llevan a unas firmas a solicitar un crédito?

– ¿En aprietos económicos? Por lo tanto, si no somos cuidadosos
podríamos concluir que el crédito daña a las empresas
– ¿Mejor expectativa del futuro? por lo tanto sobre‐estimaríamos el
efecto.

• Otro ejemplo: si comparamos personas que fueron

encarceladas con otras que no, ¿que nos llevaría a concluir?

15
15
 Problema de Selección
• Ejemplo: efecto de programa que provee clases extra en la
performance de los alumnos de la escuela primaria. La
participación es voluntaria. Imaginemos que podemos
observar los contrafactuales.
Nota promedio por
grupo
YT YC
Grupo Tratamiento 10 7
Grupo Control 5 3

• Efecto Promedio: E[YT –YC]= 10 – 3 = 7 Sobre‐estimación:

• Diferencias Base: 7‐3 = 4 Los mejores se auto‐seleccionaron
• Heterogeneidad en Efecto del Tratamiento: (10‐7) – (5‐3)= 1
Los mejores alumnos aprovechan más el tratamiento 16
16
 Métodos de Evaluación de Impacto
• Todos estos métodos tratan de hacer lo mismo:

1. Estimar que hubiera pasado sin el programa por medio de

generar un grupo de control.

2. Estimar la diferencia entre el grupo de control y el grupo

de tratamiento.

3. La principal diferencia entre ellos es cómo recrean el

contrafactual.

17
17
Métodos de evaluación de impacto
1. EVALUACIONES EXPERIMENTALES: Se asignan unidades
al grupo de Tratamiento y de Control aleatoriamente (al 
azar). En probabilidad las unidades de ambos grupos son 
iguales.

2. ESTUDIOS OBSERVACIONALES O CUASI‐
EXPERIMENTALES: El investigador no puede manipular la 
asigación del tratamiento. Ya está dada. Diferentes métodos
para elegir el mejor grupo de control posible y estimar el 
impacto.

3. EXPERIMENTOS NATURALES: Asignación dada por
alguna regla o evento, “como si” hubiera sido asignación
aleatoria. 18
 Métodos no experimentales
• Para definir el grupo de control los métodos no experimentales hacen
supuestos que no se pueden verificar
• Por ejemplo:
a) Antes y después, mismos individuos
• Grupo de control: los tratados antes de recibir el tratamiento
• Supuesto: sin el tratamiento hubieran quedado igual que antes
• Amenaza: que haya tendencias que afectan a los individuos a lo
largo del tiempo.

b) Diferencia simple después del programa

• Grupo de control: aquellos sin tratamiento, e.g. empresas sin
crédito.
• Supuesto: que las empresas sin crédito son iguales a las
empresas con crédito en todas las demás carecterísticas.
19
19
Métodos no experimentales
c) Matching: 
• Grupo de control: aquellos con iguales características
observables
• Supuesto: que observamos todas las características que
podrían afectar el resultado

d) Variables instrumentales:
• Idea: usar una variable que afecte la probabilidad de que
reciba tratamiento pero no directamente el resutado. Por
ejemplo, que a unos les llego una invitación y a otros no.
• Grupo de control: aquellos que no les llegó la invitación
• Supuesto: que la invitación no se mandó con base en el 
resultado esperado, e.g. a los mejores estudiantes. 20
20
Metodos no experimentales
• En la medida que el supuesto de identificación no sea válido,
tampoco nuestra estimación del efecto del programa: habrá
un sesgo.
Yi T  que pasaría a i con T
Ri  E[YiT  Yi C ] ideal
Yi C  que pasaría a i sin T

R  E[Y T | T ]  E[Y C | C ] posible

21
21
Métodos no experimentales
• Sumando y restando E[Yi C | T ]

R  E[Y T  Y C | T ]  E[Y C | T ]  E[Y C | C ]

Efecto del tratamiento Sesgo

• Idealmente el Sesgo debe ser igual a cero.
• Ejemplo: la performance promedio de aquellos alumnos que
tomaron clases extra en ausencia del tratamiento, debe ser igual a
la performance promedio de aquellos que no las tomaron.
• El UNICO METODO que garantiza en muestras grandes que el
sesgo es nulo es la asignación aleatoria (Estudios Experimentales).

22
 TRADUCIENDO LA INVESTIGACIÓN EN ACCIÓN

II – ¿Qué es una evaluación 
aleatoria?
¿Qué es una evaluación aleatoria?
Empezamos con un ejemplo sencillo:
• Tomamos una muestra de postulantes al 
programa. 
• Los asignamos aleatoriamente a: 
 Grupo de tratamiento – se le ofrece el 
tratamiento
 Grupo de control – no se le permite recibir el 
tratamiento (durante el período de evaluación)

24
Ventajas de experimentos

‐Los miembros de los grupos (tratamiento y

control) no difieren sistemáticamente, y
‐La única diferencia por construcción es que
algunos recibieron el tratamiento y otros no.
cualquier diferencia que surja posteriormente
entre ellos se puede atribuir al programa y no a
otros factores.
‐Se elimina el sesgo que puede haber en los
estudios no‐experimentales.
Randomización  E[Y C | T ]  E[Y C | C ]
25
25
Ventajas de Experimentos

• No hay que hacer supuestos que no son

comprobables.
• La aleatorización hace que los grupos sean
comparables en variables observables pero tambien
en las que no observamos!
• Si se diseñan e implementan adecuadamente, los
experimentos aleatorios son el método más
confiable para estimar el impacto de un programa
sobre la sub‐población en estudio.

26
Pasos claves para realizar un experimento

1. Diseñar el estudio cuidadosamente (definir la sub‐población

de interés)
2. Asignar aleatoriamente las unidades a tratamiento o
control.
3. Recolectar datos de línea de base (no es estrictamente
necesaria pero muy recomendable: Verificación balance, tamaño
muestra, interacciones.)

Es muy importante el diseño de la Encuesta (especificación y medición de

las variables de interés).

4. Verificar que la asignación generó grupos similares

27
Pasos claves para realizar un experimento

5.     Monitorear el proceso para asegurar la integridad del 
experimento (que no se les dé el programa a los de control 
y sí se les dé a los de tratamiento)
6. Recolectar datos post‐intervención tanto para el grupo de 
tratamiento como para el grupo control
7. Estimar los impactos del programa comparando los 
resultados promedio del grupo de tratamiento vs. los 
resultados promedio del grupo de control
8. Determinar si los impactos son estadísticamente
significativos.
28
Pasos claves para realizar un experimento

2. INTERVENCIÓN

4. Medición final
1. Linea de base 

2. DIVISION ALEATORIA

3. STATUS QUO

POBLACIÓN META

29
 Ejemplo 1: Estudio Experimental de Cirugía
Coronaria
• La administración de Veteranos de US condujo un 
Experimento Aleatorio Controlado para comprar el efecto
de:
– Cirugía de By‐Pass Coronario: reparar la circualción de la 
sangre hacia el corazón formando un “puente” sobre la 
arteria bloqueada.
– Drogas para combatir enfermedades coronarias. Estas
drogas ayudan a la circulación sanguínea a través de 
arterias más estrechas.

• Para este estudio 596 pacientes de 13 hospitales fueron

asignados aleatoriamente a los dos tratamientos: a 286 se les 
realizó la cirugía y 310 recibieron el tratamiento a base de 
drogas. 30
Ejemplo 1: Estudio Experimental de Cirugía 
Coronaria

Variables  Tratamiento: Tratamiento: 

‐% de pacientes por categoría‐ Drogas Cirugía
Clase II & Clase III‐NY Heart Assoc. 94.2 95.4
Infartos al Miocardio (IM) Previos 59.3 64
Posibles IM según Electro 36.1 40.5
Duración de Dolores en Pecho +25m 50 51.8
Antecedentes de Hipertensión 30 27.6
Antecedentes de Fallas Cardíacas 8.4 5.2
Antecedentes de ACV 3.2 2.1
Antecedentes de Diabetes 12.9 12.2
Ratio Cardiotorácico > 0.49 10.4 12.2
Colesterol Sérico > 249 mg/100 ml 31.6 20.6
OBSERVACIONES 310 286 31
Ejemplo 1: Estudio Experimental de Cirugía
Coronaria
• En la Tabla anterior vemos que los dos grupos de 
pacientes son similares en muchas características
importantes antes de empezar el tratamiento. Las 
diferencias en 9 de las 10 variables no son 
estadísticamente significativas. 
• El balance en estas variables fue producto de la 
asignación aleatoria. 
• La asignación aleatoria tiende a producir grupos
comparables o balanceados en muestras grandes.
• Esta es la razón por la que podemos esperar que las otras
variables que no observamos o no medimos, también
estarán balanceadas entre los dos grupos.
32
 Ejemplo 2: Vitamina C y el Tratamiento de 
Cáncer Avanzado
• Un estudio pasado presentó evidencia observacional
mostrando que los pacientes que recibieron Vitamina C 
sobrevivieron en promedio 4 veces más tiempo que aquellos
pacientes en el grupo de control.
• El grupo de control fue elegido mediante matching. Se 
utilizaron registros de pacientes ya fallecidos para el grupo de 
control. Esto indujo un sesgo de selección en variables no 
observables. 
• En respuesta, Mayo Clinic condujo un experimento controlado
comparando el efecto de Vitamina C con el de placebo, en 
pacientes con cancer avanzado de colon y recto. 
• Este estudio no encontro evidencia de que la Vitamina C tenga
efectos en la supervivencia. 33
 TRADUCIENDO LA INVESTIGACIÓN EN ACCIÓN

III – ¿Hay diferencias en la 

práctica entre aleatorizar o no?
Ejemplo 3: Balsakhi: Antecedentes

• Implementado por Pratham, una ONG en India
• El programa proporcionó tutores (Balsakhis) 
para ayudar a niños con dificultades en la 
escuela
• El programa de Balsakhi se implementó en 
escuelas primarias públicas en 2002‐2003
• Los maestros de estas escuelas decidieron
cuáles niños (los más atrasados) se educarían 
con los Balsakhi
35
Ejemplo 3:  El programa de Balsakhi

36
Balsakhi: Indicadores de Resultados

• Variable resultado: A los niños se les aplican 
pruebas de lenguaje y matemáticas al 
comienzo del año escolar (pre‐test) y al final 
del año (post‐test)

• PREGUNTA: ¿Cómo determinamos el impacto 
del programa?
37
Métodos para estimar impacto
• Exploremos diferentes formas de calcular los 
impactos utilizando los datos de escuelas que 
obtuvieron un balsakhi
1. Pre – Post (Antes vs. Después)
2. Diferencia simple
3. Diferencias en Diferencias
4. Otros métodos no experimentales
5. Experimento Aleatorio

38
1. Pre‐post (Antes vs. Después)
• Estrategia  Para los 
niños educados por los 
balsakhi, 
comparar los puntajes 
promedio :

• Antes del balsakhi (2002)
vs.
• Después del balsakhi (2004)

39
1. Pre‐post (Antes vs. Después)

Puntaje promedio post‐test  51,22
para los niños con un balsakhi
Puntaje promedio pre‐test   24,80
para los niños con un balsakhi
Diferencia 26,42

• PREGUNTA: ¿Bajo qué condiciones se puede 
considerar esta diferencia (26,42) como el 
impacto del programa Balsakhi?
40
¿Que habría ocurrido sin el balsakhi?

Método 1: Antes vs. después
Impacto = 26.42 puntos?

75

50
26,42 puntos
25

2002 2003
0
41
2 – Diferencia simple
Compare el puntaje promedio de…

con el 
puntaje 
promedio 
de…

Niños que recibieron el  Niños que no recibieron el

balsakhi balsakhi 42
2 – Diferencia simple

Puntaje promedio para los  51,22

niños con un balsakhi
Puntaje promedio para los  56,27
niños sin un balsakhi
Differencia ‐5,05

• PREGUNTA: ¿Bajo qué condiciones se puede 
considerar esta diferencia (‐5,05) como el 
impacto del programa Balsakhi?
43
¿Que habría ocurrido sin el balsakhi?

Método 2: Comparación simple 
Impacto = ‐5.05 puntajes?

75

50 -5,05 puntos

25

2002 2003
0
44
 3 – Diferencias en Diferencias

Compare el cambio en puntaje promedio de…

con el cambio 
en puntaje  
promedio 
de…

Niños que recibieron el  Niños que no recibieron el

balsakhi balsakhi 45
3 – Diferencias en Diferencias
Pre‐test Post‐test Diferencia

Puntaje promedio para 24.80 51.22 26.42

los niños con un balsakhi

46
3 – Diferencias en Diferencias
Pre‐test Post‐test Diferencia

Puntaje promedio para 24.80 51.22 26.42

los niños con un balsakhi
Puntaje promedio para 36.67 56.27 19.60
los niños sin un balsakhi

47
3 – Diferencias en Diferencias
Pre‐test Post‐test Diferencia

Puntaje promedio para 24,80 51,22 26,42

los niños con un balsakhi
Puntaje promedio para 36,67 56,27 19,60
los niños sin un balsakhi
Diferencia 6,82

• PREGUNTA: ¿Bajo qué condiciones se puede 
considerar esta diferencia (6,82) como el impacto 
del programa Balsakhi?
48
4 – Experimento Aleatorio

• Suponga que evaluamos el programa de 
Balsakhi usando un experimento aleatorio

• PREGUNTA #1: ¿Qué implica eso? ¿Cómo lo 
hacemos?

• PREGUNTA #2: ¿Cuál sería la ventaja de 
utilizar este método para evaluar el impacto 
del programa Balsakhi? 
Source: www.theoryofchange.org 49
Impacto del Programa Balsakhi

Método Impacto Estimado
(1) Pre‐post 26.42*
(2) Diferencia simple ‐5.05*
(3) Diferencias en diferencias 6.82*
(4) Regresión 1.92

*: Significativo estadísticamente al nivel de 5%

50
Impacto del Programa Balsakhi

Método Impacto Estimado
(1) Pre‐post 26.42*
(2) Diferencia simple ‐5.05*
(3) Diferencias en diferencias 6.82*
(4) Regresión  1.92
(5) Experimento Aleatorio 5.87*
*: Significativo estadísticamente al nivel de 5%

51
Impacto del Programa Balsakhi

Método Impacto Estimado
(1) Pre‐post 26.42*
(2) Diferencia simple ‐5.05*
(3) Diferencias en diferencias 6.82*
(4) Regresión  1.92
(5) Experimento Aleatorio 5.87*
*: Significativo estadísticamente al nivel de 5%

Conclusión: ¡El método que utilizamos

importa! 52