MÉTODO

EXPERIMENTAL
■ Conocido también como método de evaluación aleatoria.
■ Tiene como objetivo que no exista ninguna diferencia entre los
individuos del grupo de tratamiento y del grupo de control. Excepto
el azar.
■ Constituyen el caso ideal de una evaluación de impacto.
■ Requiere que la evaluación se prepare antes de iniciar el programa
(Evaluación prospectiva)
■ Proceso aleatorio  asignar individuos al grupo de tratamiento.
■ Se puede realizar un simple lanzamiento de una moneda o un
proceso en Excel o Stata.
■ No es necesario que los dos grupos sean de igual tamaño.
REALIZACIÓN DEL
MODELO
Elección de los participantes

■ Se elige una muestra aleatoria de los participantes que

requiere el programa.
■ Los participantes deben estar acorde a las variables que el
programa pretende anlizar.
■ Se recomienda que el numero de participantes sea el
suficiente para poder obtener un grupo balanceado con
características semejantes que interesan al programa.
Determinar grupos y distribuir
participantes
■ Distribuir participantes al grupo de tratamiento y grupo de
control.
■ Los participantes que conformaran cada grupo se definen de
manera aleatoria, de modo que no exista diferencia entre los
grupos o si existiese que sea la mínima posible es decir que
estadísticamente la diferencia no sea significativa.
■ Se pueden distribuir los elementos que van a conformar, el grupo
de tratamiento aleatoriamente y los elementos que no han sido
seleccionados pasan a formar parte del grupo de control.
■ Otra manera de hacerlo es crear dos grupos de forma aleatoria y
luego de la misma forma elegir cual será el grupo de tratamiento
y cual quedara como grupo de control
Método de alearorización

■ El método aleatorio elegido puede ser:

■ desde un simple juego con una moneda o hacerlo mediante
la utilización de programas como Excel o Stata.
■ Para que el aleatorio se mas efectivo y en especial cuando
los grupos son pequeños se recomienda utilizar
aleatorización estratificada con esto se asegura que los
grupos sean equilibrados con respecto a las variables más
importantes.
Piloto e implementación

■ En esta etapa se recomienda hacer un programa piloto a

pequeña escala, de esta manera se puede corregir errores y
evitar problemas inesperados.
■ Finalmente se implementa el programa, asegurando que no
haya diferencia entre el grupo de control y grupo de
tratamiento.
■ En el caso que no se haya respetado la asignación aleatoria
en la implementación, se puede ocupar la metodología del
“Intent‐to‐Treat” (Treatment‐on‐the‐Treated), y con variables
instrumentales observar el efecto.
El siguente ejemplo se basa
en uno realizado por:

Doc. Ryan Cooper

23 de abril – 14 de
mayo 2014
Santiago, Chile
!RECORDEMOS!

Pasos claves para la

evaluación experimental
 Pasos claves para el diseño de un
experimento
1. Diseñar el estudio cuidadosamente.
 Definir el problema, la sub-población de interés, el
tratamiento, las variables a medir, etc.
2. Asignar aleatoriamente las unidades a tratamiento o control.
3. Recolectar datos de línea de base.
 No es estrictamente necesaria pero muy recomendable,
ayuda a verificar balance, tamaño muestra, interacciones.
4. Verificar que la asignación generó grupos similares.
 Chequear balance
 Pasos claves para el diseño de un experimento

5. Monitorear el proceso para garantizar la integridad del

experimento.
 Que no se dé el programa a los miembros del grupo de control y
sí se les dé a los del grupo de tratamiento
6. Recolectar datos de seguimiento después de la
intervención tanto para el grupo de tratamiento como
para el grupo control.
7. Estimar el impacto del programa, comparando los
resultados promedio del grupo de tratamiento vs. los
resultados promedio del grupo de control.
8. Determinar si el impacto (la diferencia entre los grupos)
es estadísticamente significativo.
Aleatorización

Línea base Línea final

TIEMPO Tratamiento
Aleatorización

Control
Método experimental
Ejemplo
El métodoexperimental
 Tomamos una muestra de postulantes a un
programa y lo asignamos de forma aleatoria
(cara o cruz) a:
Un grupo de tratamiento: recibe el tratamiento.
Un grupo de control: no recibe el tratamiento
durante el período de evaluación.

 Comparamos los resultados entre ambos

grupos.

LISTO, FÁCIL Y SENCILLO

El métodoexperimental

C
¿Por qué es importante que se realice un sorteo
para asignar a grupos de tratamiento o control?

25% 25% 25% 25%

A. Sortear garantiza que el
programa o servicio tendrá
impacto
B. Porque facilita la
distribución del programa o
servicio
C. Sortear garantiza que en
promedio los dos grupos
serán iguales
D. Es la única manera de
crear un grupo de
comparación
A. B. C. D.
¿Por qué aleatorizar?
 Al tener una asignación aleatoria, los grupos no
difieren de ninguna manera sistemática.
 Estadísticamente, los grupos son iguales en promedio.

T C

 Cualquier diferencia observable al finalizar el

programa puede ser atribuida al programa y no
al sesgo de selección
 ¿Por qué aleatorizar?
 En la práctica, que los grupos sean estadísticamente
idénticos significa que, en promedio, no hay diferencias
significativas en los promedios de sus características.
 Ej: Programa de Tutorías a Niños de 4º Básico: balance inicial
realizado en aulas del colegio ¨¨Los Andes¨ Chile.

Características Tratamiento Control Diferencia

Prueba de comprensión de
52,68 51,19 1,49
lectura y producción de texto

Evaluado sobre 60 pts

 En este ejemplo, se espera que las diferencias entre
los dos grupos, no sean estadísticamente
significativas a lo largo de la muestra.
Programa: Tutorías 4º Básica
 Balance en características iniciales
Grupo de Grupo de
Variables Diferencia
Tratamiento Control
0,30
Años Educación de la Madre 10,65 10,35
(0,31)
13.526,20
Ingresos de la Familia 261,615,80 248.089,60
(16.476,20)
6,16
Puntaje: Lenguaje 257,31 251,15
(4,82)
6,65
Puntaje: Matemáticas 249,98 243,33
(5,10)
-2,60
Tamaño Escuela 71,70 74,30
(7,70)
Ventajas de las evaluaciones
experimentales
Si son correctamente diseñadas e implementadas:
 Eliminan cualquier sesgo que puede haber en una
evaluación no experimental.
 La aleatorización hace que los grupos sean
comparables en variables observables y no
observables.
 No es necesario hacer demasiados supuestos,
como en las evaluaciones no experimentales.
 Los resultados son fáciles de interpretar.
 ¡Importante para la evaluación de proyectos sociales!
¿Hay diferencias entre los resultados
experimentales y los no experimentales?

 Programa de Lectura en India:

 Implementado por Pratham, una
ONG en India.
 El programa proporcionó tutores
para ayudar a niños con
dificultades en la escuela.
 El programa de tutores se
implementó en escuelas primarias
públicas en 2002-2003.
 Los maestros de estas escuelas
decidieron qué niños se
educarían con los tutores
(aquellos con resultados
académicos más bajos).
Programa de Lectura:
Indicadores de Resultados
A los niños se les aplicaron pruebas de lenguaje
y matemáticas al comienzo del año escolar (pre-
test) y al final del año (post-test)

PREGUNTA: ¿Cómo se determina el impacto

del programa?
Impacto del Programa de Tutores
Método Impacto Estimado
Antes y después 26.42*
Diferencia simple -5.05*
Diferencias en diferencias 6.82*
Regresión 1.92
Experimento Aleatorio 5.87*
*: Significativo estadísticamente al nivel de 5%

Conclusión: ¡El método que utilizamos

importa!
¿Por qué diferentes métodos nos podrían entregar
resultados de impacto diferentes?

25% 25% 25% 25%

A. Porque miden el impacto
de diferentes poblaciones
de beneficiarios
B. Porque miden aspectos
diferentes de un proyecto
C. Porque miden el impacto
en diferentes periodos de
tiempo
D. Porque la estimación del
contrafactual puede diferir
entre métodos

A. B. C. D.
Respuestas a críticas típicas sobre
las evaluaciones aleatorias
¿Qué argumentos podrían elegir en contra de
las evaluaciones aleatorias? (Elige tres)

14% 14% 14% 14% 14% 14% 14%

A. Son demasiado caras
B. Toman demasiado tiempo
C. No son éticas
D. Son demasiado difíciles de
diseñar/implementar
E. No válidas externamente
(resultados no generalizables)
F. Son menos prácticos que
otros métodos a la hora de
implementar, y no mucho
mejores
G. Nos pueden decir cuál es el
impacto, pero no por qué ni
cómo ocurrió. A. B. C. D. E. F. G.
Ética
Tres dimensiones a considerar:
1. “Que nadie quede peor”.
2. Protección de información / privacidad
sujetos.
3. Dejar gente fuera del programa.
Ética
Desafío inicial:

Focalización:
Evaluación:
“Llegar a los
“Entregar casas
más pobresde
por sorteo”
los pobres”

31
Ética
MASPOBRES MENOSPOBRES

Si voy a unas pocas Si voy a más

Incluir
comunidades, puede comunidades es fácil
ser que focalice mal e alcanzar a más hogares
incluya a hogares más pobres.
menos pobres.
Esto es más justo y me
permite aleatorizar.

Focalizar
 Manzanas con manzanas
 Mejor focalización
32
Costos
 Lo caro es conseguir datos de calidad y el rigor
(tamaño de muestra).
 Eso vale para cualquier método de evaluación.
 ¿Son caras en comparación con qué?
 Proyectos sin evidencia de impacto pueden salir muy caros.
 Más vale pocas evaluaciones rigurosas que muchas
evaluaciones baratas pero poco confiables.
 Gran parte de lo que se busca con evaluaciones
experimentales son soluciones costo-efectivas.
 La evidencia es un bien público.
33
Duración de evaluaciones
aleatorias

 Ocurre lo mismo con otros métodos de

evaluación de impacto: es necesario esperar
que la intervención produzca sus resultados.
 En muchas evaluaciones, se calculan los
resultados demasiado temprano.

34
Conclusiones generales
 Existen muchas formas de estimar el impacto de
un programa.
 Se hace énfasis en un método que se cree es
superior a los demás:
Los ¨experimentos aleatorios¨
 Argumento conceptual: Si son correctamente
diseñados y realizados, los experimentos aleatorios
constituyen el método más confiable para estimar el
impacto de un programa.
 Argumento empírico: Diferentes métodos pueden
generar diferentes estimaciones del impacto.

35
¡Gracias!