Contenido

Captulo 2

Definicin de parmetros de impacto

del tratamiento

Salir
 Contenido

Objetivo y problema
Objetivo:
Medir el impacto del tratamiento (p. ej., un programa)
sobre una(s) variable(s) de resultado en un conjunto de
individuos.

Problema:
Para obtener el efecto del tratamiento, necesitaramos
evaluar la diferencia entre la variable de resultado de los
participantes con programa y la variable de resultado de
los participantes en ausencia del programa, denominado
contrafactual.

Gua prctica para la evaluacin de impacto /Captulo 2: Definicin de parmetros de impacto del tratamiento/2 Salir
 Contenido

Notacin
1 individuo i recibe tratamiento
Di
0 de lo contrario

Definiciones: Grupo de tratamiento: Grupo de individuos

participantes en el tratamiento. Grupo de control: Grupo de
individuos no participantes en el tratamiento.
variable de resultado para cada individuo
Yi ( D i )
i dado su estado

Yi (1) es la variable de resultado del individuo i si es tratado

Y i ( 0 ) es la variable de resultado del individuo i si no es tratado.

Gua prctica para la evaluacin de impacto /Captulo 2: Definicin de parmetros de impacto del tratamiento/3 Salir
 Contenido

Ejemplo Canasta

Suponga que debemos evaluar el impacto del programa

Canasta, que es un programa de nutricin.

Poblacin objetivo: Nios entre 0 y 6 aos pertenecientes a

Sisbn1 y 2.

Consiste en: Proveer un mercado mensual por el valor de

$X, entregado a las madres de los nios
participantes.

Gua prctica para la evaluacin de impacto /Captulo 2: Definicin de parmetros de impacto del tratamiento/4 Salir
 Contenido

Ejemplo Canasta
Indicador de participacin definido como:

si el nio elegible participa en el programa de nutricin

Di
si el nio elegible no participa en el programa de nutricin

Variables de resultado:

Y i Talla segn la edad

Gua prctica para la evaluacin de impacto /Captulo 2: Definicin de parmetros de impacto del tratamiento/5 Salir
 Contenido

Efecto del tratamiento

El efecto del tratamiento o programa sobre el individuo i
estara dado por:

= 1 (0)

Problema: Slo se puede observar uno de los dos

resultados potenciales para cada
individuo i . El individuo i slo puede ser
participante o no participante, pero
no ambas al tiempo.

Gua prctica para la evaluacin de impacto /Captulo 2: Definicin de parmetros de impacto del tratamiento/6 Salir
 Contenido

El resultado efectivamente observado se puede escribir:

= 1 + 1 (0)

Dado que no se puede obtener el efecto del

tratamiento para cada individuo i. El anlisis debe
concentrarse en el impacto promedio del programa
en la poblacin o en subconjuntos de la poblacin.

Gua prctica para la evaluacin de impacto /Captulo 2: Definicin de parmetros de impacto del tratamiento/7 Salir
 Contenido

Qu se puede estimar?:
ATE
ATE: Efecto promedio del programa

= = [ 1 0 ]
Se interpreta como el cambio en la variable resultado
cuando un individuo pasa aleatoriamente de ser
participante a ser no participante.
Relevante particularmente para la evaluacin de
programas universales.

Gua prctica para la evaluacin de impacto /Captulo 2: Definicin de parmetros de impacto del tratamiento/8 Salir
 Contenido

Qu se puede estimar?:
ATT
ATT: Efecto promedio del programa sobre los tratados
Defina:
[ (1)| = 1] como el promedio de la variable de
resultado de individuos tratados dado que participaron
en el programa.
[ (0)| = 1] como el promedio de la variable de
resultado de individuos tratados si no hubieran
participado en el tratamiento. Es decir, cmo les habra
ido en el escenario hipottico de que el programa no
hubiera existido.
Resultado CONTRAFACTUAL / no se observa
Gua prctica para la evaluacin de impacto /Captulo 2: Definicin de parmetros de impacto del tratamiento/9 Salir
 Contenido

Qu se puede estimar?:
ATT
ATT: Efecto promedio del programa sobre los tratados

= = 1 = 1 = 1 [ 0 | = 1]

CONTRAFACTUAL

Mide el impacto del programa sobre los tratados (el

subconjunto de individuos que fueron efectivamente
tratados).
Parmetro de mayor inters en la evaluacin de impacto,
porque la mayora de programas son focalizados y no
universales.
Gua prctica para la evaluacin de impacto /Captulo 2: Definicin de parmetros de impacto del tratamiento/10 Salir
 Contenido

Qu se puede estimar?:
ATU
ATU: Efecto promedio del programa sobre los no tratados
Defina:
[ (0)| = 0] como el promedio de la variable de
resultado de individuos no tratados dado que no
participaron en el programa.
[ (1)| = 0] como el promedio de la variable de
resultado de individuos no tratados si hubieran podido
participar en el tratamiento.

Resultado CONTRAFACTUAL / no se observa

Gua prctica para la evaluacin de impacto /Captulo 2: Definicin de parmetros de impacto del tratamiento/11 Salir
 Contenido

Qu se puede estimar?:
ATU
ATU: Efecto promedio del tratamiento sobre los no tratados

= = 0 = 1 = 0 [(0)| = 0]

CONTRAFACTUAL
Parmetro relevante para determinar si el programa se
debe extender a otros subconjuntos de poblacin fuera
del que en la actualidad es elegible.

Gua prctica para la evaluacin de impacto /Captulo 2: Definicin de parmetros de impacto del tratamiento/12 Salir
 Contenido

Aproximacin al
contrafactual
Para calcular ATT y ATU se debe encontrar una aproximacin
para el contrafactual.
Para ATT:
No observado ? Observado
[(0)| = 1] [(0)| = 0]
Podra ser una aproximacin inexacta, dado que quienes
participan en el programa, en general, son distintos de
quienes no lo hacen; por lo tanto, la variable de resultado
suele ser distinta entre el grupo de control y el de
tratamiento, aun en ausencia del programa.

Gua prctica para la evaluacin de impacto /Captulo 2: Definicin de parmetros de impacto del tratamiento/13 Salir
 Contenido

Condicin para la
aproximacin
Para recuperar se requiere que:

0 = 1 [ 0 | = 0]

Implica que la variable de resultado en ausencia del

programa debe ser idntica para los individuos tratados
y los individuos no tratados.
En otras palabras, la participacin en el programa es
independiente de las caractersticas de los individuos.

Gua prctica para la evaluacin de impacto /Captulo 2: Definicin de parmetros de impacto del tratamiento/14 Salir
 Contenido

ATT aproximado
Asumiendo que se cumple:
0 =1 0 =0 =0
se puede expresar como:
= 1 = 1 [(0)| = 1]
Anlogo muestral de ese momento poblacional es:
= | = 1 | = 0
Donde es el promedio muestral de la variable de
resultado dado su estatus de participacin.

Gua prctica para la evaluacin de impacto /Captulo 2: Definicin de parmetros de impacto del tratamiento/15 Salir
 Contenido

Independencia condicional
El estimador se puede obtener de la siguiente
regresin:
= 0 + 1 +
Si la condicin:
0 =1 0 =0 =0
se cumple, esto implica que:
Quienes participan en el
programa no son
= 0
sistemticamente distintos
Independencia condicional. de aquellos que no
participan en el programa.
Gua prctica para la evaluacin de impacto /Captulo 2: Definicin de parmetros de impacto del tratamiento/16 Salir
 Contenido

Propiedades del estimador

Bajo independencia condicional el estimador de mnimos

cuadrados ordinarios (MCO) de es:

1. Consistente:

1 1

2. Insesgado:
1 = 1

Gua prctica para la evaluacin de impacto /Captulo 2: Definicin de parmetros de impacto del tratamiento/17 Salir
 Contenido

Efecto del programa

1 Diferencia de medias de la variable de resultado entre el
grupo de tratamiento y el grupo de control

= 1 = 1 [(0)| = 0]
= 0 + 1 0 = 1

Por lo tanto, el estimador de estara dado por:

1 = = 1 [| = 0]

Gua prctica para la evaluacin de impacto /Captulo 2: Definicin de parmetros de impacto del tratamiento/18 Salir
 Contenido

Ejemplo Canasta
[ 1 | = 1] Corresponde al promedio de la
talla segn la edad entre los
participantes, en presencia del
programa.
[ 0 | = 1] Corresponde al promedio de la
talla segn la edad entre los
participantes en ausencia del
programa. El contrafactual.
[ 0 | = 0] Corresponde al promedio de la
talla segn la edad en el grupo de
no participantes. Promedio en el
grupo de control.
Gua prctica para la evaluacin de impacto /Captulo 2: Definicin de parmetros de impacto del tratamiento/19 Salir
 Contenido

Ejemplo Canasta
Si se cumple que:
0 =1 0 =0 =0

Entonces el efecto del programa se podra estimar a travs

de la comparacin de medias de la variable de resultado
del grupo de tratamiento y el grupo de control.

El efecto se puede estimar con la regresin

= 0 + 1 +
Efecto del programa
Gua prctica para la evaluacin de impacto /Captulo 2: Definicin de parmetros de impacto del tratamiento/20 Salir
 Contenido

Captulo 3

Sesgo de seleccin

Salir
 Contenido

Notacin
1 individuo i recibe tratamiento
=
0 de lo contrario

Variable de resultado para cada individuo

=
dado su estado

(1) es la variable de resultado del individuo i si es tratado

(0) es la variable de resultado del individuo i si no es tratado
Efecto individual del programa: = 1 (0)

Salir
Gua prctica para la evaluacin de impacto /Captulo 3: Sesgo de Seleccin/22
 Contenido

Notacin
[(1)| = 1] Media de la variable de resultado en el
grupo de participantes.
Media que hubieran obtenido los
[(0)| = 1] participantes si el programa no hubiera
existido.
Media de la variable de resultado entre
[(1)| = 0]
los no participantes en el programa, si
hubieran podido participar.
[ 0 | = 0] Media de la variable de resultado de
quienes no participaron en el programa.

Salir
Gua prctica para la evaluacin de impacto /Captulo 3: Sesgo de Seleccin/23
 Contenido

Reto de la evaluacin
El objeto de la evaluacin de impacto es estimar:
= = 1 = 1 = 1 [(0)| = 1]

No observado
Para calcularlo podemos suponer que:

0 =1 0 =0 =0

El principal reto es determinar bajo qu condiciones este

supuesto sera vlido.
El supuesto se viola cuando hay autoseleccin.

Salir
Gua prctica para la evaluacin de impacto /Captulo 3: Sesgo de Seleccin/24
 Contenido

Sesgo de seleccin
Cuando los individuos se autoseleccionan en el programa:
Existen caractersticas observadas y no observadas que
causan que unos individuos decidan participar y otros
decidan no hacerlo. Por lo tanto, los dos grupos podran
ser sistemticamente diferentes.
(Caractersticas no observadas son aquellas que no se
miden o no quedaron registradas en la base de datos)
El grupo de tratamiento y el de control son
generalmente distintos, aun en ausencia del programa.

Sesgo de [(0)| = 1] [(0)| = 0]

seleccin
Salir
Gua prctica para la evaluacin de impacto /Captulo 3: Sesgo de Seleccin/25
 Contenido

Ejemplo Canasta
Suponga que en el programa Canasta los individuos deben
decidir si participar o no (p. ej., el programa no es
obligatorio).
Participar tiene un costo:
Tiempo
P. ej., formularios, controles mdicos, etc.
Trmites
Lo que puede generar que existan diferencias entre el perfil
de las madres de los nios elegibles, que aplican y las que no
aplican para participar.
Puede incidir en el
P. ej.: Madres ms o estado nutricional de los
menos proactivas. nios.
Salir
Gua prctica para la evaluacin de impacto /Captulo 3: Sesgo de Seleccin/26
 Contenido

Consecuencia del sesgo de

seleccin
Al violarse el supuesto :
0 = 1 [(0)| = 0] 0

= 0 + 1 +

en la regresin [ | ] 0 implica :

Existen caractersticas observadas y no observadas de los

individuos contenidas en que explican tanto la decisin
de participar en el programa, , como la variable de
resultado
Salir
Gua prctica para la evaluacin de impacto /Captulo 3: Sesgo de Seleccin/27
 Contenido

Consecuencias en las
propiedades del estimador
Cuando se viola el supuesto de independencia condicional, el
estimador 1 de mnimos cuadrados ordinarios (MCO) deja de
ser insesgado.

Por ende, el efecto del programa no se puede obtener de la

comparacin de las medias de la variable de resultado entre los
tratados y no tratados. 1 captura tanto el efecto directo del
programa como el efecto que tienen otros factores no medidos
(p. ej., proactividad y motivacin de la madre) sobre el estado
nutricional del nio y no se pueden separar!

Salir
Gua prctica para la evaluacin de impacto /Captulo 3: Sesgo de Seleccin/28
 Contenido

Cmo eliminar el sesgo?

Variables observadas
Si las caractersticas del individuo que explican tanto la
participacin en el programa como la relacin con la
variable de resultado son observadas y estn contenidas en
la base de datos, se deben introducir explcitamente en la
regresin, para eliminar el sesgo, as:

= 0 + 1 + 2 +

Caractersticas observadas del individuo i.

Salir
Gua prctica para la evaluacin de impacto /Captulo 3: Sesgo de Seleccin/29
 Contenido

Ejemplo Canasta
Si los individuos ms pobres son aquellos que deciden
participar en el programa, mientras que los ms ricos
deciden no hacerlo

Entonces la variable de control incluida en la regresin:

es el ingreso de las familias

De esta manera se elimina el sesgo de seleccin y 1 es un

estimador insesgado y consistente del programa.

Salir
Gua prctica para la evaluacin de impacto /Captulo 3: Sesgo de Seleccin/30
 Contenido

Variables no observadas
Si las variables que determinan la participacin en el
programa no se observan o no estn registradas en la base

(1 ) 1
Suponiendo que wi es la variable omitida, es decir:
= 0 + 1 + 2 +

Variable no observada
Al no poder incluir w en la regresin, le estamos atribuyendo
al programa parte del efecto que tiene w sobre Y.
Salir
Gua prctica para la evaluacin de impacto /Captulo 3: Sesgo de Seleccin/31
 Contenido

Ejemplo Canasta
Si, por ejemplo, la diferencia entre los nios participantes y
no participantes es la dedicacin de la madre

La dedicacin de la madre no es una variable medida y

registrada dentro de su encuesta, entonces:

(1 ) 1

Salir
Gua prctica para la evaluacin de impacto /Captulo 3: Sesgo de Seleccin/32
 Contenido

Direccin del sesgo

La direccin del sesgo depende de la correlacin entre la

variable no observada (omitida) y la participacin del
individuo en el programa:

> 0 < 0

2 > 0 1 > 1 1 < 1

2 < 0 1 < 1 1 > 1

Salir
Gua prctica para la evaluacin de impacto /Captulo 3: Sesgo de Seleccin/33
 Contenido

Ejemplo Canasta
Si la dedicacin de la madre
aumenta la probabilidad de > 0
participar en el programa
1 > 1
y aumenta el peso por talla
2 > 0
del nio

Si la dedicacin de la madre

disminuye la probabilidad de
participar en el programa < 0
pero aumenta el peso por 2 > 0
1 < 1
talla del nio
Salir
Gua prctica para la evaluacin de impacto /Captulo 3: Sesgo de Seleccin/34