1

Copyright 2015 Banco Interamericano de Desarrollo. Esta obra est bajo una licencia Creative
Commons IGO 3.0 Reconocimiento-No Comercial-Sin Obra Derivada (CC-IGO BY-NC-ND
3.0 IGO) (http://creativecommons.org/licenses/by-nc-nd/3.0/igo/legalcode) y puede ser
reproducida para cualquier uso no-comercial otorgando crdito al BID. No se permiten obras
derivadas.
Cualquier disputa relacionada con el uso de las obras del BID que no pueda resolverse
amistosamente se someter a arbitraje de conformidad con las reglas de la CNUDMI. El uso del
nombre del BID para cualquier fin que no sea para la atribucin y el uso del logotipo del BID,
estar sujeta a un acuerdo de licencia por separado y no est autorizado como parte de esta
licencia CC-IGO.
Notar que el enlace URL incluye trminos y condicionales adicionales de esta licencia.
Las opiniones expresadas en esta publicacin son de los autores y no necesariamente reflejan el
punto de vista del Banco Interamericano de Desarrollo, de su Directorio Ejecutivo ni de los
pases que representa.

2
Programacin Estadstica para Evaluaciones de Impacto
Ejercicios Aplicados de STATA
Instrucciones: Este conjunto de problemas revisa la aplicacin emprica de un grupo de mtodos
centrales de evaluacin de impacto. Animamos a los participantes a que revisen tantas secciones
de los ejercicios como sea posible antes de venir al taller. Para realizar los problemas se requiere
acceso a una computadora con STATA o algn otro paquete estadstico (los instructores no les
proporcionarn computadoras ni el programa estadstico1).
Contexto: Este ejercicio analiza el impacto de un programa de seguro de salud para los pobres.
Uno de los objetivos principales del programa es reducir la carga de costos relacionados con la
salud para hogares pobres en zonas rurales. Un piloto del programa ha sido ejecutado en un
grupo de comunidades, y usted ha sido asignado para llevar a cabo una evaluacin de los
impactos del programa en los gastos directos en salud (representados por la variable ophe, que
proviene de la expresin en ingles de out of pocket expenditure) por parte de los hogares. Para
hacer el anlisis Ud. utilizar la base de datos evaluation.dta. La base incluye datos de hogares
que viven en comunidades de tratamiento, es decir comunidades en que el programa fue
ofrecido, y comunidades de control, o comunidades en que el programa no fue ofrecido. La
variable treatcom (que proviene de la combinacin de palabras treatment communities en
ingls, que significa comunidades tratadas) identifica las comunidades de tratamiento, con
treatcom = 1 para las comunidades de tratamiento y treatcom = 0 para las comunidades de
control. Una descripcin ms detallada de los datos est incluida en el apndice.
Para empezar:
1. Crear un documento para realizar su anlisis (.do file, o archivo do) y llamarlo
solution.do.
2. Describir y explorar la base de datos para conocer las variables y su estructura.
Mientras vaya completando su ejercicio utilice la siguiente tabla: en la primera fila, ponga el
impacto estimado. En la segunda, ponga el t stat algo que se explicar ms adelante.
CASO
0

CASO
1

CASO
2

CASO
3

CASO
4

CASO
5

CASO
6

Antes y
Despus

Auto Seleccin

Diferencia de
Diferencias

Variables
Instrumentales

Diseo de
Regresin
Discontinua

Pareamiento

Asignacin
Aleatoria

Evaluacin de Impacto Caso 0: Comparacin antes y despus (Pre-Post)

1

Los comandos utilizados en este documento son comandos de STATA.

3
Usted tiene a su disposicin una encuesta de lnea de base que fue recogida antes de que el
programa de seguro mdico se implementara (esto viene recogido en la variable round, que
significa ronda) (round=0), y una encuesta de seguimiento que se hizo 12 meses despus de
que iniciara el programa (round= 1). Usted decide que como primera aproximacin del impacto,
usted estimar el cambio de los gastos de salud de los hogares que participan en el programa.
Para este caso, analice solamente las comunidades en las que el programa piloto fue ofrecido
(keep if treatcom = = 1).
1. Describa el nmero de observaciones, el promedio, la desviacin estndar y los intervalos
de confianza de las variables en la base de datos de la encuesta de lnea de base.
2. Verifique si OPHE para los hogares que se inscriben en el programa (que viene recogido
por la variable takeup que significa aceptar, en este caso, aceptar el tratamiento o
inscribirse) (takeup=1) ha cambiado a travs del tiempo:
a. Comparando las medias
b. Usando el comando ttest
3. Ahora estime el cambio en OPHE con una regresin lineal de Mnimos Cuadrados
Ordinarios (MCO), usando el comando reg.
a. Sin agrupar los errores estndar
b. Agrupando los errores estndar a nivel de localidad con la opcin, cl(local) cl
(local). Observa alguna diferencia? Por qu?
4. Cul es el cambio medio en OPHE durante este perodo? Es este el impacto del
programa?
Evaluacin de Impacto Caso 1: Tratamiento de autoseleccin
En este escenario, la inscripcin al programa de seguro mdico es voluntaria y todos los hogares
en las comunidades del piloto son elegibles para inscribirse. En su anlisis slo incluya los
hogares que estn en las comunidades del piloto (treatcom =1).
1. Para la lnea de base, compare los gastos promedio mensuales per cpita (ophe) y otras
caractersticas de los hogares (edad y educacin del jefe del hogar y del cnyuge; tamao
del hogar; tipo del suelo del hogar; etc) entre los hogares que se inscriben al programa
(takeup =1) y los que no se inscriben. En promedio, son los dos grupos de hogares
similares en la lnea de base?
2. Su amigo sugiere que usted utilice anlisis de regresin para controlar cualquier
diferencia que exista entre los hogares inscritos al programa y los hogares no inscritos
para aislar el efecto del programa. Estime el impacto del programa en los gastos de salud
de los hogares en el perodo de tratamiento (round =1). Corra dos regresiones de
Mnimos Cuadrados Ordinarios (MCO):

i. Sin variables de control

ii. Incluyendo las caractersticas del jefe de hogar y su cnyuge y otras caractersticas
del hogar
3. Cul es el impacto estimado del programa en los gastos de salud de los beneficiarios?
4. Usted piensa que el coeficiente estimado de la regresin (i) o (ii) es el impacto
verdadero del programa? Por qu los impactos estimados cambian tanto entre los dos
modelos?
Evaluacin de Impacto Caso 2: Diferencias en Diferencias (dif in dif)
No est muy satisfecho con su anlisis en el Caso 1. Pensndolo mejor se da cuenta de que ya
que tiene datos en dos periodos de tiempo para cada hogar de la muestra, puede usar esos datos
para resolver algunas de las limitaciones encontradas en el caso anterior. Por tanto ahora decide
comparar el cambio (en el tiempo) del gasto directo en salud de aquellos que se apuntaron al
programa y aquellos que no. Incluya slo hogares en las comunidades piloteadas (treatcom=1).
1. Genere una nueva variable que sea la diferencia del gasto directo en salud entre el
periodo de lnea de base (round=0) y la primera ronda de seguimiento (round=1). Llame a
la nueva variable delta_ophe.
2. Estime el impacto del programa aplicando una diferencia simple, esto es, calculando la
diferencia del cambio del gasto en salud entre los hogares que se inscribieron al programa
y aquellos que no lo hicieron mediante el comando ttest.
3. Realice una regresin de Mnimos Cuadrados Ordinarios para estimar el efecto del
programa usando la especificacin de diferencias en diferencias. Haga la regresin
utilizando como variable dependiente el gasto en salud (ophe) y como regresores los
hogares que participaron (takeup), ronda (round) y la interaccin entre las dos. Estime las
regresiones:
i. Sin controles
ii. Incluyendo controles
4. Cul es el efecto del programa en los gastos directos en salud?
5. Cmo mejora este mtodo las estimaciones que obtuvo en el Caso 1?, Existe todava
algn posible sesgo que le preocupe?
6.

Resulta que en la base de datos evaluation_extended.dta contiene informacin de la

variable de gastos en salud para dos periodos de tiempo anteriores a la lnea de base
(periodo -1 y -2). Cmo podra utilizar esta nueva informacin?

7. Las variables ophe_med_t y ophe_med_c contienen los valores medios del gasto en salud
del grupo de tratamiento y de control, respectivamente. Dibuje un grfico donde pueda
ver los valores medios de dichas variables en cada una de las rondas. Qu se observa
grficamente?
8. Cmo se le ocurrira hacer un test de consistencia?
Evaluacin de Impacto Caso 3: Diseo de Regresin Discontinua
Despus de investigar ms el programa de seguro de salud, usted descubri que las autoridades
decidieron dirigir el programa a los hogares ms pobres. Es decir, slo los hogares por debajo de
la lnea de pobreza pueden participar en el programa. La lnea de pobreza fue construida
mediante una evaluacin de recursos econmicos que asign un puntaje (score) entre 0 y 1500 a
cada hogar. Un hogar con un puntaje igual o menos de 750 cuenta como pobre y por eso fue
elegible para participar en el programa de seguro de salud. Todos los hogares con puntajes por
encima de 750 fueron declarados no elegibles para el programa. La variable elegible identifica
los hogares que califican como pobre (elegible = 1) y los hogares que no califican as (elegible =
0). Solo debe incluir los hogares dentro de las zonas de tratamiento en su anlisis (treatcom=1).
1. Estime el efecto de ser elegible para participar en el programa en gastos en salud en
efectivo utilizando una regresin MCO que incluye una variable binaria para definir
elegibilidad y el ndice de pobreza (score).
2. Cree un grfico de los valores predichos de gastos en salud estimados en paso 1 contra el
puntaje de pobreza (Nota: se puede generar los valores predichos con el comando
predict y crear el grfico utilizando graph7).
3. Estime la regresin del paso 1 nuevamente, pero limite la ventana alrededor del ndice de
pobreza a 100 puntos en cada lado de 750. Cmo se pueden explicar los cambios que
ocurren en los resultados?
4. Estime la regresin utilizando diferentes lmites alrededor del punto de corte de 750.
Qu ocurre a medida que los intervalos son mayores? A qu se debe? Qu intervalos
nos van a permitir estimar el impacto de manera de ms precisa? Qu ventajas y
limitaciones tiene?

Evaluacin de Impacto Caso 4: Variables Instrumentales

En el caso anterior, analiz el impacto de ser elegible para el programa comparando la poblacin
elegible dentro de las comunidades de tratamiento. Sin embargo, lo que Ud. realmente quiere

6
estimar es el impacto del programa en los participantes. Descubre que no toda la poblacin
elegible particip en el programa de seguro de salud. Es decir, algunos hogares por debajo de la
lnea de pobreza no participaron. Se puede aprovechar esta caracterstica del programa para
estimar el impacto del programa mediante variables instrumentales.
Participar en el programa de salud es una decisin que cada individuo toma en funcin de ciertas
caractersticas personales. Estas caractersticas personales, que hacen que el individuo decida
apuntarse al programa de salud, tambin pueden determinar el nivel de gasto que el individuo
tiene. Si esto es as, mediante la comparacin de los que toman el programa y los que no, no
vamos a poder determinar el impacto del programa, pues ser ver afectado por variables
personales que no tienen que ver con el programa. Para determinar el impacto, hay que corregir
por la seleccin endgena al tratamiento utilizando un instrumento vlido. Un instrumento vlido
es una variable exgena que afecta la probabilidad de ser beneficiario de un programa, pero no
tiene ningn efecto directo en la variable dependiente. En este caso, treatcom puede servir como
un instrumento si pensamos que treatcom fue asignado aleatoriamente. En este escenario
treatcom determina elegibilidad para participar en el programa (junto con el puntaje de pobreza
score), pero no debe tener ningn efecto adicional en los gastos en salud pagados por los
hogares.
Para usar el mtodo de variables instrumentales con treatcom como instrumento, haga lo que
sigue:
1. Estime una regresin de mnimos cuadrados en dos etapas two stage least squares
(comando ivreg en Stata) del efecto del programa en gastos en salud para los hogares
por debajo de la lnea de pobreza, utilizando treatcom como su instrumento. Estimar el
modelo:
a. Sin otras variables de control
b. Incluyendo otras caractersticas del jefe del hogar y cnyuge.
c. Incluyendo caractersticas de la lnea de base
2. Cmo interpretara Ud. este nuevo coeficiente estimado?
Evaluacin de Impacto Caso 5: Pareamiento (Matching)
Queriendo mejorar sus estimaciones anteriores usted decide utilizar tcnicas de pareamiento para
comparar hogares que participan en el programa y que no participan en el programa, y que
parecen similares dadas ciertas caractersticas observables. Incluya solamente en su anlisis los
hogares que estn en las comunidades piloto (treatcom =1).
1. Estime la probabilidad de participar en el programa (pscore) dadas las covariables
observables de los hogares que participan y de los que no participan (utilice una regresin
probit y despes predict).

7
2. Trace las distribuciones de las probabilidades de participar en el programa (pscores) con
el comando kdensity para los hogares participantes y no participantes, y despus
trasponga los diagramas con el comando twoway. Le parece que existe una regin de
soporte comn?
3. Utilice el comando psmatch2 para estimar el efecto del programa de gastos de salud
usando el mtodo de pareamiento. (Nota: es posible que usted necesite instalar
psmatch2)2.
4. Qu nos dice el resultado del mtodo de pareamiento sobre el efecto del programa en
gastos de salud?
5. Hay desviaciones potenciales que an le preocupen?
Evaluacin de Impacto Caso 6: Aleatorizacin
Resulta ser que cuando las comunidades estaban siendo seleccionadas para ser incluidas en el
piloto de seguro de salud, haba muchas ms comunidades elegibles de las que podran ser
cubiertas con el presupuesto disponible. Por tal motivo, las autoridades provinciales decidieron
hacer una lotera para seleccionar a las comunidades que participaran en el esquema del seguro
en el ao 1, as daban a todas las comunidades una oportunidad justa de comenzar en el primer
programa. Sus datos contienen informacin sobre las comunidades seleccionadas al azar para la
participacin en el ao 1, como de las comunidades que se incorporaran al programa en aos
subsecuentes. La variable treatcom indica las comunidades de tratamiento (treatcom = 1) y las
comunidades de no-tratamiento o de control (treatcom = 0). Para este caso, utilice ambas
comunidades, las de tratamiento y las de control, en su anlisis. La muestra se estructura de la
siguiente forma:
Elegibles
No elegibles

Comunidades Tratamiento
4,670
3,105

Comunidades Control
2,727
2,334

1. Compare gastos en salud en la lnea de base y otras covariables entre los hogares
elegibles en el tratamiento y las comunidades en el grupo de control. La muestra est
balanceada en trminos de variables observables? Es esto lo qu usted esperara, por qu
s o por qu no?
2. En el perodo de tratamiento (round =1), compare el promedio de gastos en salud para la
poblacin elegible en las comunidades de tratamiento y las comunidades de control. Es
ste el impacto del programa de seguro mdico?
3.

Ahora utilice una regresin de Mnimos Cuadrados Ordinarios (OLS) para estimar el
efecto en los hogares elegibles:

Para instalar psmatch2 en la ventana COMMAND en STATA teclee: ssc install psmatch2

8
a. Sin variables de control
b. Incluyendo las caractersticas del jefe de hogar y del cnyuge
c. Incluyendo otras covariables de lnea de base
4. Cul es el impacto del programa en los gastos en salud?
5.

Replique el anlisis (paso 3) en la poblacin no elegible como prueba de validez. Estos

resultados ayudan a confirmar su confianza en la validez de los impactos del programa?

9
Apndice de Datos
1. La base de datos para el anlisis (en formato STATA) es evaluation.dta
2. Variable de resultado:
a. ophe = gastos directos en salud (per cpita mensuales)
3. Variables de Control (covariables):
a. Caractersticas del jefe del hogar y su cnyuge:
i. age_hh = edad del jefe (aos)
ii. age_sp = edad del cnyuge (aos)
iii. educ_hh = educacin del jefe (aos completos de educacin)
iv. educ_sp = educacin del cnyuge (aos completos de educacin)
v. ethnicity_hh = 1 si el jefe habla una lengua indgena
vi. female_hh = 1 si el jefe es mujer
b. Caractersticas en lnea de base
i. hhsize_basal = tamao del hogar en lnea de base
ii. dirtfloor_basal = hogar con piso de tierra en lnea de base = 1
iii. bathroom_basal = hogar con cuarto de bao privado en lnea de base = 1
iv. landhectars_basal = nmero de hectreas de tierra en lnea de base
v. min_dist = distancia entre la comunidad y el hospital ms cercano.
4. Otras variables:
a. local = identificador de localidad
b. hhid = identificador nico del hogar
c. round = periodo de la encuesta (0= lnea de base; 1 = periodo 1)
d. takeup = hogar que particip en el programa = 1
e. eligible = hogar elegible para participar en el programa = 1
f. treatcom = comunidad en grupo de tratamiento = 1
g. score = ndice de pobreza (eligible <=750)