Aplicación práctica

Vargas, Matias Tomas

Abril 2022

a. Nota: cada alumno deberá entregar su propio trabajo adjuntando los siguientes
archivos:

b. ei1_vargas.do

c. ei1_ vargas.log

d. ei1_ vargas.docx

e. I. Repaso conceptos básicos

1. ¿Cuál es uno de los principales objetivos de una evaluación de impacto? (seleccione

una respuesta):
A. Explorar si existe un vínculo causal entre la intervención (programa o política pública) y los
resultados
B. Asegurar que haya una participación inclusiva de toda la población.
C. Evaluar las habilidades y la formación de los participantes.
D. Asegurar que los recursos sean suficientes para llevar adelante un programa
E. Monitorear cómo se diseña e implementa un programa o política pública.
2. ¿Cuál de las siguientes afirmaciones es verdadera para la evaluación de impacto (EI)?
A. La EI ofrece información sobre el impacto de una intervención en los resultados de interés.
B. La EI mide sistemáticamente los resultados obtenidos por el programa o intervención e
identifica si los resultados obtenidos se deben a la implementación del programa (y no a algún
otro factor).
C. La información generada durante la EI puede ser utilizada por los gobiernos en la toma de
decisiones para mejorar el funcionamiento de un sistema.
D. Todo lo anterior
E. Ninguna de las anteriores
3. En los programas de evaluación de impacto, el diseño de una intervención
generalmente se compone de dos grupos. ¿Cuáles son estos dos grupos?:
A. Grupo aleatorizado
B. Grupo tratamiento o intervención
C. Grupo control o comparación

7
D. A y B
E. B y C

II. Aplicación empírica

Objetivo general: en base al ejemplo1 conversado durante las clases referido a la posible
implementación de un Programa de Subsidios de Seguros de Salud, los alumnos deberán
estimar el impacto del programa aplicando distintas metodologías de evaluación.
Se espera además que el trabajo brinde la posibilidad al alumno de utilizar herramientas de
análisis de datos a un caso específico de estudio.
Programa a evaluar
Es un caso ficticio de un gobierno que está pensando implementar una reforma a gran escala
en el sector salud. Este sector en ese país tiene las siguientes características:
● El acceso a los servicios de salud no es gratuito
● Existe un costo de acceso alto para hogares rurales de bajos ingresos
● Preocupación del gobierno: estos hogares de bajos ingresos no están recibiendo
atención ni medicación necesaria.
De continuar ésta situación, podría generarse un potencial impacto negativo sobre los
resultados de salud de ésta sub-población, generando mayores costos para la sociedad como
un todo en el mediano plazo.
A fin de abordar este problema, el gobierno propone subsidiar seguros de salud para los
hogares rurales pobres cubriendo los costos asociados a la atención primaria de la salud y los
medicamentos básicos.
¿Qué esperan los implementadores de política de este programa?
El gobierno espera que la implementación del programa logre reducir el costo de la atención de
los hogares pobres disminuyendo el gasto de bolsillo destinado a salud y, eventualmente,
mejorar los resultados de salud. Antes de expandir el programa a todo el país, se realiza una
prueba piloto en 100 localidades.
¿Como decidirán expandir o no el programa?
El gobierno considerará extender el programa a todo el país en base a evaluar el impacto del
programa sobre el gasto en salud per cápita de los hogares rurales pobres. En particular, si los
gastos en salud per cápita anuales de los hogares rurales pobres disminuyen en al menos
US$10 en promedio expandirá el programa a nivel nacional. Espera lograr esta meta en un
plazo de dos años.
Las hipótesis relacionadas con la implementación del programa son: i) los hogares se
inscribirán en el programa una vez que se les ofrezca, ii) la inscripción en el programa
disminuirá los gastos directos en salud de los hogares, iii) estos costos directos son los que
impiden a la población rural tener acceso a la atención primaria de la salud y a los
1
El ejemplo está tomado del libro: Impact Evaluation in Practice, Second Edition. Gertler, Martinez, Premand,
Rawlings & Vermeersch.

7
medicamentos y iv) los gastos directos que actualmente los hogares pobres realizan en salud
juegan un rol fundamental en la posibilidad de salir de la pobreza y en lograr mejores
resultados en salud.
Para iniciar con el análisis: abra la base de datos “evaluation.dta” (versión STATA 11 u anterior,
abrir evaluation_11.dta). Documente los ejercicios en un archivo extensión “do” y guarde sus
resultados en un archivo extensión “log”.

1. Describa la base de datos. ¿A que hace referencia cada fila en la base de datos?
¿y cada columna?
Nota: las variables que dan unicidad a la observación son “hogar-ronda”

La base de datos posee 19.827 observaciones, siendo 9.913 para la ronda 0 y 9.914 para la
ronda 1. En este sentido, cada una de las filas hace referencia a la observación de un hogar en
la ronda de medición correspondiente. Así, cabe destacar que el mismo hogar debería medirse
dos veces: anterior y posteriormente a la implementación del programa.
A continuación, se presenta el listado de columnas que posee la base de datos. Como se
observa, cada columna representa una variable a medir en los hogares capturando elementos
sociodemográficos.

2. Describa 5 variables que usted elija incluyendo la variable de resultado. Presente

estadísticas descriptivas e interprételas.

7
 Nota: tome en cuenta la estructura de la base de datos al momento de calcular las
estadísticas.

Se han seleccionado las variables “poverty_index”, “health_expenditures”, “age_hh”, “educ_hh”

y “hhsize”. A continuación, se presenta una tabla resumen con las interpretaciones de la
asimetría y curtosis de cada una. Cabe mencionar que todas las variables poseen 9.913
observaciones para la ronda 0 y 9.914 observaciones para la ronda 1 por lo que no hay valores
nulos o perdidos.

Variables Asimetría Curtosis

Ronda 0 Ronda 1 Ronda 0 Ronda 1

Poverty_index Al ser un valor Al ser un valor Posee un grado de Posee un grado de

cercano al cero nos cercano al cero nos curtosis levemente curtosis levemente
indica que la variable indica que la variable leptocúrtico, al leptocúrtico, al
posee una posee una presentar valor presentar valor
distribución distribución mayor a 3. mayor a 3.
relativamente relativamente
simétrica. simétrica.

Health_expenditures Al ser un valor Al ser un valor Posee un grado de Posee un grado de

cercano al cero nos positivo tiene una curtosis levemente curtosis leptocúrtico,
indica que la variable distribución inclinada platicúrtico, al al presentar valor
posee una hacia la derecha. presentar valor mayor a 3.
distribución menor a 3.
relativamente
simétrica.

Age_hh Al ser un valor Al ser un valor Posee un grado de Posee un grado de

cercano al cero nos cercano al cero nos curtosis levemente curtosis levemente
indica que la variable indica que la variable platicúrtico, al platicúrtico, al
posee una posee una presentar valor presentar valor
distribución distribución menor a 3. menor a 3.
relativamente relativamente
simétrica. simétrica.

Educ_hh Al ser un valor Al ser un valor Posee un grado de Posee un grado de

positivo tiene una positivo tiene una curtosis leptocúrtico, curtosis leptocúrtico,
distribución inclinada distribución inclinada al presentar valor al presentar valor
hacia la derecha. hacia la derecha. mayor a 3. mayor a 3.

Hhsize Al ser un valor Al ser un valor Posee un grado de Posee un grado de

cercano al cero nos cercano al cero nos curtosis levemente curtosis levemente
indica que la variable indica que la variable platicúrtico, al platicúrtico, al
posee una posee una presentar valor presentar valor
distribución distribución menor a 3. menor a 3.
relativamente relativamente
simétrica. simétrica.

En las siguientes imágenes se encuentran los resultados de Stata con las principales
estadísticas descriptivas de cada una de ellas, tanto para la ronda 0 como para la ronda 1. En
este sentido, se podrá observar la cantidad de observaciones, la media, la varianza, la
desviación estándar y otras métricas relevantes.

7
Variables ronda 0:

7
Variables ronda 1:

7
7
3. Método antes-después:

Utilizando los inscriptos al programa (enrolled ==1) que viven en las áreas
cubiertas por el programa (treatment_locality==1), estime los gastos promedio en
salud antes (round==0) y después (round==1) de la implementación del programa
para el grupo de inscriptos (comparación de medias).

a. De acuerdo con estos resultados, ¿se debería expandir el programa a nivel

nacional?

De acuerdo con los resultados obtenidos, se observa que el impacto del programa
representó una diferencia de USD 6.65 en el gasto promedio en salud. Por ende,
consideramos que no se debería expandir el programa a nivel nacional ya que para ello
se requeriría un ahorro en el gasto mayor a USD 10.

7
 b. Re-estime el impacto incluyendo variables de control en una regresión
multivariada. ¿Es posible que se logre controlar por todos los factores que
afectan el gasto en salud per capita en el tiempo?

Considerando las variables utilizadas, se observa que, al incluir las variables

control, existe un ligero cambio en el coeficiente de round. Además, a partir de
los resultados, se podría descartar la variable edad del cónyuge ya que no es
estadísticamente significativa.

A pesar de ello, cabe mencionar que no es posible controlar todos los factores
que afectan el gasto en salud per cápita en el tiempo ya que hay factores que no
son medibles u observables.

4. Método inscriptos-no inscriptos

Utilizando los datos recolectados después de la intervención (round==1) para los

hogares que viven en las localidades donde se implementó el programa
(treatment_locality==1), estime los gastos promedio en salud para los que se
inscribieron al programa (enrolled==1) y para los que no se inscribieron
(enrolled==0) (comparación de medias).

a. De acuerdo con estos resultados, ¿se debería expandir el programa a nivel

nacional?

7
Al aplicar este método de evaluación podemos concluir que se debería expandir el
programa a nivel nacional ya que este tuvo un impacto de USD 14.46 en el
gasto en salud promedio. De esta forma, se supera el umbral establecido para definir si
se avanza con la implementación del programa a nivel nacional (valor de USD 10).

b. Re-estime el impacto incluyendo variables de control en una regresión

multivariada. ¿Es posible que este análisis logre controlar por todos los
factores que determinan las diferencias en el gasto en salud entre los dos
grupos?

Al aplicar las variables de control, se obtiene que la implementación del programa tuvo
un impacto positivo en el ahorro de los participantes de USD 9.98. Como se observa,
este resultado se encuentra en el umbral de USD 10 para definir la expansión de la
prueba piloto.

7
 Debido a que el resultado del ttest fue USD 14.46 y el valor obtenido en la regresión es
USD 10, se recomienda realizar otras pruebas para definir si expandir el piloto al resto
del país.

Respecto a la posibilidad de controlar los factores que inciden en la diferencia en el

gasto público entre los grupos, se considera que esto no es posible ya que hay diversos
elementos observables y no observables que pueden influir en la toma de decisiones
por parte de los individuos.

5. Compare los resultados obtenidos en 3.a y 4.a.

Al realizar el método de evaluación antes-después, se observa que el programa tiene un

impacto de USD 6.65 por lo que no es recomendable expandir el programa al resto del
país. Contrariamente, con el método de inscriptos-no inscriptos se obtiene un resultado
de USD 14.46 por lo que se sugeriría la difusión del piloto a nuevas localidades.

Sin embargo, cabe destacar que hay consideraciones a tener en cuenta al realizar
ambos métodos. Por un lado, es posible que el método de evaluación antes-después no
incluya elementos que pueden explicar la diferencia en el gasto promedio de salud a lo
largo del tiempo. Por el otro, el método de inscriptos-no inscriptos puede presentar un
sesgo de selección ya que los hogares que decidieron no inscribirse en el programa
pueden ser sistemáticamente diferentes de los que sí lo hicieron (i.e. diferencia en
niveles de gastos de salud, información del programa, o importancia de la salud en la
toma de decisiones).

6. Método de asignación aleatoria

El gobierno asigna de manera aleatoria el programa a nivel localidad. Se
conforman dos grupos:
Grupo T: hogares elegibles que viven en localidades seleccionadas
aleatoriamente donde se implementa el seguro de salud.
Grupo C: hogares elegibles que viven en localidades seleccionadas
aleatoriamente donde no se implementa el seguro de salud
f. Calcule el impacto estimado de implementar el seguro de salud en el gasto de
los hogares elegibles. Para ello, estime la diferencia en el gasto promedio
entre los dos grupos regresando el gasto en salud en la variable que captura
la exposición al programa para el grupo de hogares elegibles luego de la
implementación del programa. Comente.
g. De acuerdo con estos resultados, ¿se debería expandir el programa a nivel
nacional?
h. Teste la condición suficiente de “independencia”. Para esto, estime la
diferencia en el gasto promedio entre los dos grupos regresando el gasto en
salud en la variable que captura la exposición al programa para el grupo de
hogares elegibles antes de la implementación del programa. Comente.