EVALUACION DE IMPACTOS

TRABAJO FINAL
DOCENTE:

ENRIQUE CUEVAS
INTEGRANTES:

DANIEL SANCHEZ
LUIS GABRIEL REYES
1) Definición de los métodos de evaluación de impacto

1.1) Experimentales (5 ejemplos)

Diseño experimental

Como su nombre lo indica, estos modelos hacen uso de condiciones de

“experimento” para conformar el grupo de participantes y el de control.
Las condiciones experimentales imponen que, tanto los participantes
como los integrantes del grupo de control se elijan mediante un sorteo, es
decir con un procedimiento aleatorio.

Esta selección implica que quienes integren el grupo de control, no son

invitados a ingresar en el programa. Luego de construidos los grupos se
realizan comparaciones de la situación “antes” y “después”, mediante el
uso de los indicadores. El impacto se establece a partir de los cambios
encontrados en las mediciones entre el grupo de participantes comparado
con el grupo de control.

Este enfoque utiliza técnicas de comparación estadística para establecer

la relación causa-efecto entre la acción de formación y los cambios que
se produjeron en los participantes. Una característica fundamental es que
el impacto se mide en términos comparativos entre los participantes y los
no participantes.

Al efecto se recurre a un grupo similar (grupo de control) que no haya

participado de las acciones y por tanto permita aislar efectos de factores
exógenos al programa. Esto significa que en la evaluación se requiere
estar seguro de que los impactos constatados se deben exclusivamente
a las acciones de formación y no a otro hecho fuera de contexto.
Los grupos de control se usan para realizar la comparación de
poblaciones pertenecientes al mismo universo (por ejemplo: jóvenes) con
el propósito de identificar el impacto de las acciones desarrolladas, la
medición se realiza en el grupo de participantes y en un grupo de control.

Estos grupos coinciden en sus características fundamentales o al menos

en aquellas que se consideran críticas y que pueden influir en el impacto
esperado. Los miembros del grupo de control, por definición, no deben
haber participado en las acciones de formación que se evalúan. La
conformación de un grupo de control se realiza con el fin de establecer el
llamado escenario contrafactual. Este término se utiliza para expresar la
garantía de que los impactos son realmente atribuibles a la acción de
formación y no se hubieran generado si la acción no se hubiese realizado.

Los dos grupos se deben conformar antes de comenzar las acciones y,

para garantizar que sean similares, los integrantes deben asignarse
mediante procedimientos estadísticos.

En este diseño, la medición de la o las variables de impacto (por ejemplo:

salario o empleo) se realiza en ambos grupos, una vez que los
participantes han recibido los beneficios de la acción. Cuando la medición
de la variable de impacto se realiza antes de iniciado el proyecto se
establece la “línea de base” de la evaluación.
En algunos casos, dada la dificultad de definir la línea de base, se realizan
las mediciones en ambos grupos luego de las intervenciones y se
establece el impacto por la diferencia encontrada.

Estos modelos necesitan sostener las condiciones experimentales a lo

largo de toda la evaluación. Al impedir participar en la acción formativa a
quienes integran el grupo de control genera críticas desde el punto de
vista ético y político.

Si bien es un método que, en teoría, garantiza condiciones “químicamente

puras” y pretende reproducir un ambiente de laboratorio, en la práctica le
otorga a la evaluación de impacto un tinte excesivamente científico que la
hace difícil de aplicar y poco práctica, disuadiendo a muchos actores de
su utilización.

Ejemplos:

Dimensión social
Nivel de empleos: Mide el número de empleos directos e indirectos que
se generan como producto de las acciones de la estrategia de gestión de
la innovación.

Dimensión económica
Utilidad. Es la diferencia entre los ingresos y los costos obtenidos en la
unidad de producción a partir de la adopción de innovaciones

Rentabilidad de los activos. Es la relación entre la utilidad obtenida en

cada unidad de producción y los activos utilizados en su obtención, mide
la eficiencia con la cual se están utilizando los activos de una unidad de
producción, se trata de evaluar si, con la estrategia, se mejora la
rentabilidad y por tanto la eficiencia de los activos con que se cuenta.

Dimensión ambiental
Eficiencia tecnológica: Mide el aporte de las innovaciones derivadas del
proyecto de extensión en la reducción de la dependencia del uso de
insumos de síntesis química y de recursos naturales. Se busca que las
innovaciones promovidas contribuyan a un desarrollo sostenible de la
actividad agropecuaria.

Dimensión político institucional

 Cambios en la formación de redes de cooperación: Como
consecuencia de la operación de la estrategia se cuantifica la constitución
de redes que involucren a los diferentes actores del proceso de
innovación.

1.2) Cuasi – experimentales (5 ejemplos)

Diseño cuasi-experimental

Este tipo de diseño, también llamado semi-experimental, se basa también en

la conformación de los dos grupos, el de participantes y el de control, pero
no excluye a estos últimos de la participación en el programa.

En este enfoque las personas que integran el grupo de participantes han

ingresado al programa por su voluntad y no como resultado de un sorteo
aleatorio. Se trata de que las personas que van a conformar el grupo de
control sean lo más parecidas posibles a aquellas que constituyen el grupo
de participantes. Es decir, que para conformar dichos grupos de comparación
se trabaja a partir de las variables centrales o las que se cree pueden
provocar o influir en los resultados.

Estos diseños pueden realizar mediciones antes-después o solamente

después y en algunos casos se puede aplicar comparando el grupo de
participantes con un “grupo de control genérico”. En este caso, el grupo de
comparación puede ser la población en general o un sector específico de
ésta.

En la tabla siguiente se presenta la forma en que se establecieron los grupos

de participantes y los grupos de control en varias evaluaciones de impacto
de instituciones o programas formativos de la región.
Criterios y métodos utilizados en la conformación del grupo de
comparación en cuatro estudios de evaluación de impacto de
programas de capacitación laboral en América Latina

* LA ENEU utiliza un sistema de rotación trimestral para que cada grupo

de rotación (hogares) permanezcan en la encuesta por cinco trimestres
consecutivos y después dejan de pertenecer a la muestra.
 Fuente: Manual para la evaluación de impacto de proyectos y programas
de lucha contra la pobreza. Navarro, Hugo. CEPAL-ILPES. 2005.

2) Definición de los estimadores de impacto

2.1) ATE = Efecto medio del tratamiento (AverageTreatment Effect)

𝐷𝑖𝑓𝐷−𝑁𝐷 = 𝛼𝐴𝑇𝐸 = 𝐸 (𝑌1𝑖 | 𝐷𝑖 = 1) − 𝐸 (𝑌0𝑖 | 𝐷𝑖 = 0)

Este parámetro ofrece el efecto del tratamiento sobre una muestra aleatoria
de individuos considerando un colectivo de observaciones elegidas de forma
aleatoria para los grupos de tratamiento y control, con objeto de averiguar el
impacto medio del programa si fuera obligatorio para toda la población.

El ATE se define como la ganancia esperada por recibir el tratamiento para

un individuo elegido aleatoriamente de la población.

El efecto ATE se define como el rendimiento esperado del programa cuando

un individuo es elegido aleatoriamente dentro de la población factible. Es un
instrumento útil cuando, si en vez de eliminar o reducir un programa, se
quiere ampliar a toda la población elegible o hacerlo obligatorio para todas
las personas que cumplen determinadas características.

2.2) ATT = Efecto medio del tratamiento en los tratados (Averigüe

Treatment on the Treated)

𝛼𝐴𝑇𝑇 = 𝐸 (𝑌1𝑖 | 𝐷𝑖 = 1) − 𝐸 (𝑌0𝑖 | 𝐷𝑖 = 1) = 𝐸 (𝑌1𝑖 − 𝑌0𝑖 | 𝐷𝑖 = 1)

Se estima cuando se aplica el programa a todas las unidades a las que se

les ofreció, y que efectivamente se han inscrito y lo reciben. El ATE y el ATT
son idénticos cuando todas las unidades a las que se ofrece el programa
deciden inscribirse en él.

Determina el valor medio del tratamiento para las personas que recibieron el
tratamiento en comparación con los no tratados en el caso hipotético de que
ellos también hubieran recibido el tratamiento.

Se define como el rendimiento esperado del programa para los individuos

que eligieron participar y que en realidad recibieron el tratamiento
voluntariamente. La relevancia de este parámetro consiste en mostrar que
efectivamente el programa aplicado tiene el efecto esperado de los individuos
que decidieron de manera voluntaria participar en el programa, pero que
además es mayor en comparación con los que decidieron no participar.

2.3) LATE = Efecto medio del tratamiento local (Local Average

Treatment Effect)

El efecto de tratamiento promedio local (LATE), también conocido como el

efecto causal promedio de cumplimiento (CACE), fue introducido por primera
vez en la literatura econométrica por Guido W. Imbens y Joshua D. Angrist
en 1994.
Es el efecto del tratamiento para el subconjunto de la muestra que toma el
tratamiento si y solo si fueron asignados al tratamiento, también conocidos
como cumplidores.

Por lo cual:

El ITT mide el efecto promedio de la asignación experimental en los

resultados sin tener en cuenta la proporción del grupo que realmente fue
tratado (es decir, el promedio de los asignados al tratamiento menos el
promedio de los asignados al control). En experimentos con pleno
cumplimiento, el ITT = ATE.

El ITTD mide la proporción de sujetos que son tratados cuando son asignados
al grupo de tratamiento, menos la proporción que habría sido tratada incluso
si hubieran sido asignados al grupo de control, es decir, ITT D = el porcentaje
de cumplidores.

2.4) MATE = Efecto medio del tratamiento marginal (Marginal

Treatment Effect).
Marco que permite estimar la distribución de efectos del tratamiento en la
población más plenamente.
 Al agregar sobre la distribución de marginal de efectos del tratamiento, uno
puede recuperarse económicamente efectos interesantes (ATE, ATT, ATU,
PRTE, etc.) así como LATE.

El MATE está definido por:

Ese es simplemente el efecto del tratamiento para un individuo con

características observadas 𝑥 y quién está en el quant-ésimo cuantil de la
distribución de 𝑉 (la "resistencia" no observada al tratamiento).

Por ejemplo, y un individuo con 𝑢𝐷 = 0.1 está en el décimo percentil de la

distribución de 𝑉. Si se enfrenta a una propensión puntaje de 𝑃𝑧 = 0.1, este
individuo es indiferente a tomar el tratamiento.

3) Definición del método de corrección del sesgo de selección de

Heckman

Los análisis estadísticos basados en muestras no seleccionadas al azar

pueden llevar a conclusiones erróneas y políticas públicas mal diseñadas. La
corrección de Heckman, un enfoque estadístico de dos pasos, ofrece un
medio de corrección de las muestras no seleccionadas al azar.

Heckman discutió el sesgo en muestras seleccionadas no aleatoriamente

para estimar las relaciones de comportamiento como un error de
especificación. Se sugiere un método de estimación de dos etapas para
corregir el sesgo. La corrección es fácil de implementar y tiene una base
sólida en la teoría estadística. La corrección de Heckman implica un supuesto
de normalidad, proporciona una prueba para el sesgo de selección de la
muestra y la fórmula para el sesgo del modelo corregido.

Ejemplo:
Supongamos que un investigador desea estimar los determinantes de la
oferta salarial, pero tiene acceso a observaciones sólo para los que trabajan.
Dado que las personas que trabajan son seleccionados no aleatoriamente de
la población, la estimación de los determinantes de los salarios de la
subpoblación que tiene trabajo puede introducir un sesgo. La corrección de
Heckman se lleva a cabo en dos etapas, razón por la cual también se le
conoce con ese nombre, pero muy distinto a una regresión en dos etapas
usada para variables instrumentales.

En la primera etapa, el investigador fórmula un modelo, basado en la teoría

económica, para la probabilidad de tener trabajo. La especificación canónica
de esta relación es un regresión probit de la forma:

Donde D indica el empleo (D = 1 si el encuestado se emplea y D = 0 en caso

contrario), Z es un vector de variables explicativas, Ɣ es un vector de
parámetros desconocidos, y Φ es la función de distribución acumulativa de
la norma distribución normal.

La estimación del modelo produce resultados que se pueden utilizar para

predecir la probabilidad de empleo para cada individuo.

En la segunda etapa, el investigador corrige para la auto-selección mediante

la incorporación de una transformación de estas probabilidades individuales
predichas como una variable explicativa adicional. Se puede especificar la
ecuación de salarios del siguiente modo:

Donde w* denota una oferta salarial subyacente, que no se observa si el

aludido no trabaja. La esperanza condicional de los salarios dada que la
persona trabaja es entonces:

Bajo el supuesto de que los términos de error son normales en forma

conjunta, tenemos

donde ρ es la correlación entre los determinantes no observados de la

propensión al trabajo Ɛ y los determinantes no observados de las ofertas
salariales u, σu es la desviación estándar de u y ƛ es la proporción de Mills
inversa evaluada en ZƔ.

Esta ecuación demuestra la percepción de Heckman de que la selección de

la muestra puede verse como una forma de sesgo de las variables omitidas,
 como condicional tanto en X como en ƛ es como si la muestra se seleccionara
al azar.
La ecuación del salario puede ser estimada reemplazando Ɣ con
estimaciones de Probit desde la primera etapa, construyendo ƛ y la incluye
como una variable explicativa adicional en la estimación de la regresión lineal
de la ecuación del salario. Ya que σu >0, el coeficiente de ƛ sólo puede ser
cero si ρ=0, por lo que probar el nulo que el coeficiente de ƛ es cero es
equivalente a la prueba para la selectividad de la muestra.
II. PARTE
A. Métodos en diferencias – ATE
a) Sacar la Media de los tratados y no tratados
̅𝒕 − 𝒀
𝒀 ̅ 𝒏𝒕 ∴ 𝑬𝒔 𝒔𝒊𝒈𝒏𝒊𝒇𝒊𝒄𝒂𝒕𝒊𝒗𝒂?

a.1) Sacamos estadísticas de quienes participan en el PROBECAT.

. tab probecat

Participa en el |
PROBECAT | Freq. Percent Cum.
----------------+-----------------------------------
No participante | 671 20.92 20.92
Participante | 2,537 79.08 100.00
----------------+-----------------------------------
Total | 3,208 100.00

a.2 Estimamos la media de los que participan en el probecat y aquellos que no

participan.
. mean d_ing, over(probecat)

Mean estimation Number of obs = 2,710

_subpop_1: probecat = No participante

Participante: probecat = Participante

--------------------------------------------------------------
Over | Mean Std. Err. [95% Conf. Interval]
-------------+------------------------------------------------
d_ing |
_subpop_1 | 6615.952 296.9564 6033.668 7198.236
Participante | 6311.719 89.45467 6136.313 6487.126
----------------+---------------------------------------------

a.3 Realizamos la comparación de la media de los tratados y no tratados.

. ttest d_ing, by(probecat)

Two-sample t test with equal variances

------------------------------------------------------------------------------
Group | Obs Mean Std. Err. Std. Dev. [95% Conf. Interval]
---------+--------------------------------------------------------------------
No parti | 476 6615.952 296.9564 6478.825 6032.441 7199.462
Particip | 2,234 6311.719 89.45467 4228.094 6136.296 6487.142
---------+--------------------------------------------------------------------
combined | 2,710 6365.156 90.32338 4702.024 6188.047 6542.266
---------+--------------------------------------------------------------------
diff | 304.2323 237.3411 -161.1556 769.6203
------------------------------------------------------------------------------
diff = mean(No parti) - mean(Particip) t = 1.2818
Ho: diff = 0 degrees of freedom = 2708

Ha: diff < 0 Ha: diff != 0 Ha: diff > 0

Pr(T < t) = 0.9000 Pr(|T| > |t|) = 0.2000 Pr(T > t) = 0.1000

La hipótesis nula dice que la diferencia entre las dos medias es igual a cero, lo
cual corresponde a que no hay diferencia entre participar y no participar en el
PROBECAT.
El valor de t estadístico no es significativo por lo tanto se rechaza la hipótesis nula,
por tanto, si existe diferencia significativa entre el ingreso medio de las personas
que participaron del probecat y las que no participaron.
b) Diferencia contrastando con otras variables

b.1: Generamos la variable edad

. gen edad2 = edad*edad

. reg d_ing probecat sexo edad edad2 cve_esc per_hog

Source | SS df MS Number of obs = 2,710

-------------+---------------------------------- F(6, 2703) = 33.64
Model | 4.1619e+09 6 693653344 Prob > F = 0.0000
Residual | 5.5731e+10 2,703 20618365.5 R-squared = 0.0695
-------------+---------------------------------- Adj R-squared = 0.0674
Total | 5.9893e+10 2,709 22109029.9 Root MSE = 4540.7

------------------------------------------------------------------------------
d_ing | Coef. Std. Err. t P>|t| [95% Conf. Interval]
-------------+----------------------------------------------------------------
probecat | -617.8588 258.3898 -2.39 0.017 -1124.52 -111.1973
sexo | -1527.033 200.3949 -7.62 0.000 -1919.976 -1134.09
edad | 345.4008 60.42516 5.72 0.000 226.9167 463.885
edad2 | -4.190818 .9114508 -4.60 0.000 -5.978029 -2.403607
cve_esc | 734.6178 99.5013 7.38 0.000 539.5115 929.7242
per_hog | -60.28989 40.51222 -1.49 0.137 -139.728 19.14817
_cons | 90.10794 1009.425 0.09 0.929 -1889.214 2069.43
------------------------------------------------------------------------------

El valor de B1 vale -617.85

 B. Métodos diferencias en diferencias
Generamos la variable diferencia de ingresos antes del programa

. gen dif_ing = d_ing - a_ing

(499 missing values generated)

Generamos la regresión con las variables considerando solamente aquellos que

antes tenían un ingreso o trabajo. El objetivo es contrastar si la diferencia del
ingreso es resultado del programa PROBECAT.

. reg dif_ing probecat

Source | SS df MS Number of obs = 2,709

-------------+---------------------------------- F(1, 2707) = 0.21
Model | 7735779.01 1 7735779.01 Prob > F = 0.6490
Residual | 1.0106e+11 2,707 37334622.3 R-squared = 0.0001
-------------+---------------------------------- Adj R-squared = -0.0003
Total | 1.0107e+11 2,708 37323692.1 Root MSE = 6110.2

------------------------------------------------------------------------------
dif_ing | Coef. Std. Err. t P>|t| [95% Conf. Interval]
-------------+----------------------------------------------------------------
probecat | -140.4134 308.4697 -0.46 0.649 -745.2734 464.4466
_cons | 1431.447 280.0609 5.11 0.000 882.2928 1980.602
------------------------------------------------------------------------------

Generamos un segundo modelo considerando solo aquellos que ya contaban con

un trabajo antes de pertenecer al probecat.

. reg dif_ing probecat if a_ing > 1

Source | SS df MS Number of obs = 2,245

-------------+---------------------------------- F(1, 2243) = 32.30
Model | 52.70265 1 52.70265 Prob > F = 0.0000
Residual | 3659.93481 2,243 1.63171414 R-squared = 0.0142
-------------+---------------------------------- Adj R-squared = 0.0138
Total | 3712.63746 2,244 1.65447302 Root MSE = 1.2774

------------------------------------------------------------------------------
dif_ing | Coef. Std. Err. t P>|t| [95% Conf. Interval]
-------------+----------------------------------------------------------------
probecat | .4365625 .0768161 5.68 0.000 .2859244 .5872006
_cons | -.3706955 .0710756 -5.22 0.000 -.5100764 -.2313146
------------------------------------------------------------------------------
Generamos un segundo modelo considerando además las variables: Sexo, Edad,
escolaridad, tamaño del hogar, y consideramos solo aquellos que ya contaban con
un trabajo antes de pertenecer al probecat.
. reg dif_ing probecat sexo edad edad2 cve_esc per_hog if a_ing > 1

Source | SS df MS Number of obs = 2,245

-------------+---------------------------------- F(6, 2238) = 8.25
Model | 80.3640955 6 13.3940159 Prob > F = 0.0000
Residual | 3632.27336 2,238 1.62299972 R-squared = 0.0216
-------------+---------------------------------- Adj R-squared = 0.0190
Total | 3712.63746 2,244 1.65447302 Root MSE = 1.274

------------------------------------------------------------------------------
dif_ing | Coef. Std. Err. t P>|t| [95% Conf. Interval]
-------------+----------------------------------------------------------------
probecat | .4363593 .0842613 5.18 0.000 .2711208 .6015978
sexo | .0304274 .0654606 0.46 0.642 -.0979423 .1587972
edad | .045005 .0191388 2.35 0.019 .0074732 .0825367
edad2 | -.0007884 .0002855 -2.76 0.006 -.0013482 -.0002285
cve_esc | .0187333 .0309608 0.61 0.545 -.0419817 .0794482
per_hog | -.0169231 .0122994 -1.38 0.169 -.0410426 .0071965
_cons | -.9837126 .3284542 -2.99 0.003 -1.627819 -.3396058
------------------------------------------------------------------------------