1

Evaluación ex post

Evaluación de
impacto
GERMÁN PUENTES B.
Evaluación de impacto 2

 Definición
 Objetivos
 Metodología
 Método de investigación experimental
Evaluación de impacto 3

 Definición

 “Medición de los cambios en el bienestar de los individuos

que pueden ser atribuidos a un programa o a una política
específica”
 (Navarro, 2005)

 La evaluación de impacto ex-post se ubica al final de la

operación del proyecto, determinando si hubo cambios en
la población objetivo y su magnitud”
 (Cohen y Franco, 1998).
Evaluación de impacto 4
 Objetivos

 “determinar si el programa produjo los efectos deseados en las personas,

hogares e instituciones y si esos efectos son atribuibles a la intervención del
programa . . .” (Baker, 2000)

 Influir en iniciativas futuras al permitir mejorar proyectos o programas en

ejecución o futuros.
Evaluación de impacto 5

 Metodología

 Cómo se puede medir el impacto de un proyecto?

Evaluación de impacto 6

 Cómo se puede medir el impacto de un proyecto?

 Supongamos que A es la situación antes del proyecto y B
después del proyecto.
Evaluación de impacto 7

 Cómo se puede medir el impacto de un proyecto?

Evaluación de impacto 8

 Metodología

 Cómo se puede medir el impacto de un proyecto?

 Observar una variable en dos momentos (antes y después del proyecto) y

 Controlar los efectos no atribuibles al proyecto, para así aislar el impacto del
proyecto en la variable.
Evaluación de impacto 9

 Metodología

 Existen tres procedimientos:

 Métodos experimentales
 Métodos cuasi-experimentales
 Métodos no experimentales
Evaluación de impacto 1
0

 Método de investigación experimental

 Es el método ideal, el más riguroso

 Permite determinar relaciones invariables (que se cumplen

siempre) entre causas y efectos
Evaluación de impacto 1
1

 Método de investigación experimental

 Corresponde al método científico

 Técnica que estudia un fenómeno mediante el uso de

evidencia empírica, observable y medible.

 Obtiene sus datos y conclusiones de la observación y de la

realización de experimentos y de la formulación y testeo de
hipótesis.

 Hipótesis? Explicación tentativa de algún fenómeno

Evaluación de impacto 1
2

 Método de investigación experimental

 Experimento?
 Procedimiento que permite medir el impacto de un cambio en una
variable (X) en otra variable (Y) manteniendo constante todas las
otras variables (que influyen en Y)
Evaluación de impacto 1
3

 Método de investigación experimental

 Causalidad?
 Causa: condición necesaria y suficiente para la aparición de algo
(Galileo)

 Un experimento permite establecer relaciones de causalidad

Evaluación de impacto 1
4

 Método de investigación experimental

 Grupo experimental y grupo control

 El método experimental requiere disponer de un grupo

experimental y de un grupo control.
Evaluación de impacto 1
5
 Grupo experimental y grupo control

 Grupo experimental: grupo que participó en el proyecto

 Grupo control: grupo muy parecido al grupo experimental pero que no participa en
el proyecto, permite generar un escenario contrafactual
Evaluación de impacto 1
6

 Método de investigación experimental

 El grupo control debe ser lo más parecido posible al grupo

experimental. Por qué?

 Para controlar (eliminar) variables distintas al programa que

puedan impactar en los resultados
Evaluación de impacto 1
7

 Método de investigación experimental

 Cómo obtener grupos experimental y control lo más parecido

posibles?

Aleatorización

Selección al azar de los miembro de cada

grupo, de manera que exista una distribución
similar de características.
Evaluación de impacto 1
8

 Método de investigación experimental

 Problema de la no aleatorización?

Sesgo de selección

Que es el sesgo de selección?

Evaluación de impacto 1
9

Sesgo de selección

La selección de miembros del grupo

experimental y/o control se relaciona a
alguna variable Z

Estavariable sesga los resultados del

experimento haciéndolo inválido
 Evaluación de impacto 2
0
 Sesgo de selección

 Ejemplo: si un experimento fuera conducido para determinar la

distribución del tamaño de los peces en un lago, una red podría ser
utilizado para capturar una muestra representativa de peces. Si la red
tenía un tamaño de malla de 1 cm, entonces no hay peces más
estrechos que 1 cm de ancho que se encuentra en la muestra. Este es
el resultado del método de selección: no hay manera de saber si hay
peces de tamaño inferior a 1 cm sobre la base de un experimento con
esa red.
Evaluación de impacto 2
1
 Determinación del impacto del proyecto

Grupo Momento
Antes (línea base) Después

Con proyecto X X'

(experimental)
Sin proyecto Y Y'
(control)

 Donde: X, Y, X', Y' : valor que toma la variable de impacto en los

dos grupos y momentos.
Evaluación de impacto 2
2
 Método de investigación experimental

 Determinación del impacto del proyecto

 (X – X') = Efectos en grupo experimental (endógenos y

exógenos al proyecto)

 (Y – Y')= Efectos en grupo control (exógenos al

proyecto)
Impacto (Z) = (X – X') – (Y – Y')
Evaluación de impacto 2
3
 Ejercicio grupal

 Determine el impacto de un proyecto que busca reducir la

tasa de desnutrición en niños, a partir de los siguientes datos
(tasas de desnutrición):

Grupo Momento
Antes Después

Con proyecto 0,5 0,3

Sin proyecto 0,7 0,5
Evaluación de impacto 2
4

 Método de investigación experimental

 Dificultades del método experimental

 Es difícil seleccionar los grupos mediante la aleatorización. En la

práctica se busca minimizar las diferencias (método cuasi
experimental).
Evaluación de impacto 2
5
 Método de investigación experimental

 Dificultades del método experimental

 La aleatorización requiere disponer de muestras grandes (no siempre disponibles)

Evaluación de impacto 2
6

 Método de investigación experimental

 Dificultades del método experimental

 Experimentación social puede tener repercusiones éticas.

Evaluación de impacto 2
7
 Método de investigación experimental

 Experimentación social puede tener repercusiones éticas.


“ Efecto conejillo de Indias”

Dejar fuera del proyecto a quienes merecen recibirlo

para tener grupo control
Evaluación de impacto 2
8
 Método de investigación experimental

 Solución a las limitaciones del método de investigación experimental?

Evaluación de impacto 2
9
 Método de investigación experimental

 Solución a las limitaciones del método de investigación experimental?

 Método cuasi-experimental