EVALUACION DE IMPACTO

PREGUNTAS QUE SE HACE LA

EVALUACION DE IMPACTO

Efectos de mediano y largo plazo sobre la poblacin

beneficiaria que espera obtener el Programa

Cules sern los beneficios con que quedar la poblacin

beneficiaria una vez que concluya su participacin en el
programa?

Incremento en el nivel de remuneraciones

Reduccin de la tasa de morbilidad de menores
beneficiados con un programa de vacunacin
Aumento del rendimiento escolar de los alumnos
participante en un programa de reforzamiento
educativo

OBJETIVOS

Conocer si el programa produjo los efectos

deseados en los beneficiarios.

Conocer si los cambios observados en los

beneficiarios, pueden asociarse a los
efectos del programa (causalidad).

Cmo debiera mejorarse el programa

para maximizar sus beneficios en las
variables de impacto?

METODOLOGIAS

Diseo experimental
tradicional y aleatorio
Mtodo de doble diferencias
Mtodos de comparaciones
Pareadas (matching)
Seleccin de modelos
( variables instrumentales)
Evaluaciones cualitativas

METODOLOGIAS

Requiere de la aplicacin de tcnicas, que

permitan conocer lo que habra ocurrido
en caso de que el programa no se hubiese
puesto en marcha.

Identificar las VARIABLES QUE DEBEN SER

MEDIDAS para determinar si el Programa
ha generado realmente los beneficios o
resultados finales o impacto esperados

El impacto del programa

La diferencia en la variable resultado (Y) que
es:el individuo (i) con y sin la intervencin
registra
del programa
i = Y1i Yoi

es el impacto del programa (tratamiento) sobre la persona i,

Yoi es resultado potencial que registrara el individuo i sin el tratamiento,

Y1i es el resultado potencial que registrara el individuo i con el
tratamiento.

Problema fundamental de
identificacin

No es posible observar Yoi e Y1i,

para un mismo individuo en un
momento del tiempo.
Un individuo i en un momento del
tiempo puede presentar solo uno
de los dos estados posibles:

Intervencin en el programa
No intervencin en el programa

Problemas metodolgicos de la
medicin

Medir el impacto esperado o promedio del

programa sobre el conjunto de los individuos.

Sesgo de seleccin: Seleccin de los individuos

que participan en el programa responde a ciertos
criterios de focalizacin u otros. Programa de
Capacitacin, Ingresos beneficiarios menores
antes de la capacitacin. En ausencia del
Programa los ingresos potenciales de los
beneficiarios sern menores a los de los no
beneficiarios en el mismo perodo

METODOLOGIAS

Se requiere disponer de informacin para

el llamado grupo de control o de
comparacin.

Estos grupos deben seleccionarse de

manera aleatoria, de la misma poblacin
de la que provienen los participantes.

Ambos grupos deben tener las mismas

caractersticas

METODOLOGIAS

Un grupo de control es bsicamente un segmento de

no beneficiarios que son parte de la poblacin
objetivo, es decir, un grupo que comparte las
caractersticas sociales, econmicas, educacionales, etc,
del grupo beneficiario. (dos grupos estadsticamente
idnticos entre s)

La nica diferencia entre los individuos del grupo de

control y los beneficiarios efectivos debe ser su
participacin en el programa.

Diseo experimental o aleatorio

Aislar los efectos que tienen sobre la variable resultado

(Y) factores externos al Programa

Seleccin de individuos beneficiarios del programa sea

independiente de sus resultados potenciales. Seleccin
aleatoria de los individuos que se beneficien del
programa

La medicin de impacto consiste en cuantificar, una vez

transcurrido el tiempo pertinente de intervencin del programa,
la(s) variable(s) de impacto,tanto para el grupo de tratamiento y
como para el grupo de control en ambos simultneamente y
para el mismo perodo de tiempo para luego analizar las
diferencias que existen entre ambos.

Grupo de control aleatorio entre la

poblacin de individuos elegibles,
garantizndose que en el inicio
ambos grupos son
estadsticamente iguales en
trminos de sus caractersticas
como de sus respectivas
distribuciones

Diseo experimental o aleatorio

n1=nmero de individuos en el grupo de tratamiento

N0=nmero de individuos en el grupo de control.

Principal distorsin: posibles cambios del grupo de contr

Durante el perodo de evaluacin (abandono rea geogr
ese lapso=Grupo de control contaminado.
Viabilidad poltica de excluir de la cobertura de un progra
aleatoriamente a un grupo de beneficiarios elegibles y c
necesitan los beneficios del programa

Diseo cuasi experimental

Seleccin de beneficiarios no es aleatoria, se basa en
criterios de elegibilidad y focalizacin que establecen
diferencias observables como no observables, entre el
grupo de tratamiento y los no beneficiarios (grupo de
control)
Diferencias observables: responden a los criterios de
seleccin del programa
Diferencias no observables: caractersticas de la poblacin que
afectan su participacin pero para la cual no hay informacin
(habilidad individual, voluntad de participar, procesos
subjetivos y
no formales que determinan que una persona acceda a los
beneficios del programa

Diseo cuasi experimental

El impacto del programa no podr ser estimado a travs de la
simple diferencia de medias entre la variable resultado del grupo
de tratamiento y el grupo control ya que las diferentes
caractersticas observables y no observables de los beneficiarios y
no beneficiarios implicar la existencia de sesgo de seleccin, la
medicin del impacto del programa resultar sesgada.
Solucin: diseo cuasi-experimental, que permita controlar por las
distintas caractersticas que posee el grupo de beneficiarios del
programa (tratamiento) respecto de los no beneficiarios (grupo
control) que pudiesen afectar el resultado o impacto del programa.

Metodologa
Construccin de dos escenarios.
Un escenario prefactual, es decir,la identificacin y medicin de las
condiciones del grupo de beneficiarios y no beneficiarios (control)
antes de la ejecucin del programa(construccin de la lnea de
base o situacin sin programa) y un escenario contrafactual, que
implica la medicin del cambio en las condiciones del grupo
beneficiario y grupo control, de modo de estimar lo ocurrido como
consecuencia directa de la intervencin del programa.

Cul sera la situacin actual de estos beneficiarios si no hubieran participado en

el programa?, comparando los resultados finales del programa en los beneficiarios
con respecto a un grupo de no beneficiarios de caractersticas similares (grupo
control), de modo de aislar los efectos de otros factores externos al programa?

Condiciones

Existencia de una base de datos (o varias bases que permitan

formar una comn) de beneficiarios y no-beneficiarios, que
contenga para ambos grupos informacin sobre los criterios de
elegibilidad del programa:

Condicin socioeconmica, tamao de la familia, escolaridad,

ubicacin geogrfica o cualquier otra caracterstica que se haya
utilizado para seleccionar a los beneficiarios) e informacin sobre
las variables que permitirn medir los resultados finales o impactos
esperados de la intervencin (por ejemplo: nivel de ingresos,
condicin laboral, nivel de salud, etc.).

Metodologas cualitativas

Evaluacin participativa: incorpora a

ls beneficiarios en el diseo, la
ejecucin y la evaluacin de un
programa.

Focus group

Entrevistas a informantes claves

USO DE LA EVALUACION Y CONSECUENCIAS PARA EL PRESUPUESTO

RESULTADOS DE EVALUACIN DE PROGRAMAS Y SUS EFECTOS
PROGRAMA DE SALUD BUCAL JUNAEB (evaluacin ao 2004)
DESCRIPCIN
El programa de atiende a estudiantes de enseanza bsica de escuelas subvencionadas vulnerables
para mejorar su salud bucal mediante acciones clnicas y educativo-preventivas.
RESULTADOS Y EFECTOS

VARIABLES DE
IMPACTO

La cobertura de la Atencin Odontolgica Integral en el ao 2003 alcanz al 8% de la poblacin

objetivo. Un anlisis ms especfico para la cohorte de 6 aos de edad muestra que el sector
pblico atiende al 69% de los nios de esta edad, de los cuales el 49% es atendido en los
mdulos del programa, lo que se evala positivamente.
El ndice COP-D (C: caries; O: Obturados y P: perdidos) muestra que las caries entre el ingreso
y el alta de los escolares atendidos en el mdulo dental en primer ao bsico disminuyen en
98% en el ao 2003.
Como resultado de la evaluacin, el Presupuesto 2005 considera un incremento de cobertura
del programa en relacin a acciones educativas, preventivas y curativas de atencin dental.