Porqu es necesario evaluar?

Las crecientes inversiones que se hacen en los pases, no han podido reducir de manera significativa las tasas de indigencia y pobreza. A pesar de los mltiples esfuerzos emprendidos en el mbito social, la pobreza no cede y la desigualdad es un fenomeno que se ha instalado en todos los pases de la regin. No existe en Amrica Latina y el Caribe una cultura de evaluacin integral de polticas publicas CONTEXTO IDEAL PARA LA EVALUACIN DE IMPACTO **Diagnstico inicial ---- **Escenario actual y futuro del Programa ----- Escenario deseable -Variables estructurales -Variables de coyuntura -Relaciones de causalidad **Lnea de base conocimiento de la situacin actual y del futuro deseable ** Identificacin -Variables de impacto -Variables de control -Metas de poltica -Objetivos de poltica -Indicadores de evaluacin **Diseo del programa **Planeacin -Objetivos del programa -Poblacin objetivo -Modelo de intervencin -Modelo de evaluacin -Temporalidad para evaluar resultados -Recopilacin de informacin (encuestas, registros administrativos y mtodos cualitativos)

**Operacin - Seleccin de la poblacin beneficiaria -Seleccin del grupo de control -Se efectuan intervenciones -Mecanismos de control y seguimiento -Se monitorea el proceso **Evaluacin de impacto -Costo-beneficio -Costo-impacto **Resultados -Pertinencia del programa -Evolucin de los indicadores de impacto CONTEXTO IDEAL PARA LA EVALUACIN DE IMPACTO Planteamiento del problema Se desean conocer los efectos que tiene una accin de poltica social en una o ms variables asociadas al nivel de vida de una poblacin. Para ello, se disea un programa el cual beneficia a un cierto grupo de personas o familias. Posteriormente, despus de un cierto tiempo se desea comparar la situacin de los beneficiarios con aquella que tendran de no haber participado en el programa. Evaluacin de Impacto Tiene como propsito conocer si el programa produjo los efectos deseados en los beneficiarios. Conocer si los cambios observados en los beneficiarios, pueden asociarse a los efectos del programa (causalidad). Cmo debiera mejorarse el programa para maximizar sus beneficios en las variables de impacto?

La evaluacin de impacto demanda de la aplicacin de tcnicas, que permitan conocer lo que habra ocurrido en caso de que el programa no se hubise puesto en marcha. Por tanto, es importante disponer de un escenario contrafactual que permita conocer lo que hubiera ocurrido si el programa no se hubiera realizado. Se requiere disponer de informacin para el llamado grupo de control o de comparacin. Estos grupos deben seleccionarse de manera aleatoria, de la misma poblacin de la que

provienen los participantes. Esto significa, que ambos grupos tienen las mismas caractersticas En el proceso de evaluacin de impacto, lo ms importante es disponer de un grupo de control adecuado. Lo anterior se logra a partir de metodologas estadsticas: diseos experimentales aleatorios y cuasi experimentales. Tambin se aconseja aplicar mtodos cualitativos y participativos para lograr la evaluacin integral. La eleccin de los beneficiarios y del grupo de control se efecta en forma aleatoria, reduciendo al mximo los sesgos de seleccin. Presentan la ventaja, de que el efecto del programa se logra al comparar las diferencias observadas entre los valores promedio de las variables de impacto entre ambos grupos. Se generan grupos de observaciones que se asemejan a las caractersticas de los beneficiarios. Para lograr lo anterior, se utilizan mtodos economtricos: apareamiento (matching), doble diferencia, variables instrumentales. Los grupos de rtatamiento y de comparacin se seleccionan despus de la puesta en marcha del

Presenta la ventaja de utilizar datos existentes (encuestas, censos), y por tanto son menos costosos y ms fciles de aplicar. A pesar de lo anterior, los resultados pueden ser menos confiables, debido a los sesgos de seleccin de los datos y por tanto son menos slidos desde el punto de vista estadstico Es posible controlar el sesgo de seleccin a partir de mtodos estadsticos. Mtodos Cualitativos Se utilizan con el propsito de conocer la opinin de los beneficiarios acerca de las beneficios entregados por el programa. Adems de las entrevistas a profundidad, se hace usos de informacin proveniente de lederes de opinin y la generada por medio de grupos focales. Permiten conocer aspectos que los mtodos estadsticos y economtricos no lo hacen. Preguntas relevantes para evaluacin de impacto de las polticas pblicas Algunas preguntas bsicas: Qu queremos medir? Cmo queremos medir? Para qu queremos la medicin? Para qu se van a utilizar las mediciones?

 Qu fenmeno se desea aproximar? Si el tema de inters es la calidad de vida: - Qu se entiende por calidad de vida? - Cmo se desea aproximar? - Cmo se mide? - Cules variables que se deben analizar? Planteamiento del problema Se desean conocer los efectos que tiene una accin de poltica social en una o ms variables asociadas al nivel de vida de una poblacin. Para ello, se disea un programa el cual beneficia a un cierto grupo de personas o familias. Posteriormente, despus de un cierto tiempo se desea comparar la situacin de los beneficiarios con aquella que tendran de no haber participado en el programa. Se debe construir un escenario contrafactual o grupo de comparacin que permita conocer la manera en que han evolucionado las variables de impacto, tanto en el grupo de beneficiarios como en el de no beneficiarios. En Blundell y Costa Dias (2000), los mtodos de evaluacin se clasifican en cinco categoras: experimentos aleatorios (diseo de experimentos tradicional)

v experimentos naturales (difference-in-difference, before-after) v mtodos de comparaciones pareadas (matching) v seleccin de modelos ( variables instrumentales) v modelos de simulacin (simular efectos de poltica)