Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Mide Plan
Mide Plan
El presente documento ha sido elaborado por los profesionales lvaro Espinoza y Andrea
Peroni, bajo la direccin departamental de la seora Ana Quintana. El documento no ha sido
sometido a revisin editorial.
INTRODUCCIN
Ministerio de Hacienda y las propuestas de evaluacin desarrolladas e implementadas por el BID y OIT.
2
La pauta de evaluacin fue validada travs del juicio de profesionales de reconocida idoneidad en la
materia como Arstidez Torche (Universidad Catlica), Fernando Salamanca (Unbiversidad de Chile),
Sergio Martinic (Universidad Alberto HurtadoCIDE), Ignacio Irarrazaval (consultor independiente), Rodrigo
Martinez (Divisin Social, CEPAL) , Edgard Ortegn (ILPES), Valeria Snchez D. (Cima, Consultores)
MariaTeresa Gonzalez (consultor independiente), y Cristina Almeida (Universidad Alberto Hurtado).
3
ANTECEDENTES GENERALES
Y
CONCEPTOS BSICOS
Cabe aclarar que los Antecedentes aqu presentados fueron elaborados en base a un diagnstico
realizado durante 1999 y a comienzos del 2000; por consiguiente no se han incorporado los resultados de
la experiencia evaluativa implementada durante el ltimo semestre de 2000, por la Dipres con apoyo de
MIDEPLAN.
Segn documento del PNSP durante 1992 y 1996 se implementaron anualmente entre 5 a 20 programas
sociales nuevos.
Figura N 1
Niveles de Planificacin Social
Polticas
Plan A
Programa 1
Proyecto
Proyecto
Plan B
Programa 2
Proyecto
Proyecto
Programa 3
Proyecto
Programa 4
Proyecto
Proyecto
b)
E. Cohen define programas sociales como un conjunto de proyectos con un mismo objetivo de impacto.
Una definicin similar podemos tiene S. Martinic en: Diseo y Evaluacin de proyectos Sociales (1997:67).
7
Figura N 2
La Evaluacin segn el Momento en la Vida de un Programa
Preinversin
Inversin
Operacin
Ex ante
Ex dure
Ex post
Para mayores detalles se puede consultar Manual de Diseo de Programas Sociales. Departamento de
Evaluacin. MIDEPLAN, Santiago, 2001.
2. LA UNIDAD DE ANLISIS
El objeto a ser evaluado a travs de la metodologa que aqu se propone
corresponde al diseo de programas y proyecto sociales de inversin en capital
humano y social, de carcter nacional o interregional que no requieren inversin
fsica o es mnima, diseados a nivel central o regional y que por su envergadura
(recursos requeridos, tipo de problema, urgencia, etc.) requieran someterse a
una evaluacin ex ante.
El diseo de programas y proyectos sociales constituye el insumo principal del
proceso de evaluacin y como tal debe satisfacer los requerimientos de
informacin que hacen posible aplicar los criterios evaluativos que forman parte
de la metodologa10.
3. OBJETIVO
El objetivo de esta propuesta es fortalecer el proceso de toma de decisiones al
interior del sector y entre los sectores, as como la asignacin de recursos
pblicos a travs de la evaluacin ex ante de programas sociales nuevos. Dado
que el tipo de evaluacin que se propone est orientada a valorar la consistencia
del diseo de la intervencin social y con ello establecer el nivel de certidumbre
que entrega respecto al logro de los objetivos, permite as consolidar informacin
de base sobre el quehacer pblico, en relacin a los mbitos sociales.
10
En el anexo se presenta un esquema con la informacin que debe contener el diseo de una
intervencin social.
P el
P las
El Enfoque del Marco Lgico (EML) si bien fue concebido como una herramienta
de apoyo a la planificacin, ha expandido su uso a la evaluacin, tanto ex ante
como ex post .
Dado que existen varias versiones de ste enfoque, sin muchas ni importantes
diferencias entre s, y con el fin de homogeneizar al mximo los trminos y
conceptos utilizados en el aparato pblico se optar por el enfoque desarrollado
por el BID 11. ste es el enfoque que actualmente gua las evaluaciones realizadas
por el Programa de Evaluacin de Proyectos Gubernamentales de la Direccin de
Presupuesto (Dipres).
11
BID, 1997.
2.
Finalmente, los criterios que se utilizan para la evaluacin ex ante del diseo se
presentan en la figura siguiente:
Figura N 3
Criterios Evaluativos y Niveles de Anlisis
1 Nivel de Anlisis
Emiten juicios parciales sobre temticas especficas
Pertinencia
Coherencia
Eficacia
Eficiencia
Sostenibilidad
Evaluabilidad
Consistencia
Se emite un juicio integrado, en base a los juicios parciales anteriores
2 Nivel de Anlisis
a)
Pertinencia.
Figura N 4
Esquema Analtico de la Pertinencia
Fin
Propsito
Productos
Actividades
Problema o necesidad
Causas del problema
Poblacin objetivo
b) Coherencia
Los programas sociales son la expresin prctica de la poltica social por lo que
debe existir una estrecha relacin entre las orientaciones de dicha poltica y la
acogida que tienen en el diseo del programa.
La necesidad de relacionar el programa que est siendo evaluado con otros
programas sociales en ejecucin, se debe a que dependiendo de los niveles de
coordinacin de la accin social pblica es posible que para una misma necesidad
puedan surgir iniciativas programticas complementarias, pero tambin puede
ocurrir que se dupliquen esfuerzos innecesariamente, que se creen nuevos
programas cuando lo ms recomendable sea fortalecer los ya existentes o que se
comparta entre dos o ms programas semejantes una misma poblacin objetivo.
Figura N 5
Esquema Analtico de la Coherencia Externa
Objetivo de
desarrollo
Propsito
Productos
Oferta pblica
(diagnstico)
Figura N 6
Esquema Analtico de la Coherencia Interna
entonces
Fin
Indicadores y
metas
Propsito
F. Verific.
Supuestos
Indicadores y
metas
F. Verific.
Supuestos
Productos
Indicadores y
metas
F. Verific.
Supuestos
Actividades
Indicadores y
metas
F. Verific.
Supuestos
si
entonces
si
entonces
si
c)
Eficiencia
Figura N 7
Esquema Analtico de la Eficiencia
Costos de alternativas de
produccin
Actividades
Modelo de Gestin
d) Eficacia
Propsito
Productos
Beneficiarios
Modelo de Gestin
Actividades
Recursos Humanos
Evaluacin ex dure
e) Sostenibilidad
Figura N9
Esquema Analtico de la Sostenibilidad
Caractersticas de los
productos o servicios ms
los supuestos
Fin y propsito
sostenible
Institucionalidad
pblica
Participacin de los
beneficiarios
f) Evaluabilidad
Figura N10
Esquema Analtico de la Evaluabilidad
Evaluacin ex dure
Indicadores y metas de
productos y actividades
Evaluacin ex post
Objetivos
Indicadores y metas
Propuesta de evaluacin
ex post
g) Consistencia
Figura N11
Esquema Valorativo de la Consistencia
Pertinencia
Coherencia
Consistencia
Eficiencia
Eficacia
Sostenibilidad
Diseo de
un
Programa
Social
Consistente
Eficaz: Grado de
cumplimiento del
propsito y productos
P La
El anlisis de la primera ficha, sobre la informacin que presenta la propuesta, puede ser realizado con
el apoyo de los ltimos dos anexos: el listado de requerimientos de informacin que debe contener el
programa y una batera de preguntas que orientan el primer anlisis de la informacin all presentada.
P La cuarta ficha recoge el juicio final sobre el diseo del programa social
evaluado.
ANEXOS
A travs de la presente ficha se pretende que los evaluadores puedan recoger los
elementos centrales de la propuesta y, al mismo tiempo, se transforma en un
ejercicio que les permitir adentrarse en su contenido.
1.
Antecedentes generales
Problema:
Otras instituciones participantes:
Identificacin presupuestaria:
Ao de inicio:
Ao de termino:
2.
Diagnstico
3. Alternativas de intervencin
3.1 Identifique las alternativas de intervencin programtica sealadas en la
propuesta
4. Estrategia de intervencin
4.7 Describa los principales elementos del modelo de gestin del programa.
El anlisis del diseo del programa deber hacerse siguiendo las preguntas
formuladas en esta pauta ms aquellas que hubiesen sido incorporadas por los
panelistas en comn acuerdo con la contraparte t cnica.
Frente a cada tema o pregunta el panel deber hacer un anlisis de los elementos
o relaciones sobre los cuales se interroga.
1.
PERTINENCIA
1.3 La intervencin que supone el programa se hace a nivel de las causas del
problema sealadas en el diagnstico?.
1.4 El Fin del programa da cuenta de una solucin o mitigacin del problema o
necesidad detectada en el diagnstico.?.
1.5 Las actividades del programa son adecuadas al perfil de los beneficiarios y la
localidad en que habitan?.
2.
COHERENCIA
2.1
Coherencia Interna
2.1.1 Las actividades junto con los supuestos a nivel de actividades crean las
condiciones necesarias y suficientes para lograr los productos propuestos por el
programa?
2.1.2 Los productos junto con los supuestos a nivel de producto crean las
condiciones necesarias y suficientes para lograr el propsito buscado?.
2.1.3 El propsito junto con los supuestos a nivel de propsito crean las
condiciones necesarias y suficientes para alcanzar el fin propuesto?.
2.2
la
Coherencia externa
3.
EFICIENCIA
3.1 El costo estimado del programa por beneficiario o producto son razonables o
existen formas alternativas de menor costo para lograr los mismos productos?
3.2 Los productos propuestos al costo estimado se pueden lograr en los plazos
programados?
4. EFICACIA
5. SOSTENIBILIDAD
5.1 Las caractersticas del producto o servicio que el programa pretende otorgar
junto con las condiciones externas (supuestos) permiten prever una duracin
prolongada del Propsito y Fin del programa ?
6. EVALUABILIDAD
6.1 La claridad con que han sido expuestos los objetivos facilitar la evaluacin
futura del programa?
Ficha 3: RECOMENDACIONES
P Muy bueno
P Bueno
P Regular
P Malo
Ficha 3: RECOMENDACIONES
CRITERIO:
Muy Bueno
Bien
Regular
Mal
Justificacin :
Recomendaciones
Antes de la ejecucin
Durante la ejecucin
P Consistente
P Consistente
14
Consistente
Inconsistente
Puntaje Obtenido:
Justificacin tcnica :
Mdulos
1.
I.
Antecedentes
Sub-componentes
Componentes
P
P
Resumen Ejecutivo
Breve
Relevancia del problema
descripcin
del
propuesta
Programa.
- Justificacin.
2. Problema
la
P Presentacin genrica.
P Modelo explicativo: causalidad.
P Datos de Base: Indicadores
P Estado de situacin: historia
solucin
de
las
intervenciones ya efectuadas.
P Anexo:
3. Poblacin.
Estudios Especficos.
P Clasificacin:
Pob. Referencia: con y sin problema.
Pob. Riesgo: con problema.
Pob. Objetivo: con problema
beneficiaria.
posible
5. Localizacin
6. Lnea Base
II. Alternativas
7. Alternativa
IV . Estrateg ia de
Intervencin.
8. Objetivos.
P Caracterizacin
de
intervencin.
Criterios de seleccin
las
reas,
mltiple
P Indicadores pre-intervencin
P Clasificacin:
Optimizacin; Complementacin; Nueva
P Descripcin (idea)
P Justificacin de la Seleccin.
P Desarrollo social: poltica social.
P Fin: problema.
P Propsito: aspecto del problema
que se
P Lneas de accin.
P Operacionalizacin: Metas (niveles de logro,
sobre el problema o la cobertura). Indicadores:
directos, indirectos, cualitativos, cuantitativos.
Verificadores: fuentes primarias o secundarias.
Supuestos: condiciones.
9. Productos.
P Descripcin
P Operacionalizacin:
metas, indicadores,
verificadores, supuestos.
10. Actividades.
P Descripcin.
P Calendarizacin.
P Operacionalizacin:
metas,
indicadores,
verificadores, supuestos.
P Cobertura Poblacional:
beneficiarios directos,
indirectos. Caracterizacin: criterios de seleccin
y plan de incorporacin. Participacin.
11. Cobertura
de
13. Sistema
Evaluacin.
de
14. Requerimientos
y Presupuesto
etapas
P Recursos Humanos
P Recursos Fsicos.
P Presupuesto
de
a)
b)
c)
d)
e)
f)
g)
h)
i)
j)
k)
l)
2 Alternativas de intervencin
a) Se presentan las alternativas de programa desarrolladas a nivel de idea o perfil?
b) Entre las propuestas alternativas se incluye una que corresponda a la
optimizacin de la situacin actual?
c) Se presenta una justificacin tcnica de la alternativa elegida?
3 Estrategia de intervencin
3.4.- Objetivos
a) Estn expresados claramente el objetivo de desarrollo social, fin y propsito
del programa?
b) Se han operacionalizados el fin y el propsito del programa?
c) Es posible observar el cumplimiento del fin y propsito?
d) Los indicadores permitirn efectivamente medir el cumplimiento de los
objetivos?
e) Las metas son plausibles de cumplir?
3.5.- Productos
a) Estn claramente identificados los productos del programa?
b) Se han operacionalizado los productos que se desean lograr?
c) Los indicadores permitirn efectivamente medir el logro de los productos?
d) Las metas son plausibles de cumplir?
e) Las metas estn expresadas en trminos cuantitativos, temporal y de calidad?
3.6.- Actividades
a) Se han descrito las principales actividades del programa?
b) Se han operacionalizado las principales actividades?
c) Los indicadores permitirn efectivamente medir el logro de los productos?
d) Las metas son plausibles de cumplir?
e) Las metas estn expresadas en trminos cuantitativos, temporal y de calidad?
3.8.- Supuestos
a) Se seala la existencia de factores externos que pueden afectar el
cumplimiento de los objetivos, productos y actividades?.
c)
P Consistente
P Consistente
la siguiente
1.- En primer lugar, se establece que en los criterios evaluativos bsicos existen
distintos niveles de importancia. Los dos primeros son generativos de los otros cuatro.
Estos son Dicha clasificacin se basa en el nivel abarcativo de la pertinencia y la
coherencia. La pertinencia del diseo est en razn del diagnstico y su solucin. Y la
coherencia seala la lgica interna y externa del diseo requerida para la resolucin
del problema.
2.- Los otros criterios dependen de los anteriores, dado que son variables dependientes
de la pertinencia y la coherencia.
3.- En base al argumento anterior, se le otorga ponderacin seis a la pertinencia y a la
coherencia. Siendo seis el puntaje mximo. Ambas ponderaciones suman doce.
4.- Por ser los otros criterios dependientes de los dos primeros hemos, se les otorga
una ponderacin tres a cada uno de ellos, como puntaje mximo.
5.- Entonces el puntaje mximo total a alcanzar en los criterios evaluativos es 144 y el
mnimo es 96. Esto se explica en la siguiente tabla
Criterios
Pertinencia
Mximo
6x6=36
Mnimo
6x4=24
Coherencia
Eficiencia
Eficacia
6x6=36
3x6=18
3x6=18
6x4=24
3x4=12
3x4=12
Sustentabilidad
Evaluabilidad
3x6=18
3x6=18
144
3x4=12
3x4=12
96
El ltimo puntaje equivale a tener un promedio de 20 puntos por criterio o nota cinco
promedio, ste constituye el puntaje promedio considerado para ser aprobado con
observaciones. Las observaciones deben ser superadas para alcanzar los 140 puntos
y ser declarado consistente.
Sin embargo, es necesario puntualizar que la pertinencia y coherencia, por ser los
criterios bsicos generativos, deben tener -dentro de los 120 puntos- como mnimo 30
puntos cada una. De lo contrario el programa queda calificado inmediatamente como
inconsistente.
Puntaje de
Puntaje de aprobacin
aprobacin promedio
6x5=30
6x5=30
6x5=30
3x5=15
3x5=15
6x5=30
3x6=18
3x4=12
3x5=15
3x5=15
120
3x5=15
3x6=18
123
BIBLIOGRAFA
Alvira
Ander-Egg Ezequiel
Ander-Egg Ezequiel
Ballart Xavier
Briones Guillermo
CEPAL
Cohen E. y Franco R.
Comit de Ministros
Secretaria Ejecutiva
Comit de Ministros
Secretaria Ejecutiva
EVO
Fontaine Ernesto
Garnier Leonardo
GTZ
MacClure Oscar
Martinic Sergio
MIDEPLAN
MIDEPLAN
MIDEPLAN
MIDEPLAN
MIDEPLAN
MIDEPLAN
MIDEPLAN
de
Ministerio de Hacienda
Ministerio de Hacienda
Ministerio de Hacienda
Ministerio de Hacienda
Monnier Eric
Peroni A. y otros.
PROPOSAL
Vallespin L. P.
Zuiga Victor