Mideplan 04 Doc4 Metodologia Evaluac Ex Ante

- -. . M Me et to od do ol lo og g a a d de e e ev va al lu ua ac ci i n n e ex x a an nt te e: : A An n l li i s s i i s s I In nt te eg gr raal l d de el l D Di i s s e e o o . .
- -

Ministerio de Planificacin y Cooperacin Divisin Social Departamento de Evaluacin
1
Metodologa de evaluacin ex ante
de Programas Sociales

Serie: Material de Apoyo a la Planificacin Social

Documento de Trabajo N 4

Agosto, 2000
El presente documento ha sido elaborado por los profesionales lvaro Espinoza y Andrea
Peroni, bajo la direccin departamental de la seora Ana Quintana. El documento no ha sido
sometido a revisin editorial.
- -. . M Me et to od do ol lo og g a a d de e e ev va al lu ua ac ci i n n e ex x a an nt te e: : A An n l li i s s i i s s I In nt te eg gr raal l d de el l D Di i s s e e o o . .- -

2

INTRODUCCIN

El Ministerio de Planificacin y Cooperacin tiene una alta responsabilidad y
cumple una importante labor en el ejercicio de la funcin de evaluacin del
sector pblico. Por esta razn, desde 1994 ha tenido una particular preocupacin
por el desarrollo de una accin evaluativa ms completa, integrada y coherente
con respecto a los programas sociales.

Como resultado de esta preocupacin la Divisin Social a travs de su
Departamento de Evaluacin Social ha formalizado en este texto una metodologa
para evaluar ex ante programas sociales nuevos de inversin en capital humano y
social, de implementacin a nivel nacional.

La presente propuesta permitir comenzar un proceso de perfeccionamiento
continuo de metodologas para evaluar programas sociales que permitan entregar
informacin de mejor calidad para las decisiones sectoriales y de inversin que
ao a ao debe tomar la administracin.

En la primera parte del documento se sintetizan algunos antecedentes de la
accin evaluativa realizada ex ante en relacin a programas sociales. Cabe
aclarar que la propuesta fue elaborada durante 1999 y el primer semestre del
2000, por consiguiente no recoge los avances institucionales implementados, por
la Direccin de Presupuestos del Ministerio de Hacienda, con el apoyo tcnico
del Ministerio de Planificacin y Cooperacin, durante el segundo semestre del
2000. En la primera parte, tambin se presentan algunos conceptos bsicos que
orientan el desarrollo de la evaluacin.

Posteriormente, en la segunda parte, se presentan argumentos que justifican el
tipo de evaluacin por el cual se ha optado, se identifica el objeto de la
evaluacin, su objetivo central y, finalmente, los principales componentes
metodolgicos, tcnicos e instrumentales que componen la propuesta evaluativa.


3
El enfoque metodolgico que se propone, Anlisis Integral del Diseo, es una
opcin considerada pertinente para el objeto que se desea evaluar, til para los
fines que se persiguen, viable desde un punto de vista tcnico y con sentido de
oportunidad frente a los urgentes requerimientos en esta materia.

Los principales componentes metodolgicos han sido tomados de experiencias
desarrolladas y validadas tanto en Chile como en el extranjero
1
. El instrumental
evaluativo corresponde a una construccin propia, validada con expertos en el
tema
2
y aplicado simuladamente a programas sociales existentes.

Finalmente, en el Anexo, se encuentra el set de fichas tcnicas que guan el
anlisis y la evaluacin del programa, adems se presenta el esquema de
contenidos que debe presentar la propuesta para ser evaluada
3
.

1
Entre estas experiencias se encuentra el Programa de Evaluacin de Proyectos Gubernamentales del
Ministerio de Hacienda y las propuestas de evaluacin desarrolladas e implementadas por el BID y OIT.

2
La pauta de evaluacin fue validada travs del juicio de profesionales de reconocida idoneidad en la
materia como Arstidez Torche (Universidad Catlica), Fernando Salamanca (Unbiversidad de Chile),
Sergio Martinic (Universidad Alberto HurtadoCIDE), Ignacio Irarrazaval (consultor independiente), Rodrigo
Martinez (Divisin Social, CEPAL) , Edgard Ortegn (ILPES), Valeria Snchez D. (Cima, Consultores)
MariaTeresa Gonzalez (consultor independiente), y Cristina Almeida (Universidad Alberto Hurtado).

3
Los contenidos a incluir en la presentacin del programa se desarrollan pedaggicamente en el Manual
de Diseo de Programas Sociales, Departamento de Evaluacin, MIDEPLAN, 2001 y se presentan de manera
sinttica en el texto: Requerimientos de Informacin para la Presentacin de Programas Sociales,
Departamento de Evaluacin, MIDEPLAN; 2001.

4

A AN NT TE EC CE ED DE EN NT TE ES S G GE EN NE ER RA AL LE ES S
Y Y
C CO ON NC CE EP PT TO OS S B B S SI IC CO OS S

5

1. ANTECEDENTES GENERALES DEL ESTADO DE LA EVALUACIN EX
ANTE DE PROGRAMAS SOCIALES
4

La evaluacin ex ante de programas sociales, articulada a la toma de decisiones
sectorial e intersectoiralmente, es una prctica que an hoy puede perfeccionarse
en el sistema pblico chileno.

Los ministerios y servicios pblicos ejecutores de la poltica social no autoevalan
en forma ex ante sus iniciativas de intervencin social que no requieren
ejecucin fsica. Al mismo tiempo, una gran parte de ellas tampoco son analizadas
y recomendadas por el Ministerio de Planificacin y Cooperacin (MIDEPLAN) en
el marco del Sistema Nacional de Inversiones (SNI).

MIDEPLAN, en el SNI, est funcionalmente concebido como un organismo asesor.
En esta calidad le corresponde la coordinacin y compatibilizacin de las
decisiones de inversin, entre los niveles de gobierno y administracin. Debe
realizar la revisin tcnica de los estudios y proyectos de los organismos
pblicos que postulan a financiamiento pblico, y emitir la correspondiente
recomendacin tcnico-econmica. (MIDEPLAN: 1992). En el marco de estas
funciones, MIDEPLAN, como se seala en la primera parte, analiza y recomienda
tcnicamente estudios, programas y proyectos cuyos presupuestos o parte de ellos
son clasificados de inversin real en la glosa del Presupuesto Nacional y algunos
que figuran como transferencias corrientes a otros organismos del sector pblico o
al sector privado y que pertenecen mayoritariamente a sus servicios relacionados
(Conadi, Injuv, Fosis, Sernam).

La ausencia de evaluaciones ex ante sectoriales como de anlisis tcnico de los
programas sociales de inversin en capital humano y social (oficialmente
institucionalizado) por parte de MIDEPLAN, implica que un grupo significativo de

4
Cabe aclarar que los Antecedentes aqu presentados fueron elaborados en base a un diagnstico
realizado durante 1999 y a comienzos del 2000; por consiguiente no se han incorporado los resultados de
la experiencia evaluativa implementada durante el ltimo semestre de 2000, por la Dipres con apoyo de
MIDEPLAN.


6
programas sociales nuevos que postula cada ao a recursos pblicos
5
son
presentados directamente a la Direccin de Presupuesto (Dipres) y, por lo tanto,
pueden llegar a ser financiados sin una recomendacin tcnica independiente de
quienes solicitan los recursos y de quienes los asignan. Por ejemplo, de los 125
programas sociales que fueron considerados prioritarios por el Programa Nacional
de Superacin de la Pobreza (PNSP) el 69% no fue analizado y recomendado por
MIDEPLAN. Si slo se consideran los programas que se empezaron a implementar
de 1990 en adelante este porcentaje es de 64%. Del porcentaje de programas
prioritarios que ingres al SNI a travs de MIDEPLAN (31%), el 49% corresponde a
los que implementan sus propios servicios relacionados. Esto implica que de las
iniciativas implementadas por otros ministerios (101), el 80% no fue recomendado
por MIDEPLAN (Comit Interministerial Social: 1996).

El hecho de que no exista un proceso formal institucionalizado de evaluacin ex
ante de programas sociales nacionales que apoye la toma de decisiones, es una
situacin que resulta paradjica si se considera que la mayor parte de estos
programas estn siendo evaluados ex post por el Programa de Evaluacin de
Proyectos Gubernamentales (PEPG) de la Direccin de Presupuesto (Dipres) con el
fin de informar la discusin presupuestaria en el Congreso. Se instalan
instrumentos formales para enjuiciar lo que ya se ha hecho o se esta haciendo,
pero no se desarrollan otros del << mismo tenor >> para anticipar un juicio a
priori de lo que se va hacer; parece ser una prctica poco recomendable para un
Estado que debe racionalizar la asignacin de los recursos.

De esta manera la evaluacin ex ante, de manera insitucionalizada y con la misma
importancia que tiene la evaluacin ex post, de programas sociales constituye un
vaco en la funcin de evaluacin del sector pblico y, por lo tanto, un desafo
que no se puede rehuir.

2. CONCEPTOS BSICOS EN TORNO A LA EVALUACIN

5
Segn documento del PNSP durante 1992 y 1996 se implementaron anualmente entre 5 a 20 programas
sociales nuevos.


7

2.1.- Los Niveles de la Planificacin y Evaluacin Social

Como se aprecia en la figura N1, es posible distinguir la existencia de 4 niveles
de planificacin en el mbito social: poltica, planes, programas y proyectos
sociales.

Figura N 1
Niveles de Planificacin Social

La poltica social es el primer nivel de la planificacin y se puede entender
como un conjunto de orientaciones gubernamentales conducentes a establecer
acciones pertinentes en aquellas reas sociales consideradas deficitarias con
relacin al desarrollo y crecimiento global del pas (MIDEPLAN: 1997)
Programa 1
Polticas
Programa 2
Proyecto Proyecto
Proyecto
Proyecto
Proyecto Proyecto
Plan A
Programa 3
Programa 4
Proyecto

Plan B

8

Los planes corresponden al segundo nivel de planificacin y se caracterizan por
reunir y coordinar a un conjunto de programas con un objetivo comn,
proponiendo una estrategia de accin compartida. Esta forma de planificacin
recientemente se esta desarrollando en Chile, en el mbito social.

Frecuentemente, ante los pocos planes existentes, la implementacin de la
poltica social se operacionaliza a travs de iniciativas de intervencin que se
expresan formalmente en programas y proyectos sociales.

Se denominar programas sociales a aquellas iniciativas de intervencin que
tienen una doble caracterstica:

aa) ) La primera, corresponde a un tercer nivel de planificacin ya que se
ubica entre el nivel del diseo de los planes y el nivel de diseo de los
proyectos. De esta manera los programas sociales son una expresin de
la poltica y, al mismo tiempo, entregan un marco orientador para la
formulacin e implementacin de proyectos que contribuyan a un
mismo objetivo de impacto
6
. Su duracin, generalmente es mayor a un
ao

bb) ) La segunda caracterstica es el carcter social de la intervencin, el
cual est dado por los fines redistributivos, de equidad o de igualdad
de oportunidades que persigue. Se trata de intervenciones destinadas
a satisfacer necesidades, relevantes para la sociedad, que no pueden
ser resueltas adecuadamente por el mercado debido a las dificultades
que tienen las personas para acceder a l ya sea por razones
econmicas, fsicas o socioculturales. Especficamente se refiere a las
Funciones Sociales que ejerce el Estado, a travs de la Salud,
Vivienda, Educacin, Previsin, Programas de Empleo y Otros
7

6
E. Cohen define programas sociales como un conjunto de proyectos con un mismo objetivo de impacto.
Una definicin similar podemos tiene S. Martinic en: Diseo y Evaluacin de proyectos Sociales (1997:67).

7
La categora de Funciones Sociales, presentadas, proviene de la Clasificacin Funcional de Gasto en:
Estadsticas de las Finanzas Publicas 1988-1997 (Hacienda, 1998: 137)

9
El proyecto social generalmente corresponde a un diseo de cuarto nivel y
constituye la unidad mnima de planificacin de una intervencin o accin social.

La articulacin entre polticas, planes, programas y proyectos, de la manera que
se represent en la figura N1, no siempre es posible de encontrar en la prctica.
Existen proyectos que no forman parte de ningn programa y programas que no
forman parte de un plan. Tambin, hay iniciativas que se denominan programas
pero que no se operacionalizan a travs de proyectos sino que pasan del diseo a
la operacin, funcionan como proyectos aun cuando no se les identifica como
tales.

As como existen iniciativas que no se articulan a un nivel superior de
planificacin, hay otras que si lo hacen. Cada vez ms surgen programas sociales
que se ejecutan a travs de proyectos y servicios pblicos que propician esta
forma de llevar adelante la poltica social.

En cada nivel de planificacin se configura un objeto que debe ser evaluado
permanentemente con el fin de tener un anlisis integral de la Poltica Social, o
sea, se deben considerar como objetos de evaluacin tanto el diseo o propuesta
de intervencin que se identifica como proyecto como aquel que corresponde a
un nivel de planificacin anterior que orienta el diseo de los proyectos y que
comnmente se le llama programa. A su vez, la evaluacin de programas y
proyectos ser necesaria para la evaluacin de los planes o las polticas.

2.2.- La Evaluacin de Programas y Proyectos segn el Momento en que se
Realiza.

En la evaluacin a nivel de programas y proyectos se pueden distinguir diferentes
tipos, segn el momento en que se realiza. Como se muestra en la figura N 2, es
posible separar entre la evaluacin que se realiza antes de que la ini ciativa se
ponga en marcha de aquella que se hace una vez que sta ha comenzado, o sea,
en las etapas de inversin y operacin. A la primera se le denomina evaluacin ex
ante mientras que a la segunda se le llama evaluacin ex post. Entre medio se
halla la evaluacin ex dure.


10
Figura N 2

La Evaluacin segn el Momento en la Vida de un Programa

La evaluacin ex ante se refiere al examen, o valoracin, de una propuesta de
intervencin (programa o proyecto) que busca solucionar o mitigar problemas o
necesidades que aquejan a una comunidad de personas antes de que esta se
realice; por eso es que precede a la asignacin de los recursos que permitirn
posteriormente su implementacin.

El examen ex ante puede basarse en variados tipos de anlisis, los ms conocidos
son el anlisis costo-beneficio, costo-impacto, costo-eficiencia y el anlisis del
diseo basado en la pertinencia y coherencia lgica, entre otros aspectos.

La evaluacin ex dure es la que se realiza durante la implementacin a fin de
observar su funcionamiento y el logro de los productos, entre otros aspectos.

La evaluacin realizada ex post analiza la materializacin de lo que se propuso en
el diseo (examinado en forma ex ante), ya sea una vez que ha concluido o
dentro de su ejecucin. Su objetivo es entregar informacin relevante para
tomar decisiones que mejoren el diseo en que se basa, la gestin de los recursos
involucrados o incluso decidir la continuidad o trmino de la iniciativa. Se trata,

Preinversin

Inversin

Operacin

Ex ante Ex dure

Ex post

11
por lo tanto, de una evaluacin realizada a posteriori de las actividades,
productos o impactos alcanzados por el programa o proyecto.


12

M ME ET TO OD DO OL LO OG G A A D DE E E EV VA AL LU UA AC CI I N N E EX X A AN NT TE E: :

A AN N L LI IS SI IS S I IN NT TE EG GR RA AL L D DE EL L D DI IS SE EO O


13
1. JUSTIFICACIN DE LA OPCIN METODOLGICA

Para elaborar la presente propuesta metodolgica se consider por un lado la
necesidad de evaluar ex ante los programas de intervencin social y, por otro, la
limitada difusin terica y prctica que han alcanzado las metodologas que
constituyen la oferta disponible para evaluacin ex ante.

Desde el punto de vista de las necesidades, la evaluacin ex ante aparece como
una accin imprescindible en un Estado que debe racionalizar la asignacin de
recursos frente a las restricciones presupuestarias existentes, pese a los niveles de
crecimiento econmico sostenido que ha experimentado el pas en la dcada de
los 90.

Las metodologas de evaluacin ex ante asociadas a la asignacin presupuestaria
han mostrado un escaso avance cuando se trata de evaluar programas sociales de
inversin en capital humano y social que no contemplan ejecucin fsica o al
menos no han logrado la legitimidad suficiente para su aplicacin. El desarrollo
metodolgico se basa fundamentalmente en definiciones de la segunda mitad de
los aos 70, plasmadas en las orientaciones del Sistema Nacional de Inversiones
(SNI). Se refieren a la necesidad de asignar recursos a los proyectos de mayor
rentabilidad social, lo que alude a un modelo especfico de evaluacin llamado
Evaluacin Social de Proyectos. En la actualidad dicha metodologa se utiliza
bajo el anlisis costo eficiencia, en los programas analizados por el SNI.

Existe otra metodologa de evaluacin que representa una variante respecto a la
Evaluacin Social de Proyectos como lo es la Evaluacin Costo Efectividad. La
misma permite estimar los costos en relacin a las estimaciones de impacto
propuestas, y entrega una unidad de comparacin llamada CUI (costo por unidad
de impacto), que indica cunto cuesta una unidad de impacto. Sin embargo, no
ha podido ser aplicada, sobre todo en el momento ex ante, porque se requiere
informacin diagnstica y estratgica que permita estimar el impacto a alcanzar y
para ello se requiere de decisiones polticas, tcnicas y financieras que hasta
ahora no se han tomado.


14
Una situacin distinta se observa en la evaluacin ex ante de proyectos sociales
practicada por organismos pblicos que resuelven autnomamente la asignacin
de recursos financieros a proyectos especficos va, generalmente, concurso
pblico. Una mayor flexibilidad metodolgica para evaluar ex ante les permiti
avanzar en el desarrollo y aplicacin de metodologas (que si bien no permiten
establecer la rentabilidad social de un proyecto) logran discriminar entre
proyectos alternativos, asignando recursos a aquellos que ofrecen mayores grados
de certeza respecto al cumplimiento de sus objetivos. Para esto recurren a lo que
se ha denominado Evaluacin del Diseo.

La Evaluacin Social de Proyectos, bajo la versin costo-eficiencia y la
Evaluacin de Proyectos Sociales, bajo el anlisis costo-efectividad no son
alternativas metodolgicas que puedan satisfacer los requerimientos evaluativos
en el corto plazo dada la disponibilidad actual de la informacin y el tiempo que
requieren los procedimientos correspondientes. Adems slo presentan
conclusiones analticas sobre dos aspectos de las propuestas: la rentabilidad social
o el costo por unidad de impacto, pero no se pronuncian sobre los otros aspectos
constituyentes de una intervencin social, por lo tanto, no se asumen como
alternativas metodolgicas para ser desarrolladas en las actuales circunstancias
8
.

De esta manera, la opcin propuesta se basa en la Evaluacin Integral del
Diseo. Tiene la ventaja que permite someter a evaluacin ex ante, en el corto
plazo, a un conjunto importante, sino a todos, los programas sociales nuevos, que
por su envergadura ameriten ser evaluados, con el slo requisito que sus diseos
9

contengan la informacin bsica necesaria para ello. Y permite emitir un juicio
que recoge valoraciones sobre los diferentes componentes de un programa social:
el diagnstico, los objetivos, productos, actividades, costos, recursos, etc.

Adicionalmente, al abarcar en una sola etapa al conjunto de programas sociales
nuevos se favorece el establecimiento de un clima de confianza y transparencia
entre los organismos participantes, en relacin al proceso evaluativo ya que

8
Con esto no se descarta la posibilidad de avanzar paulatinamente en el desarrollo de metodologas que
utilicen criterios de decisin cuantitativos .

9
Para mayores detalles se puede consultar Manual de Diseo de Programas Sociales. Departamento de
Evaluacin. MIDEPLAN, Santiago, 2001.

15
provee de informacin tcnica sobre las bondades de la propuesta que solicitar
recursos. Se establece as claramente que la evaluacin es una funcin
permanente del Estado y que debe ser aplicada por igual al conjunto de las
iniciativas propiciadas por las instituciones pblicas.

2. LA UNIDAD DE ANLISIS

El objeto a ser evaluado a travs de la metodologa que aqu se propone
corresponde al diseo de programas y proyecto sociales de inversin en capital
humano y social, de carcter nacional o interregional que no requieren inversin
fsica o es mnima, diseados a nivel central o regional y que por su envergadura
(recursos requeridos, tipo de problema, urgencia, etc.) requieran someterse a
una evaluacin ex ante.

El diseo de programas y proyectos sociales constituye el insumo principal del
proceso de evaluacin y como tal debe satisfacer los requerimientos de
informacin que hacen posible aplicar los criterios evaluativos que forman parte
de la metodologa
10
.

3. OBJETIVO

El objetivo de esta propuesta es fortalecer el proceso de toma de decisiones al
interior del sector y entre los sectores, as como la asignacin de recursos
pblicos a travs de la evaluacin ex ante de programas sociales nuevos. Dado
que el tipo de evaluacin que se propone est orientada a valorar la consistencia
del diseo de la intervencin social y con ello establecer el nivel de certidumbre
que entrega respecto al logro de los objetivos, permite as consolidar informacin
de base sobre el quehacer pblico, en relacin a los mbitos sociales.

10
En el anexo se presenta un esquema con la informacin que debe contener el diseo de una
intervencin social.

16
4. COMPONENTES METODOLGICOS, TCNICOS E INSTRUMENTALES

La evaluacin integral del diseo se conforma mediante un conjunto de
componentes que hacen posible la evaluacin. Entre ellos se encuentran:

P el Enfoque del Marco Lgico que con su jerarqua de objetivos,
conceptos y relaciones lgicas cruzan el conjunto del anlisis evaluativo;

P los criterios de evaluacin que definen el anlisis a realizar y orientan
al respecto los juicios de valor;
P las pautas de evaluacin que desagregan el anlisis que corresponde
realizar en torno a cada criterio y se constituyen en la gua para el trabajo
de los panelistas.

P el panel de evaluacin constituido por expertos que enjuician el diseo
de los programas sociales

4.1.- El Enfoque del Marco Lgico

El Enfoque del Marco Lgico (EML) si bien fue concebido como una herramienta
de apoyo a la planificacin, ha expandido su uso a la evaluacin, tanto ex ante
como ex post.

Dado que existen varias versiones de ste enfoque, sin muchas ni importantes
diferencias entre s, y con el fin de homogeneizar al mximo los trminos y
conceptos utilizados en el aparato pblico se optar por el enfoque desarrollado
por el BID
11
. ste es el enfoque que actualmente gua las evaluaciones realizadas
por el Programa de Evaluacin de Proyectos Gubernamentales de la Direccin de
Presupuesto (Dipres).

11
BID, 1997.


17
La incorporacin del Enfoque del Marco Lgico en la evaluacin ex ante requiere
que sea utilizado como instrumento de apoyo a la planificacin. As ha sido
explcitamente considerado en el documento Requisitos de Informacin para la
Presentacin de Programas Sociales
12
desarrollado paralelamente a esta
propuesta (en el anexo se presenta un esquema sobre el mismo).

An cuando el EML esta inserto en la formulacin y evaluacin de programas, los
elementos del diseo que se deben analizar exceden a los identificados
tradicionalmente en la Matriz Lgica, por ello se incorporan aspectos como el
diagnstico (analisis del problema, poblacin, locacin, oferta demanda y dficit)
cobertura poblacional, temporal y territorial, modelo de gestin, sistema de
evaluacin y requerimientos y presupuesto.

4.2.- Criterios de Evaluacin

Los juicios que resultan de las evaluaciones ex ante de programas y proyectos
sociales se fundan en un conjunto de criterios que pueden ser econmicos,
sociales, polticos, ambientales, financieros, legales, de gnero o de otro tipo.

Es as como, la Evaluacin Social de Proyectos privilegia los criterios de
eficiencia y rentabilidad social. El anlisis costo efectividad para evaluar
programas y proyectos sociales agrega, al criterios de eficiencia ya mencionado,
el criterio de efectividad (en relacin al logro del impacto estimado).

La Evaluacin Integral del Diseo se basa en el juicio emitido sobre un conjunto
de criterios que permiten valorar de manera integral la propuesta a calificar. Los
criterios que utiliza no son exclusivos, varios de ellos se aplican tambin en otros
enfoques que analizan el diseo. Por ejemplo, para algunos autores, la evaluacin
del diseo sirve para determinar el grado de idoneidad y de factibilidad de las
acciones propuestas (Espinoza, 1980), mientras que para otros, la evaluacin se
basa en el anlisis de consistencia y coherencia (CPU, 1998). En las pautas de
evaluacin de proyectos sociales utilizadas por el Fondo de Solidaridad e
Inversin Social se privilegia el anlisis de los siguientes criterios: pertinencia,

12
Departamento de Evaluacin, Mideplan, Santiago, 2000. Mimeo

18
coherencia, complementariedad e idoneidad institucional y profesional. Por
consiguiente, determinados criterios aparecen ligados a modelos o propuestas
especficas de evaluacin.

La seleccin de criterios, que aqu se ha efectuado ha respondido a los siguientes
requerimientos:

1 1 . . Cada criterio debe poder ser aplicado a todos los programas
sociales que se presenten para ser evaluados, bajo el mismo
entendimiento y operacionalizacin.

2 2 . . Cada criterio debe profundizar una temtica a evaluar. No se
subsumen en otros criterios (excepto consistencia)

3 3 . . Cada criterio debe permitir relacionar los componentes del diseo
(al menos dos)

4 4 . . El conjunto de los criterios seleccionados debe entregar una
visin integral del programa.
5 5 . . El conjunto de criterios debe poder ser aplicado a la evaluacin
ex ante, sin perjuicio que tambin se apliquen a la evaluacin ex
dure y ex post.

Esto llev a extraer de propuestas institucionales, opiniones de expertos y de
modelos de anlisis del diseo, para la evaluacin ex ante, los criterios que
permiten realizar un acucioso examen del diseo de un programa social y que, por
lo tanto, llevan a emitir juicios que entregan seales claras respecto a la
consistencia de los programas evaluados en el sentido de su solidez como
propuestas de intervencin y, por lo tanto, sobre el grado de certidumbre que
entregan respecto al logro de sus objetivos.

De tal manera, el conjunto de criterios seleccionados abren la posibilidad de ser
utilizados en el marco de una metodologa distinta a la original, proponindose as
el ANLISIS INTEGRAL DEL DISEO.


19
Finalmente, los criterios que se utilizan para la evaluacin ex ante del diseo se
presentan en la figura siguiente:

Figura N 3
Criterios Evaluativos y Niveles de Anlisis

a) Pertinencia.

Para llegar a establecer la pertinencia de un programa se debern realizar los
siguientes anlisis:

1 Nivel de Anlisis

Emiten juicios parciales sobre temticas especficas

Pertinencia

Coherencia

Eficacia

Eficiencia

Sostenibilidad

Evaluabilidad

Consistencia
Se emite un juicio integrado, en base a los juicios parciales anteriores

2 Nivel de Anlisis

La pertinencia de un programa es el grado de adecuacin de la propuesta
de intervencin a las necesidades y perfil de la poblacin objetivo


20
P Analizar en qu medida los objetivos (Fin y Propsito) y productos a lograr
se ajustan al problema y sus causas identificadas en el diagnstico. El
diseo de un programa ser pertinente si el programa se propone revertir
las causas del problema y si finalmente el Fin expresa un cambio positivo
en problema o necesidad de la poblacin objetivo.

P Establecer el grado en que las actividades y metodologa de intervencin
es adecuada al perfil de la poblacin objetivo del programa.
Caractersticas de tipo social, cultural o econmica que presentan los
potenciales beneficiarios de un programa pueden hacer ms o menos
coherente la metodologa de entrega de un bien o servicio y las
actividades necesarias para producirlo.

Figura N 4

Esquema Analtico de la Pertinencia

b) Coherencia

Problema o necesidad

Causas del problema

Poblacin objetivo
Fin

Propsito
Productos

Actividades

La coherencia de un programa corresponde al carcter lgico de la
relacin entre los diferentes contenidos del diseo y entre ste y
elementos externos como la poltica social y el resto de la oferta
pblica. De esta manera, el anlisis de coherencia de un programa
adquiere dos dimensiones: interna y externa.

21

Coherencia externa: Se refiere al grado de coherencia lgica entre el
diseo de la intervencin y las polticas que orientan la accin social del
gobierno y la oferta pblica existente, extra e intra-institucional.

Los programas sociales son la expresin prctica de la poltica social por lo que
debe existir una estrecha relacin entre las orientaciones de dicha poltica y la
acogida que tienen en el diseo del programa.

La necesidad de relacionar el programa que est siendo evaluado con otros
programas sociales en ejecucin, se debe a que dependiendo de los niveles de
coordinacin de la accin social pblica es posible que para una misma necesidad
puedan surgir iniciativas programticas complementarias, pero tambin puede
ocurrir que se dupliquen esfuerzos innecesariamente, que se creen nuevos
programas cuando lo ms recomendable sea fortalecer los ya existentes o que se
comparta entre dos o ms programas semejantes una misma poblacin objetivo.

Figura N 5
Esquema Analtico de la Coherencia Externa

Coherencia interna : Es el grado de coherencia lgica entre los distintos
elementos centrales que componen el diseo, tanto en su eje vertical
(actividades, productos, propsito y fin) como horizontal (indicadores,
metas, fuentes de verificacin y supuestos). Para este anlisis se utilizar
el Enfoque del Marco Lgico, especficamente, como se muestra en la
figura N 6, el encadenamiento de las hiptesis que articulan lgicamente
los distintos niveles de objetivos y su operacionalizacin.

Poltica general y social
del gobierno

Oferta pblica
(diagnstico)
Objetivo de
desarrollo

Propsito
Productos


22

Figura N 6
Esquema Analtico de la Coherencia Interna

Fin F. Verific. Supuestos

Propsito

Productos

Actividades

c) Eficiencia

El anlisis de la eficiencia implica considerar si el costo estimado del programa es
adecuado para las actividades y productos que se desean obtener y si estos
ltimos se podrn entregar en el tiempo programado. El programa ser eficiente
cuando su costo (por ejemplo, costo medio por beneficiario o producto) sea
menor al de otras alternativas de produccin comparables.

entonces
si
si
si
entonces
entonces
Indicadores y
metas
Indicadores y
metas
Indicadores y
metas
Indicadores y
metas
F. Verific.
F. Verific.
F. Verific.
Supuestos
Supuestos
Supuestos

La eficiencia, en la evaluacin ex ante, se refiere a la relacin entre el
cumplimiento de los productos del programa al menor costo posible y en
el tiempo programado.


23
El modelo de gestin y organizacin de las actividades debern entregar certezas
sobre el logro de los productos en el tiempo programado.

Figura N 7
Esquema Analtico de la Eficiencia

d) Eficacia

El anlisis de la eficacia se hace desprovisto del costo involucrado en la
obtencin de los productos y objetivos, lo que interesa es conocer a priori el
grado de certeza que otorga el diseo, especialmente su modelo de gestin y
antecedentes institucionales, respecto al logro de los productos y sus efectos en
los beneficiarios.

Figura N 8

Costo medio por
beneficiario o producto

Plazos de produccin
Costos de alternativas de
produccin

Actividades

Modelo de Gestin

La eficacia, en la evaluacin ex ante, se refiere al grado en que se
podrn alcanzar las metas de los objetivos y productos, en un perodo de
tiempo determinado.

24
Esquema Analtico de la Eficacia

e) Sostenibilidad

En la sostenibilidad de un programa influye aspectos tales como la
institucionalidad pblica, condiciones de inestabilidad econmica y social del
metasistema que rodea al programa, voluntarismo o escasa evidencia cientfica
sobre la viabilidad tcnica de la estrategia de intervencin, desapego de los
beneficiarios por el verticalismo tradicional de los programas, y otras del mismo
tenor. Para observar estos aspectos que influyen en la sostenibilidad de un
programa se deben analizar, los supuestos de la estrategia de intervencin, las
caractersticas de los productos, la participacin de los beneficiarios y la
institucionalidad pblica en que se incerta la iniciativa.

Se entender por sostenibilidad la capacidad del programa de mantener en
un perodo prolongado de tiempo el flujo de beneficios que forman parte de
sus objetivos de intervencin.

Propsito

Productos

Beneficiarios
Modelo de Gestin
Actividades
Recursos Humanos
Evaluacin ex dure

25

Figura N9
Esquema Analtico de la Sostenibilidad

f) Evaluabilidad

El juicio sobre la evaluabilidad debe fundarse en el anlisis de los objetivos,
actividades, indicadores, metas y sistema de evaluacin propuesto en el diseo
del programa. Ser evaluable en la medida que en su diseo se establezcan
estndares con los cuales se puedan comparar los resultados obtenidos. Para ello
deber contar con objetivos claros, actividades programadas, indicadores que
permitan observar el cumplimiento de los objetivos y metas realmente plausibles
de lograr y un sistema de evaluacin pertinente al tipo de intervencin que se
trate.

Fin y propsito
sostenible

Caractersticas de los
productos o servicios ms
los supuestos

Institucionalidad
pblica

Participacin de los
beneficiarios

Corresponde al grado en que el sistema evaluativo descrito en la
presentacin del programa permitir efectivamente realizar las
evaluaciones ex dure y ex post adecuadas.

26

Figura N10
Esquema Analtico de la Evaluabilidad

g) Consistencia

El criterio de consistencia se construye en relacin a la valoracin entregada por
el anlisis de los criterios antes mencionados. El grado mximo de solidez se
obtiene en la medida que el programa sea: pertinente, coherente, eficiente,
eficaz, sostenible y evaluable.
Indicadores y metas de
productos y actividades

Objetivos
Indicadores y metas

Propuesta de evaluacin
ex post

Evaluacin ex dure

Evaluacin ex post

Objetivos del programa
Perfil de los
beneficiarios

Se refiere al grado de solidez de la propuesta de intervencin y por lo tanto
entrega niveles adecuados de certidumbre respecto al logro de sus objetivos.


27

Figura N11
Esquema Valorativo de la Consistencia

En la figura siguiente se muestra un breve resumen del significado atribuido a
cada uno de los criterios de evaluacin.
Pertinencia

Coherencia

Eficiencia

Eficacia

Sostenibilidad

Consistencia

- -.. M Me et to od do ol lo og g a a d de e e ev va al lu ua ac ci i n n e ex x a an nt te e: : A An n l li is s i i s s I I n ntte eg gr ra al l d de el l D Di i s s e e o o . .- -

28
Figura N 12: Anlisis Integral del Diseo. Criterios de evaluacin

Diseo de
un
Programa
Social
Consistente
Pertinente: Grado de adecuacin de
la estrategia segn necesidades y
poblacin objetivo
Coherente: Relacin lgica del
diseo interna y externa
Eficiente: Grado de cumplimiento de
los productos segn costo y tiempo
Eficaz: Grado de
cumplimiento del
propsito y productos
Sostenible:
Mantencin de los
flujos de beneficios
Evaluable: Grado en el que el diseo permite
la evaluacin ex dure y ex post

29
Como se aprecia en la figura anterior, para evaluar ex ante un programa social en
funcin de cada uno de los criterios se debern abrir varios focos de analizar,
donde se valoriza la informacin que contiene el diseo. De esta manera se podr
obtener un juicio basado en el Anlisis Integral del Diseo.

4.3.- Pautas de Evaluacin

Las pautas son un conjunto de preguntas, agrupadas de acuerdo a los criterios de
evaluacin antes mencionados, que orientan el anlisis segmentado de los
evaluadores para que estos finalmente y de manera deductiva puedan emitir un
juicio respecto del diseo de un programa de intervencin social. As, las
interrogantes no surgen de manera arbitraria sino que se desprenden lgicamente
del desarrollo conceptual y operacionalizacin que previamente se ha hecho de
cada criterio de evaluacin.

Las interrogantes que integran las pautas conducen a que el evaluador pueda
contrastar la informacin contenida en un diseo de intervencin y el anlisis que
hace de ellas, con sus propios conocimientos y experiencias.

Para reproducir el proceso que debe seguir el estudio evaluativo se elabor un
set fichas (ver anexo I), a saber:

P La primera ficha corresponde a una sistematizacin de los principales
elementos del diseo
13
.

P En la segunda ficha se presentan las preguntas que orientan el anlisis
de los elementos o antecedentes del programa en funcin de cada uno de
los criterios de evaluacin.

P La tercer ficha es la destinada a emitir juicios y recomendaciones
respecto al diseo.

13
El anlisis de la primera ficha, sobre la informacin que presenta la propuesta, puede ser realizado con
el apoyo de los ltimos dos anexos: el listado de requerimientos de informacin que debe contener el
programa y una batera de preguntas que orientan el primer anlisis de la informacin all presentada.

30

P La cuarta ficha recoge el juicio final sobre el diseo del programa social
evaluado.

4.4.- Panel de Evaluacin

Las experticias requeridas para emitir juicios sobre el diseo de un programa
social son muy difciles de reunir en una sola persona, por lo que se hace
recomendable constituir grupos de profesionales que en su conjunto renan los
conocimientos y experiencias necesarias para analizar y evaluar la propuesta de
intervencin. Es por ello que se conformarn paneles de evaluacin a los cuales
deben confluir experticias en el mbito de la evaluacin de programas y
proyectos, conocimientos y experiencias en el rea de intervencin o problema
que el programa desea solucionar o mitigar, conocimiento del sector pblico y
experiencia al nivel poltico administrativo en que se implementar el programa.

Los panelistas tras sucesivas reuniones de trabajo destinadas a analizar el objeto y
responder las interrogantes contenidas en pautas preparadas con ese fin, debern
emitir juicios de valor respecto al diseo programtico.

La implementacin de una evaluacin del diseo por juicio de expertos da por
sentada la existencia de personas que tienen suficientes conocimientos,
experiencias y capacidades como para llegar a emitir juicios sobre la
consistencia de un programa a travs del anlisis integral del diseo, guiado por
las pautas de evaluacin, y por el dialogo con informantes claves.

La certeza respecto a la existencia de los expertos se basa en experiencias
parecidas desarrolladas por organismos nacionales como el Fosis, Conace, Fondart
y Dipres.

Los incentivos orientados a despertar el inters de los expertos por participar, as
como el sistema de identificacin y seleccin debern asegurar la constitucin de
paneles idneos que evalen los programas sociales y otorguen legitimidad al
sistema.

31

a) Composicin de los paneles de evaluacin

Origen de los expertos

En un panel deben estar los mejores expertos independientemente de donde
trabajen. As tendrn cabida aquellos que se desempeen en el sector privado,
instituciones acadmicas, organismos internacionales e instituciones pblicas.

Sin embargo, la independencia de los evaluadores para emitir sus juicios respecto
al diseo de un programa social lleva a plantear que no podrn formar parte del
panel quienes al momento de hacer la evaluacin mantienen alguna relacin
contractual con el ministerio o servicio responsable del programa que se evaluar.
Durante el tiempo que dure la evaluacin sta condicin deber ser mantenida.

Para cautelar una relacin eficiente entre el costo de la evaluacin y el monto de
los recursos solicitados por los programas, la composicin del panel estar ms
abierta a profesionales del sector privado cuando los recursos solicitados sean
altos y ms restringida cuando estos sean menores.

Nmero de integrantes por panel

La cantidad de expertos que conformarn los paneles depende de la complejidad
del objeto a evaluar y de la experticia mltiple de los evaluadores.

Los programas sociales pueden presentar altos niveles de complejidad y
envergadura segn sea su escala de intervencin, estructura de financiamiento,
recursos involucrados, tipo de impactos directo e indirectos, modelo de gestin y
sistema de evaluacin.

Mientras ms sean las reas del conocimiento que se requieran dominar para
analizar el diseo de un programa social, la tendencia podra ser a aumentar el
nmero de expertos que compondrn un panel.

Para no extender el nmero de integrantes hasta un punto en que el trabajo se
hace ineficiente y considerando, por un lado, la experiencia en esta materia

32
desarrollada por el Programa de Evaluacin de Proyectos Gubernamentales de la
Dipres y, por otro lado, se podr recurrir a especialistas en materias que sean
muy especficas, es que se conformarn paneles con 3 o 5 miembros procurando
incorporar a l profesionales que integren dos o ms experticias en mbitos
relevantes para el anlisis y evaluacin de un programa. El hecho que sea una
cantidad impar busca facilitar la emisin de juicios de mayora cuando no se
produzcan consensos.

b) Funcionamiento del panel de evaluacin

Cada panel contar con un Coordinador nominado por MIDEPLAN, el cual
tendr la responsabilidad de conducir el trabajo del panel y relacionarse
formalmente con la instancia responsable de la evaluacin.

Los paneles podrn solicitar la contratacin de especialistas para analizar
materias muy especficas que requieran de expertos con alto grado de
especializacin o bien estudios cortos de carcter complementario.

Los miembros del panel debern dedicar 40 hrs. cronolgicas de trabajo
durante 1,5 meses con excepcin del Coordinador que dispondr de 10
horas ms para dedicarse a materias que le permitan cumplir con su
responsabilidad.

El panel deber sostener al menos 2 reuniones con equipos responsables
del programa que se est evaluando. Una de ellas, la primera, ser de
presentacin del programa por parte de la institucin responsable,
mientras la otra estar destinada a compartir con ellos el informe
preliminar del panel. Adems, el panel solicitar las reuniones que estime
necesarias para resolver dudas o requerir informacin complementaria


33
5. ORGANIZACIN FUNCIONAL DEL PROCESO DE EVALUACIN

La implementacin de la evaluacin ex ante de programas sociales requiere de
una institucionalidad que aproveche el know how existente en el sector pblico.
En este sentido, la experiencia el Sistema Nacional de Inversiones (SNI) indica la
conveniencia de respetar las funciones que estn definidas en l.

Esto significa que las responsabilidades de las funciones de gobierno, asesora y
administracin que forman parte del proceso de inversin pblica recaen en los
mismos organismos de nivel nacional que actualmente las ejercen, es decir,
Presidencia de la Repblica, Ministerio de Hacienda, MIDEPLAN, Ministerios,
Empresas del Estado, Oficinas Ministeriales de Planificacin, Direcciones o
Servicios.


34

A ANNE EX XO OS S


35
I.- PAUTAS DE EVALUACIN

Ficha 1: ANTECEDENTES DEL PROGRAMA

A travs de la presente ficha se pretende que los evaluadores puedan recoger los
elementos centrales de la propuesta y, al mismo tiempo, se transforma en un
ejercicio que les permitir adentrarse en su contenido.

1. Antecedentes generales

Nombre del programa:

Institucin responsable:

Grupo objetivo: Problema:
Monto solicitado: Otras instituciones participantes:

Identificacin presupuestaria:
Ao de inicio: Ao de termino:

2. Diagnstico

2.1 Describa en forma muy concreta el problema identificado y caracterizado en
el diagnstico

2.2 Seala las causas del problema


36
2.3 Seale los efectos del problema

2.4 Identi fique a las distintas poblaciones afectadas por el problema

2.5 Seale la oferta publica y privada existente para solucionar el problema

2.6 Seale la demanda estimada en el diagnstico

2.7 Indique el dficit estimado en el diagnstico

3. Alternativas de intervencin

3.1 Identifique las alternativas de intervencin programtica sealadas en la
propuesta

3.2 Seale los elementos que justifican la eleccin de la propuesta presentada

4. Estrategia de intervencin


37
4.1 Describa la cobertura del programa en trminos de su poblacin beneficiaria,
localizacin y temporalidad

4.2 Escriba el objetivo de desarrollo social

4.3 Escriba el fin propuesto

4.4 Escriba el propsito del programa

4.5 Seale los productos del programa

4.6 Seale las actividades propuestas en el diseo

4.7 Describa los principales elementos del modelo de gestin del programa.

4.8 Describa el sistema de evaluacin propuesto (monitoreo, evaluacin ex post)

4.9 Presupuesto solicitado


38


39

Ficha 2: CRITERIOS EVALUATIVOS

El anlisis del diseo del programa deber hacerse siguiendo las preguntas
formuladas en esta pauta ms aquellas que hubiesen sido incorporadas por los
panelistas en comn acuerdo con la contraparte tcnica.

Frente a cada tema o pregunta el panel deber hacer un anlisis de los elementos
o relaciones sobre los cuales se interroga.

1. PERTINENCIA

1.1 El modelo causal explicativo rene efectivamente las principales o ms
relevantes causas del problema?

1.2 La informacin que se aporta en el diagnstico permita explicar las
relaciones de causa-efecto?

1.3 La intervencin que supone el programa se hace a nivel de las causas del
problema sealadas en el diagnstico?.

1.4 El Fin del programa da cuenta de una solucin o mitigacin del problema o
necesidad detectada en el diagnstico.?.


40
1.5 Las actividades del programa son adecuadas al perfil de los beneficiarios y la
localidad en que habitan?.

2. COHERENCIA

2.1 Coherencia Interna

2.1.1 Las actividades junto con los supuestos a nivel de actividades crean las
condiciones necesarias y suficientes para lograr los productos propuestos por el
programa?

2.1.2 Los productos junto con los supuestos a nivel de producto crean las
condiciones necesarias y suficientes para lograr el propsito buscado?.

2.1.3 El propsito junto con los supuestos a nivel de propsito crean las
condiciones necesarias y suficientes para alcanzar el fin propuesto?.

2.1.4 En relacin al Fin, corresponde lgicamente la operacionalizacin
horizontal (indicadores, metas, fuentes de verificacin)?.

2.1.5 En relacin al propsito, corresponde lgicamente la operacionalizacin


41
2.1.6 En relacin a los productos, corresponde lgicamente la operacionalizacin

2.1.7 En relacin a las actividades, corresponde lgicamente la
operacionalizacin horizontal (indicadores, metas, fuentes de verificacin)?.

2.2 Coherencia externa

2.2.1 La propuesta programtica es coherente con polticas sociales especficas y
generales que orienta la accin pblica?

2.2.2 El programa se inserta adecuadamente en el conjunto de la oferta pblica,
extra e intra-institucional?

3. EFICIENCIA

3.1 El costo estimado del programa por beneficiario o producto son razonables o
existen formas alternativas de menor costo para lograr los mismos productos?

3.2 Los productos propuestos al costo estimado se pueden lograr en los plazos
programados?

42

3.3 En qu medida el modelo de gestin favorecen el uso eficiente de los
recursos?

3.4 La evaluacin ex dure propuesta entregar seales oportunas para el buen
funcionamiento del programa y el logro de los productos en los plazos
programados?

4. EFICACIA

4.1 En que medida el modelo de gestin permite alcanzar adecuadamente el
propsito?

4.2 Se garantiza el logro de los productos, a travs del modelo de gestin
propuesto?

4.3 En qu medida las actividades programadas garantizan el logro de los
productos en el plazo estimado?

4.4 En qu medida los recursos humanos requeridos, que implementarn el

43
programa da garantas de cumplimiento de los productos?

4.5 La evaluacin ex dure propuesta entregar insumos para observar el logro de
los productos y sus efectos en los beneficiarios?

5. SOSTENIBILIDAD

5.1 Las caractersticas del producto o servicio que el programa pretende otorgar
junto con las condiciones externas (supuestos) permiten prever una duracin
prolongada del Propsito y Fin del programa ?

5.2 El nivel de participacin de los beneficiarios le da sostenibilidad al
programa?

5.3 La institucionalidad pblica en que se inserta el programa favorece la

44
mantencin de beneficios en aquellas personas o familias que egresan del
programa?

6. EVALUABILIDAD

6.1 La claridad con que han sido expuestos los objetivos facilitar la evaluacin
futura del programa?

6.2 La operacionalizacin de los productos y actividades facilitar el monitoreo
del programa?
(calidad de los indicadores y validez de las metas).

6.3 La operacionalizacin de los objetivos facilitar la evaluacin ex post del
programa?

6.4 El sistema de evaluacin ex post propuesto es adecuado a los objetivos del
programa y perfil de los beneficiarios?

Ficha 3: RECOMENDACIONES

En esta pauta el panel deber emitir un juicio en torno a cada criterio de
evaluacin. El juicio evaluativo debe ir acompaado de una justificacin basada
en el anlisis expresado en la pauta correspondiente.


45
A continuacin, se deben indicar las recomendaciones en forma jerarquizadas, de
mayor a menor importancia. Las recomendaciones debern separarse entre
aquellas que requieren ser incorporadas al diseo antes de su implementacin y
las que pueden ser integradas o desarrolladas durante su operacin.

Los juicios debern expresarse de acuerdo a las siguientes categoras y
significados:

P Muy bueno : Cuando el diseo cumple totalmente con el criterio y,
por lo tanto, no requiere modificaciones.

P Bueno : Cuando el diseo cumple con el criterio analizado
pero puede ser mejorado antes o durante su implementacin

P Regular : Cuando el diseo segn el criterio de evaluacin que
corresponda alcanza un nivel de desarrollo que requiere de modificaciones
importantes previas a su implementacin.

P Malo : Cuando no satisface requerimientos mnimos y deben
hacerse cambios profundos en el diseo.


46
Ficha 3: RECOMENDACIONES

CRITERIO:

Muy Bueno Bien Regular Mal

J ustificacin :

Recomendaciones

Antes de la ejecucin Durante la ejecucin


47
Ficha 4: VALORACIN FINAL DEL PROGRAMA

En base a las recomendaciones antes presentadas y segn el anlisis realizado
de cada criterio se debe entregar el juicio final sobre las bondades o
limitaciones de la propuesta programtica.

El juicio final se refiere a la consistencia del programa, y la misma se define
como el grado de solidez de la propuesta, que permite entregar niveles
adecuados de certidumbre respecto del logro de los objetivos a alcanzar.

La valoracin final sobre el nivel de consistencia del programa, se elabora de
sobre los antecedentes analticos antes enunciados y se basa en la ponderacin
14

de los criterios evaluativos y en las conclusiones y recomendaciones desarrolladas
en las fichas 3. Recoge el anlisis realizado en los criterios de Pertinencia,
Coherencia, Eficiencia, Eficacia, Sostenibilidad y Evaluabilidad.

El juicio final se emite mediante el uso de las siguientes categoras:

P Consistente ( C): presenta niveles de certeza amplios dado el
desarrollo alcanzado en los criterios anteriores.

P Consistente con Observaciones (CO): presenta niveles de
certeza adecuados en relacin a la informacin obtenida en el
anlisis de los criterios, sin embargo existen reparos sobre algunas
temticas en particular.

P Inconsistente (I): presenta limitados niveles de certeza. En base
al anlisis realizado, en torno a los 6 criterios anteriores, se observa
que en la mayora de los mismos se presentan recomendaciones
importantes para ser incorporadas antes de la implementacin.

14
En el Anexo IV se presenta la metodologa correspondiente para ponderar los criterios evaluativos.

48
Ficha 4: VALORACIN FINAL

Criterio conclusivo: CONSISTENCIA

Consistente Consistente con Observaciones Inconsistente

Puntaje Obtenido:

J ustificacin tcnica :


49


50
II.- ESQUEMA DE CONTENIDOS

Contenidos que debe incluir el Documento Final del Programa,
para ser evaluado ex ante.

Mdulos

Componentes

Sub-componentes

I I . .
A An nt te ec ce ed de en nt te es s

1. Breve
descripcin del
Programa.
- Justificacin.
P Resumen Ejecutivo
P Relevancia del problema y la solucin
propuesta

2. Problema
P Presentacin genrica.
P Modelo explicativo: causalidad.
P Datos de Base: Indicadores
P Estado de situacin: historia de las
intervenciones ya efectuadas.
P Anexo: Estudios Especficos.

3. Poblacin.
P Clasificacin:
Pob. Referencia: con y sin problema.
Pob. Riesgo: con problema.
Pob. Objetivo: con problema y posible
beneficiaria.
P Caracterizacin socioeconmica y cultural: en
relacin al problema, subgrupos.
P Proyeccin sobre poblacin en riesgo.

I II I. . DDi ia ag gn n s st ti ic co o

4. Determinacin de
la Oferta y la
Demanda.
P Oferta, pblica o servicios.
P Demanda: existente y proyectada.
P Dficit: brecha.


51

5. Localizacin
P Caracterizacin de las reas, mltiple
intervencin.
Criterios de seleccin

6. Lnea Base
P Indicadores pre-intervencin

I II I. . AAl lt te er rnna at ti iv va as s

7. Alternativa

P Clasificacin:
Optimizacin; Complementacin; Nueva
P Descripcin (idea)
P Justificacin de la Seleccin.

8. Objetivos.
P Desarrollo social: poltica social.
P Fin: problema.
P Propsito: aspecto del problema que se
alcanza con los productos.
P Lneas de accin.
P Operacionalizacin: Metas (niveles de logro,
sobre el problema o la cobertura). Indicadores:
directos, indirectos, cualitativos, cuantitativos.
Verificadores: fuentes primarias o secundarias.
Supuestos: condiciones.

9. Productos.
P Descripcin
P Operacionalizacin: metas, indicadores,
verificadores, supuestos.

I IV V. . E Es st tr ra at te eg gi ia a d de e
I In nt te er rv ve en nc ci i n n. .

10. Actividades.
P Descripcin.
P Calendarizacin.
P Operacionalizacin: metas, indicadores,
verificadores, supuestos.


52

11. Cobertura
P Cobertura Poblacional: beneficiarios directos,
indirectos. Caracterizacin: criterios de seleccin
y plan de incorporacin. Participacin.
P Cobertura Espacial: criterios para el plan de
incorporacin.
P Cobertura Temporal: fases, tiempos.

12. Modelo de
Gestin
P Estructura Organizativa. Organigrama
P Institucionalidad
P Coordinacin
P Recursos
P Fiscalizacin y Control

13. Sistema de
Evaluacin.

P Evaluacin de Proceso: malla de verificacin
P Evaluacin ex post: focos de observacin,
modelos, instrumentos, etapas de
implementacin, calendarizacin.

14. Requerimientos
y Presupuesto
P Recursos Humanos
P Recursos Fsicos.
P Presupuesto


53
III.- REQUERIMIENTOS DE INFORMACIN

Set de preguntas para orientar la evaluacin

A continuacin se presentan un conjunto de preguntas que permitirn chequear la
existencia y calidad de la informacin requerida en el diseo del programa a
evaluar. Este set de preguntas se puede emplear para completar la Ficha 1:
Antecedentes del Programa.

1 1 Diagnstico

aa) ) En el diagnstico se identifica el problema que se desea abordar con el
programa?

bb) ) Se presenta en el diagnstico un modelo explicativo que identifique causas
y efectos del problema y los indicadores que respaldan dicha relacin?.

cc) ) El diagnstico incluye un anlisis de la oferta existente dirigida a satisfacer
el problema o necesidad detectada.?

dd) ) El diagnstico incluye una estimacin de la demanda por bienes y/o
servicios necesarios para satisfacer su necesidad para todo el horizonte de
implementacin del programa?.

ee) ) Se ha calculado el dficit existente?

ff) ) Se han caracterizado a las distintas poblaciones (poblacin de referencia,
carenciada y objetivo)?.

gg) ) Se ha hecho una caracterizacin de la poblacin objetivo?

hh) ) Se ha explicitado el criterio y el procedimiento utilizado en la estimacin
de la poblacin carenciada y objetivo?


54
ii) ) Se indican los atributos que debe tener la poblacin que acceder al
programa?

jj) ) Los potenciales beneficiarIos tuvieron participacin en la fase de
diagnstico?

kk) ) Se describe la localizacin del problema?

ll) ) Se describe la metodologa y se citan las fuentes de informacin utilizadas
para la elaboracin del diagnstico?

2 2 Alternativas de intervencin

a) Se presentan las alternativas de programa desarrolladas a nivel de idea o perfil?

b) Entre las propuestas alternativas se incluye una que corresponda a la
optimizacin de la situacin actual?

c) Se presenta una justificacin tcnica de la alternativa elegida?

3 3 Estrategia de intervencin

3.1.- Cobertura poblacional

a) Se seala el nmero de beneficiarios directos que participar en cada ao del
programa y el porcentaje que representa en relacin al total de la poblacin
objetivo?.

b) En caso de que la cobertura no sea del 100%, Se presenta una justificacin de
por qu no se cubre el total de la poblacin objetivo?.

c) Se describe el tipo de participacin que tendrn los beneficiarios en el
desarrollo del programa?


55
d) Se identifica el nmero de beneficiarios que indirectamente sern favorecidos
por el programa?

3.2.- Cobertura territorial

a) Se identifican las reas geogrficas en las que se realizar la intervencin
durante todo el horizonte de implementacin?

b) Se entrega criterios que justifiquen la priorizacin que se ha hecho de algunos
territorios en relacin a otros?

c) Se presenta el plan de incorporacin de las regiones o localidades?

3.3.- Cobertura temporal

a) Se mencionan las razones que explican el horizonte de implementacin del
programa?

b) Se mencionan y explican las fases de desarrollo del programa?

3.4.- Objetivos

a) Estn expresados claramente el objetivo de desarrollo social, fin y propsito
del programa?

b) Se han operacionalizados el fin y el propsito del programa?

c) Es posible observar el cumplimiento del fin y propsito?

d) Los indicadores permitirn efectivamente medir el cumplimiento de los
objetivos?

e) Las metas son plausibles de cumplir?

56

f) Las metas estn expresadas en trminos cuantitativos, temporal y de calidad?

3.5.- Productos

a) Estn claramente identificados los productos del programa?

b) Se han operacionalizado los productos que se desean lograr?

c) Los indicadores permitirn efectivamente medir el logro de los productos?

d) Las metas son plausibles de cumplir?

e) Las metas estn expresadas en trminos cuantitativos, temporal y de calidad?

3.6.- Actividades

a) Se han descrito las principales actividades del programa?

b) Se han operacionalizado las principales actividades?

c) Los indicadores permitirn efectivamente medir el logro de los productos?

d) Las metas son plausibles de cumplir?

e) Las metas estn expresadas en trminos cuantitativos, temporal y de calidad?

3.7.- Fuentes de verificacin

a) Se identifican las fuentes a las cuales se propone recurrir para obtener
informacin que permita verificar el cumplimiento de objetivos, productos y
actividades?


57

3.8.- Supuestos

a) Se seala la existencia de factores externos que pueden afectar el
cumplimiento de los objetivos, productos y actividades?.

3.9.- Modelo de Gestin

a) Se identifican a las instituciones que participarn en la implementacin del
programa y el rol que les est asignado?

b) Se presenta un esquema organizacional del programa?

c) Se sealan las funciones que deben cumplir los distintos rganos de la
organizacin?

d) Se describe el tipo de participacin que han tenido las instituciones, requeridas
en la implementacin, durante el diseo de la estrategia de intervencin?

3.10.- Sistema de evaluacin

a) La propuesta de evaluacin ex dure cuenta con objetivos, focos, instrumentos,
plazos etc.?

b) La propuesta de evaluacin ex dure permitir aportar informacin oportuna
sobre el funcionamiento del programa?

c) La propuesta de evaluacin ex post cuenta con objetivos, focos, instrumentos,
plazos, etc.?

3.11.- Requerimientos y Presupuesto


58
a) Se presenta el presupuesto para todo el horizonte de funcionamiento del
programa?

b) El presupuesto est desagregado en tems relevantes para la evaluacin?

c) Se entrega informacin suficiente sobre loa recursos humanos y fsicos
requeridos para la implementacin del programa?


59
IV.- PONDERACIN DE LOS CRITERIOS EVALUATIVOS

Valoracin Final: Metodologa para realizar la ponderacin

La Metodologa de Evaluacin ex ante propone seis criterios evaluativos bsicos, a
saber: pertinencia, coherencia, eficiencia, eficacia, sustentabilidad y evaluabilidad.

Cada criterio evaluativo debe ser calificado segn las categoras muy bueno, bueno,
regular y malo.

La valoracin final del programa se clasifica segn las categoras consistente,
consistente con observaciones e inconsistente, correspondiendo a los siguientes
significados:

P Consistente ( C): presenta niveles de certeza amplios dado el
desarrollo alcanzado en los criterios anteriores.

P Consistente con Observaciones (CO): presenta niveles de certeza
adecuados en relacin a la informacin obtenida en el anlisis de los
criterios, sin embargo existen reparos sobre algunas temticas en
particular.

P Inconsistente (I): presenta limitados niveles de certeza. En base al
anlisis realizado, en torno a los 6 criterios anteriores, se observa que en
la mayora de los mismos se presentan recomendaciones importantes
para ser incorporadas antes de la implementacin.

Se propone para la ponderacin de los criterios antes mencionados, la siguiente
metodologa:

1.- En primer lugar, se establece que en los criterios evaluativos bsicos existen
distintos niveles de importancia. Los dos primeros son generativos de los otros cuatro.
Estos son Dicha clasificacin se basa en el nivel abarcativo de la pertinencia y la
coherencia. La pertinencia del diseo est en razn del diagnstico y su solucin. Y la

60
coherencia seala la lgica interna y externa del diseo requerida para la resolucin
del problema.

2.- Los otros criterios dependen de los anteriores, dado que son variables dependientes
de la pertinencia y la coherencia.

3.- En base al argumento anterior, se le otorga ponderacin seis a la pertinencia y a la
coherencia. Siendo seis el puntaje mximo. Ambas ponderaciones suman doce.

4.- Por ser los otros criterios dependientes de los dos primeros hemos, se les otorga
una ponderacin tres a cada uno de ellos, como puntaje mximo.

5.- Entonces el puntaje mximo total a alcanzar en los criterios evaluativos es 144 y el
mnimo es 96. Esto se explica en la siguiente tabla

Criterios Mximo Mnimo
Pertinencia 6x6=36 6x4=24
Coherencia 6x6=36 6x4=24
Eficiencia 3x6=18 3x4=12
Eficacia 3x6=18 3x4=12
Sustentabilidad 3x6=18 3x4=12
Evaluabilidad 3x6=18 3x4=12
144 96

6.- Establecida la ponderacin mxima y mnima para los criterios se ha considerado
que para la valoracin final del programa:

la categora consistente debe tener 144 puntos.

la categora consistente con observaciones debe reunir entre 143 y 120 puntos.

El ltimo puntaje equivale a tener un promedio de 20 puntos por criterio o nota cinco
promedio, ste constituye el puntaje promedio considerado para ser aprobado con

61
observaciones. Las observaciones deben ser superadas para alcanzar los 140 puntos
y ser declarado consistente.

Sin embargo, es necesario puntualizar que la pertinencia y coherencia, por ser los
criterios bsicos generativos, deben tener -dentro de los 120 puntos- como mnimo 30
puntos cada una. De lo contrario el programa queda calificado inmediatamente como
inconsistente.

Puntaje de
aprobacin promedio

Puntaje de aprobacin
6x5=30 6x5=30
6x5=30 6x5=30
3x5=15 3x6=18
3x5=15 3x4=12
3x5=15 3x5=15
3x5=15 3x6=18
120 123

la categora inconsistente est entre lo 119 y los 96 puntos.


62


63

B BI IB BL LI IO OG GR RA AF F A A


64

Alvarez Rojas J.L. El Marco Lgico, Instrumento para la Formulacin de Proyectos.
ISADE, Santiago, 1986.

Alvira Metodologa de la Evaluacin de Programas. Centro de
Investigaciones Sociolgicas, Madrid, 1991.

Ander-Egg Ezequiel Evaluacin de Programas de Trabajo Social. Hvmanitas, Buenos
Aires, 1990

Ander-Egg Ezequiel Investigacin y Diagnstico para el Trabajo Social. Hvmanitas,
Buenos Aires, 1990

Ballart Xavier Cmo evaluar programas y servicios pblicos?. Aproximacin
sistemtica y estudios de caso. Ministerio para las
Administraciones Publicas, Espaa, 1992.

Barba- Romero Sergio Manual para la Toma de Decisiones Multicriterio. ILPES,
Direccin de Proyectos y Programacin de Inversiones,
Santiago, 1996.

Briones Guillermo Evaluacin de Programas Sociales. Programa Interdisciplinario
de Investigaciones en Educacin, Santiago, 1985.

CEPAL Gestin de Programas Sociales en Amrica Latina. Volumen I y
II. Serie Polticas Sociales 25 y 26. Santiago, 1998

Cohen E. y Franco R. Evaluacin de Proyectos Sociales. Siglo XXI, Mxico, 1992.

Comit de Ministros Social.
Secretaria Ejecutiva
Material de Apoyo para la Caracterizacin y Anlisis de la Oferta
Pblica de Programas Sociales Dirigidos a Grupos Prioritarios.
MIDEPLAN, Santiago, 1999

Comit de Ministros Social.
Caracterizacin de la Oferta Pblica Dirigida a Grupos
Prioritarios de la Poltica Social. MIDEPLAN, Santiago, 1999

Comit Interministerial Social.
Programa Nacional de Superacin de la Pobreza Seguimiento y
Evaluacin. Informes Propositivos. Tomo II, Chile, 1996.

Espinoza Vergara M. Evaluacin de Proyectos Sociales. Ministerio de Cultura y
Deportes, Costa Rica, 1980.

EVO Evaluacin: Una Herramienta de Gestin para Mejorar el
Desempeo de los Proyectos. BID, Santiago, 1995.

65

Fontaine Ernesto Evaluacin Social de Proyectos. Universidad Catlica de Chile,
1993.

Garnier Leonardo Funcin de Coordinacin de Planes y Polticas. Seminario de
Alto Nivel sobre las Funciones Bsicas de la Planificacin.
ILPES, Santiago, 1999

GTZ ZOPP. Una Introduccin al Mtodo. GTZ, Santiago, 1987

MacClure Oscar Notas sobre la Planificacin en Nueva York, y Algunas
Consideraciones para la Realidad Chilena. En. Revista Estudios
Sociales , N 100; pp 103-122. Corporacin de Promocin
Universitaria, Santiago, 1999

Martinic Sergio Diseo y Evaluacin de Programas Sociales. Comexani/Cejuv,
Mxico, 1997.

MIDEPLAN Caracterizacin de la evaluacin ex ante en el sistema pblico
chileno. Mimeo. Departamento de Evaluacin, Santiago, 1999.

MIDEPLAN Inversin Pblica, Eficiencia y Eficacia. Divisin de
Planificacin, Estudios e Inversin, Santiago, 1992

MIDEPLAN Manual de Diseo de Programas Sociales. Departamento de
Evaluacin, Santiago, 2001

MIDEPLAN Preparacin y Presentacin de Proyectos de Inversin. Divisin
de Planificacin, Estudios e Inversin, Santiago, 1998

MIDEPLAN Procedimientos y Formularios para el Sistema de Estadsticas
Bsicas de Inversin. SEBI- 2000. Divisin de Planificacin,
Estudios e Inversin, Santiago, 1999

MIDEPLAN Sistema Nacional de Inversin Pblica y Banco Integrado de
Proyectos. Divisin de Planificacin, Estudios e Inversin,
Santiago, 1996

MIDEPLAN Propuesta para la Estructuracin de un Sistema Nacional de
Evaluacin de Programas Sociales (mimeo) Santiago, 1995.

Ministerio Noruego de Asuntos
Exteriores
Evaluacin de Proyectos de Ayuda al Desarrollo. Manual para
Evaluadores y Gestores. Instituto Universitario de Desarrollo y
Cooperacin, Madrid, 1997.

66

Ministerio de Hacienda Estadsticas de las Finanzas Pblicas 1988 - 1997. Direccin de
Presupuestos, Santiago, 1998.

Ministerio de Hacienda Ley de Presupuestos del Sector Pblico Ao 1999. Direccin de
Presupuestos, Santiago, 1998

Ministerio de Hacienda Instrucciones para Ejecucin de la Ley de Presupuestos del
Sector Pblico Ao 1999. Direccin de Presupuestos, Santiago,
1998
.
Ministerio de Hacienda Programa de Evaluacin de Proyectos Gubernamentales. Unidad
de Evaluacin de Programas Gubernamentales. Santiago, 1999.

Monnier Eric Evaluacin de la Accin de los Poderes Pblicos. Ministerio de
Economa y Hacienda, Madrid, 1995

Oficina de Programacin y
Gestin.
Esquema Preliminar de Proyectos (SPROUT). Organizacin
Internacional del Trabajo, 1997.

Peroni Andrea Diseo Bsico de Proyectos de Salud, a Nivel Primario.
Corporacin de Promocin Universitaria, Santiago, 1998. Doc.
de Trabajo N 8/98.

Peroni A, Garrido P. y Lpez
W.
Formulacin de Proyectos de Inversin Soci al. Corporacin de
Promocin Universitaria, Santiago, 1999. Doc. de Trabajo N
4/99.

Peroni A. y Gonzalez J.C. Formulacin, Seguimiento y Evaluacin de Proyectos
Microsociales. Corporacin de Promocin Universitaria,
Santiago, 1998. Doc. de Trabajo N 1/98.

Peroni A. y otros. Evaluacin de Proyectos Sociales. Corporacin de Promocin
Universitaria, Santiago, 1998. Doc. de Trabajo N 5/98.

PROPOSAL Manual de Formulacin y Evaluacin de Proyectos Sociales. OEA-
Cepal, Santiago, 1994

Secretaria de Desarrollo Social Gestin Integral de Programas Sociales Orientada a Resultados.
Manual Metodolgico para la Planificacin y Evaluacin de
Programas Sociales. FCE, SIEMPRO y UNESCO, Buenos Aires,
1999

Vallespin L. P. Manual de Planificacin de Proyectos Orientada a Objetivos.

67
Fundacin Friedrich Naumann, Santiago

Weisner Eduardo Funcin de Evaluacin de Planes, Programas , Estrategias y
Proyectos. Seminario de Alto Nivel sobre las Funciones Bsicas
de la Planificacin. ILPES, Santiago, 1999

Zuiga Victor Estudio: Instrumentos de Evaluacin de la Gestin Pblica y de
los Programas Pblicos del Estado Chileno. MIDEPLAN, Santiago,
1998.

Mideplan 04 Doc4 Metodologia Evaluac Ex Ante

Cargado por

Información del documento

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Mideplan 04 Doc4 Metodologia Evaluac Ex Ante

Cargado por

Copyright:

Formatos disponibles

- -. . M Me et to od do ol lo og g a a d de e e ev va al lu ua ac ci i n n e ex x a an nt te e: : A An n l li i s s i i s s I In nt te eg gr raal l d de el l D Di i s s e e o o . .

También podría gustarte