Documentos de Académico
Documentos de Profesional
Documentos de Cultura
A06n13 PDF
A06n13 PDF
71-90
Metodologa de
evaluacin ex post
David Medianero Burga
Resumen
Abstract
1. Marco de la evaluacin
El objetivo del Programa fue contribuir con la poltica del Gobierno Nacional de
lucha contra la pobreza a travs de proyectos de inversin social y de infraestructura que
permitieran mejorar las condiciones de vida de la poblacin y propiciaran la generacin
de oportunidades de desarrollo econmico y social. El Programa adopt un enfoque
de desarrollo humano integral, enmarcado en el proceso de descentralizacin del pas.
En el contrato de prstamo se asume que la ejecucin de inversiones sociales y de
infraestructura beneficiar a la poblacin marginada del pas, al favorecer objetivos
especficos en sectores tales como agricultura, educacin, energa, saneamiento, salud,
transportes y vivienda. Igualmente, se espera que la concentracin de inversiones en
diferentes sectores de una misma regin, tenga un impacto geogrfico adecuado que
favorezca el crecimiento econmico y la inclusin social, fortaleciendo y profundizando
el proceso de descentralizacin regional que implementa el Per.
72
David Medianero Burga
2. Cadena de resultados
En el contexto de la evaluacin mencionada, se adopt el enfoque de gestin por
resultados, sustentado en el concepto de cadena de resultados, el cual, a su vez, toma
como punto de partida el marco lgico de una intervencin. Tomando como punto de
partida el marco lgico de un proyecto, el propsito y dems objetivos concurrentes
pueden ser visualizados y conceptualizados en forma interrelacionada de la siguiente
manera:
Los impactos se encuentran localizados en la filas del fin del marco lgico.
73
Pensamiento Crtico N. 13
especialmente aquellos casilleros relacionados a los objetivos del proyecto. En todos los
casos, se espera que la evaluacin proporcione a la institucin ejecutora y al conjunto
de involucrados del proyecto, informacin confiable que permita extraer lecciones sobre
aspectos clave de la promocin del desarrollo que permita elevar la calidad de las futuras
intervenciones.
74
David Medianero Burga
resultados previstos. Asi, puede ser necesario analizar varios indicadores para evaluar si
se ha logrado un determinado resultado. Como puede observarse en el Grfico 2, existe
una interaccin entre los resultados y los procesos.
Los resultados son los logros esperados con la ejecucin de los procesos en un
orden sucesivo y de creciente importancia.
Los procesos denotan a las actividades que deben realizarse para la obtencin de
los resultados previstos, lo que implica el consumo de determinados recursos, los cuales
en trminos monetarios representan los costos del proyecto.
75
Pensamiento Crtico N. 13
Los resultados de primer nivel se refieren a los efectos directos del proyecto.
Corresponden al efecto que los productos generan en las familias, grupos, comunidades
o instituciones despus de la ejecucin de las actividades. Medir los efectos directos
significa analizar los cambios habidos en el comportamiento de las familias y los cambios
en el desempeo de la poblacin beneficiaria e instituciones. Estos cambios son muy
especficos en cada contexto y dependen de las caractersticas y objetivos del proyecto.
Se puede recurrir a diversos mtodos para medir esos cambios: estudios, enfoques
participativos, encuestas basadas en cuestionarios, debates temticos en grupos, etc.
En el marco de una evaluacin ex post, los indicadores de producto pueden ayudar a
evaluar el nivel de eficacia fsica y financiera de los proyectos.
76
David Medianero Burga
3. Criterios de evaluacin
Todo proyecto se realiza con algn objetivo. La evaluacin de resultados permite
determinar en qu grado se logra el objetivo o cambio deseado. Generalmente, se busca
un cambio en las condiciones de vida de la poblacin, en trminos de ingresos, acceso
a servicios o ejercicio de derechos polticos. Este tipo de evaluacin busca determinar la
medida en la que se ha logrado el resultado deseado en la poblacin objetivo. Al evaluar
los resultados de un proyecto, a fin de determinar si el diseo y la gerencia del mismo
fueron adecuados, se ponen nfasis en cinco aspectos importantes:
77
Pensamiento Crtico N. 13
Estos criterios estn estrechamente relacionados al enfoque del marco lgico. As,
la pertinencia alude a la relacin del propsito con las prioridades de desarrollo; la
eficacia a la relacin entre los productos y el propsito; la eficiencia es una comparacin
de los insumos con los productos; el impacto establece relaciones entre las variables
controlables por el proyecto y el fin; y, por ltimo, la sostenibilidad analiza la interaccin
entre el fin y los supuestos al mismo nivel. Cabe reiterar que en la evaluacin ex-post se
suele convenir que el concepto de resultado abarca tres niveles de la columna de objetivos
del marco lgico: productos (o componentes), efectos (propsito) e impactos (fin). En
ocasiones se suele diferenciar a la evaluacin de resultados del anlisis de impactos con
la intencin de estimar cualitativa y cuantitativamente la incidencia del proyecto sobre
determinados aspectos o reas del desarrollo. A este anlisis se le denomina evaluacin
de impacto. Para medir los resultados (detectar un cambio), idealmente es necesario
contar con datos sobre la poblacin beneficiaria antes y despus de la intervencin.
Alternativamente, es posible fijar una meta ideal y compararla con la meta realmente
lograda al final de la ejecucin del proyecto. Sin embargo, estos cinco criterios son de
carcter general y, si bien constituyen la base fundamental sobre la cual se aborda la
presente evaluacin, deben ser operativizados a travs de la recopilacin de informacin
sobre los indicadores correspondientes.
Anlisis de pertinencia
Por pertinencia se entiende la apreciacin global sobre si el proyecto se condice
con los objetivos de desarrollo del pas, as como con las necesidades y prioridades
78
David Medianero Burga
locales. Permite contar con una referencia slida para gobernantes y funcionarios
pblicos acerca de la continuacin, reformulacin o finalizacin de una intervencin.
La pertinencia es un tema relevante dentro de la evaluacin y debe estar presente desde
las etapas iniciales de planificacin y a lo largo de todo el ciclo del proyecto.
Anlisis de pertinencia
Anlisis de eficacia
El anlisis de eficacia de un proyecto consiste en la medicin del grado de avance
en el logro de sus objetivos y metas, o bien de la probabilidad de que se logre al trmino
del periodo previsto de ejecucin. La eficacia implica una apreciacin del grado en que
se logra el propsito o se espera alcanzarlo. Establecer la eficacia es parte esencial de la
evaluacin y la informacin necesaria para llevarla a efecto es provista por las unidades
79
Pensamiento Crtico N. 13
Anlisis de eficacia
80
David Medianero Burga
Anlisis de eficiencia
Por eficiencia se entiende el grado en el que los resultados del proyecto se han
logrado mediante el uso ptimo de los recursos. Asimismo, el anlisis de eficiencia
comprende la evaluacin de la calidad de la ejecucin del presupuesto asignado al
proyecto. En otras palabras, el anlisis de eficiencia consiste en determinar el grado en
el que los diversos insumos se convierten en productos de manera econmica. De all
que una forma universal de operativizar el anlisis de eficiencia sea a travs del clculo
de la ratio costo-efectividad.
La eficiencia es, por otra parte, una forma de expresar la productividad del proceso
de implementacin; esto es, el grado en que los productos logrados derivan de un uso
eficiente de los recursos financieros, humanos y materiales. La mayor dificultad para
medir la eficiencia radica en determinar el estndar de comparacin o lnea de corte.
Esto depender del tipo de proyecto, de las circunstancias locales y de otros factores.
El estndar difcilmente est predeterminado. Por lo tanto, en la prctica depende del
equipo de evaluacin especificar contra qu estndar se va a medir.
Anlisis de eficiencia
81
Pensamiento Crtico N. 13
Anlisis de impacto
El impacto de un proyecto son las consecuencias que ste genera en la sociedad, tanto
las previstas como las no esperadas, sean positivas o negativas. Para ello, se debe tomar
como punto de partida el fin y el propsito del proyecto, pero este proceso va mucho ms
all de establecer si los resultados se han logrado. Este tipo de evaluacin con frecuencia
requiere de investigaciones que abarcan un mayor campo de estudio. La eficacia es un
criterio de evaluacin estrecho, ya que el propsito del proyecto indica solamente los
efectos positivos esperados por las partes involucradas. A diferencia de esto, el concepto de
impacto es mucho ms amplio porque incluye las consecuencias positivas y negativas, tanto
las previstas como las no esperadas. En la determinacin de impactos el punto de partida
debe ser el propsito del proyecto en la forma en que ha sido definido, as como el grado
de eficacia alcanzado, y luego se debe analizar que otros efectos (positivos o negativos,
previstos o no esperados) se han producido como resultado de la ejecucin del proyecto.
Anlisis de impacto
82
David Medianero Burga
Anlisis de sostenibilidad
La sostenibilidad es una estimacin global sobre el grado en que los cambios
positivos producidos por los proyectos del Programa continuarn an despus que stos
hayan concluido. Segn la OCDE1, la sostenibilidad es la prueba final del xito de
un proyecto de desarrollo. As, la determinacin de la sostenibilidad de un proyecto
de desarrollo implica mucho ms que la respuesta a la pregunta sobre el logro de los
objetivos fijados: indica la probabilidad que los impactos positivos continen una vez que
hayan concluido las actividades del proyecto. En el contexto de la presente evaluacin,
la sostenibilidad se define como la capacidad para generar beneficios duraderos, que
permanezcan vigentes incluso despus de que el proyecto haya concluido2. Los puntos
clave a destacar en la definicin de sostenibilidad son los siguientes:
1 Organizacin para la Cooperacin y Desarrollo Econmico.
2 Vase, Quality Assurance Group PIA/OPRE, Promoting Practical Sustainability. Australian Agency for
International Development (AusAID), Canberra, September 2000.
83
Pensamiento Crtico N. 13
Anlisis de sostenibilidad
84
David Medianero Burga
se han efectuado una serie de anlisis, con la finalidad de transformar la masa de datos
obtenida en informacin real para la toma de decisiones.
El IDG es una medida de resumen del desempeo de cada uno de los proyectos de
la muestra del Programa. Por lo tanto, constituye el resumen de la aplicacin de los cinco
criterios de evaluacin. Mide en forma general el aporte de las inversiones realizadas al
desarrollo del pas, particularmente al logro del objetivo esencial del Programa: disminuir
los niveles de pobreza mediante la dotacin de infraestructura econmico-social en los
territorios de menor desarrollo relativo del pas.
Para calcular el IDG fue necesario crear un ndice para cada uno de los criterios de
evaluacin, dando lugar a los siguientes ndices: ndice de pertinencia, ndice de eficacia
fsica, ndice de eficacia financiera, ndice de productividad (como representacin del
criterio de eficacia), ndice de impacto e ndice de sostenibilidad. En todos los casos, se
ha utilizado la informacin estadstica ms actualizada posible. Todos los indicadores se
basan en informacin estadstica cuantitativa, a excepcin del ndice de sostenibilidad,
el cual se ha construido sobre la base de la opinin de los responsables de las unidades
ejecutoras correspondientes. En todos los casos se ha buscado expresar el ndice en una
escala de 1 a 10, que facilite la comparabilidad entre si y, por ende, la construccin del
ranking de proyectos en funcin del desempeo global.
85
Pensamiento Crtico N. 13
Indicadores utilizados
Cabe destacar que los indicadores utilizados son de dos tipos: indicadores
cuantitativos (ndices de pertinencia, eficacia fsica, eficacia financiera, eficiencia e
impacto), e indicadores cualitativos (ndice de sostenibilidad, basado en la encuesta
realizada). A su vez, cada indicador puede englobar una o ms variables. A continuacin
se describen los indicadores y variables utilizados en la construccin del IDG.
Eficacia fsica. Para operativizar el criterio de eficacia fsica se toma como referencia
el ndice de eficacia fsica, calculado en unidades porcentuales, el cual expresa el
grado de cumplimiento de las metas fsicas establecidas en cada proyecto5.
3 En este caso, se calcul una tasa de pobreza promedio para cada proyecto en funcin a tasas de pobreza
distrital 2007 correspondiente a su mbito de ejecucin. Dichos clculos se basaron en los resultados de
los Censos de Poblacin y Vivienda 2007, elaborado por el INEI.
4 Para ello, se tom como referencia el ndice de infraestructura a nivel departamental, elaborado por el
Consejo Nacional de Competitividad (CNC) al ao 2007. Se toma a dicha variable como proxy del nivel
de desarrollo que se presenta en el mbito de cada proyecto.
5 Cabe mencionar que, los datos utilizados para calcular el nivel de avance fsico y financiero alcanzado por
cada proyecto provienen de dos fuentes de informacin: la encuesta realizada a las 31 unidades ejecutoras
que comprende la muestra y la revisin de la base de datos del Sistema Integrado de Administracin
Financiera (SIAF) del MEF.
86
David Medianero Burga
NDICES
Proyecto A
Eficacia financiera
Sostenibilidad
Proyecto B
Eficacia fsica
NDICE DE
Pertinencia
Eficiencia
Proyecto C DESARROLLO
Impacto
GLOBAL
Proyecto D
Proyecto E
87
Pensamiento Crtico N. 13
Estandarizacin de valores
A fin de hacer comparables todas las medidas relacionadas a los criterios de
evaluacin, se ha realizado un trabajo de estandarizacin de valores. A tal efecto, se ha
utilizado dos metodologas: el mtodo de los valores lmite y el mtodo de puntuaciones
z. Finalmente, se opt por los resultados que emergen del primero de los mtodos
mencionados.
88
David Medianero Burga
0,200
0,100
Lmite del valor mnimo 0
ndice del
Indicador componente
8 Vase: Metodologa de la investigacin, Roberto Hernndez y otro. Mc Graw Hill, Mxico 2006.
89
Pensamiento Crtico N. 13
5. Fuentes de informacin
Las fuentes de informacin utilizadas para la operativizacin del clculo de los
indicadores han sido tanto de orden primario como secundario. La fuente primaria
es la encuesta realizada en el marco del presente estudio, en tanto que las principales
fuentes secundarias han sido: Ministerio de Economa y Finanzas (SIAF y Banco de
Proyectos), INEI (Perfil de Pobreza 2004-2008 y otros informes de pobreza). Los datos
de infraestructura se han obtenido de Per Compite, un rgano de la Presidencia del
Consejo de Ministros.
90