Universidad Estatal de Guayaquil
Facultad de Ciencias Económicas
EVALUACIÓN DE PROYECTOS
Enfoque Marco Lógico para evaluar proyectos
Econ. Eduardo Velarde Velasco, MSc.
2019 -2020 CII
DEFINICIÓN DE EVALUACIÓN
La evaluación es una función que consiste en hacer una apreciación, tan
sistemática y objetiva como sea posible, sobre un proyecto en curso o acabado,
un programa o un conjunto de líneas de acción, su concepción, su realización y
sus resultados. Se trata de determinar la pertinencia de los objetivos y su grado
de realización, la eficiencia en cuanto al desarrollo, la eficacia, el impacto y la
viabilidad. Una evaluación debe proporcionar unas informaciones creíbles y
útiles, que permitan integrar las enseñanzas sacadas en los mecanismos de
elaboración de las decisiones, tanto de los países de acogida como de los
donantes. (CAD/OCDE)
- Apreciación - opinión - investigación.
CARACTERÍSTICAS
- Sistemática y objetiva.
- Proyecto en curso o acabado, programa o conjunto de líneas de acción.
- Su concepción (diseño), su realización (desempeño) y sus resultados (efectos).
- Determinar: pertinencia, eficacia, eficiencia, impacto y viabilidad.
- El fin es proporcionar información creíbley útil.
- Para la toma de decisiones.
- Tanto en receptores como en donantes.
EL SEGUIMIENTO
Función que mediante la recogida metódica de datos
tiene por fin conocer:
• Si las aportaciones materiales y financieras
comprometidas han sido suministradas y son
suficientes
• Si los cooperantes y homólogos sobre el terreno
poseen las competencias técnicas y personales para
ejecutar sus tareas.
• Si las actividades desarrolladas por los expertos y los
aportes, están de acuerdo con el plan de trabajo.
• Si el plan de trabajo está siendo realizado y produce
los objetivos a alcanzar de acuerdo a lo planificado;
Tomando las medidas necesarias para remediar las
insuficiencias encontradas
DEFINICIÓN DE SEGUIMIENTO
El seguimiento de proyectos es una función que consiste en utilizar un sistema de
información, basado en la formulación del proyecto de desarrollo (matriz de
planificación y plan de ejecución de las actividades), para que apoyándose en la
utilización de tres tipos de datos (sobre el progreso físico y financiero de las actividades,
sobre el contacto entre el proyecto y los usuarios y sobre la evolución de los factores
externos), la dirección del proyecto pueda comparar planificado y ejecutado en el nivel
de recursos y actividades, con la triple finalidad de:
1.- detectar desviaciones,
2.- anticipar desviaciones,
3.- y corregir desviaciones (reconducir el proyecto)
¿QUE ES EL PLAN OPERATIVO?
Por lo general, un plan operativo tiene
una duración de un año. Por eso, suele
ser mencionado
como plan operativo anual (POA). El
POA pone por escrito las estrategias que
han ideado los directivos para cumplir
con los objetivos y que suponen las
directrices a seguir por los empleados y
subordinados en el trabajo cotidiano.
Cabe mencionar, que al igual que los
otros, el plan operativo permite el
seguimiento de las acciones para juzgar
su eficacia; en caso de que los objetivos
estén lejos de ser satisfechos, el
directivo tiene la posibilidad de proponer
nuevas medidas.
OBJETIVOS
• la conceptualización y •los beneficios y los • el grado de
presentación de los costos de cada compatibilidad y
programas de trabajo, programa, permitiendo consistencia interna de
permitiendo realizar cada programa, a través
estudios comparativos
con ello fijar de la relación de las metas
entre las actividades que prioridades de acción. cualitativas y cuantitativas
realizan las diferentes con el resultado final de
unidades administrativas. las tareas realizadas.
UNIFORMAR EVALUAR ESTUDIAR
PARTES DEL PLAN OPERATIVO
• Se define el objetivo mayor que se busca alcanzar
Objetivo general durante el año y que contribuirá sustancialmente al
desarrollo de la organización.
• Son los resultados que desean alcanzar en el año
Objetivo especifico respectivo. Pueden ser dos o mas objetivos.
• Se determina las actividades que se realizan para lograr
Actividades y metas los objetivos propuestos, señalando la meta a cumplir
en cada caso.
Estrategias de • Describe la forma como se realizan las actividades y
trabajo lograran las metas y objetivos propuestos.
• Señala los plazos en que se cumplirán cada una de las
Plazo de ejecución acciones programadas.
Responsabilidad • Se designan los responsables de las acciones.
TIPOS DE PLANES OPERATIVOS
• Cuando las actividades de una organización se repiten
Planes varias veces, una sola decisión o un conjunto de decisiones
pueden guiarlas adecuadamente. Una vez establecidos, los
permanentes planes permanentes permiten a los administradores
ahorrarse el tiempo empleado en la planificación y toma
de decisiones.
• Son planes realizados con el objeto de ser usados una
Planes de uso sola vez, de acuerdo con las necesidades de una
determinada situación que se presenta como única y
único excepcional. Los principales tipos de planes de uso
único son los programas y los presupuestos.
LOS PLANES OPERATIVOS
Las diferencias entre el seguimiento y la
evaluación
El seguimiento La evaluación
La periodicidad Proceso continuo Acción puntual
El agente Habitualmente interno Generalmente externo
Actividades y recursos Resultados y objetivos
Los elementos Contacto con destinatarios Contacto con destinatarios
Factores externos Factores externos
Las decisiones Reconducir Reorientar
PROPÓSITOS DE LA EVALUACIÓN/ SEGUIMIENTO:
¿PARA QUÉ EVALUAR?
1) Para tomar mejores decisiones:
• Mejorar la gestión
• Aprender
2) Rendición de cuentas (control)
3) Compartir experiencias e informar
EVALUABILIDAD
Medida en que puede evaluarse una actividad o un
programa de manera fiable y creíble.
Para determinar la evaluabilidad es necesario un examen
anticipado de una evaluación propuesta para determinar
si sus objetivos están definidos adecuadamente y si sus
resultados pueden ser objeto de verificación.
OCDE (2004): Glosario de los principales términos sobre evaluación y gestión
basada en resultados
EVALUABILIDAD: EXIGENCIAS DEL PROYECTO
COMO HIPÓTESIS DE TRABAJO
• Descripción de la situación actual del problema a resolver:
- Magnitud y severidad del problema (LÍNEA DE BASE)
- Cómo afecta a los distintos grupos de población
- Posibles causas y consecuencias
• Estrategia de desarrollo:
- Vínculos entre medios y fines del desarrollo
- Selección / priorización de la alternativa más adecuada
• Imagen de la situación futura a alcanzar
- Definición de resultados y objetivos
- Sistemas de medición (indicadores y fuentes de verificación)
EL CICLO DEL PROYECTO: Fases centrales y circundantes,
pasos y principales contenidos.
EL ENFOQUE DEL MARCO LÓGICO.
PASOS DEL MÉTODO
1º) Análisis de participación
2º) Análisis de problemas
3º) Análisis de objetivos
4º) Análisis de alternativas
5º) Matriz de planificación del Proyecto
LA IDENTIFICACIÓN Y EL ENFOQUE DEL MARCO LÓGICO
Preguntas de la Pasos del enfoque del
identificación marco lógico
¿Qué sucede? Análisis de la participación
¿A quien le sucede? Análisis de los problemas
¿Por qué sucede?
¿Qué se puede hacer para Análisis de los objetivos
solucionarlo? Análisis de las alternativas
¿Qué vamos a hacer para
solucionarlo?
LA FORMULACIÓN Y EL ENFOQUE DEL MARCO LÓGICO
Preguntas de la formulación Pasos del enfoque del
marco lógico
¿Para qué se lleva a cabo el proyecto?
¿Qué se desea lograr con el proyecto?
¿Cómo se alcanzará el objetivo del proyecto?
¿Qué factores externos son importantes para el
éxito del proyecto?
¿Cuáles son los niveles esperados de “éxito” del MPP
proyecto?
¿Donde o cómo se mide ese “éxito”?
¿Cuándo se realizarán las actividades? •Cronograma de actividades
¿Quién hará las actividades? •Plan de ejecución
¿Con qué y cuánto costará realizar las •Presupuesto
actividades?
Análisis de los factores de viabilidad/
¿Qué posibilidades de permanencia en el tiempo sostenibilidad
tienen los efectos generados por el proyecto?
La Matriz de Planificación
Indicadores
Lógica de la Objetivamente Fuentes de Hipótesis
intervención Verificables Verificación
Objetivo
General
Objetivo
Específico
Resultados
Actividades Medios Costes
Condiciones
Previas
COMPONENTES DE LA EVALUACIÓN
Eficacia:
En qué medida el objetivo específico ha sido alcanzado; si puede esperarse que esto
ocurra sobre la base de los resultados del proyecto.
Eficiencia:
Análisis de los resultados en relación con el esfuerzo realizado. Cómo los insumos se
convierten en resultados desde el punto de vista económico. Examinar si los mismos
resultados podrían haberse logrado de otra forma mejor.
Pertinencia:
En qué medida se justifica el proyecto en relación a las prioridades de desarrollo
locales y nacionales.
Impacto:
Los cambios y efectos positivos y negativos, previstos o no previstos en el proyecto,
analizados en relación con los beneficiarios y otros afectados.
Viabilidad/sostenibilidad:
Un análisis acerca de en qué medida los efectos positivos del proyecto continuarán
después de que la ayuda externa haya finalizado.
Pertinencia: La pertinencia analiza si el
propósito del proyecto es coherente con las
prioridades de la comunidad y sociedad local,
así como de las entidades donantes y
receptoras. Es decir, se trata de apreciar si la
intervención analizada va a suponer una
aportación significativa a los procesos de
desarrollo de los que son actores los
beneficiarios tanto en el interior del propio
proyecto, como en su contexto.
Eficacia:
La eficacia refleja en qué medida se espera
alcanzar o se ha alcanzado el objetivo
específico del proyecto; teniéndose para ello
en cuenta tanto el nivel de logro, así como los
períodos temporales para hacerlo.
Eficiencia:
La eficiencia se refiere a la capacidad del
proyecto para transformar los insumos
financieros, humanos y materiales en
resultados; es decir, establece el rendimiento
o productividad con que se realiza esta
transformación.
Impacto:
El impacto se refiere -en contraposición a la eficacia
restringida a los efectos positivos sobre los
beneficiarios- a las consecuencias positivas y
negativas, que un proyecto genera. Es por lo tanto un
concepto más amplio que el de eficacia, cuyo análisis
se inicia a partir del de la eficacia; interrogándose
sobre las consecuencias económicas, sociales,
culturales, técnicas ambientales... que se registran en
el plano local o general, tanto en el corto como -
especialmente- en el medio y en el largo plazo.
Viabilidad/ Sostenibilidad: Se entiende por
viabilidad la capacidad de un proyecto para
“proporcionar un nivel aceptable de beneficios al
grupo destinatario [beneficiarios] durante un periodo
suficientemente largo una vez interrumpida la
asistencia financiera y técnica del proveedor de
fondos” (CCE 1993:65). El análisis de viabilidad
significa interrogarse sobre algo más allá de si el
proyecto ha alcanzado los objetivos que tenía
previstos; se debe responder a la cuestión de en qué
medida los resultados positivos alcanzados
permanecen en el tiempo.
Sostenibilidad
“Probabilidad de que el flujo de beneficios continúe después de que se
agote la financiación del donante”
Fin de Proyecto
EJECUCIÓN SOSTENIBILIDAD
Flujo Objetivo
Específico Sostenible
de
Beneficios
Resultado Insostenible
Resultado
Resultado
Tiempo
Fuente: Europe Aid (2001)
FACTORES DE DESARROLLO
En cualquier examen previo debe tenerse en cuenta la viabilidad de los
proyectos. Puede decirse que un proyecto es viable cuando puede
beneficiar al grupo destinatario durante un largo período aún cuando
haya finalizado en lo esencial, la ayuda exterior proporcionada por los
donantes.
Fuente: Comisión de las Comunidades Europeas (1993)
Manual: Gestión del ciclo de un proyecto: Enfoque integrado y marco lógico. Bruselas, página 33.
LA VIABILIDAD DEL PROYECTO
La viabilidad de una intervención dependerá fundamentalmente de siete
factores, cuyo análisis nos permitirá tener una idea clara sobre sus
posibilidades de continuidad en el tiempo. Estos factores, también
llamados de desarrollo, son:
Políticas de apoyo Aspectos institucionales Aspectos socioculturales
Enfoque de género Factores tecnológicos Factores medioambientales
Factores económico financieros
Fuente: Agencia Española de Cooperación Internacional (2000),
Metodología de Gestión de Proyectos de la Cooperación Española, Madrid, páginas 26-27.
S
GENERAL
RECURSO
OBJETIVO
OBJETIVO
ESPECÍFICO
RESULTADOS
LÓGICA DE
ACTIVIDADES
INTERVENCIÓN
VIABILIDAD
PERTINENCIA
IMPACTO
EFICACIA
EFICIENCIA
POLÍTICAS DE APOYO
FACTORES TECNOLÓGICOS
FACTORES INSTITUCIONALES
CRITERIOS
FACTORES MEDIOAMBIENTALES
DESARROLLO
FACTORES DE
FACTORES SOCIO - CULTURALES
FACTORES ECONOMICO - FINANCIEROS
CRITERIOS DE EVALUACIÓN Y ELEMENTOS DE LA MATRIZ
Otros criterios para la evaluación
COBERTURA (1):
“La cobertura consiste en evaluar hasta qué punto un programa llega a la
población objeto del mismo. Se trata de calcular no sólo la tasa de
cobertura sino también de analizar si existe sesgo en la cobertura y
efectuar un análisis de las posibles barreras de acceso al programa”
Fuente: Alvira, F (1991) Metodología de Evaluación de Programas, Madrid
“La magnitud con la que una intervención alcanza a sus grupos metas
deseados”
Fuente: EUROPEAN MONITORING CENTRE FOR DRUGS AND DRUG ADDICTION -
E.M.C.D.D.A.- (1998) Guidelines for the evaluation of drug prevention, Luxemburgo
Cobertura ( y 2) - ASPECTOS BÁSICOS
1. Tasa de cobertura: “La proporción que forma parte del grupo meta,
tiene la necesidad y recibe los servicios, dividida por la población total del
grupo meta que tiene la necesidad que el proyecto pretende atender”
Cohen & Franco (1993) Evaluación de proyectos sociales.
2. Sesgo de la cobertura: “Existe sesgo en la cobertura cuando el
proyecto llega a una población para la cual no estaba definido o cuando
interviene sólo en un determinado subgrupo de la población definida, con
unas características específicas” Ligero, J. A. (2001): Propuesta de un nuevo criterio de
evaluación de proyectos de ayuda al desarrollo, la cobertura, REDC
3. Accesibilidad: “La accesibilidad se disgrega en tres aspectos:
• Grado de conocimiento e información del mismo por parte de la
población objeto (implantación del proyecto, población demandante...)
• Accesibilidad física, es decir facilidad de acceso al proyecto
• Aceptación social, actitudes de los usuarios ante el proyecto”
Alvira, F (1991) Metodología de Evaluación de Programas, Madrid
REPLICABILIDAD
Se entiende por replicabilidad la capacidad
de un proyecto para generar conocimientos
capaces de ser utilizados provechosamente
en otros proyectos, actuaciones o procesos
autónomos de desarrollo.
Herramientas de la evaluación
TÉCNICAS TÉCNICAS CUALITATIVAS
CUANTITATIVAS
•Medición directa •Análisis documental
•Encuestas formales •Observación directa
•Encuestas informales •Observación participante
•Análisis coste/ •Entrevistas con informantes clave
beneficio •Entrevistas con informantes
generales
•Entrevistas de grupo/ comunitarias
•Entrevistas de grupo focal
•Técnicas participativas
INDICADORES VERIFICABLES OBJETIVAMENTE
Series de datos establecidos con el fin de dar respuesta a las
cuestiones sobre los sistemas y los fenómenos existentes.
Un indicador es una medida numérica (porcentaje, tasa, valor
medio, etc.) que puede ser obtenida periódicamente y que se
supone relacionada con los conceptos e hipótesis que se van a
estudiar.
Es una medida estadística de un concepto, basado en un
análisis teórico previo, que sirve para describir el estado de la
sociedad y la eficacia de las políticas.
Medida estadística seleccionada por su propiedad de resumir o
representar a un conjunto amplio de datos; sirve como medida
indirecta o sustitutiva de informaciones que no se encuentran
disponibles directamente.
Elementos de las definiciones
Información de síntesis
Variable teórica subyacente
Dimensión empírica
Observación
Áreas de preocupación social y objetivos de
política
Conocimiento y acción
La definición adecuada de objetivos
Representar los efectos o impactos de la acción, más que el resultado de
determinadas actividades.
Realistas y alcanzables
Limitados en el tiempo
Unidimensionales, de forma que se refieran a un único problema
específico de desarrollo
Claros, comprensibles e inequívocos, de forma que no se presten a
interpretaciones diferentes
La formulación del objetivo define qué es lo que se
logrará y por tanto, qué ha de medirse.
Criterios para desarrollar y adaptar indicadores
de realización/avance
Aspectos clave:
1) Selección de indicadores/ variables
2) Establecimiento de bases y metas
3) Interpretación de datos y tendencias
1) Selección de variables
CRITERIOS DE CALIDAD
Clarificar enunciados de objetivos y resultados
Cuantitativos, cuando sea posible
Medición lo más directa posible del resultado
Prácticos
Fuentes y metodología para recoger la información
Seleccionar indicadores operacionales
Seleccionar indicadores objetivos
Mostrar la dimensión del problema
Asegurar que los indicadores son sensibles al cambio
Desagregar los indicadores
Independencia en los distintos niveles
2) Establecimiento de bases y metas
BASES: Elegir el año base o punto inicial a partir del cual se
medirá el avance. Examinar las tendencias del pasado (si existen
series temporales).
METAS:
◦ Dificultad de establecerlas para algunos indicadores;
◦ Tendencias pasadas como referencia para prever el futuro;
◦ Experiencias similares de otros países;
◦ Incidencia de las actividades del programa/proyecto sobre el
valor del indicador;
◦ Incidencia de factores externos sobre el valor del indicador;
◦ Rangos/ valor numérico único;
◦ Si el indicador está desagregado, también deberán estarlo las
metas.
3) Interpretación de datos y tendencias
La interpretación de los datos debe ser específica para cada país.
Patrones similares en un dato/indicador pueden tener distintos
significados en diferentes países.
Ejemplos:
1. Nº de denuncias de violaciones de derechos humanos por
cada 100.000 habitantes.
2. Porcentajes de participación electoral
Formulación del indicador
OBJETIVO: Aumentada la integración laboral de las alumnas egresadas
de la Escuela-Taller
Identificar el indicador/ variable: CONTRATOS LABORALES
Grupo beneficiario: EGRESADAS ESCUELA-TALLER
Cuantificar: AUMENTO CONTRATACIÓN EN AL
MENOS UN 25%
Calidad: CONTRATOS ANUALES, VINCULADOS
AL ÁREA DE PRESERVACIÓN
Tiempo: ENTRE MAYO 2005 Y MAYO 2006
Ubicación: ANTIGUA GUATEMALA
“Los contratos laborales de carácter anual relacionados con la
preservación del patrimonio cultural de las alumnas egresadas
de la Escuela-Taller de Antigua Guatemala aumentan en un 25%
entre mayo de 2005 y mayo de 2006”
Las fuentes de verificación
“Aparecen en la tercera columna del marco
lógico e indican donde y en qué forma se
pueden encontrar las informaciones en
cuanto a la realización de los objetivos
globales, del objetivo específico y de los
resultados (operacionalizados en indicadores
verificables objetivamente)”
Fuente: EuropAid: Manual de Gestión del Ciclo de Proyecto
Las fuentes de verificación
Estudios
especializados
Costes
Entrevistas con los
beneficiarios
Estadísticas adaptadas
disponibles
Estadísticas
disponibles
Informes de
Informes gestión
administrativos
Complejidad
TIPOS DE EVALUACIÓN
MOMENTO DEL CICLO ACTORES
• PREVIA (EX ANTE) • EXTERNA
• SIMULTÁNEA • INTERNA
• INTERMEDIA • MIXTA
• FINAL • PARTICIPATIVA
• POSTERIOR (EX POST)
PROPÓSITO OBJETO
• MEJORA DEL PROYECTO • DE OBJETIVOS/RESULTADOS
• APRENDIZAJE • DE PROCESOS
• RENDICIÓN DE CUENTAS
NIVELES PLANIFICACIÓN ENFASIS EN HERRAMIENTAS
• NORMATIVA • CUANTITATIVAS
• ESTRATÉGICA • CUALITATIVAS
• TÁCTICA • PARTICIPATIVAS
• OPERATIVA
ITINERARIO DE UNA EVALUACIÓN/ FASE PREVIA (1)
PASOS/ ACTORES DOCUMENTOS
MOMENTOS
Tomar la decisión de Institución responsable Política de evaluación
evaluar (Unidad de evaluación ?)
Definir el ámbito y Institución responsable
alcance de la evaluación
Proponer las principales
preguntas de la
evaluación
Establecer los rasgos Institución responsable
principales del ejercicio
de evaluación Términos de Referencia
Seleccionar al equipo Institución responsable Convocatoria/ Bases del
evaluador concurso
GUIÓN TÉRMINOS DE REFERENCIA
Introducción
Fundamento de la evaluación
Antecedentes
Cobertura temática
Metodología y Plan de Trabajo
Esquema de informe final, recomendaciones y anexos
Equipo de evaluación
Disposiciones temporales y presupuestarias
Otras disposiciones
Fuente: Metodología de evaluación de la Cooperación Española
ITINERARIO DE UNA EVALUACIÓN/ FASE PREVIA (2)
PASOS/ ACTORES DOCUMENTOS
MOMENTOS
Adaptar los Términos de Institución responsable/ Términos de Referencia
Referencia equipo de evaluación definitivos
Análisis documental y Equipo de evaluación
establecimiento de
primeras hipótesis de
trabajo
Preparar la visita al Equipo de evaluación / Plan de Trabajo de la
terreno y los contactos a Institución responsable evaluación
realizar
ITINERARIO DE UNA EVALUACIÓN/ FASE DE EJECUCIÓN (1)
PASOS/ ACTORES DOCUMENTOS
MOMENTOS
Recopilar datos e Equipo de evaluación
informaciones según los
métodos establecidos
Ordenar y analizar los Equipo de evaluación
datos
Preparar conclusiones y Equipo de evaluación Borrador del informe de
recomendaciones evaluación
preliminares
Presentar conclusiones y Equipo de evaluación
recomendaciones
preliminares (taller,
reunión, etc.)
ITINERARIO DE UNA EVALUACIÓN/ FASE DE EJECUCIÓN (2)
PASOS/ ACTORES DOCUMENTOS
MOMENTOS
Redactar el informe Equipo de evaluación Informe preliminar de
preliminar evaluación
Consultas y discusión Equipo de evaluación/
del informe Otras entidades
implicadas
Redacción del informe Equipo de evaluación Informe definitivo de
definitivo de evaluación evaluación
Presentación del informe Equipo de evaluación/ Presentaciones, resúmenes,
de evaluación Institución responsable etc.
GUIÓN INFORME DE EVALUACIÓN
Portada
Resumen ejecutivo
Introducción
◦ Antecedentes de la evaluación
◦ Objetivo de la evaluación
◦ Estructura de la documentación presentada
◦ Metodología empleada en la evaluación
◦ Condicionantes y límites del estudio realizado
◦ Presentación de equipo de trabajo
◦ Descripción de los trabajos ejecutados
Capítulo I: Descripción de la intervención o intervenciones analizadas
◦ Concepción inicial
◦ Descripción detallada de su evolución
Capítulo II: Metodología
Capítulo III: Criterios de evaluación y factores de desarrollo
Capítulo IV: Conclusiones y enseñanzas obtenidas
Recomendaciones
Anexos
Fuente: Metodología de evaluación de la Cooperación Española
ITINERARIO DE UNA EVALUACIÓN/ FASE DE UTILIZACIÓN
DE LOS RESULTADOS
Difusión de la evaluación
Retroalimentación
Asunción de conclusiones y recomendaciones