Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Indicadores
Fuentes
Hiptesis
Fases del
Ciclo de
Proyecto
Objetivos
generales
Identificacin
Formulacin
o Diseo
Ejecucin o
Implementacin
Cierre y
Seguimiento
Objetivo
Especfico
Papel del
Monitoreo
y de la
Evaluacin
Resultados
Actividades
Insumos
CRITERIOS DE EVALUACIN
Impacto: contribucin a la introduccin de cambios a largo plazo
VNCULOS
Provee
lecciones
aprendidas
Define la
evaluabilidad del
Averigua los
avances y
provee ele-
Evala los
resultados y
provee
proyecto
mentos para
reorientar las
actividades
recomendaciones para
el futuro
OBJETIVO ESPECFICO
(beneficios efectivamente recibidos)
RESULTADOS
(cambios generados)
ACTIVIDADES
(proceso de conversin de insumos en resultados)
INSUMOS
(materiales, personal y recursos financieros)
PROCESO DE FORMULACIN
Forum Solint ha sido promovido por cinco ONGs italianas: CISP, COOPI, COSV, Intersos y Movimondo
CISP, COSV, COOPI, Intersos, Movimondo y DRN. Enero 2003. [Versin original en ingls]
Traduccin al espaol (marzo 2004) por Carlo Tassara y Mara Paola Paternostro.
Autorizada la reproduccin, a excepcin de fines comerciales, siempre y cuando sea debidamente mencionada la fuente.
DRN
CISP
Pgina i
DRN
Forum Solint
Forum Solint ha sido promovido por cinco Organizaciones No Gubernamentales
(ONGs) italianas (CISP, COOPI, COSV, Intersos y Movimondo) con el propsito de
abrir espacios de discusin para los que quieran contribuir a consolidar la credibilidad
y la coherencia de la solidaridad y la cooperacin internacional al desarrollo. Para
conseguir esta meta, Forum Solint pretende promover espacios de anlisis y reflexin sobre temas como las relaciones entre cooperacin y poltica exterior, el papel de la ayuda al desarrollo en Italia y en Europa, el proceso de reforma de la Cooperacin Italiana, y las tendencias de la reorganizacin de la ayuda al desarrollo a
nivel europeo.
En base a sus orientaciones estratgicas y culturales, las ONGs que hacen parte de
Forum Solint atribuyen una funcin central al desarrollo de un partenariado eficaz
con los actores representativos de los pases donde actan y a la eficacia de los programas realizados. En este contexto, estas ONGs quieren confrontar sus polticas,
estrategias, y modalidades operativas para hacerlas siempre ms congruentes a las
necesidades especficas de la poblacin involucrada.
Los contextos polticos, econmicos e institucionales de referencia estn evolucionando continua y rpidamente: en el sistema de cooperacin han aparecido nuevos
actores institucionales y un universo de asociaciones y grupos ms amplio y diferenciado se dedica a las actividades de solidaridad internacional; desde hace mucho
tiempo se debate sobre los cambios organizativos al interior de la Comisin Europea
y de otras instituciones y agencias multilaterales; se estn produciendo cambios muy
importantes para el futuro de la ayuda al desarrollo.
Estos procesos requieren esfuerzos an ms eficaces para la coordinacin y el dilogo entre actores diferentes y Forum Solint pretende representar una contribucin en
este sentido, tambin ayudando a desarrollar una mayor capacidad de anlisis y de
propuesta por parte de la cooperacin no gubernamental italiana.
Los temas relativos al aumento de la visibilidad y de la capacidad de auto financiacin de las ONGs, y de la identificacin de reglas transparentes en las relaciones entre las ONGs constituyen otros mbitos de reflexin e inters de Forum Solint.
Este tiene tambin el objetivo de afirmar la prioridad y la importancia poltica y
humanitaria de las graves crisis, hoy olvidadas, en curso en el Sur del mundo. De
hecho, el destino de millones de personas depende de su evolucin.
Las ONGs que animan Forum Solint representan una parte relevante de los recursos
humanos, financieros movilizados y de los proyectos realizados por la cooperacin no
gubernamental italiana. Empezando desde este hecho, por lo tanto, estas ONGs
quieren asumir la responsabilidad de contribuir a la reflexin y definicin de nuevos
contenidos para la cooperacin y la solidaridad internacional.
CISP
Pgina ii
DRN
ndice
0 PRLOGO ......................................................................... 1
1 INTRODUCCIN................................................................ 3
1.1
1.2
1.3
1.3.1
1.3.2
1.3.3
1.4
1.4.1
DEFINICIONES .................................................................................. 11
EMPLEAR ADECUADAMENTE LAS DEFINICIONES Y LA TERMINOLOGA ................... 13
CRITERIOS DE EVALUACIN .................................................................. 14
2.3.1
2.3.2
2.3.3
2.3.4
2.3.5
2.4
Pertinencia ...................................................................................................................................... 15
Eficiencia ........................................................................................................................................ 15
Eficacia ........................................................................................................................................... 15
Impacto............................................................................................................................................ 16
Sostenibilidad.................................................................................................................................. 16
3.2.1
3.3
3.4
4 MONITOREO ....................................................................31
4.1
4.2
4.3
4.4
4.5
INTRODUCCIN ................................................................................ 31
ESTRUCTURA DE LAS ONGS Y PRCTICAS ACTUALES DE MONITOREO ................. 32
FINALIDADES Y ACTIVIDADES PRINCIPALES DEL MONITOREO ........................... 32
ORGANIZACIN DEL MONITOREO ............................................................ 33
FASE DE INICIO ................................................................................ 34
4.5.1
4.5.2
4.6
4.6.1
4.6.2
4.6.3
4.6.4
4.6.5
4.6.6
4.7
4.8
4.9
Responsabilidades........................................................................................................................... 34
Instrumentos para la revisin.......................................................................................................... 34
Revisin de la documentacin......................................................................................................... 35
Observacin directa ........................................................................................................................ 35
Lista de control con preguntas........................................................................................................ 35
Entrevistas....................................................................................................................................... 35
Anlisis de las partes interesadas ................................................................................................... 36
Discusiones de grupo focal ............................................................................................................. 37
4.9.1
Pgina iii
DRN
4.10.1
4.10.2
4.10.3
4.10.4
4.10.5
Preparacin de la misin............................................................................................................ 40
Primeros das en la capital ......................................................................................................... 40
Lugar del proyecto...................................................................................................................... 40
Retorno a la capital .................................................................................................................... 40
Retorno a la sede principal......................................................................................................... 40
5 EVALUACIN ...................................................................42
5.1
5.2
5.3
5.4
5.4.1
5.4.2
5.4.3
5.4.4
5.4.5
5.4.6
5.4.7
5.5
Responsabilidades........................................................................................................................... 43
Planificar una evaluacin ............................................................................................................... 43
Preparar los Trminos de Referencia ............................................................................................. 44
Seleccionar un evaluador................................................................................................................ 45
Preparar el plan de trabajo ............................................................................................................ 45
Trabajo sobre el terreno ................................................................................................................. 47
Informe ............................................................................................................................................ 47
5.5.1
5.5.2
5.5.3
5.5.4
ANEXOS ...............................................................................59
ANEXO 1:
ANEXO 2:
ANEXO 3:
ANEXO 4:
ANEXO 5:
ANEXO 6:
ANEXO 7:
ANEXO 8:
CISP
GLOSARIO ................................................................................. 61
EJEMPLOS DE MARCO LGICO .......................................................... 68
LISTADO DE INDICADORES .............................................................. 79
SUMARIO DE TCNICAS PARA LA RECOLECCIN DE DATOS ......................... 88
FORMATOS PARA INFORMES DE MONITOREO ......................................... 89
EJEMPLOS DE TRMINOS DE REFERENCIA PARA LA EVALUACIN .................. 96
FORMATO PARA INFORMES DE EVALUACIN .........................................103
REFERENCIAS BIBLIOGRFICAS .......................................................105
Pgina iv
DRN
PRLOGO
En los ltimos aos, los donantes y las ONGs se han comprometido an ms en la aclaracin y (re)definicin de las finalidades, objetivos y metodologas de la cooperacin al desarrollo.
A pesar de los diferentes puntos de vista, esta reflexin est basada en algunos principios y
objetivos comunes, debido especialmente a la necesidad de colocar la ayuda al desarrollo en
un marco estratgico ms amplio y orientado a lucha contra la pobreza.
Las ONGs que han promovido Forum Solint (CISP, COOPI, COSV, Intersos y Movimondo)
han decidido aceptar el desafo representado por la reduccin de la pobreza, incluyendo en
este marco estratgico proyectos y acciones especficas humanitarias y de desarrollo
considerando que ninguna accin aislada puede impactar sobre los factores que causan la
pobreza.
Dadas estas premisas, la cuestin del valor agregado, asociado a los diferentes actores de
la cooperacin al desarrollo y a sus acciones, asume una importancia predominante. En esta
perspectiva, el valor agregado debe verse como el aporte especfico, en trminos cuantitativos y cualitativos, brindado por los diferentes actores en el diseo y en la implementacin
de estrategias holsticas de desarrollo.
Las ONGs que han promovido Forum Solint le han dado desde siempre mucha importancia a
las cuestiones relacionadas con el monitoreo y la evaluacin, y por lo tanto al desafo de
evaluar sus proyectos, y ms especficamente de entender si y de qu manera lograron
aportar cambios positivos en la vida de la gente.
El propsito de adoptar un manual de monitoreo y evaluacin representa otro paso en la
misma direccin, ya que este manual no solamente llevar a la adopcin de procedimientos
internos estandarizados, sino tambin a una mayor formalizacin y divulgacin del aporte
que las ONGs ofrecen al objetivo comn de la reduccin de la pobreza.
El monitoreo y la evaluacin, adems, han sido identificadas como actividades prioritarias
por las ONGs vinculadas a Forum Solint, por dos razones diferentes.
Primero, la adopcin de un marco comn para el anlisis de los resultados y el impacto de un
determinado proyecto y de su capacidad de responder a los problemas de un rea o sector
especficos, llevar a una mejor comprensin de los principios y medios tcnicos, econmicos
y organizativos que caracterizan el trabajo de las ONGs.
Segundo, la estandarizacin y estructuracin de un sistema de monitoreo y evaluacin, compartido por un grupo de ONGs actualmente activas en ms de cincuenta pases en va de desarrollo, fortalecer la capacidad de las organizaciones de aprender de la experiencia compartiendo las lecciones aprendidas.
Por lo tanto, el manual representa una herramienta formal que podr contribuir a fortalecer la
identidad de las ONGs que integran Forum Solint, y adems consolidar sus esfuerzos de
maximizar su eficiencia y eficacia. Por esto la elaboracin del manual ha sido precedida y
acompaada de un trabajo de consulta y anlisis orientado al incremento y a la estandarizacin de las prcticas de evaluacin ya utilizadas por estas ONGs.
Un importante aporte tcnico en la preparacin del manual ha venido de la Development Researchers Network (DRN), una empresa consultora que brinda sus servicios a las organizaciones nacionales e internacionales, para asistirlas en la formulacin, gestin, monitoreo y
evaluacin de programas y polticas de desarrollo, en regiones, pases o reas caracterizadas
por una difusa pobreza y/o por complejos fenmenos de transicin.
CISP
Pgina 1
DRN
Usuarios
El presente manual est formulado antes que nada para los equipos de las ONGs. Por ende,
sus principales usuarios son:
Los directores1 de los equipos responsables de la gestin diaria de los proyectos, que deben
ser directamente involucrados en el desarrollo y en la utilizacin de las prcticas de monitoreo y evaluacin (M&E).
Los dirigentes y funcionarios en las sedes principales, que son responsables de la planificacin, monitoreo y evaluacin de las actividades en distintas reas geogrficas, al igual que
de la coherencia de los proyectos con las estrategias generales.
Al mismo tiempo, las ONGs podran estar interesadas en compartir este manual con sus
partners locales e internacionales que quieran aplicar las tcnicas de M&E a sus actividades.
Consecuentemente el manual podra representar una herramienta til para consolidar el
partenariado con base en una comprensin comn y mejor del M&E y de su papel en la programacin e implementacin de las actividades.
Organizacin del manual
El manual describe las metodologas y enfoques de M&E utilizados por las principales organizaciones internacionales, y brinda a las ONGs las herramientas operativas para fortalecer
sus capacidades de M&E. ste est organizado en seis captulos.
Los captulos 1 y 2 presentan una visin general de los enfoques y criterios de M&E e incluyen:
Una descripcin de la evolucin de las bases tericas, metodolgicas y prcticas de M&E.
Una comparacin entre los principales enfoques de M&E utilizados por los donantes.
Una discusin sobre las relaciones entre las ONGs y el M&E, con particular atencin en
los enfoques ms relevantes para las actividades de una ONG.
Un listado de las definiciones de los principales conceptos y herramientas.
Una descripcin de los criterios y de los tipos de evaluacin existentes.
Los captulos del 3 al 5 presentan las herramientas ms tiles para las ONGs, con nfasis en
los aspectos prcticos de la planificacin y la implementacin de M&E, incluyendo:
Programacin del M&E durante la fase de formulacin del proyecto.
Procedimientos para el monitoreo.
Gestin y realizacin de las evaluaciones.
El captulo 6 se concentra en el uso de las lecciones aprendidas a travs del M&E:
Seguimiento e implementacin de resultados y recomendaciones obtenidas.
Difusin de las lecciones aprendidas.
Utilizacin de las lecciones aprendidas para programar nuevas acciones y proyectos.
El manual incluye tambin los siguientes anexos:
Glosario.
Ejemplos de Marco Lgico.
Listado de indicadores.
Sumario de tcnicas para la recoleccin de datos.
Formatos para informes de monitoreo.
Ejemplo de Trminos de Referencia para la evaluacin.
Formato para informes de evaluacin.
Bibliografa (que incluye referencias a las pginas web de inters para el M&E).
1
De ahora en adelante, el conjunto del personal encargado de la gestin de los proyectos sobre el terreno, se
definir como directores, incluyendo entre ellos todo el personal con altos niveles de responsabilidad.
CISP
Pgina 2
DRN
INTRODUCCIN
Este captulo presenta una visin general de la evolucin de los enfoques del M&E en la comunidad de los donantes y analiza la orientacin de las ONGs hacia el M&E.
1.1
Durante las ltimas dcadas, la evaluacin ha pasado de un ejercicio unidimensional, realizado por un solo profesional, generalmente tcnico del sector objeto de la evaluacin, a un
ejercicio multidimensional, realizado por un grupo de evaluadores que analizan varios niveles de un proyecto y que se dirigen a varios grupos meta.
Varios enfoques y mtodos de M&E fueron desarrollados para responder a la necesidad de
algunos pases industrializados de entender cmo se gastaba el dinero en programas sociales y educativos, y para justificar los gastos frente a los donantes.
Conceptos de M&E relacionados con el tema del desarrollo empezaron a ser utilizados en
respuesta a la exigencia de las grandes agencias bilaterales de mejorar la gestin y el control de sus proyectos. En los aos 60 y 70 se conceba el desarrollo como algo fcilmente
medible y tangible y eso llev a un predominio del anlisis costo-beneficio. M&E eran sobre
todo herramientas de control relacionadas con datos cuantitativos y le dedicaban una atencin mnima a los aspectos cualitativos.
Estos mtodos, que se presentaban como cientficamente neutrales e imparciales, se caracterizaban por el uso de procedimientos estandarizados y por un alto nivel de control de gestin; adems se contrataban evaluadores externos porque se pensaba que eso aumentara
la objetividad.
Una segunda generacin de mtodos de M&E se concentr ms en la consecucin de los
objetivos y en el anlisis de las debilidades y potencialidades de los proyectos.
Durante los aos 90, la evolucin de los enfoques y prcticas de M&E han reflejado los cambios considerables que se han dado en las estrategias de la cooperacin al desarrollo, en
sus herramientas de intervencin y de gestin.
Nuevos temas como la democratizacin, el fortalecimiento institucional, el medio ambiente
y el gnero han adquirido importancia, mientras que la reduccin de la pobreza se ha afirmado como la prioridad y el objetivo comn de muchas organizaciones. Para lograr estos
objetivos, se ha pasado paulatinamente de una asistencia concentrada sobre la realizacin
de proyectos aislados a una accin ms compleja, articulada a nivel de programa, sector y
pas. Una redefinicin del M&E y de su uso potencial result indispensable para enfrentar
estos nuevos desafos.
El estudio del impacto de las acciones sobre los beneficiarios y de sus resultados gan importancia y los principales donantes empezaron a buscar una manera para mejorar el rendimiento de sus estrategias y polticas globales. Dicha situacin origin la definicin e introduccin de sistemas ms eficaces de M&E, para apoyar la implementacin de proyectos y
programas2 y para proveer informacin til para el diseo de nuevas iniciativas y alimentar
el proceso de aprendizaje a partir de las experiencias realizadas.
1.2
Las actividades de M&E debe ser llevadas a cabo con el objetivo de reducir la diferencia entre
la planificacin (formulacin de los proyectos) y la realidad (implementacin y resultados).
Con el propsito de evitar repeticiones, en general, de ahora en adelante se utilizar el concepto de proyecto
para indicar todo tipo de actividad (poltica, programa, proyecto, accin, etc.) de cooperacin al desarrollo.
CISP
Pgina 3
DRN
El monitoreo es antes que nada una herramienta de gestin que se concentra en el avance de
los proyectos y puede ayudar al equipo de un proyecto y a los dirigentes de una ONG a identificar los xitos ya logrados o viables en el futuro, por un lado, y los problemas, por el otro, y
para facilitar la adopcin de medidas correctivas durante la implementacin misma del proyecto.
Las evaluaciones se realizan por tres razones principales:
1. Aprendizaje: la evaluacin permite a las ONGs y a las partes interesadas [stakeholders]
aprender de la experiencia, mejorar las acciones posteriores y fortalecer el aprendizaje
institucional. Con este fin, se han diseado varios procedimientos para garantizar que
las lecciones aprendidas de los proyectos concluidos contribuyan a mejorar la formulacin de las polticas y la programacin de nuevos proyectos.
2. Empoderamiento [empowerment]: fortaleciendo las capacidades de los partners locales,
de los equipos de proyectos y de los beneficiarios, en la utilizacin de la evaluacin como una herramienta de conocimiento y de control.
3. Responsabilidad [accountability]: la evaluacin permite a las ONGs ser responsables
frente a las agencias donantes sobre el uso de los fondos.
Objetivos del M&E
1.3
En las ltimas dcadas, el monto de la ayuda pblica canalizada a travs de las ONGs ha
aumentado notablemente, en trminos absolutos y con respecto a los fondos administrados
por las agencias bilaterales y multilaterales. Esto ha incrementado el inters de los donantes
sobre los logros de las ONGs, asociado a un creciente escepticismo de los contribuyentes y
de los mismos donantes oficiales hacia los resultados de la ayuda al desarrollo.
Uno de los estudios ms exhaustivos sobre el impacto del trabajo realizado por las ONGs y
los mtodos de evaluacin del impacto afirma que una primera conclusin confirmada
por los datos y las entrevistas en los diferentes estudios de casos y pases es que no obstante el creciente inters en la evaluacin,
todava existe una falta de pruebas fiables del
Como fortalecer las capacidades de M&E
impacto de los programas y proyectos de de Creacin de nuevos cargos con un mansarrollo de las ONGs [Kruse et al., 1997].
dato especfico para el M&E.
Por otra parte comprender lo que estn
haciendo y el impacto de sus acciones siempre ha representado un inters general de muchas ONGs, que a menudo han demostrado un
alto nivel de atencin con respecto al uso de
los recursos del proyecto. Sin embargo, las
actividades de M&E realizadas por las ONGs, a
menudo utilizan enfoques, mtodos y formatos
no estandarizados. Adems, estas actividades
CISP
Colaboracin con instituciones acadmicas para explorar nuevos mtodos y modelos de M&E.
Pgina 4
DRN
Una revisin de la literatura sobre las posiciones y las prcticas de las ONGs con respecto al
tema de la evaluacin, evidencia unas caractersticas comunes y algunas diferencias:
1. El inters y el consenso sobre el mtodo participativo es casi universal: la opinin de los beneficiarios y de las otras partes interesadas debe ser incluida en el proceso de evaluacin
(una visin general del mtodo participativo se
encuentra en el prximo prrafo).
2. Se implementan cada vez ms proyectos en
partenariado entre ONGs del Norte y del Sur.
Esto es probablemente un elemento clave en el
enfoque de las ONGs de Forum Solint, cuyos
proyectos se basan esencialmente en la seleccin de partners locales fuertes que desempean un papel importante en la implementacin
de los proyectos. En todo caso, no obstante el
creciente papel de los partners locales, las
ONGs del Norte todava sostienen el principal
cargo de responsabilidad hacia el donante.
Durante mucho tiempo se ha pensado que los donantes fueran lentos en aprender de sus
errores, y la responsabilidad de rendir cuentas ha sido una preocupacin central para las
unidades de M&E de las principales organizaciones de ayuda. Los conceptos de gestin del
conocimiento y de organizacin capaz de aprender provenientes del sector empresarial,
empezaron a ser utilizados a finales de los aos 90.
Hoy en da, la mayora de las agencias de desarrollo identifica el rea del aprendizaje organizativo como aquella que ofrece ms oportunidades y desafos.
La nocin de aprendizaje organizativo se refiere al proceso con el cual las organizaciones
obtienen y utilizan el conocimiento para adaptar las viejas polticas, programas y estrategias, o, ms en general, para innovar. El Banco Mundial, una de las organizaciones lder en
la aplicacin de los conceptos de gestin del conocimiento, identifica tres tipos de aprendizaje: aprender haciendo, aprender de la investigacin y aprender de la evaluacin.
El aprendizaje organizativo est por lo tanto relacionado con dos temas conectados:
CISP
Pgina 5
DRN
1.3.3
En este marco, los desafos que las ONGs enfrentarn en el futuro, se pueden resumir de la
siguiente manera:
Reduccin de la brecha entre el inters terico para el M&E y el uso prctico de sus
herramientas, a travs de la sistemtica promocin y utilizacin de las tcnicas participativas y de una verdadera cultura de la evaluacin.
Investigacin y experimentacin de nuevos mtodos y herramientas, tales como el fortalecimiento de la capacidad interna para llevar a cabo actividades de M&E.
1.4
Entre los mayores donantes existen tres enfoques principales hacia el M&E:
1. El Enfoque del Marco Lgico (EML) (en ingls LFA Logical Framework Approach), que
es el ms utilizado.
2. El ZOPP (Zielorientierte Projektplanung, en espaol Planificacin de Proyectos Orientada
al Objetivo), una variante alemana del EML.
3. La Gestin Basada en los Resultados, que, en los ltimos aos, se ha vuelto el modelo
preferido por las agencias de Estados Unidos y Canad.
CISP
Pgina 6
DRN
El enfoque del marco lgico (EML), propuesto en 1969 por la United States Agency for International Development (USAID), fue concebido como una tcnica para mejorar la planificacin sistemtica de los proyectos de desarrollo. Con el tiempo, ha pasado de un simple
marco para estructurar racionalmente los objetivos a un sistema ms sofisticado, orientado
a involucrar todas las partes interesadas en la formulacin, implementacin y evaluacin de
proyectos.
En los ltimos aos muchos donantes bilaterales y multilaterales, incluida la Comisin Europea (CE), han adoptado el EML como instrumento principal para la planificacin y gestin de
proyectos.
El EML presenta los objetivos de los proyectos de manera lgica y sistemtica. Refleja adems las relaciones causales entre los diferentes niveles de objetivos (ordenados de manera
jerrquica), indicando cmo controlar su logro, y formaliza las hiptesis que no estn controladas por el proyecto pero que pueden influenciar su xito.
Este enfoque normalmente se desarrolla segn el siguiente recorrido:
a) Anlisis sistemtico de la situacin en la cual se ha planificado el proyecto.
b) Clara identificacin de los problemas a enfrentar y de las relaciones de causa - efecto
que stos implican, normalmente a travs de la construccin de un rbol de problemas.
c) Examen de las posibles alternativas operativas y formalizacin de una jerarqua lgica
de actividades y objetivos, que puede ayudar a superar los problemas que se presentan
durante la implementacin.
d) Identificacin de las hiptesis que estn a la base de la lgica de la jerarqua de objetivos
y de los riesgos externos que pueden hacer que esas hiptesis no se realicen.
e) Definicin de los indicadores necesarios para verificar el logro de los objetivos previstos.
f) Indicacin de los medios y de las fuentes de verificacin disponibles para recolectar la
informacin necesaria para medir y analizar los indicadores previstos.
El resultado de este proceso se resume en una matriz, el Marco Lgico, que muestra la
lgica global del proyecto y sus aspectos principales. Por lo tanto, el marco lgico tiene la
ventaja de presentar, de manera clara y sinttica, los elementos esenciales de proyectos
complejos. Las actividades especficas de M&E estn incluidas en el EML, en donde se definen los niveles, las personas, los procesos, los documentos y las informaciones utilizadas
para monitorear y evaluar el proyecto.
La primera columna de la MML se puede leer como una jerarqua de objetivos, como la columna vertebral de la estrategia del proyecto. La jerarqua muestra cmo las actividades del
nivel ms bajo contribuyen a la consecucin de resultados de ms alto nivel y como stos
contribuyen en su momento a la consecucin del objetivo especfico y de los objetivos generales del proyecto. Las distintas organizaciones y agencias de desarrollo (vase punto 2.2)
utilizan nombres diferentes para los cuatro niveles. En cualquier caso todos los niveles pueden considerarse como objetivos, ya que de todas maneras representan algo que los participantes al proyecto quieren conseguir.
CISP
Pgina 7
DRN
Fuentes y medios
de verificacin
Fuentes de informacin y
mtodos utilizados para
recolectarlas y reportarlas.
Hiptesis
Fuentes de informacin y
mtodos utilizados para
recolectarlas y reportarlas.
Hiptesis relativas a la
relacin entre objetivo
especfico y objetivo(s)
general(es).
Fuentes de informacin y
mtodos utilizados para
recolectarlas y reportarlas.
Hiptesis relativas a la
relacin entre el objetivo
de cada componente y
el objetivo especfico.
Fuentes de informacin y
mtodos utilizados para
recolectarlas y reportarlas.
Hiptesis relativas a la
relacin entre productos
y objetivo de cada componente.
Fuentes de informacin y
mtodos utilizados para
recolectarlas y reportarlas.
Hiptesis relativas a la
relacin entre actividades y productos.
Un modo para comprender la secuencia lgica en la que se basa la jerarqua descrita antes,
es el de mirar el nivel de control del proyecto sobre los factores que pueden influir sobre la
consecucin de sus objetivos. En otras palabras, el control de los gestores del proyecto sobre las actividades es muy alto, pero disminuye con el incremento de la influencia de los
factores externos, en la medida en que se pasa a los niveles ms altos.
Nivel de responsabilidad del proyecto
Aquello a lo
que
contribuye el
proyecto
A
El MML es por lo tanto un excelente
Objetivo(s)
u
instrumento
para
mejorar
la
general(es)
m
planificacin y la ejecucin de los
e
proyectos, pero no asegura de por si
n
t
un resultado exitoso. Si se utiliza de
Objetivo
o
manera demasiado rgida, se corre el
especfico
d
riesgo de realizar un ejercicio de tipo
e
formal, mientras que, sobre todo
l
durante la fase de planificacin, es
Resultados
c
necesario
ocuparse
de
varios
o
factores que influyen sobre el xito
n
del proyecto, como la habilidad del
t
Actividades
r
equipo de planificacin, el proceso
o
de
consulta
con
las
partes
l
interesadas y la consideracin de
las lecciones aprendidas de las experiencias anteriores.
Aquello:
a. de cuyo
logro se puede
razonablemente
responsabilizar
Aquello que
el proyecto;
est bajo el
b. que el
control
proyecto puede
directo de los esperar lograr
gestores del
proyecto
El EML debe considerarse un instrumento dinmico, que debe ser revalorado y revisado durante la ejecucin del proyecto para que se tomen en consideracin los cambios de las circunstancias.
CISP
Pgina 8
DRN
Una descripcin del proyecto orientada a los resultados, a travs de la definicin de expectativas realistas, la
identificacin clara de los beneficiarios y el diseo de planes que satisfagan sus necesidades. Resultados, objetivo especfico y objetivos generales son considerados como una jerarqua de resultados (vase 2.2), a los cuales puede contribuir la agencia de implementacin o el proyecto. En este contexto, el objetivo general del proyecto a menudo coincide con el objetivo especfico de la estrategia pas de la organizacin, ms que con objetivos generales de desarrollo, y por lo tanto se encuentra bajo el control del mismo proyecto.
Un sistema para medir el rendimiento a travs del monitoreo del cumplimiento de los resultados, utilizando
indicadores apropiados.
La responsabilidad hacia el rendimiento y la transparencia en la elaboracin de los informes sobre los resultados conseguidos y los recursos utilizados.
El enfoque GBR y el EML enfatizan aspectos diferentes, pero sus principios fundamentales son bastante parecidos.
Ambos estn dirigidos a asegurar la formulacin lgica del proyecto, consiguiendo resultados e identificando mecanismos de monitoreo de los proyectos para demostrar lo que se ha logrado.
La diferencia principal entre el enfoque GBR (en las dos variantes examinadas) y el EML/ZOPP es que el primero da
un mayor nfasis en la gestin, en el M&E y en la fase de formulacin, intentando capacitar los gestores del proyecto en enfrentar los cambios, mientras que el segundo se centra ms en la programacin y formulacin.
En conclusin, no hay conflictos especiales entre los dos enfoques y ambos se pueden utilizar de forma complementaria.
CISP
Pgina 9
DRN
Cuadro sinttico
Sistemas eficaces de M&E son necesarios para mejorar el rendimiento y aumentar las
oportunidades de aprendizaje organizativo.
La ayuda pblica canalizada a travs de las ONGs ha aumentado notablemente en los
ltimos aos: por lo tanto las ONGs deben mejorar su capacidad de compartir con otros
actores los resultados y las lecciones aprendidas de sus proyectos.
Las ONGs estn incrementando sus inversiones en sistemas de M&E, centrndose en las
oportunidades representadas por los mtodos participativos y el aprendizaje organizativo.
CISP
Pgina 10
DRN
2.1
Definiciones
No existe un acuerdo universal sobre los mbitos especficos que los conceptos de monitoreo y evaluacin deberan cubrir y sobre cul debera ser la demarcacin entre los dos. Una
distincin til se puede hacer entre las actividades esenciales para sostener la ejecucin del
proyecto (monitoreo) y las actividades funcionales a una reflexin ms profunda sobre impacto real (evaluacin).
MONITOREAR la conversin de los insumos
(actividades) en productos (resultados)
1. Monitoreo
El monitoreo se refiere a la verificacin continua de la implementacin del proyecto y de su
primer impacto a travs del proceso de recoleccin de datos y de sus anlisis, informe y uso
de la informacin.
El OECD/DAC [2002] define el monitoreo como una funcin de gestin que usa la metdica
recoleccin de datos para determinar si los recursos materiales y financieros son suficientes,
si las personas encargadas tienen la calificacin tcnica y personal necesaria, si las actividades son coherentes con los planes de trabajo, y si el plan de trabajo ha sido implementado
consiguiendo los objetivos establecidos.
El monitoreo es por lo tanto, antes que nada, una responsabilidad de los gestores y debe
continuar durante toda la vida de un proyecto; las prcticas de monitoreo deben brindar los
mecanismos a travs de los cuales la informacin relevante llega a las personas oportunas
en el momento oportuno, para ayudarlas a tomar la decisin apropiada. En particular, la
retroalimentacin sobre la ejecucin debe ayudar los gestores y las otras partes interesadas
a identificar los xitos verdaderos y potenciales y los problemas lo ms pronto posible para
facilitar ajustes puntuales de las actividades del proyecto.
El
-
El modo en el cual el equipo del proyecto y los dirigentes de las ONGs realizan el monitoreo
es sumamente variado: diferentes circunstancias, personas y capacidades necesitan diferentes enfoques y mtodos. Ms elementos sobre los temas del monitoreo se pueden encontrar en el captulo 4.
2. Evaluacin
Una evaluacin es una apreciacin [assessment], lo ms sistemtica y objetiva posible, de
un proyecto en curso o ya realizado, de su planificacin, ejecucin y resultados. El propsito
es el de determinar la pertinencia y el cumplimiento de los objetivos, la eficiencia en la realizacin, la eficacia, el impacto y la sostenibilidad [OECD/DAC, 2002].
CISP
Pgina 11
DRN
Los sistemas de monitoreo y revisin intermedia son muy importantes para la evaluacin,
ya que sta depende de manera significativa de la informacin regularmente recolectada y
reportada a travs de las actividades de monitoreo y revisin.
La evaluacin es al mismo tiempo un instrumento de conocimiento y de gestin que: (a)
ofrece a una organizacin la oportunidad de reflexionar sobre la calidad de su trabajo y la
idoneidad de sus estrategias, y sostiene el conocimiento necesario en el proceso de toma de
decisiones, por un lado, y el proceso de distribucin de recursos y responsabilidades, por el
otro; (b) proporciona la oportunidad de obtener lecciones de la experiencia, y por lo tanto
de guiar la planificacin futura.
FUNCIONES ESPECFICAS DEL MONITOREO Y DE LA EVALUACIN
FUNCIN
MONITOREO
EVALUACIN
Aprendizaje y responsabilidad
Enfoque
Mtodos
Informes
Seleccin
Tiempo
Responsabilidades
Difusin
Valoracin ex ante
Pgina 12
DRN
Las revisiones involucran no solamente el control de la ejecucin de un proyecto, sino tambin de sus conceptos bsicos y estrategias. El OECD/DAC [2002] define el concepto de
revisin de la gestin como un elemento del trabajo del director que puede comprometer
una amplia gama de actividades de monitoreo y de resolucin de problemas, planificado
para asegurar que las operaciones estn funcionando satisfactoriamente.
Auditora
La auditora es un proceso para establecer si, y hasta que punto, las medidas, los procesos,
las directivas y los procedimientos organizativos de las entidades de ayuda, se conforman a
las normas y a criterios previamente establecidos. Por lo tanto, el objetivo de la auditora es
ms limitado que el de la evaluacin, ya que la primera se limita a examinar la conformidad
con las obligaciones legales y contractuales.
2.2
Objetivo espec- Lo que se espera conseguir con el proyecto en el curso del tiempo y con los refico
cursos disponibles. Un programa pueden incluir ms de un objetivo especfico.
Ejemplo: Aumentar la provisin de los servicios sanitarios a la comunidad XY y
mejorar su calidad antes del cierre del programa.
Resultados
Los servicios o productos que deben entregarse para lograr los cambios esperados. Son tangibles y son el producto de la realizacin de las actividades. Cada
objetivo debe tener al menos un resultado. Ejemplos: Personal sanitario capacitado para sostener las comunidades. Red de carreteras mejorada y mantenida.
Actividades
Tareas especficas que se deben realizar para producir un resultado o para lograr
un objetivo. Ejemplo: Taller de capacitacin para el personal del Centro Mdico.
Insumos
Recursos (por ej.: personal, aparatos, material necesario para hacer el trabajo).
Ejemplo: 10 meses / persona del director de proyecto; libros de texto; equipos y
materiales para construir un nuevo centro de salud; provisin para viajes.
Hiptesis /
Riesgos
Condiciones que pueden afectar el avance o el xito de un proyecto y sobre las cuales el mismo no tienen un control directo. Una hiptesis asesina [killing assumption]
es una condicin que no est bajo el control del proyecto y que lo vuelve irrealizable. Las condiciones previas son hiptesis que deben realizarse antes del inicio del
proyecto para asegurar su xito. Ejemplo: En el presupuesto del sector sanitario
estn los fondos para contratar el nuevo personal del centro de salud.
Indicador
Medicin cualitativa y/o cuantitativa sobre una situacin que se cumple cuando
se ha logrado un objetivo. Los indicadores deben estar especificados en trminos
de cantidad, calidad y tiempo. No causan el logro de un resultado, se limitan a
medirlo. Ejemplo: La tasa de mortalidad infantil disminuye de X% a Y% en los
pueblos A, B y C antes del cierre del proyecto.
Cuantitativos
Indicadores que se pueden: medir de manera objetiva; tratar de manera estadstica y comparar. Dan la amplitud del resultado. Ejemplo: Nmero de kilmetros construidos por ao. Hay tambin indicadores cuantitativos de la calidad.
Ejemplos: Nmero de estudiantes por cada docente; Nmero de mujeres que
participan en posicin de lder en los comits de sus pueblos.
Cualitativos
CISP
Pgina 13
DRN
Aunque las definiciones se mantienen substancialmente smiles entre los donantes, la terminologa utilizada puede diferir y esto lleva a una posible confusin. En este manual se ha decidido adoptar la terminologa en uso en la Comisin Europea (CE) porque este es un donante
muy importante para las ONGs de Forum Solint, as como por su sencillez, adaptabilidad y
coherencia. La tabla siguiente compara la terminologa utilizada por las principales agencias.
DONANTE
CE
PNUD
OBJETIVO(S) GENERAL(ES)
OBJETIVO ESPECFICO
Objetivo general
Objetivo especfico
RESULTADOS
ACTIVIDADES
Resultados
Actividades
Objetivo de desarrollo
Objetivo inmediato
Productos
Actividades
Objetivo de la estrategia de
asistencia al pas
Productos
Actividades
CIDA
Finalidad
Objetivo especfico
Productos
Actividades
DANIDA
Finalidad
Objetivo inmediato
Productos
Actividades
Finalidad
Objetivo especfico
Productos
Actividades
Objetivo general
Objetivo especfico
Resultados
Actividades
Banco Mundial
DFID
FINNIDA
GTZ
Finalidad global
Objetivo especfico
Resultados
Actividades
SIDA
Objetivo de desarrollo
Resultados
Actividades
2.3
Criterios de evaluacin
La mayora de los criterios y conceptos bsicos utilizados en la evaluacin son universalmente aceptados y utilizados por todas las organizaciones de la comunidad de los donantes.
Estn fundados en los criterios para la evaluacin del OECD/DAC [1998], y se dirigen a cinco temas principales:
1. Pertinencia
2. Eficiencia
3. Eficacia
4. Impacto
5. Sostenibilidad
Cada uno de estos criterios est vinculado a elementos clave del marco lgico, como se explica en la tabla siguiente y en los prximos prrafos.
VNCULOS ENTRE LOS CRITERIOS DE EVALUACIN Y LOS NIVELES DEL MARCO LGICO
CRITERIOS DE EVALUACIN
Impacto: contribucin a la introduccin de cambios a largo plazo
VNCULOS
OBJETIVO ESPECFICO
(beneficios efectivamente recibidos)
Eficacia: de los resultados al objetivo especfico: en qu medida servicios y productos se utilizaron para
resolver el(los) problema(s)
RESULTADOS
(cambios generados)
ACTIVIDADES
(proceso de conversin de insumos en resultados)
INSUMOS
(materiales, personal y recursos financieros)
PROCESO DE FORMULACIN
CISP
Pgina 14
DRN
2.3.1
Pertinencia
se hace todo esto con los menores gastos para producir los resultados esperados.
Por lo tanto, la eficiencia enfrenta la siguiente cuestin: si hubiera sido posible lograr resultados similares o mejores utilizando otros medios a un costo ms bajo y en el mismo perodo de tiempo, o al mismo costo pero en un tiempo ms corto.
El anlisis de la eficiencia se concentra en:
1. La calidad de la gestin del proyecto:
-
Eficacia
CISP
Pgina 15
DRN
Impacto
El impacto se refiere a los efectos del proyecto sobre los beneficiarios meta as como a sus
efectos globales sobre un mayor nmero de personas, al interior del sector o del rea geogrfica, en trminos de factores tcnicos, econmicos, socioculturales e institucionales. El
impacto se refiere a la relacin entre el objetivo especfico y los objetivos globales del proyecto, teniendo en cuenta que a este nivel el proyecto es normalmente una de las variables
que contribuyen a un ms amplio resultado.
El anlisis del impacto normalmente se concentra sobre:
1. La medida en la cual se han logrado los objetivos globales y el aporte del proyecto para
su consecucin.
2. Los factores externos que han influido sobre el impacto global y la capacidad del proyecto para responder a estos factores.
3. Los posibles impactos no planificados del proyecto y sus efectos sobre el impacto global.
4. Los posibles efectos a largo plazo del proyecto.
5. Los impactos del proyecto sobre los temas transversales: gnero, medio ambiente, pobreza.
Algunos donantes se refieren al impacto empezando desde el nivel del objetivo especfico.
2.3.5
Sostenibilidad
La sostenibilidad es a menudo uno de los criterios ms importantes de evaluacin y se refiere a la medida en la cual:
los impactos positivos del proyecto a nivel del objetivo especfico tienen la posibilidad de
continuar despus del cierre de la asistencia externa;
los grupos meta y/o beneficiario quieren, y pueden, seguir realizando las actividades
empezadas por el proyecto y por lo tanto seguir cumpliendo sus objetivos.
Este criterio es muy amplio y la importancia relativa de los diferentes temas depende de la
naturaleza del proyecto y de su relacin con el contexto local. Los anlisis de sostenibilidad
pueden centrarse en:
1. Sentido de apropiacin de las partes interesadas de los objetivos (participacin en su
definicin durante la fase de planificacin) y consecucin (participacin durante la ejecucin del proyecto).
2. Sostenibilidad institucional: la medida en la cual el proyecto influye y respeta las caractersticas de las organizaciones y/o instituciones locales; la capacidad de stas de
desempear su papel despus del cierre del proyecto y la adecuacin del presupuesto
del proyecto para este objetivo.
3. Sostenibilidad financiera: si los servicios brindados pueden seguir funcionando cuando
se agoten los fondos externos; si hay suficientes fondos para cubrir todos los gastos y si
se genera una capacidad local de sostener los gastos de operaciones despus del cierre
del proyecto.
CISP
Pgina 16
DRN
4. Sostenibilidad sociocultural: si el proyecto tiene en cuenta la percepcin local de las necesidades y el sistema local de estatus y creencias; si los beneficiarios y las otras partes
interesadas han aceptado (y cmo) los cambios producidos por el proyecto.
5. Sostenibilidad tcnica: si la tecnologa y el conocimiento brindados se concilian con las
tradiciones, capacidades y conocimientos existentes; si los beneficiarios pueden mantener la tecnologa adquirida sin ulterior asistencia externa.
6. Posibilidad de replicar los impactos exitosos para una posible extensin del proyecto o
de iniciativas similares.
2.4
Tipos de evaluacin
Hay diferentes modos de clasificar las evaluaciones. Una primera distincin se puede hacer
entre las evaluaciones recapitulativas y formativas. Las evaluaciones recapitulativas se realizan cuando ya se ha terminado el proyecto, con el propsito de evaluar su eficacia e impacto. Las evaluaciones formativas, por otro lado, normalmente se realizan antes, para conocer lo que se est consiguiendo e introducir mejoramientos.
Una segunda distincin se puede hacer entre evaluaciones cuantitativas y cualitativas. Las
evaluaciones cuantitativas se concentran en los productos medibles entregados y en los
cambios originados que resultan directamente de la realizacin de las actividades del proyecto. La evaluaciones cuantitativas estn ms orientadas a los procesos y se concentran en
la apreciacin de los cambios de los factores no medibles, como las actitudes, los comportamientos, las capacidades, el nivel de conocimiento.
Otras distinciones entre los tipos de evaluacin incluyen las siguientes:
Por agente:
a) Autoevaluacin: realizada por personas comprometidas directamente en la realizacin
del proyecto sobre el terreno.
b) Evaluacin interna: realizada por personas que forman parte del equipo de las organizacin que brinda la ayuda, pero que son externas al proyecto.
c) Evaluacin externa: realizada por personas externas a la organizacin y al proyecto.
Por tiempo/etapa en el ciclo del proyecto:
a) Revisin (o Evaluacin) a mediano plazo (definida a veces sobre la marcha): realizada
durante la ejecucin del proyecto, con la intencin de verificar el rendimiento a la fecha
y brindar recomendaciones para la eventual introduccin de ajustes.
b) Evaluacin al cierre: realizada al final del proyecto, si este hace parte de una iniciativa
multi-fase, provee indicaciones para la realizacin de las fases siguientes.
c) Evaluacin ex post: realizada despus (normalmente 2/3 aos) del cierre del proyecto,
con la intencin de evaluar su impacto de ms largo plazo y deducir indicaciones para
futuras intervenciones similares.
Por finalidad:
a) Evaluacin de proyecto: evaluacin de un nico proyecto.
b) Evaluacin de programa: evaluacin de un programa compuesto por varios proyectos.
c) Evaluacin pas: evaluacin de las estrategias de ayuda al desarrollo en un pas determinado.
d) Evaluacin sectorial: evaluacin de grupos de proyectos o programas en un sector (o subsector), as como del apoyo global de una organizacin de ayuda a un sector especfico.
e) Evaluacin temtica: evaluacin de un grupos de proyectos o programas que enfrentan
un tema transversal desde el punto de vista sectorial o geogrfico.
Por temas especficos o procesos:
CISP
Pgina 17
DRN
a) Evaluacin de una poltica de desarrollo: evaluacin de un conjunto de proyectos o programas que tienen que ver con temas particulares a nivel sectorial o temtico.
b) Evaluacin institucional: evaluacin de la capacidad operativa de agencias de ayuda o de
ONGs internacionales, nacionales y locales.
c) Evaluacin de procesos: evaluacin de proyectos o programas para averiguar la eficiencia y la eficacia de un especfico proceso o modalidad operativa utilizada.
Cuadro sinttico
El monitoreo es antes que nada una funcin de gestin y pretende sostener la ejecucin
del proyecto; la evaluacin, por otro lado, se concentra primariamente en el aprendizaje
y la responsabilidad.
Una evaluacin acertada depende en buena medida de la constante recoleccin de datos
y del reporte de la informacin a travs de las actividades de monitoreo y revisin.
Un entendimiento comn de la terminologa es esencial para aplicar correctamente la
MML y cumplir los objetivos de M&E.
Los criterios de evaluacin comnmente utilizados enfrentan cinco temas: (a) pertinencia; (b) eficiencia; (c) eficacia; (d) impacto; (e) sostenibilidad.
Hay diferentes tipos de evaluacin. Las distinciones se pueden encontrar por dicotoma
(recapitulativa / formativa o cuantitativa / cualitativa), agente, tiempo o etapa en el ciclo del proyecto, finalidad, temas especficos y procesos.
CISP
Pgina 18
DRN
Identificacin
Formulacin
o Diseo
Ejecucin o
Implementacin
Cierre y Seguimiento
Papel del
Monitoreo
y de la
Evaluacin
Provee
lecciones
aprendidas
Define la
evaluabilidad
del proyecto
Monitorea los
avances y provee elementos
para reorientar
las actividades
La estrecha relacin entre las fases del ciclo del proyecto y las actividades de M&E, implica
que para aumentar la eficacia y la calidad de los proyectos a travs del M&E es necesaria
una actitud previsora. Es necesario responder a la pregunta: Qu necesitamos hoy para
introducir un cambio maana? El primer paso ser asegurar que el proyecto sea evaluable
desde el principio de su ciclo de gestin.
3.1
Asegurar que un proyecto estar en condicin de beneficiarse de futuras actividades de monitoreo y evaluacin es una preocupacin sea para los donantes, cuando seleccionan las
propuestas de proyecto, sea para las ONGs, que quiren mejorar la calidad de su trabajo y
aumentar la probabilidad de recibir otras financiaciones. Establecer la evaluabilidad es por lo
tanto el primer control de calidad que se debe realizar sobre los documentos relacionados
con la formulacin de un nuevo proyecto. Incluye cuatro momentos principales, que se deben emprender durante la fase de formulacin del proyecto:
a. Asegurar que la lgica de intervencin sea coherente y que todas sus partes sean explicadas de manera clara.
b. Asegurar que el marco de M&E sea factible y significativo en relacin a los resultados y
objetivos del proyecto.
c. Asegurar que los planes del proyecto prevean actividades de monitoreo y evaluacin
adecuadas.
d. Asegurar que las lecciones y las buenas prcticas aprendidas de los proyectos anteriores
se hayan incluido en el proyecto actual.
Asegurar que un proyecto sea evaluable es una responsabilidad de los que lo formulan y, al
mismo tiempo, de los que lo analizan y lo aprueban. La siguiente lista de control puede
ayudarlos para averiguar a tiempo la evaluabilidad del proyecto.
CISP
Pgina 19
DRN
Indicadores
Resultados
Hiptesis
a.
b.
Se ha establecido cules son los grupos ms afectados por cada problema o necesidad.
c.
d.
e.
f.
g.
Se han incluido datos bsicos sobre las condiciones anteriores a la implementacin del
proyecto.
h.
Si no est disponible ninguna fuente, el proyecto tiene que recolectar los datos.
i.
Se han fijado puntos de referencia, datos objetivos, u otras evidencias para monitorear
los avances y determinar el logro de los objetivos.
j.
k.
l.
Se han identificado los beneficios que derivarn del uso de los bienes y servicios producidos por el proyecto.
Se han identificado y descrito los eventos o elementos que estn fuera del control directo
de la gestin del proyecto y que pueden afectar su viabilidad, resultados y objetivos.
o.
Se han hecho provisiones para revisar los anlisis de viabilidad econmica y financiera,
en el caso que hayan retardos en la ejecucin que puedan afectar negativamente los
indicadores de xito del proyecto.
3.2
La comprobacin de la evaluabilidad de un proyecto empieza durante la fase de su formulacin. El producto de esta fase debe presentarse de manera tal que permita: (i) entender la
lgica de intervencin, sus principales hiptesis, y el marco temporal del proyecto; (ii) identificar las partes interesadas y los datos clave que se debern tomar en consideracin al
momento de realizar las actividades de M&E.
Para facilitar la definicin de estos elementos, hay que llenar la Matriz del Marco Lgico
(MML) como etapa final de la formulacin del proyecto. La MML es una herramienta de presentacin sinttica que describe la lgica de intervencin y sus componentes principales. La
MML es una ayuda para pensar, ya que implica: (a) la relacin causa - efecto entre las
diferentes partes de un problema; (b) las hiptesis, limitantes y riesgos que pueden influir
en la exitosa implementacin de un proyecto; y (c) el principio de correspondencia, o lgica
horizontal, que vincula cada nivel a la correspondiente medida del logro, y por lo tanto provee el marco para el monitoreo y la evaluacin.
Adems, si es adecuadamente revisada y actualizada, la MML (vase varios ejemplos en el
anexo 2) es tambin una herramienta de gestin til durante la ejecucin, ya que provee un
punto de referencia claro para apreciar los avances hacia un objetivo establecido.
En todo caso, la utilizacin de una MML no brinda una solucin mgica para la correcta identificacin o formulacin de un buen proyecto. Es simplemente un instrumento de presentacin analtica y sinttica. Si se utiliza mecnicamente, tambin la
MML est sujeta al principio basura entra, basura sale.
CISP
Pgina 20
DRN
3.2.1
Objetivo(s)
general(es)
Objetivo
especfico
Hiptesis
Hiptesis
Resultados
Hiptesis
Actividades
Condiciones
previas
Pgina 21
DRN
Durante la fase de
formulacin:
Durante la ejecucin:
Durante el proceso
de evaluacin:
3.3
La capacidad de definir los indicadores consultando con las partes interesadas, y de acordar
su importancia y caractersticas especficas, es una demostracin de que los objetivos del
proyecto estn claros, compartidos y apoyados. Al mismo tiempo, como los indicadores son
un instrumento eficaz de M&E, es necesario asegurarse de que sean medibles.
Los indicadores tienen dos funciones principales:
ayudar a monitorear los avances hacia la consecucin del objetivo (pregunta: Cmo
sabemos si lo que se ha planificado se est efectivamente realizando?);
aclarar la lgica de intervencin del proyecto indicando lo que se desea lograr, la duracin, la calidad requerida, y los grupos meta.
Una correcta definicin de los indicadores es crucial para cada sistema de M&E, porque definiendo claramente el enfoque para la recoleccin de datos, los indicadores brindan un mapa para las actividades de monitoreo y evaluacin.
Sin un claro conjunto de indicadores, las actividades de M&E pierden su capacidad de evaluar lo que se ha realizado con respecto a lo que se haba establecido y previsto.
3.3.1
No existen principios universales para formular buenos indicadores, pero las caractersticas
listadas abajo son tiles y pueden aplicarse a todos los sectores y tipos de acciones.
Caractersticas SMART de los indicadores
Specific
Measurable
Attainable
Relevant
Timely
3.3.2
Los indicadores deben referirse a los elementos especficos que el proyecto intenta modificar. Por
eso, deben ser definidos con los partners y las otras partes interesadas segn las condiciones locales.
Los indicadores cuantitativos y medibles son a menudo preferidos, ya que son ms fciles de manejar y
permiten el anlisis estadstico de la informacin. Lo importante es definir cmo recolectar los datos
que deben ser disponibles y limitar al mnimo los indicadores que tienen componentes subjetivas.
La informacin necesaria debe ser disponible a un costo aceptable, utilizando mtodos de recoleccin
adecuados. Los indicadores deben ser simples y limitados en el nmero. Una atenta identificacin de
datos necesarios, disponibilidad, costo de recoleccin y tratamiento debe ser realizada antes de la
seleccin final de los indicadores.
Los indicadores deben ser pertinentes con respecto a la informacin de gestin requerida por los que
utilizan los datos (por ej.: el equipo de terreno puede necesitar indicadores especficos que no son
relevantes para los dirigentes de la sede principal). En todo caso, para facilitar la apreciacin del
rendimiento y evitar malentendidos sobre los logros del proyecto por parte de diferentes usuarios, el
nmero de indicadores debe permanecer limitado por cada nivel de objetivo considerado.
Los indicadores deben recogerse y reportarse a tiempo oportuno, para que puedan ser utilizados en
la toma de decisiones de gestin.
El enfoque del marco lgico provee una herramienta eficiente para la formulacin de proyectos, postulando una jerarqua de objetivos medibles a travs de indicadores. Seguir esta
CISP
Pgina 22
DRN
estructura permite tambin repartir las responsabilidades entre los que monitorean los indicadores y los que reciben la informacin.
FUENTES DE LOS INDICADORES
Objetivos
Tipos
del proyecto
de indicadores
Objetivo(s) general(es) Impacto
Objetivo especfico
Resultados
Efectos directos
(Resultados)
Productos
Actividades
Insumos
Procesos
Insumos
El cuadro siguiente permite visualizar las relaciones entre los distintos indicadores.
RELACIONES ENTRE LOS INDICADORES
Productos
Finalizacin de etapas
importante (milestones)
Unidades provedas/creadas
Indicadores
de insumos
Insumos
Procesos
Disponibilidad fsica
Trabajo y sostenibilidad
Desarrollo de capacidades
Cambios organizativos
Indicadores
de proceso
Actividades
Uso/Satisfaccin
Distribucin de beneficios - Cambios
en el comportamiento
Indicadores
de resultado
Efectos
directos
Los indicadores de procesos miden lo que sucede durante la ejecucin y se refieren sobre
todo a la realizacin de actividades. Pueden definirse como el vnculo entre actividades y
resultados, ya que se refieren a eventos importantes extrapolados de un plan de operaciones, y por lo tanto describen las etapas que conducen a los resultados.
Hoy en da en las actividades de monitoreo y evaluacin se le da menor atencin que antes
a los indicadores de proceso, porque se ha aclarado que su cumplimiento no asegura la calidad de los resultados ni el xito de los proyectos. Sin embargo, en varios informes de evaluacin, se ha demostrado tambin que escasos rendimientos en el logro de resultados a
menudo dependen de fallas en el proceso de implementacin. Monitorear el proceso de eje-
CISP
Pgina 23
Indicadores
de impacto
Avance en el
desarrollo
Impacto
DRN
cucin a travs de indicadores de proceso es por lo tanto importante para crear las condiciones para conseguir los resultados establecidos.
Adems, en los proyectos de creacin de capacidades, como el fortalecimiento institucional
o participativo, tpicamente implementados por ONGs, los indicadores de proceso todava
tienen un papel importante. stos aclaran la estrategia seguida y por lo tanto permiten monitorear la calidad de los procesos en curso, y si fueron identificados conjuntamente con
los beneficiarios - aumentan su capacidad de autoevaluacin y su sentido de apropiacin de
los resultados.
Los indicadores de procesos no estn previstos en la MML, mientras que en correspondencia con el rengln Actividades, en la segunda (Indicadores objetivamente verificables)
y tercera (Fuentes de verificacin) columnas estn especificados, respectivamente, Insumos y Costos del proyecto. Sin embargo, ya que los indicadores de procesos son fundamentales para monitorear los avances, deben ser incluidos en la MML, al momento de
construir el marco de M&E, en correspondencia del rengln Actividades en casilla Insumos. Estos indicadores pueden deducirse de otros documentos relativos a la formulacin,
como el plan de trabajo o la descripcin del proyecto.
Ejemplo de indicadores de proceso:
-
Los indicadores de resultados se refieren sea a los bienes y servicios planificados cuya
provisin est prevista en el curso del proyecto (Productos), sea a los cambios que deben
introducir para conseguir el objetivo especfico (Efectos directos).
En la MML los indicadores de Productos y Efectos directos se definen por separado, en
correspondencia, respectivamente, con Resultados y Objetivo especfico. En todo caso,
en el M&E normalmente se hace referencia al conjunto de los dos como indicadores
de resultados, ya que los dos son necesarios para la consecucin del Objetivo especfico, que es la preocupacin primaria de las actividades de monitoreo y una cuestin
clave de la evaluacin.
Un tema clave para elaborar estos indicadores es el de reflejar la dimensin cualitativa de
productos y efectos directos. sta es la preocupacin principal de los donantes cuando financian una nueva actividad y cuando revisan o evalan una iniciativa ya financiada.
Considerar los temas siguientes puede facilitar la elaboracin de indicadores de la calidad de
los resultados.
Utilidad de los resultados: para quin y en qu trminos. La entrega de un producto previsto no es suficiente para asegurar su calidad. La construccin de un centro de salud o la
distribucin de ayuda alimentaria en un pueblo, por ejemplo, no son indicadores de la calidad de un resultado. Un primer paso en esta direccin es lo de considerar el nmero de
centros de salud por pueblo o la distancia media de cada centro de los pueblos interesados o el anlisis, diferenciado por gnero, de aquellos que reciben asistencia mdica.
Estos indicadores detectan el eventual mejoramiento en el acceso al servicio, o en el caso
de la ayuda alimentaria, a los alimentos por parte de grupos vulnerables. Otro paso hacia
la calidad es definir la utilidad de cada cosa para los participantes y los beneficiarios. Para
un centro de salud, este puede detectarse en trminos de poblacin atendida. Por lo tanto, un indicador de calidad podra ser el incremento de X% en las personas atendidas,
antes del cierre del proyecto, en los centros de salud construidos en la regin Y. En el caso de la ayuda alimentaria, los indicadores podran referirse al porcentaje de nios afectados por malnutricin crnica atendidos en el centro de salud local. En la eleccin final
CISP
Pgina 24
DRN
de los indicadores, adems, hay que tener en cuenta lo que es ms relevante para los beneficiarios y los participantes al proyecto. Eso es particularmente importante cuando el
grupo meta son los pobres u otro grupo desfavorecido. Un factor crucial para la calidad de
los resultados es el uso de indicadores desagregados segn el grupo especfico o dirigidos
especficamente a un grupo meta dentro de un grupo ms amplio (por ej.: en un proyecto
de educacin o de salud, el indicador de la utilidad del servicio se puede averiguar sobre la
poblacin total del pueblo, desagregada por gnero y/o clase de ingresos).
Sostenibilidad. La calidad de un resultado depende tambin de su capacidad de seguir produciendo sus efectos despus del cierre del proyecto. Por ejemplo, si el resultado esperado
es: los pueblos de la regin X son equipados con nuevos puntos de agua, se toma en
cuenta la sostenibilidad si se formula el indicador como sigue: en cada pueblo el comit para el agua puede gestionar y mantener el punto de agua. Si el resultado es: la introduccin de nuevas tcnicas para la construccin de viviendas adecuadas para limitar los daos
ocasionados por los desastres naturales, el indicador puede ser las municipalidades de las
reas interesadas han adoptado las nuevas tcnicas de construccin para las nuevas viviendas. Dependiendo del proyecto, del contexto local y de los participantes, la manera de enfocar al tema de la sostenibilidad a travs de un indicador puede ser diferente, ya que los
factores que afectan la sostenibilidad pueden variar. En todo caso, los factores relacionados
con la sostenibilidad que se deben tener en consideracin y que los indicadores deben reflejar son: a) aceptacin cultural, social e institucional de las soluciones y cambios propuestos
e introducidos; b) limitantes econmicas y financieras; c) falta de capacidades y conocimientos; d) variables organizativas.
Desarrollo de capacidades. En el caso de proyectos que incluyen esta componente, el indicador debe evidenciar el eventual crecimiento y el desarrollo de las capacidades individuales o institucionales y de detectar los cambios y las tendencias. Adems, dado que el
aprendizaje, la adaptacin y los cambios son intrnsecos a este tipo de proyectos, la posibilidad y la capacidad de los participantes de formular sus propios indicadores son fundamentales para su aceptacin y uso. Las preguntas clave a las cuales responder para definir indicadores de desarrollo de capacidades son: Cules son las funciones y/o capacidades crticas que se deben desarrollar?, Cul es el nivel de capacidad antes del arranque
del proyecto?, Cules capacidades sera oportuno introducir?, Quines tendran que
adquirir dichas capacidades?, Cules son las estrategias ms viables para lograr el
cambio?. Por ejemplo, si el resultado esperado es mejorar la calidad de la enseanza en
la educacin primaria, el indicador no ser se han capacitado X profesores en el mtodo
ABC, sino los profesores capacitados aplican el mtodo ABC para ensear matemtica e
ingls. Otras especificaciones de estos indicadores (cantidad, calidad y tiempo) tienen
que ser discutidas tambin con las partes interesadas. Al final el indicador puede ser: antes del cierre del proyecto al menos el 90% de los profesores capacitados aplican el mtodo ABC para ensear matemtica e ingls en todas las escuelas rurales.
Participacin. Como muchos proyectos de ONGs se ocupan de desarrollo institucional y/o
comunitario, la participacin es una importante dimensin que debe tenerse en cuenta en
la formulacin de los indicadores de resultado. Esto puede hacerse de manera cualitativa o
cuantitativa.
Los indicadores cuantitativos de participacin reflejan la informacin objetivamente medible. Por ejemplo: nmero de participantes por grupo social, econmico, educacin, edad,
tnico; o cantidad / frecuencia / presencia en las reuniones de las organizaciones creadas o fortalecidas (por ej.: comits de pueblo); compromiso de los beneficiarios en las
actividades del proyecto, como indicado, por ejemplo, por el nivel de mantenimiento de
los servicios comunes, de los aportes personales en las actividades del proyecto. Muchos
de estos datos pueden recogerse a travs de los documentos de gestin y esto conlleva
cierta preferencia de los operadores para los indicadores cuantitativos. stos son tiles
tambin para monitorear el proceso durante la implementacin.
La informacin cualitativa sobre participacin se refiere a comportamientos, cambios y uso
de algunas capacidades que requieren anlisis descriptivos y no pueden cuantificarse. Por
ejemplo: cmo estn organizados y gestionados los grupos; cules capacidades se espera que desarrollen los participantes; calidad del aporte de los participantes y su comportamiento en los grupos. Dado que la recoleccin de esta informacin requiere tiempo
CISP
Pgina 25
DRN
y capacidades especiales, se sugiere concentrar el uso de indicadores cualitativos de participacin en los momentos dedicados a la averiguacin del logro del objetivo especfico,
ms especficamente durante las revisiones a mediano plazo, las misiones sobre el terreno
del responsable de rea geogrfica de la sede principal, o la evaluacin final del proyecto.
Un buen enfoque para combinar la dimensin cuantitativa y cualitativa en la MML, es la de
utilizar algunos indicadores de participacin (dimensin cuantitativa) con algunos indicadores de madurez socioinstitucional, concentrndose en las capacidades especficas y los
cambios que el proyecto pretende conseguir. Por ejemplo:
-
Los indicadores de impacto se refieren a los cambios a mediano y largo plazo y generalmente se dirigen al objetivo general del proyecto, aunque unas agencias hablan de impacto
tambin a nivel de objetivo especfico. Ya que el impacto es definido como la diferencia entre la situacin antes y despus de una accin, o como la comparacin entre realidades similares con o sin proyecto, su medida requiere una descripcin clara de la situacin / poblacin / regin original. Por lo tanto, su medicin involucra estadsticas sofisticadas sobre el
bienestar social y econmico y la recoleccin de datos que en algunos pases y/o situaciones
no estn disponibles o no se pueden recoger. Adems, esta medicin es obstaculizada por el
hecho de que es difcil extrapolar el efecto de una accin especfica sobre una situacin en
la cual influyen mltiples factores diferentes, sobre todo en presencia de otros proyectos.
Como los indicadores de impacto se refieren al objetivo general, deberan estar vinculados
tambin a los indicadores de desarrollo vigentes para el pas beneficiario, y ms en general
a los indicadores del desarrollo mundial (por ej.: tasa de alfabetizacin y tasa de mortalidad
infantil, vase anexo 3).
Dada la dificultad en recoger los datos y aislar el efecto de un solo proyecto, el impacto se
medir utilizando indicadores substitutivos, que constituyen medidas indirectas vinculadas a
los resultados esperados por una o ms hiptesis. Son utilizados cuando una medicin directa no es posible o es conveniente (por ej.: porque sera demasiado cara).
Ejemplo de indicadores de impacto substitutivos:
Tasa de alfabetizacin:
Tasa de mortalidad infantil: percepcin de los padres de la resistencia de los hijos a algunas
enfermedades;
Indicadores de ingreso:
En los proyectos de las ONGs que operan a nivel micro y local, el impacto ser referido
a los cambios sociales, econmicos y de comportamientos que se dan en la regin /
CISP
Pgina 26
DRN
Medios/Fuentes
de verificacin
Efectos directos
Actividades
Insumos
Productos
Monitoreo y Evaluacin
M&E
Nivel de
objetivo
Objetivo
especfico
Resultados
Actividades
Insumos
Insumos
3.3.3
La seleccin de los indicadores no depende slo de la estructura y de los objetivos del proyecto, sino tambin de la disponibilidad de datos, del tiempo y de las capacidades necesarias para su recoleccin. Todos estos son factores que tiene importantes implicaciones a
nivel de gestin y de presupuesto. Muchas veces los datos disponibles localmente son poco
confiables. Por lo tanto, los datos ms importantes para la elaboracin de los indicadores
relevantes podran ser recogidos directamente por el proyecto o por los partners e instituciones locales, con el soporte del proyecto. En todo caso, debera evitarse, o limitarse al
mnimo indispensable, la creacin de sistemas de recoleccin de datos paralelos o no sostenibles.
Se sealan a continuacin algunas etapas de la fase de planificacin cuya importancia es
fundamental para hacer posibles las posteriores actividades de M&E.
1. Identificacin de datos bsicos: Ya que el
fin ltimo de un indicador es el de medir un
cambio, es esencial conocer el punto de partida. Eso es fundamental tambin para cuantificar y calificar el cambio esperado. Si no se conoce la situacin inicial, se corre el riesgo de
establecer de manera errnea los objetivos que
se quieren conseguir. De hecho, objetivos demasiado ambiciosos y poco realistas son intiles para el monitoreo, mientras que objetivos
demasiado simples reducen la pertinencia del
proyecto y su potencial impacto.
Problemas comunes
en la recoleccin de datos
Barreras lingsticas
Falta de tiempo suficiente
Costos elevados
Equipo no adecuadamente capacitado o sin
la experiencia necesaria
Invasin de la esfera privada
Generacin de sospechas y prejuicios
Surgimiento de falsas expectativas en la
comunidad
Normas y/o hbitos culturales
Liderazgo de las personas equivocadas
Si no estn disponibles las fuentes necesarias para disponer de los datos bsicos (por
ej.: estadsticas nacionales, informes de otros proyectos, estudios de los donantes),
ser necesario incluir su recoleccin como primera actividad del proyecto. Considerando los costos y las implicaciones de sostenibilidad de esta operacin, la identifica-
CISP
Pgina 27
DRN
cin de los datos que se deben recoger debe ser extremadamente selectiva. El uso
de indicadores substitutivos deber preferirse mientras que la recoleccin de datos
especficos deber limitarse a unas muestras significativas de beneficiarios.
2. Identificacin de fuentes y de datos que se deben recoger para construir los indicadores, as como del tiempo y recursos necesarios: Debe hacerse durante la elaboracin
de la MML, obteniendo as un elemento importante para escoger los indicadores. El riesgo es el de simplificar demasiado los indicadores para superar el problema de la recoleccin de los datos, con la posibilidad de perder en eficacia y pertinencia.
Si algunos datos son cruciales para el monitoreo de los avances y de la calidad, pero
no fcilmente disponibles, su recoleccin deber incluirse especficamente en las actividades del proyecto y debern preverse los recursos necesarios (tiempo, recursos
humanos y materiales).
Ya que la recoleccin y anlisis de datos debe ser llevada a cabo por diferentes personas y a distintos niveles, es importante asegurar que la informacin recogida sea
relevante para el anlisis y evitar que se malgasten los recursos recogiendo datos
que no sean efectivamente necesarios.
3. Seleccin de mtodos de recoleccin de datos: El mtodo seleccionado depende del
tipo de indicadores necesarios y de las actividades de M&E previstas. Los documentos y
archivos de gestin se utilizarn primariamente para los indicadores de insumos y de
procesos. La observacin directa y las visitas sobre el terreno se utilizarn para recoger
los datos para los indicadores de procesos (por ej.: el nmero de escuelas construidas) y
los indicadores cuantitativos de participacin. Los mtodos cualitativos, que requieren
capacidades ms especficas y que ocupan tiempo, deben evaluarse atentamente antes
de su uso.
En la fase de planificacin del M&E, debera existir un claro acuerdo sobre el mtodo
y el personal dedicado a la recoleccin y anlisis de los datos de terreno, y, antes del
arranque del proyecto, deberan ser disponibles los formatos para registrar los datos.
El sistema de recoleccin de datos puede establecerse a partir del sistema de conservacin de archivos administrativos, si ste es de buena calidad, y se puede complementar despus con el registro de datos a fines de M&E.
4. Definicin de procedimientos y responsabilidades para la recoleccin de datos:
Si los datos no se recogen durante el proyecto, el monitoreo de los avances y la evaluacin de los resultados podran verse muy limitados. Al mismo tiempo, es importante
asegurar que la recoleccin de datos sea fiable y que se haga al momento oportuno.
La mayor parte de los datos primarios debe ser recogida sobre el terreno bajo la responsabilidad del director del proyecto y de los partners locales, y en algunos casos
directamente por los beneficiarios. En ambos casos puede pasar que no sean disponibles las capacidades especficas al respecto. Para mejorar la calidad del trabajo,
entonces, puede ser til brindar una capacitacin bsica y lneas gua para la recoleccin de datos al personal empleado en esta tarea.
Los procedimientos establecidos deben indicar cundo y con qu frecuencia deben
realizarse la recoleccin y anlisis de los datos, as como las personas encargadas. Si
el responsable de esta actividad es el director del proyecto, este compromiso debe
estar claramente indicado en sus trminos de referencia y realizado en el marco de
sus normales actividades de gestin. Si las comunidades estn encargadas de la recoleccin de datos, este compromiso debe explicarse y concordarse con ellas, de
manera que se incluya en sus actividades habituales.
CISP
Pgina 28
DRN
3.4
Los siguientes puntos ilustran los momentos en los cuales el M&E interviene en el ciclo del
proyecto. Para permitir que estas actividades sean realizadas de manera efectiva, se deben
desarrollar las tareas especificadas a continuacin.
Prever el tiempo para la recoleccin de datos. En particular en la fase de inicio del
proyecto, para obtener una clara descripcin de la situacin inicial.
Sincronizar la recoleccin de datos con la preparacin de los informes de avance y monitoreo. sto implica tambin la inclusin, durante la planificacin del proyecto,
de una determinada cantidad de tiempo para el anlisis de los datos recogidos y la formulacin de posibles comentarios.
Establecer misiones sobre el terreno y otras revisiones intermedias (como
aquella a mediano plazo) en relacin con las etapas importantes del proyecto,
para elaborar e introducir eventuales medidas correctivas de manera efectiva. Por ejemplo, una misin de monitoreo o una revisin a mediano plazo llevada a cabo pocos meses antes del cierre del proyecto no permite el logro de su propsito principal.
Incluir claras responsabilidades de M&E en los trminos de referencia del personal involucrado, y especialmente del director del proyecto, del coordinador regional
y de los funcionarios de la sede principal. Esto implica tambin que la duracin del compromiso con el proyecto debe tener en consideracin estas tareas adicionales.
Incluir en el plan de trabajo del proyecto un listado de las actividades de recoleccin de datos, monitoreo y evaluacin. sto significa que hay que dedicarle tiempo y fondos a estas actividades y que la disponibilidad de los mismos ser tambin una
indicacin del nivel de viabilidad y de eficacia potencial de estas acciones.
Decidir al inicio si se har una evaluacin al final del proyecto o una evaluacin
de impacto. sto para: a) definir un grupo de control; b) establecer la metodologa
adecuada para la recoleccin de datos cualitativos; y c) incluir los recursos para una
evaluacin llevada a cabo por expertos externos al proyecto.
En el contexto de la emergencia existe una tendencia natural a una escasa coordinacin y a operar en un vaco
institucional. La coordinacin por lo tanto debe considerarse como un elemento fundamental para la eficacia del
proyecto.
Otro tema fundamental para determinar la eficacia de las acciones humanitarias es la proteccin: los beneficiarios podran encontrarse fsicamente imposibilitados en el acceso a la asistencia brindada, y/o podran ser el
objetivo de ataques a causa de la misma. En la formulacin de las actividades de M&E debe tenerse en consideracin una evaluacin del nivel de seguridad / proteccin y de libertad de movimiento en el rea de operaciones, junto con las medidas emprendidas para mejorar la situacin.
Es tambin necesario distinguir entre las crisis de inicio repentino (terremotos, inundaciones, etc.) y las de
inicio lento, como la sequa. En el caso de las emergencias de inicio repentino: (a) las actividades de M&E
deben a menudo emprenderse con un conocimiento incompleto de la situacin; (b) las actividades esenciales
de monitoreo deben activarse rpidamente y ampliarse paulatinamente, segn cuanto permitido por las circunstancias. El monitoreo, sobre todo en la fase inicial, se basa esencialmente en indicadores de insumos y de
proceso. Adems, especialmente en reas de conflicto y/o en ausencia de partners locales, las actividades de
M&E deben ser realizadas enteramente por la ONG y es por lo tanto oportuno prever los recursos necesarios.
En el caso de emergencias de inicio lento, las actividades de monitoreo se pueden planificar con ms tiempo.
Adems, sin eliminar por completo los indicadores de proceso y de impacto, la atencin debe concentrarse en
la seleccin y seguimiento de un nmero limitado de indicadores de resultados (vase anexo 3). sto, agregado
a una mejor comprensin de la efectiva pertinencia de la accin, puede brindar elementos tiles para la definicin de proyectos posteriores y crear, por lo tanto, el necesario continuum entre emergencia, rehabilitacin y
desarrollo.
CISP
Pgina 29
DRN
Cuadro sinttico
Las actividades de M&E deben ser vinculadas a las fases del ciclo del proyecto.
La Matriz del Marco Lgico (MML) es el instrumento principal para la formulacin de proyectos, y se utiliza tambin como un instrumento de gestin durante su realizacin.
Una lgica de intervencin clara, con base en un vlido anlisis de problemas, provee la
base para una correcta formulacin de las preguntas de M&E sobre los cinco criterios de
evaluacin.
Los indicadores para monitorear los alcances hacia la consecucin de los objetivos planificados deben ser medibles y definidos en conjunto con las partes interesadas.
Existen varios tipos de indicadores que se refieren a los diferentes niveles de los objetivos postulados en el ML: la seleccin de los indicadores depende de la estructura del
proyecto (MML), as como de la disponibilidad de los datos, del tiempo y de las capacidades necesarias a su recoleccin.
Datos bsicos, as como las fuentes y los mtodos de recoleccin de los datos, deben ser
identificados al momento de formular las futuras actividades de M&E.
Para hacer el M&E posible y efectivo, en la fase de planificacin se deben identificar responsabilidades claras y recursos suficientes.
Las acciones de emergencia no requieren una metodologa alternativa para el M&E, sin
embargo se debe prestar una atencin especial a las circunstancias en las cuales stas
se llevan a cabo.
CISP
Pgina 30
DRN
MONITOREO
El monitoreo es una continua comprobacin de la ejecucin del proyecto y de su primer impacto a travs del proceso de recoleccin y anlisis de los datos, de elaboracin de los informes y del uso de la informacin.
Los donantes se preocupan principalmente por demostrar resultados tangibles, mientras
que, generalmente, las ONGs se interesan ms en el proceso de realizacin y al modo en el
cual se consiguen los resultados. Reconocer y tener adecuadamente en consideracin esta
diferencia de enfoque, es importante para reducir la posibilidad de desacuerdo entre ONGs y
donantes.
Por esto, se deben desarrollar y utilizar prcticas y herramientas adicionales de monitoreo
adaptadas para las ONGs, que integran las requeridas por los donantes, como los informes
de avance. Este captulo presenta las etapas necesarias para una exitosa ejecucin de las
actividades de monitoreo y brinda instrumentos prcticos al respecto.
Los datos y la informacin recogidos para el monitoreo se presentan en formatos especficos, que tienen en cuenta los lmites y las necesidades tpicas de las ONGs. Estos formatos
tienen las siguientes caractersticas comunes:
se incluyen slo los datos de inters y uso para el equipo de terreno;
se selecciona la informacin de calidad que se puede obtener con relativa facilidad;
se facilita una presentacin sencilla;
se incluye una base vlida para las conclusiones sinpticas y la comparacin llevada a
cabo por terceros.
4.1
Introduccin
Los proyectos de las ONGs involucran muchos actores que desarrollan papeles diferentes a
distintos niveles del proceso de monitoreo. Cada nivel se caracteriza por particulares necesidades de informacin y debe tratarse con instrumentos de gestin especficos.
FINALIDADES DEL MONITOREO:
(a) Apoyar los que se encargan de la gestin diaria del proyecto
(b) Cuantificar los avances hacia los resultados planificados
(c) Cuantificar los avances hacia el logro del objetivo especfico
ACTIVIDADES PRINCIPALES DEL MONITOREO:
(a) Implementacin de las actividades en curso
(b) Calidad de los resultados y anlisis de las variaciones (y de los cambios) introducidas
(c) Revisin y actualizacin de la lgica de intervencin
ORGANIZACIN DEL MONITOREO:
(a) Recoleccin de informaciones de manera continua: equipo de proyecto
(b) Anlisis trimestral de la informacin recopilada: coordinadores regionales y/o nacionales
(c) Misiones sobre el terreno en momentos especficos: funcionarios de la sede principal
HERRAMIENTAS DEL MONITOREO:
(a) Documentos y archivos de gestin
(b) Informes sintticos
(c) Informes de las misiones sobre el terreno
CISP
Pgina 31
DRN
4.2
Las ONGs tienen diferentes sistemas de gestin de proyectos con las relativas prcticas de
monitoreo y evaluacin. El listado y la tabla siguientes proporcionan un panorama general
de sus rasgos principales.
En la sede principal, los dirigentes encargados de la gestin (Responsables de reas Geogrficas o de Programas) se concentran en la informacin y los anlisis que pueden ser utilizados para las actividades de aprendizaje organizativo, el cabildeo hacia los donantes, y la
divulgacin hacia la opinin pblica. En este marco es importante contar con indicaciones
sintticas sobre el impacto real de las acciones realizadas.
En cada pas o regin, el personal encargado de la gestin (Representantes pas y/o regin)
y los partners locales estn interesados en recibir retroalimentacin informativa desde el terreno para: i) preparar los informes de avance para donantes y autoridades locales; ii) demostrar los resultados (con nfasis en los indicadores de insumos y de resultados) sobre
todo a los donantes ms importantes, cuyos mecanismos de decisin estn a menudo descentralizados en cada pas; iii) entender los avances globales del proyecto en el marco de la
estrategia pas; iv) extrapolar lecciones para futuros proyectos en el pas.
Enfoque
Evaluacin / Impacto
Pas
Nivel de proyectos
Proyecto
Nivel de gestin
Proyecto
Nivel operativo
Evaluacin / Impacto
Monitoreo / Rendimiento (resultados)
Monitoreo / Avances
(insumos y actividades)
Preguntas
La estrategia general es efectiva?
La cartera de proyectos se est utilizando
de manera apropiada?
El proyecto est funcionando?
Es sostenible?
El proyecto est produciendo los resultados esperados? Podra ser ms eficiente?
El proyecto est respetando el cronograma?
Lo gastos estn respetando el presupuesto?
Hay cambios en el contexto de referencia?
El monitoreo por lo tanto es realizado a niveles distintos por varios actores, los cuales requieren una informacin diferente pero complementaria.
Los administradores del proyecto llevan a cabo peridicamente el monitoreo financiero, con
la supervisin de los responsables de rea geogrfica y de los otros dirigentes de la sede
principal de la ONG. Como el financiero es el sector operativo que dispone de los procedimientos y prcticas de monitoreo ms sistemticos y efectivos, no se considera oportuno
introducir otros instrumentos separados y especficos. El monitoreo financiero por lo tanto
se tratar al interior de los otros tipos de monitoreo.
4.3
CISP
Pgina 32
DRN
Para definir claramente los diferentes tipos de informacin necesarios para los directores de
proyectos, as lo para que se debe utilizar informacin, se han identificado tres categoras
principales que corresponden a tres diferentes finalidades del monitoreo:
a) Informacin sobre la ejecucin de las actividades planificadas y la participacin de los
beneficiarios, para apoyar la gestin cotidiana de los proyectos sobre el terreno.
b) Informacin sobre los resultados conseguidos a travs de la realizacin de las actividades y la respuesta de los beneficiarios, para comprobar los avances hacia los resultados
y revisar los planes de trabajo para el seguimiento.
c) Informacin sobre la consecucin del objetivo especfico y el primer impacto, para revisar la lgica de intervencin y la resolucin de problemas.
Como consecuencia, las actividades de monitoreo se llevarn a cabo en distintos niveles de
la ejecucin. En particular, se pueden distinguir tres tipos de monitoreo:
monitoreo sobre la marcha: para identificar y subrayar los problemas cuando emergen;
monitoreo peridico: para analizar problemas y eventuales desviaciones y sugerir las
medidas correctivas;
monitoreo en momentos especficos de la vida del proyecto: para revisar la entera lgica
de intervencin y sugerir ajustes.
Estas actividades son complementarias y proveen un mecanismo de retroalimentacin para
ayudar a los directores de proyectos en la identificacin de xitos y problemas durante su
implementacin, y por lo tanto facilitar los ajustes adecuados.
Los partners locales y los beneficiarios deben ser involucrados en todo tipo de monitoreo, a
travs de mecanismos participativos que tengan en consideracin tanto el carcter del proyecto como el contexto local.
4.4
Frecuencia
1 mes
Finalidad
- Apoyar la gestin
- Insumos.
cotidiana.
- Avances fsicos.
- Seguir la ejecucin de - Participacin de los
las actividades.
beneficiarios.
Informes
sintticos
3a6
meses
Informes
de misin
sobre el
terreno
8 meses
a 1 ao
CISP
Contenido
- Calidad de los
resultados.
- Coherencia con
otros proyectos en
la misma regin.
- Respuesta de los
beneficiarios.
- Revisin de la MML.
- Coherencia con la
estrategia de la
ONG.
- Satisfaccin de los
beneficiarios.
Responsable
Director y
equipo del
proyecto.
Coordinador
nacional y/o
regional.
Dirigentes
de la ONG y
responsable
de rea
geogrfica
(RAG) [sede
principal].
Usuarios
- Coordinadores
nacionales y/o
regionales.
- Administracin
de la sede principal.
- Director y equipo
del proyecto.
- Coordinadores.
- Dirigentes y RAG
[sede principal].
- Partners.
- Director y equipo
del proyecto.
- Coordinadores.
- Director general,
dirigentes y RAG
[sede principal].
- Partners.
Tipo de
proyecto
Todos los
proyectos.
Todos los
proyectos.
Proyectos
de mnimo
dos aos.
Proyectos
con particulares
problemas.
Pgina 33
DRN
4.5
Fase de inicio
El perodo de inicio de un proyecto (por ej.: los primeros tres meses de ejecucin), es una
fase muy importante. Dado que puede pasar bastante tiempo entre la formulacin y el inicio
real de las actividades, ste es el momento mejor para llevar a cabo una revisin de la formulacin del proyecto y elegir el enfoque ms apropiado para la implementacin.
El monitoreo debe empezar en la fase de inicio, con el propsito principal de revisar el entorno del proyecto y de adaptar, si es necesario, la lgica de intervencin elaborada durante
la fase de planificacin. Los objetivos, general(es) y especfico, no deben cambiar hasta que
los gestores del proyecto no puedan ajustar los resultados planificados y adaptarlos a las
nuevas circunstancias.
Organizar un taller al principio de la ejecucin puede ser til para las razones arriba mencionadas y al mismo tiempo involucrando los beneficiarios y las otras partes interesadas puede brindar la oportunidad de averiguar la pertinencia de la lgica de intervencin frente
a sus necesidades y expectativas, y redefinir las estrategias de su participacin en las posteriores actividades de monitoreo.
4.5.1
Responsabilidades
Las responsabilidades especficas para llevar a cabo esta averiguacin inicial dependen del
carcter del proyecto:
los directores sern responsables de los proyectos de duracin inferior a un ao;
los coordinadores nacionales y/o regionales y los directores sern responsables de los
proyectos ms largos.
4.5.2
La revisin del proyecto en la fase inicial se concentra en temas clave como la pertinencia y
la viabilidad. Su propsito es contestar una pregunta crucial: Han ocurrido cambios importantes desde la formulacin del proyecto? La tabla presentada en el anexo 5 brinda un
ejemplo de una lista de control con preguntas til para estas circunstancias.
Despus de este anlisis, los directores del proyecto deben redefinir el plan de trabajo para
adaptar, si es necesario, las actividades y resultados formalizados en los documentos de
planificacin.
sto se puede hacer a travs de dos acciones principales:
1. revisin del plan de trabajo, desarrollando un cronograma detallado de las actividades
vinculadas a los resultados esperados para los primeros tres meses de ejecucin;
2. averiguacin de la adecuacin de los instrumentos para la recoleccin de datos e informacin seleccionados durante la fase de planificacin, y definicin de las responsabilidades especficas para el monitoreo de los indicadores.
CISP
Pgina 34
DRN
4.6
Las tcnicas principales que las ONGs pueden utilizar para la recoleccin de datos se basan
en los estndares de M&E y los mtodos de discusin de grupo: revisin de documentos,
observacin directa, listas de control, cuestionarios, anlisis de partes interesadas y discusiones de grupo focal, y otros. Estos elementos pueden aplicarse a todos los niveles de monitoreo, y pueden utilizarse de manera autnoma o combinada (los mtodos principales estn descritos en el anexo 4).
4.6.1
Revisin de la documentacin
Observacin directa
El propsito de la observacin directa es obtener informacin observando lo que las personas hacen realmente y entender algunos temas clave, que eventualmente pueden profundizarse despus. Desde un punto de vista del M&E, este mtodo es crtico para verificar otros
datos. La observacin es una tcnica que requiere menos tiempo y capacidades especficas
y puede ser utilizada sea por el equipo de proyecto, que vive en el rea, sea por externos,
durante las misiones de monitoreo. En ambos casos, los que actan como observadores y
los que quieren tener acceso a la informacin para fines de gestin, deben acordarse con
anticipacin sobre algunas lneas gua, estableciendo los objetivos de la observacin y los
temas que se deben tratar.
Adems, se deben establecer con anterioridad tambin los instrumentos para registrar los
resultados de la observacin, para permitir la comparacin entre temas parecidos en el
tiempo y limitar al mximo las posibles distorsiones que derivan de los observadores o de
los fenmenos observados. Estos instrumentos deben ser sencillos y pueden incluir guas
para la realizacin de entrevistas o formatos de recopilacin de la informacin.
4.6.3
Un lista de control (normalmente con preguntas) es un instrumento sencillo que puede ser
utilizado para apoyar la difusin de prcticas de monitoreo estructuradas y estandarizadas.
Dichas listas pueden ser utilizadas y comparadas en momentos diferentes, y representan un
instrumento prctico para ayudar al equipo a familiarizarse con los temas del proyecto y por
lo tanto volverse ms rpido y efectivo.
Normalmente, son diseadas segn necesidades especficas, aunque pueden ser adaptadas y
usadas para proyectos diferentes en contextos similares. En todo caso, deben ser preparadas
por personas con un profundo conocimiento de los temas especficos (por ej.: director del
proyecto y/u otro miembro del equipo). Se aconseja su revisin por parte de la coordinacin
nacional y/o regional para asegurar coherencia y pertinencia con los objetivos del proyecto.
El equipo del proyecto puede utilizar las listas como una gua para las entrevistas o conversaciones informales, y no debe tener ningn tipo de restriccin en investigar o plantear temas inicialmente no incluidos. Las listas de preguntas pueden prever respuestas a preguntas cerradas (s/no) o preguntas con respuestas ms abiertas.
4.6.4
Entrevistas
Las entrevistan estn al centro del monitoreo y pueden conducirse como conversaciones
informales con grupos de beneficiarios o, de manera ms estructurada, a travs de cuestionarios suministrados a una muestra representativa de ellos. La eleccin final depende de
varias cuestiones como el tipo de proyecto, el objetivo especfico de la investigacin, las
CISP
Pgina 35
DRN
capacidades del equipo, el tiempo a disposicin, las caractersticas del grupo identificado. El
listado abajo provee un panorama de algunos tipos de entrevista.
Segn la tipologa de los entrevistados
Entrevistas individuales
Son ms fciles de manejar y permiten recoger una informacin que difcilmente se puede obtener de las entrevistas de grupo (porque la gente habla ms libremente). En todo caso, requieren tiempo y las opiniones personales
pueden fcilmente influenciar algunas respuestas. Es necesario entrevistar un nmero importante de personas para
obtener un cuadro representativo de la situacin.
Entrevistas de grupo focal
Involucran pequeos grupos de personas (normalmente de 9 a 12) que tienen un inters comn, y son tiles para
convalidar la formulacin del proyecto o apreciar su rendimiento, as como el grado de reaccin de una categora
particular de personas. Los miembros de cada grupo deben ser seleccionados al interior del mismo contexto econmico y social; en las personas seleccionadas influyen las tradiciones y experiencias autctonas, y por lo tanto
brindarn conocimientos locales. En las entrevistas de grupo se pueden utilizar tcnicas concentradas en un tema o
semi - estructuradas (vase abajo).
Entrevistas comunitarias
Involucran un grupo amplio y variado de personas y pretenden registrar la manera en la cual una comunidad considera los efectos de las actividades del proyecto en su vida. Las entrevistas comunitarias deben ser llevadas a
cabo por ms de un entrevistador a travs de tcnicas estructuradas o semi - estructuradas y deben planificarse
con anterioridad, para garantizar la presencia de la mayora de los miembros de la comunidad involucrada.
Segn la tcnica de entrevista
Entrevistas semi - estructuradas
Son menos formales de las entrevistas estructuradas, incluyen preguntas ms abiertas y una secuencia ms flexible de temas que agiliza la conversacin y la transmisin de informacin. Durante la preparacin se identifican los
temas generales, mientras que las preguntas especficas se formulan durante la misma entrevista. Las preguntas
deben ser sencillas: las ms fciles deben ser las primeras y las ms personales las ltimas. La ventaja principal de
esta tcnica es que los gestores del proyecto reciben informacin sobre un tema especfico en un tiempo relativamente corto.
Entrevistas temticas
Normalmente se llevan a cabo a travs de una gua centrada en los temas especficos que se quieren tratar. El tipo
de informacin y de preguntas se establecen antes, mientras que las que preguntas especficas se formulan durante la entrevista, dependiendo del grado de respuesta del grupo identificado. Si se utiliza un mismo formato para la
entrevista, es posible comparar las respuestas. En todo caso, de estas entrevistas no pueden obtenerse datos
estadsticamente fiables sobre el conjunto de la poblacin. Para lograrlo se necesita un enfoque ms estructurado.
Entrevistas informales
stas se llevan a cabo para obtener informacin de una conversacin informal entre dos personas. Se requieren
capacidades particulares de comunicacin: el entrevistador debe mantener una actitud neutral para evitar cualquier
tipo de influencia sobre las respuestas. Requieren mucho tiempo, ya que la conversacin puede fcilmente pasar
de un tema a otro y a veces es difcil obtener conclusiones claras. Pueden ser muy tiles para comprender, de
manera discreta, los sentimientos y preocupaciones de los entrevistados sobre la ejecucin del proyecto.
4.6.5
CISP
Pgina 36
DRN
4.6.6
Las discusiones de grupo focal son tiles para recoger informacin general sobre una comunidad y su percepcin del proyecto, incluyendo su rendimiento, mecanismos de inclusin y
exclusin, y mbitos para mejoramientos. Separar los actores en diferentes grupos de inters puede tambin producir como respuesta puntos de vista (por ej.: de las mujeres o de
grupos vulnerables) que no hubieran surgido en reuniones ms amplias. Las discusiones de
grupo focal son tiles tambin para la construccin del consenso.
4.7
El primer nivel del monitoreo se encuentra bajo la responsabilidad del directores y administradores del proyecto, que mantienen actualizados los documentos y los archivos administrativos y de gestin. Dichas actividades de monitoreo deben estar claramente especificadas
en sus trminos de referencia como parte integrante de sus tareas de gestin.
Los documentos administrativos bsicos, que describen los gastos reales y permiten compararlos con los costos esperados, se actualizan cada semana. La informacin respectiva se recopila y se reporta en el formato para el informe de los registros de gestin cada mes.
En este nivel, el propsito principal del monitoreo es el de apoyar la gestin cotidiana a travs la recoleccin de informacin relacionada con la realizacin de las actividades. Los problemas se evidencian cuando se presentan y se reportan a la oficina de coordinacin, que
analiza las posibles soluciones y sugiere las acciones oportunas.
El propsito es el de brindar suficiente informacin a los coordinadores, minimizando al
mismo tiempo la carga de trabajo de informes para la gestin del proyecto.
Los datos y la informacin se reporta en formatos de gestin que comparan las actividades
planificadas en la MML (eventualmente revisada en la fase inicial) con las realizadas, con
una atencin especial a la participacin de los beneficiarios. Abajo se brinda un modelo del
relativo formato.
FORMATO DE INFORME DE LOS REGISTROS DE GESTIN
Ttulo del proyecto:
Duracin total:
Pas/Regin:
Actividades planificadas
1.1
1.2
1.3
Resultado 2:
Actividades implementadas
Motivos de eventuales
cambios introducidos
Participacin de
los beneficiarios
Actividades planificadas
2.1
2.1
2.3
Actividades implementadas
Motivos de eventuales
cambios introducidos
Participacin de
los beneficiarios
Mes:
Resultado 1:
4.8
Pgina 37
DRN
inicial), los coordinadores deciden si llevar a cabo misiones de monitoreo para visitar los
proyectos que presentan ms problemas. Lneas gua especficas para llevar a cabo misiones
de monitoreo sobre el terreno se encuentran en el punto 4.10.
Este tipo de monitoreo pretende definir en qu medida la ejecucin de las actividades est
consiguiendo los resultados planificados dentro del perodo establecido y se concentra especialmente en lo siguiente.
Nivel de actividades
Nivel de resultados
Conclusiones y recomendaciones
Esta informacin se compila en un breve informe que los coordinadores preparan y envan
cada tres meses a los directores del proyecto y a la sede principal (vase el formato sugerido en el anexo 5).
Los resultados del monitoreo brindan la base para la revisin del plan de trabajo y la actualizacin del cronograma detallado de las actividades vinculadas a los resultados esperados
para el trimestre siguiente.
4.9
Pgina 38
DRN
Las misiones sobre el terreno son tambin una ocasin para averiguar la eficiencia y eficacia
del sistema de monitoreo adoptado por la oficina de coordinacin. Por lo tanto, se aconseja
que a estas misiones participen tambin los coordinadores nacionales y/o regionales.
4.9.1
El objetivo principal de las misiones de monitoreo es la revisin de la lgica global de intervencin y la identificacin de estrategias para enfrentar los problemas que se han presentado durante la ejecucin. Los dirigentes de las ONGs deben revisar la informacin recogida
peridicamente por el director del proyecto y por los coordinadores y, ms especficamente,
averiguar la medida en la cual las actividades implementadas y los resultados logrados estn consiguiendo el objetivo especfico y pueden llevar al objetivo general.
Las misiones sobre el terreno se concentran en particular en los siguientes temas.
Revisin de la matriz del marco lgico
Consecucin de los resultados dentro del tiempo establecido (incluidos los avances
frente a los indicadores)
Acceso y satisfaccin de los beneficiarios frente a los resultados
Conclusiones y recomendaciones
Un formato para los informes de las misiones sobre el terreno se encuentra en el anexo 5.
Es importante sealar que la adopcin de un sistema de clasificacin comn, brinda una
vlida base para la formulacin de conclusiones sinpticas y la comparacin de las mismas
entre varios funcionarios de la misma ONG.
CISP
Pgina 39
DRN
Para que las misiones sean productivas, se deben establecer lneas gua claras para ayudar
a los dirigentes y responsables de rea geogrfica a aprovechar al mximo su tiempo y a
implementar actividades de monitoreo efectivas. Para este fin, se describe a continuacin
un modelo de una misin de monitoreo de 10 das.
4.10.1
4.10.2
Retorno a la capital
Organizar una reunin final con los coordinadores de la ONG y los partners locales para
discutir las conclusiones preliminares.
Formular una primera versin de las principales conclusiones y recomendaciones que se
prev insertar en el informe de misin, incluyendo la apreciacin de la formulacin del
proyecto.
4.10.5
Encontrar instituciones y autoridades locales para presentar la misin (podra ser til
pedir que stas elijan un componente del equipo directamente comprometido en el proyecto para que participe al trabajo sobre el terreno).
Encontrar los lderes comunitarios para informarlos del motivo de la misin.
Organizar un taller con el equipo del proyecto, los representantes de los beneficiarios y,
posiblemente, de otras comunidades locales. Entre los temas a tratar es oportuno incluir: a) avances del proyecto; b) presentacin de los mtodos de recoleccin de datos e
informacin; c) otros temas especficos y relevantes para la misin.
Recolectar datos e informacin a travs de entrevistas y otros mtodos previamente
establecidos.
Organizar un taller final para presentar las conclusiones preliminares.
Encontrar instituciones y autoridades locales en una reunin conclusiva para averiguar si
pueden apoyar las medidas correctivas eventualmente identificadas como necesarias.
4.10.4
4.10.3
Preparacin de la misin
Presentar los resultados de la misin en una reunin con los responsables de reas, administradores y otros funcionarios de la ONG que podran estar interesados.
Redactar el informe de la misin, a ms tardar dentro de la primera semana despus de
su cierre.
CISP
Pgina 40
DRN
Enviar el borrador del informe a los partners locales y a los coordinadores, solicitando
sus comentarios y especificando que se considerar aprobado si ellos no los enviarn
antes de una fecha claramente establecida.
Enviar la versin final del informe a los partners locales, coordinadores, equipo de proyecto, y eventualmente otras partes interesadas que podran involucrarse en futuras fases de la implementacin del proyecto.
Cuadro sinttico
Se deben desarrollar prcticas e instrumentos de monitoreo que respondan a las estructuras y estrategias de intervencin de las ONGs.
Durante la fase inicial se debe volver a comprobar la pertinencia y la viabilidad del proyecto, revisar el plan de trabajo y definir responsabilidades claras para el monitoreo.
Existen tres tipos de monitoreo que corresponden a distintos niveles de gestin y necesidad de informacin de las ONGs (sede principal, coordinacin nacional y/o regional, directores y equipo del proyecto), cada uno de los cuales debe ser llevado a cabo por diferentes actores. Las tcnicas de recoleccin de datos e informacin deben ser seleccionadas dependiendo de cada caso.
A cada nivel le corresponden distintas actividades de monitoreo: directores y equipo del
proyecto (terreno): realizacin de las actividades; coordinacin nacional y/o regional:
consecucin de los resultados planificados; sede principal: consecucin del objetivo especfico y avances hacia el objetivo general.
Para aprovechar al mximo las misiones de monitoreo, se deben establecer con anterioridad unas lneas gua claras.
Se deben involucrar los partners locales y los beneficiarios en todo tipo de monitoreo.
CISP
Pgina 41
DRN
EVALUACIN
5.1
Para contribuir a mejorar el rendimiento de las ONGs, el proceso de evaluacin debe ser:
Imparcial, que implica la neutralidad, la transparencia y la ecuanimidad del anlisis y de
las conclusiones. Como consecuencia, el evaluador no debe tener intereses personales o
conflictos de intereses respecto a los proyectos que evala.
Creble, usando una formulacin apropiada, datos fiables que aseguren la veracidad del
anlisis, y una clara relacin entre resultados, conclusiones y recomendaciones.
til para las ONGs y las principales partes interesadas, que se pueden beneficiar de una
oportuna contribucin al proceso de decisin y del aprendizaje organizativo del proceso
de evaluacin.
Participativo, reflejando los diferentes intereses, necesidades y percepciones de las partes interesadas.
Equilibrada en lo referente a costos y beneficios, balanceando la necesidad de veracidad
y validez con un retorno adecuado.
Capaz de retroalimentar la toma de decisiones y el aprendizaje organizativo. Por lo tanto, los gestores de la evaluacin tienen una particular responsabilidad en asegurar la
sistemtica difusin de las conclusiones al equipo de la ONG (y especialmente a los planificadores) y a las otras partes interesadas.
5.2
cuando un proyecto tiene una duracin relevante (por ej.: 3 aos o ms);
5.3
Tipo de evaluacin
La seleccin del tipo de evaluacin se realiza dependiendo de sus objetivos y usuarios. Por
lo tanto, las auto-evaluaciones deben llevarse a cabo para fortalecer las capacidades internas y empoderar el equipo del proyecto y los partners locales, mientras que las evaluaciones realizadas por personas no involucradas en la ejecucin (externas), que a menudo suelen ser ms objetivas, se llevan a cabo para fines de transparencia y responsabilidad.
CISP
Pgina 42
DRN
Evaluacin interna
Fortalezas
Fortalezas
5.4
Esta seccin pretende ayudar a los gestores de las evaluaciones, describiendo los pasos
necesarios para manejarlas siguiendo las decisiones establecidas en cada ONG. En ciertas
ocasiones, stas son realizadas por evaluadores externos contratados con este fin. En estos
casos, esta seccin brinda al gestor de la evaluacin y al evaluador una gua que paso a
paso ayuda a controlar la calidad del proceso y asegurar su xito.
5.4.1
Responsabilidades
Decidir el propsito
Gestor de la evaluacin
Establecer el enfoque
Disear los Trminos de Referencia
Escoger la metodologa
Evaluador
La formulacin de las respuestas a una serie de preguntas antes del inicio del proceso, puede ayudar el gestor a planificar la evaluacin y aumentar su eficacia.
CISP
Pgina 43
DRN
Los Trminos de Referencia (TdR) definen la evaluacin articulando sus requisitos iniciales y
resultados esperados. stas guan el proceso hasta que el plan de trabajo de la evaluacin
no se tome como documento de control primario.
Los TdR deben ser preparados por el gestor de la evaluacin o por otra persona de la
ONG que conozca el proyecto.
En general, los TdR describen:
porqu se realiza la evaluacin (objetivo);
qu se debe evaluar (alcance);
parmetros generales para realizar la evaluacin (actividades a seguir y metodologa).
Ms especficamente, los TdR deben orientar los siguientes elementos fundamentales:
1. Ttulo: debe ser corto, descriptivo y fcil de recordar.
2. Alcance: define qu cosa se debe evaluar y el tipo de evaluacin (a mediano plazo, al
cierre del proyecto, ex post).
3. Razones: especifica porqu se lleva a cabo; a quin se dirige primariamente; cules son
los resultados esperados.
4. Caractersticas del proyecto a evaluar: objetivos; contexto y evolucin; costo y duracin; estado de avance, evidenciando cambios significativos, xitos o problemas.
5. Actividades principales: incluye los temas a estudiar y las preguntas especficas que son
centrales para los problemas a los cuales se buscan respuestas.
6. Participacin de las partes interesadas: identifica las mismas y los elementos necesarios
para su activa participacin en el proceso de evaluacin.
7. Metodologa: describe los criterios de evaluacin (pertinencia, eficiencia, eficacia, impacto y sostenibilidad), mencionando los temas especficos a analizar; indicacin de las tcnicas y mtodos a utilizar (por ej.: recoleccin y anlisis de datos).
8. Responsabilidades: formaliza las modalidades y describe las funciones y responsabilidades especficas del personal de la ONG que se deben involucrar.
9. Capacidades solicitadas: indica calificaciones y requisitos de experiencia del evaluador.
10. Informes y retroalimentacin: especifica los requisitos para informes y presentaciones
(por ej.: informe inicial, memorando, borrador, informe final, reunin de presentacin),
indicando tambin formato, idioma, nmero de copias, y fechas de entrega de los informes previstos.
11. Cronograma y costos: indica duracin y tiempo de la evaluacin; costos estimados (articulados en honorarios profesionales y gastos reembolsables).
12. Anexos: provee otras informaciones, fichas y lneas gua tiles que no se pueden incluir
en los TdR (por ej.: ficha de informe, descripcin detallada del proyecto).
Una gua para la preparacin de los TdR con ejemplos especficos por cada punto mencionado est incluida en el anexo 6.
CISP
Pgina 44
DRN
5.4.4
Seleccionar un evaluador
Ambos tipos de evaluadores (internos y externos), son tiles para fortalecer las capacidades
de M&E de las ONGs y su posibilidad de aprender de la experiencia pasada. Su utilidad
comparativa no se puede definir tericamente y debe analizarse con respecto a las necesidades especficas y a los vnculos de cada ONG al momento de la evaluacin.
En el caso de una evaluacin externa, una vez aprobados los TdR, el gestor de la evaluacin se dedica a la
seleccin del evaluador. En principio, ste no debera
haber tenido ninguna relacin previa con el proyecto a
evaluar o con otras iniciativas que puedan generar un
conflicto de intereses.
En esta fase se tratan dos temas principales: (a) qu
se espera del evaluador; (b) cmo seleccionarlo.
El evaluador.
Tiene las capacidades de evaluacin
solicitadas?
Posee los requisitos de conocimiento
tcnico-sectorial y de experiencia?
Tiene una comprensin adecuada de los
temas sociales y culturales locales, y
las capacidades lingsticas necesarias?
Comprende las dinmicas de grupo?
Demuestra capacidades de liderazgo y
de comunicacin?
Tiene experiencia con los mtodos
participativos de las ONGs?
b) La seleccin est orientada a la identificacin de un candidato que satisfaga dichos requisitos. Como no es fcil encontrar evaluadores adecuados (los buenos consultores a
veces se deben contactar con meses de adelanto), es til contar con buenas redes de
contactos. Las fuentes pueden incluir organizaciones partners (del Norte y del Sur), instituciones acadmicas, representantes de los donantes.
5.4.5
Despus de la firma del contrato, el evaluador est listo para empezar. El contrato debe
definir los trminos y las condiciones de la evaluacin. El primer producto elaborado por el
evaluador es normalmente el Plan de la evaluacin, que
Perfil del Plan de la evaluacin
representa su propuesta para realizar el trabajo, teniendo en
Visin general del proyecto
cuenta los TdR. Una de las funciones principales de este Plan
Matriz de evaluacin
es la de replantear los TdR en un marco ms operativo que
Metodologa
se aplica directamente a la evaluacin del proyecto.
Composicin del equipo
Cronograma de actividades
Perfil del informe
CISP
Pgina 45
DRN
Matriz de evaluacin
Los temas incluidos en los TdR (normalmente en las secciones Alcance y Actividades
principales) se transforman en preguntas especficas vinculadas a cada nivel del ML: pertinencia, eficiencia, eficacia, impacto y sostenibilidad.
a) Las preguntas esenciales a las cuales se debe contestar estn bien formuladas?
b) Los indicadores se han establecido de manera clara?
c) Se han identificado las fuentes de datos y los mtodos para su recoleccin?
FORTALEZAS Y DEBILIDADES DE LA EVALUACIN EXTERNA E INTERNA
Criterios
Preguntas clave
Fuente de
datos
Indicadores
Mtodos
de recoleccin de datos
Pertinencia
Eficiencia
Eficacia
Impacto
Sostenibilidad
Metodologa
Formula la estrategia para conseguir los objetivos de la evaluacin, teniendo en cuenta la
informacin disponible y los lmites de tiempo y recursos. En este contexto, la matriz de
evaluacin debe desarrollarse con referencia especfica a: (i) indicadores previstos para medir los avances hacia la consecucin de los resultados (empezando por los que fueron incluidos en el ML); (ii) principales fuentes de datos e informacin; (iii) mtodos de recoleccin
de datos; (iv) tcnicas para su anlisis.
a) La metodologa identificada es la adecuada para conseguir los objetivos de la evaluacin?
b) Los mtodos seleccionados para la recoleccin y anlisis de los datos llevan a una correcta identificacin de los resultados atribuibles al proyecto?
Composicin del equipo
Indica nombres, funciones y responsabilidades de cada miembro del equipo de evaluacin y
de su responsable.
a) Se han identificado correctamente funciones primarias y responsabilidades de todos?
Cronograma de actividades
Define todas las actividades a realizar y el cronograma respectivo, as como una estimacin
de los das / persona necesarios.
a) El cronograma define una progresin lgica de las actividades, desde el inicio hasta el final?
b) Se ha establecido de manera clara el tiempo necesario para todas las actividades?
EJEMPLO DE CRONOGRAMA DE ACTIVIDADES
Mes 1
Meses
Semanas
Mes 2
4
Mes 3
4
Mes 4
4
Actividades
Reunin con el equipo de la ONG
Revisin de documentos / Estudio terico
Entrevistas (ONG, partners, donantes, etc.)
Misin sobre el terreno
Reunin en la capital
Visitas al rea 1 del proyecto
Visitas al rea 2 del proyecto
Preparacin de las observaciones de misin
Taller de conclusin de la misin
Reunin final con el equipo de la ONG
Redaccin del borrador del informe
Presentacin del borrador del informe
(Espera de comentarios)
Presentacin del informe final
CISP
Pgina 46
DRN
La combinacin de las tcnicas depende de varios factores que incluyen el objetivo y los
usuarios de la evaluacin, la disponibilidad de la informacin, las personas clave a contactar, la duracin de la misin. Los mtodos cualitativos requieren ms tiempo y su uso debe
evaluarse con atencin. En el cuadro a continuacin se describen algunas de estas tcnicas
(vase el punto 4.6 y el anexo 4 para una
descripcin ms detallada).
Tcnicas para la recoleccin y anlisis de datos
En general, todos reconocen la importancia
de involucrar los partners, los beneficiarios
y las otras partes interesadas, sobre todo a
nivel local. El gestor de la evaluacin elige
la medida en la cual involucrar las partes
interesadas, y decide si existen las condiciones para realizar una evaluacin participativa (vase el punto 5.5 para ms informacin). Esta decisin se toma al momento
de planificar la evaluacin e influye en todas
las fases del proceso.
5.4.7
Informe
Revisin de
documentos
Revisin de la documentacin del proyecto y de otros documentos relevantes para familiarizarse con el mismo.
Estudio teri- Anlisis de los informes, estudios y
co y anlisis
documentos sobre proyectos similares
y/o de proyectos en la misma regin.
de literatura
Muestras
Organizacin de muestras para recoger informaciones cuantificables.
Entrevistas
Llevar a cabo entrevistas con las
partes interesadas ms importantes.
Observaciones Visitas de terreno y discusiones informales con beneficiarios y representantes de la comunidad local.
Anlisis de
Anlisis de los datos preparados por
datos
los gobiernos nacionales o por las
organizaciones internacionales presentes en el territorio.
CISP
Pgina 47
DRN
Cules recomendaciones, generales y/o especficas, ayudaran la ONG a mejorar la planificacin de los nuevo proyectos?
CISP
Pgina 48
DRN
5.5
5.5.1
Evaluacin participativa
Caractersticas, funciones y justificaciones
Este prrafo ofrece un bosquejo de las caractersticas, funciones y justificaciones de la evaluacin participativa (EP), as como de sus diferencias con los mtodos convencionales.
El aumento del inters por el enfoque participativo acompaa la creciente atencin a temas
como la democratizacin, el partenariado y la sostenibilidad. Cada uno de estos refleja el
intento de dar mayor relevancia a las voces del Sur del mundo, no solamente a nivel de
gobiernos nacionales, sino tambin de sociedad civil, instituciones locales y comunidades.
Adems, desde principios de los aos 90 la capacidad de involucrar las partes interesadas,
se ha crticamente vinculado al rendimiento y al logro de los resultados. Varios donantes
han experimentado el concepto de participacin, aunque para muchos de estos, la EP es
relativamente nueva y sus mtodos y enfoques no parecen haberse integrado en los procesos operativos y organizativos.
La evaluacin participativa, una dimensin participativa del desarrollo que abarca muchos
conceptos similares, involucra las partes interesadas y los beneficiarios del programa o proyecto en el anlisis colectivo y la evaluacin del mismo programa o proyecto. Est centrada
en las personas: las partes interesadas y los beneficiarios del proyecto son actores clave del
proceso de evaluacin, y no solamente un objeto de esto (UNDP, 1997).
En este proceso, los locales (partes interesadas y
beneficiarios) se comprometen, conjuntamente con
las ONGs, las agencias de desarrollo y los forjadores
de polticas [policy makers], a escoger cmo medir
los avances, y cmo aplicar los resultados.
Ms all de estas definiciones generales, no existe
un enfoque nico y cada EP tiene que encontrar respuestas especficas que tengan en cuenta las expectativas de las ONGs y de las partes interesadas, el
contexto local, las capacidades y habilidades de las
principales partes interesadas y los limitantes objetivos (financieros, de tiempo, etc.).
Evaluacin participativa:
caractersticas fundamentales
Sin embargo los diferentes enfoques de la EP comparten unos principios bsicos que las
distinguen de los enfoques convencionales. Entre ellos:
1. Participacin, significa abrir el proceso de diseo del proceso para incluir las principales partes interesadas, y acordarse con stas para analizar los datos conjuntamente.
2. Negociacin, para llegar a un acuerdo sobre el objeto del monitoreo y de la evaluacin,
cmo y cundo recoger y analizar los datos, y cmo compartir los conclusiones y emprender eventuales medidas correctivas.
3. Aprendizaje de la experiencia, es la base para sucesivos mejoramientos y para la adopcin de medidas correctivas.
4. Flexibilidad, es esencial a causa del cambio, en el tiempo, de varios factores, como la
cantidad, el papel y las capacidades de las partes interesadas involucradas en el proceso, as como las modificaciones en el ambiente externo.
Con base en estos principios generales, la EP desarrolla unas funciones clave, que se refieren tanto a las partes interesadas y los beneficiarios, como a los donantes.
CISP
Pgina 49
DRN
oportuno que el responsable de la evaluacin involucrara a los beneficiarios en las evaluaciones a mediano plazo o al cierre del proyecto.
Facilita la identificacin de problemas durante la implementacin y alimenta la formalizacin de lecciones aprendidas, que pueden ayudar el equipo en la ejecucin del proyecto y en la toma de las decisiones de gestin. Aunque la EP investiga en el pasado, est
tpicamente orientada al futuro.
participativa
convencional
Da prioridad al sentido de
apropiacin de los participantes en el proyecto.
Da prioridad al sentido
de apropiacin del donante.
Amplia participacin de
partes interesadas.
Escasa participacin de
partes interesadas.
Diseo predeterminado.
Mtodos participativos:
Mtodos convencionales:
Entrevistas abiertas
Discusiones de grupo focal
Entrevistas estructuradas /
cuestionarios con preguntas
cerradas
Mediciones
Datos estadsticos
Observacin
Anlisis de partes interesadas
Instrumentos del PRA (puntos, mapeo, clasificaciones,
cuadros)
Compilacin autnoma de
cuestionarios y/o informes
Revisin de la documentacin
Observacin directa
Fotos
CISP
Pgina 50
DRN
La EP puede tambin presentar desventajas, vinculadas en particular al tiempo y a los costos. Si se deben involucrar a las partes interesadas de manera significativa, la EP ocupa
ms tiempo de las evaluaciones convencionales, mientras que los costos adicionales estn
tpicamente asociados a la mayor participacin de las partes interesadas.
La seleccin de las partes interesadas pertinentes es de vital importancia en la EP: en caso
contrario, aumentan los riesgos relacionados con la potencial dominacin y los abusos de
algunas de ellas para perseguir intereses particulares.
FORTALEZAS Y DEBILIDADES DE LA EVALUACIN PARTICIPATIVA Y DE LOS MTODOS CONVENCIONALES
Fortalezas
Fortalezas
Los partners locales y la comunidad de los beneficiarios aprenden del proceso de evaluacin.
Debilidades
Debilidades
Planificacin
Para planificar una EP y establecer su pertinencia, el gestor de la evaluacin debe confrontarse con una serie de cuestiones importantes.
a) Para qu tipo de proyecto es pertinente una EP?
CISP
Pgina 51
DRN
5.5.3
Actores y responsabilidades
CISP
Pgina 52
DRN
5.5.4
Realizacin
Las etapas para realizar una EP son las mismas de los mtodos convencionales. Pero hay que
darle una atencin especial a las modalidades necesarias para garantizar que perspectivas y
expectativas de las partes interesadas sean incluidas en cada nivel del proceso.
1. Planificacin
Identificar las partes interesadas clave y contactarlas para presentarles la EP.
Comprobar las necesidades de informacin de las partes interesadas y su disponibilidad a participar en la evaluacin.
Formular una estrategia para la participacin de las partes interesadas, definiendo el
grado de compromiso, las expectativas, las responsabilidades, y las actividades.
Establecer cmo monitorear la participacin de las partes interesadas.
Determinar los costos asociados al compromiso de las partes interesadas, identificando los insumos necesarios (talleres, recoleccin y anlisis de datos, etc.).
2. Implementacin
Organizar la logstica para la misin sobre el terreno con las comunidades locales,
asegurando que el facilitador se mantenga muy cerca de ellas durante todo el proceso.
Organizar un taller participativo inicial, para crear consenso sobre el objetivo de la
evaluacin y redefinir el alcance del trabajo (incluyendo las preguntas clave y los
mtodos para la recoleccin de datos) y su agenda.
Recoger y analizar la informacin utilizando mtodos participativos.
Analizar los datos a travs un enfoque participativo y crear consenso sobre los resultados y las principales conclusiones.
Acordar las recomendaciones, poniendo atencin en las implicaciones de las acciones
que las partes interesadas deben realizar.
3. Informe y seguimiento
Proveer retroalimentacin sobre las conclusiones a travs de una reunin final con
las partes interesadas y los representantes locales.
Distribuir el informe de evaluacin y asegurar que las partes interesadas reciban una
copia (en un idioma comprensible).
Averiguar si en las decisiones sobre el seguimiento del proyecto o para futuras iniciativas similares se han tenido en cuenta los resultados de la evaluacin.
Cuadro sinttico
Las evaluaciones deben realizarse selectivamente.
La gestin de una evaluacin es una tarea importante en todos los niveles del proceso:
el gestor debe asegurar el control de la calidad y la difusin de los resultados.
Los Trminos de Referencia (TdR) definen los requisitos de gestin y describen el alcance, el enfoque, la metodologa y los resultados esperados. El Plan de la evaluacin
transforma los TdR en un marco operativo y sirve como referencia clave para manejar la
evaluacin.
Los expertos que realizan una misin sobre el terreno, deben utilizar un surtido de tcnicas de recoleccin de datos e informacin, as como mtodos diversificados de evaluacin, y deben involucrar los partners locales y los beneficiarios.
El informe final es el principal resultado del proceso de evaluacin y es necesario para
informar la ONG y el equipo del proyecto, y para promover conocimiento y aprendizaje.
Las evaluaciones participativas son importantes para promover un sentido de apropiacin y fomentar las capacidades locales, aunque normalmente implican costos y esfuerzos adicionales para involucrar las partes interesadas.
CISP
Pgina 53
DRN
Unos de los objetivos principales del M&E es el de capacitar a ms personas posibles, al interno y al externo de la ONG, para que aprendan de lo que se ha hecho con miras a mejorar
el rendimiento en el futuro. Las estrategias significativas y las cuestiones prcticas surgidas
del M&E (por ej.: conclusiones, mtodos utilizados, y prcticas propias de la ONG) deben
analizarse, discutirse y difundirse.
En todo caso, una buena formalizacin y difusin de los resultados del M&E no asegura automticamente un mejor rendimiento. La lecciones aprendidas deben institucionalizarse para que se apliquen realmente y tengan un impacto sobre los proyectos especficos, los programas y las polticas futuras. Si esto no ocurre, se corre el riesgo de malgastar los recursos
utilizados y de seguir repitiendo los mismos errores.
Es necesario desarrollar sistemas especficos para fomentar la institucionalizacin de las
lecciones aprendidas y tomar medidas puntuales para hacer estos sistemas efectivos en la
prctica. En particular, los dirigentes ms expertos de las ONGs deben apoyar este proceso
de aprendizaje de la experiencia, reconociendo que podra implicar la asignacin de recursos
especficos para el logro de este objetivo.
Actualmente hay diferentes factores que afectan los procesos de aprendizaje de las actividades de M&E al interior de las ONGs. Estos incluyen:
Dificultades en manejar el fracaso, sobre todo porque tiende a llevar a una punicin
financiera. El vnculo entre los resultados de M&E y las probabilidades de aprobacin de
las nuevas solicitudes de financiacin tiende a inhibir una evaluacin abierta y el uso de
sus resultados.
Difusin limitada de una cultura de la evaluacin, que consolide la medicin de los resultados como indicador del rendimiento.
Debilidades organizativas, y especialmente: (i) escasa estandarizacin de prcticas y
sistemas de M&E; (ii) excesiva rotacin del personal expatriado sobre el terreno; (iii)
notable carga de trabajo de gestin cotidiana y dificultad de dedicar personal y recursos
a la innovacin (inercia organizativa).
Falta de sentido de apropiacin de las conclusiones y recomendaciones de la evaluacin
por parte de los que deberan planificar y/o implementar los nuevos proyectos.
6.1
Comunicacin efectiva
Compartir la comunicacin y la informacin es un tema fundamental para aumentar la apropiacin y el uso operativo de los resultados del M&E. Se deberan aumentar los flujos informativos al interior y entre las ONGs. Al momento, la informacin circula sobre todo a nivel
de terreno (entre equipos de proyecto y oficinas de coordinacin) y al interior de la mismas
unidades geogrficas, mientras que las informaciones se comparten muy limitadamente
entre reas diferentes.
De esta manera, no se optimiza el valor agregado del M&E. De hecho, el potencial brindado
por los resultados y las lecciones aprendidas del M&E se hace realidad slo si el conocimiento se difunde estratgicamente para influenciar los procesos de decisin a varios niveles.
No existe una sola manera para desarrollar estrategias eficaces de comunicacin. Sin embargo, contestando unas preguntas bsicas, se pueden identificar prcticas de comunicacin
ms estandarizadas:
Quin es el pblico meta de los resultados del M&E?
Cul informacin se debe compartir?
Cul informacin se debe proveer?
Cul es la mejor manera para llegar al pblico involucrado?
CISP
Pgina 54
DRN
Las siguientes lneas gua contestan algunas de las preguntas anteriores y pueden utilizarse
para todas las actividades de M&E llevadas a cabo por las ONGs.
Los resultados del M&E deben compartirse con todas las partes interesadas que pueden
beneficiar de las lecciones aprendidas. Los partners locales estn particularmente interesados en este tema, y deben recibir retroalimentacin para aumentar sus conocimientos
de M&E y mejorar sus capacidades de formulacin de proyectos.
Toda la informacin debe ser archivada para su eventual utilizacin. Pero, es aconsejable seleccionar y compartir slo la informacin relevante y til para el pblico meta.
La informacin sobre los resultados del monitoreo deben divulgarse durante toda la vida
del proyecto, y la de la evaluacin durante el proceso su realizacin, para informar al
pblico meta sobre lo que se ha encontrado y las orientaciones que se han tomado.
La informacin debe ser de fcil acceso, comprensible y aplicable. Esto puede implicar
una especial atencin a los hbitos e idiomas locales.
6.2
Las recomendaciones que surgen del monitoreo y de la evaluacin a mediano plazo ofrecen
la oportunidad de introducir reajustes en los proyectos en curso, mientras que las evaluaciones finales y ex post permiten mejorar proyectos y acciones futuras.
Durante un proceso de evaluacin, sus gestores deben asegurar que la calidad de las recomendaciones cumpla con ciertos estndares, especialmente desde el punto de vista de la
brevedad y claridad. Las recomendaciones, por ejemplo, deben siempre indicar de manera
clara quin debe reaccionar y en cunto tiempo.
Cuando se han aprobado los informes finales, se deben proveer los dirigentes de las ONGs,
los coordinadores y el equipo del proyecto con instrumentos especficos, para animarlos a
aplicar sus recomendaciones y asegurar su seguimiento.
Con este propsito, los dirigentes de las ONGs deberan compilar la tabla siguiente para
todos los informes finales de evaluacin y distribuirla a todas las personas involucradas en
la planificacin e implementacin del proyecto en cuestin y de iniciativas futuras.
TABLA SINPTICA DE RECOMENDACIONES
Recomendaciones
(como formuladas en el informe de
evaluacin)
Responsabilidad
(dirigentes, coordinadores, directores de proyecto)
Fecha lmite
(dentro de 3 meses, 6 meses, 1
ao)
1.
2.
Tabla basada en un modelo utilizado por la Comisin Europea.
CISP
Pgina 55
DRN
En el caso de evaluaciones finales o ex post, las recomendaciones deben influir en los documentos de planificacin de los nuevos proyectos y en stos deben encontrarse las evidencias del relativo proceso de aprendizaje organizativo.
Sin embargo, es oportuno diferenciar entre las recomendaciones que surgen de un monitoreo de las que resultan de una evaluacin. Las primeras, formalizadas normalmente por el
equipo del proyecto, son internas y apuntan ms hacia aspectos de gestin operativa. Las
segundas aportan un punto de vista externo, basado en los resultados del proceso de evaluacin.
A su vez, el gestor de la evaluacin puede aportar un punto de vista ms amplio y estratgico, que tiene en cuenta otras fuentes de informacin y vnculos organizativos. En todo
caso, esta situacin no debera aprovecharse para evitar que los destinatarios adopten las
medidas recomendadas por las evaluaciones cuando hay evidencias que las soportan.
Los factores siguientes pueden limitar el valor de una evaluacin.
Los resultados no son pragmticos o realistas, porque existen lmites temporales y/o
financieros que obstaculizan su efectiva implementacin.
6.3
CISP
Pgina 56
DRN
ESTRATEGIAS DE DIFUSIN
Destinatarios identificados
Medios de difusin
Informes de monitoreo
Informes de evaluacin
Resmenes ejecutivos/Extractos
Pginas web
Intranet
Seminarios / Talleres
Sede principal
Dirigentes y Resp.
de rea
x
x
x
x
x
x
Coordinadores
Directores y equipos de proyecto
x
x
x
x
Partners
Otras ONGs
Donantes
x
x
locales
Gestores de la
evaluacin
Dirigentes de
la ONG
Responsables
de la comunicacin
Coordinadores
nacionales y
regionales
CISP
Acciones posibles
Asegurar que la calidad de los resultados de la evaluacin logre los estndares,
especialmente con respecto a la brevedad y claridad.
Llenar la tabla sinptica con las recomendaciones y asegurarse que sean adecuadamente destruidas.
Consultar la base de datos sobre las lecciones aprendidas y aplicar los resultados
de la evaluacin en la formulacin de nuevos proyectos o nuevas fases de proyectos en curso de implementacin.
Establecer una rutina de reuniones operativas sobre las lecciones aprendidas a travs
de la evaluacin, e involucrarlas en la comunicacin de las conclusiones principales.
Establecer etapas para aumentar el espacio y los incentivos para aprender al interior de la ONG (desde el M&E y desde otras fuentes).
Reclutar, cuando necesario, un equipo especializado para llenar vacos, especialmente en el trabajo de comunicacin.
Mantener una base de datos actualizada con los informes de M&E y las lecciones
aprendidas y asegura su acceso a todo el equipo.
Hacer esfuerzos para incluir los resultados de M&E en las pginas web y en los
Intranet, reconociendo que el acceso y la facilidad de uso son factores clave.
Asegurar que las recomendaciones de las evaluaciones a mediano plazo se tengan
efectivamente en cuenta y se incorporen en las actividades del proyecto.
Involucrar los partners locales en los trabajos y procesos de aprendizaje del M&E y
presionar para aumentar su sentido de apropiacin y control.
Insistir para ser involucrados en la evaluacin desde el comienzo as como en la
recepcin de retroalimentacin de los resultados de evaluacin.
Pgina 57
DRN
Cuadro sinttico
Las lecciones aprendidas de la experiencia deberan ser institucionalizadas y utilizadas
para mejorar las acciones futuras: una base de datos es el primer instrumento para la
recoleccin y registro de los resultados a nivel institucional.
Las estrategias efectivas de comunicacin constituyen la base para mejorar el uso de los
resultados del M&E.
Instrumentos especficos deben proveerse al personal de las ONGs para animarlos en la
implementacin de las recomendaciones que vienen de los informes del M&E.
Prcticas efectivas de difusin de las lecciones aprendidas deben asegurar que las conclusiones ms importantes del M&E sean disponibles y utilizadas para acciones futuras.
CISP
Pgina 58
DRN
CISP
Pgina 59
DRN
CISP, COSV, COOPI, Intersos, Movimondo y DRN. Enero 2003. [Versin original en ingls]
Traduccin al espaol (marzo 2004) por Carlo Tassara y Mara Paola Paternostro.
Autorizada la reproduccin, a excepcin de fines comerciales, siempre y cuando sea debidamente mencionada la fuente.
CISP
Page 60
DRN
Anexo 1: Glosario
Este glosario (OECD/DAC 2002; EC 2002, 2001a) no est completo. Debera considerarse ms como
un intento para brindar a las ONGs de Forum Solint un sentido comn sobre la terminologa clave.
Notas metodolgicas
1. Para facilitar la comparacin entre los dos idiomas, el glosario incluye tambin las definiciones en ingls.
2. Para agilizar su consulta, en el presente glosario se utiliza la categora de proyecto para indicar todo tipo de
actividad (poltica, programa, proyecto, accin, etc.) de cooperacin al desarrollo.
Actividad
Activity
Anlisis costobeneficio
Cost-Benefit Analysis
Anlisis costoeficacia
Cost-Effectiveness
Analysis
Anlisis econmico o social de costos y beneficios que los cuantifica sin traducirlos
necesariamente en trminos monetarios. Permite: a) confrontar las alternativas
para cumplir con el mismo objetivo; b) seleccionar las actividades, entre aquellas
factibles, que hacen posible la consecucin del objetivo al costo ms bajo.
Anlisis de estrategias
Analysis of Strategies
Anlisis de gnero Anlisis de las posibles diferencias en el impacto de un proyecto sobre mujeres y
hombres. Se focaliza en los papeles diferentes (produccin, reproduccin, decisin) de
Gender Analysis
la mujer y del hombre; el acceso diferencial a los recursos y al control de los mismos;
las necesidades especficas, intereses y problemas; los obstculos para la plena y
equitativa participacin de las mujeres y de los hombres en la realizacin de actividades y en la distribucin de los beneficios obtenidos.
Anlisis de objetivos
Analysis of Objectives
Anlisis de las
Implica la identificacin de todos los grupos susceptibles de ser afectados (de
partes interesadas manera positiva o negativa) por un proyecto; la identificacin y el anlisis de sus
intereses, problemas, potenciales, etc. Sus conclusiones se integran en el diseo y
Stakeholder Analyformulacin del proyecto.
sys
Anlisis de problemas
Problem Analysis
Anlisis FODA
SWOT Analysis
Apreciacin
Assessment
Investigacin estructurada de los aspectos negativos de una situacin para establecer sus causas y efectos. Anlisis de los problemas que enfrenta un GRUPO META
y que se pretenden resolver a travs de la realizacin del proyecto.
Anlisis de las Fuerzas, Oportunidades, Debilidades y Amenazas (en ingls se
indican con un orden diferente: Strenghts, Weaknesses, Opportunities y Threats)
de una organizacin, un grupo social o una situacin. Es una herramienta que
puede utilizarse durante todas las fases del CICLO DE PROYECTO.
Proceso de creacin de una opinin o de un punto de vista con base en el anlisis
de la informacin disponible.
rbol de objetivos Representacin grfica de las relaciones entre los medios y los fines de un proyecto, planificados de manera lgica basndose en un ANLISIS DE PROBLEMAS. ES Un
Objectives Tree
instrumento para evidenciar una situacin futura, cuando se hayan resuelto los
problemas identificados. Vase tambin: JERARQUA DE OBJETIVOS.
CISP
Page 61
DRN
rbol de problemas
Problem Tree
Auditora
Audit
Beneficiarios
Beneficiaries
Ciclo de proyecto
Project Cycle
Coherencia
Coherence
Comunidad
Community
Condiciones previas
Pre-Conditions
Control
Control
Creacin de capacidades
Capacity-Building
Quienes (individuos, grupos u organizaciones) se benefician, directa o indirectamente, de la realizacin de un proyecto, hayan sido o no los destinatarios explcitos del mismo.
Secuencia de las seis fases de un proyecto desde la idea inicial hasta su cumplimiento: programacin; identificacin; instruccin; financiacin; ejecucin; evaluacin. Facilita una dinmica orientada a la consulta de las PARTES INTERESADAS y a la
definicin de: las decisiones clave, las necesidades informativas y las responsabilidades. Se apoya en la evaluacin para aprovechar las LECCIONES APRENDIDAS y
utilizarlas en el diseo de los nuevos proyectos.
Conformidad con las polticas, lneas gua, prioridades y orientaciones definidas
por una institucin.
Grupo de personas que vive en la misma localidad y comparte caractersticas comunes o similares.
Condiciones que deben satisfacerse antes del inicio de un proyecto. Normalmente
se refieren a la posibilidad de financiacin por parte de un donante, o a la aprobacin de polticas y/o leyes especficas por parte de alguna autoridad (local, nacional o internacional).
Verificacin que los documentos financieros sean correctos y los gastos conformes
a las normas y a las prcticas de autorizacin (control financiero) o funcin de
gestin para determinar si los materiales se conforman a las caractersticas tcnicas requeridas y a las eventuales normas internacionales (control tcnico).
Proceso a travs del cual se crean capacidades nuevas, tanto a nivel personal
como institucional. Es un tema transversal cada da ms importante en los proyectos orientados a la reduccin de la pobreza.
Criterios definidos por el Development Aid Committee (DAC) de la Organisation
for Economic Co-operation and Development (OECD) y utilizados por la comunidad de donantes para evaluar el rendimiento del proyecto: Pertinencia, Eficiencia,
Eficacia, Impacto y Sostenibilidad.
Representacin grfica que define el tiempo y el perodo, la secuencia y la duracin de las actividades del proyecto. Permite identificar tambin las etapas importantes para el monitoreo de los avances y repartir las responsabilidades con vistas
a lograrlas.
Datos cualitativos Datos que utiliza informacin no cuantitativas para la descripcin (por ej.: palabras, fotos y pelculas, audiovisuales y grabaciones, artefactos).
Qualitative Data
Datos cuantitativos
Quantitative Data
Datos secundarios Datos que ya existen en forma de publicaciones o de archivos (de un proyecto o
de otras fuentes), que se pueden utilizar para una evaluacin.
Secondary Data
Efecto
Effect
CISP
Page 62
DRN
Efecto directo
[esperado] [Consecuencia]
Outcome
Eficacia
Effectiveness
Eficiencia
Efficiency
Enfoque del marco Metodologa para planificar, manejar y evaluar proyectos que incluye el ANLISIS DE
lgico (EML)
LAS PARTES INTERESADAS, DE LOS PROBLEMAS, DE LOS OBJETIVOS, y DE LAS ESTRATEGIAS, as
LogFrame Approach como la preparacin de la MATRIZ DEL MARCO LGICO y el CRONOGRAMA DE ACTIVIDADES y
recursos.
(LFA)
Enfoque participativo
Participatory Approach
Estrategia de
proyecto
Project Strategy
Estudio de base
[de referencia]
Baseline Study
Definicin utilizada para indicar la participacin activa de los grupos y de las partes directamente interesadas en una tarea (por ej.: la planificacin, el diseo, la
implementacin, el monitoreo y la evaluacin de un proyecto). Es muy apropiado
para proyectos orientados a la generacin de procesos sociales, pero requiere
capacidades especficas y ms tiempo disponible. Su uso aumenta la apropiacin
del proyecto por parte de los beneficiarios y por lo tanto la sostenibilidad potencial
de los resultados del proyecto.
Marco general que formaliza los mtodos y las modalidades previstas por un proyecto para utilizar los recursos disponibles y realizar las ACTIVIDADES para obtener
los RESULTADOS.
Anlisis que describe la situacin previa a la recepcin de la ayuda. Se utiliza para
determinar los resultados y su cumplimiento, y sirve de referencia para la evaluacin ex post y el monitoreo de los avances.
Estudio de factibi- Estudio realizado durante la fase de instruccin para verificar si la propuesta de
lidad
proyecto est bien fundamentada, y si es susceptible de cumplir con las necesidades de sus beneficiarios. Debe tener en consideracin todos los aspectos polticos,
Feasibility Study
tcnicos, econmicos, financieros, institucionales, de gestin, ambientales, socioculturales, de gnero.
Estudio del marco Estudio realizado al inicio del proyecto para verificar las condiciones para permitir
de evaluacin
su monitoreo y evaluacin. Incluye la revisin de datos disponibles y la posible
recoleccin de datos bsicos; la seleccin final de los indicadores; el acuerdo soEvaluation Framebre los objetivos y su medicin con base en los indicadores seleccionados; la sework Study
leccin y/o provisin de instrumentos para la recoleccin de datos segn las fuentes de verificacin seleccionadas y/o disponibles.
Etapas importantes
Milestones
Evaluabilidad
Evaluability
Evaluacin
Evaluation
CISP
DRN
Fuente de verificacin
Source of Verification
Coherencia y consistencia de los datos recolectados y utilizados y de las apreciaciones que se desprenden de su anlisis. Est relacionada con la calidad de los
instrumentos y procedimientos empleados.
Aparecen en la tercera columna de la MATRIZ DEL MARCO LGICO e indican dnde y en
qu forma se puede encontrar la informacin necesaria para averiguar el logro de
los OBJETIVOS GENERALES, del OBJETIVO ESPECFICO y de los RESULTADOS (operacionalizados a travs de INDICADORES OBJETIVAMENTE VERIFICABLES IOV).
Grupo de control
Control Group
Grupo(s) meta
Target Group(s)
Hiptesis [Supuesto]
Assumption
Indicador
Indicator
Insumos
Inputs
Impacto
Impact
Grupo que no est expuesto directa o indirectamente a las actividades de un proyecto. Se utiliza normalmente en el marco de la evaluacin de impacto para medir
y evaluar las diferencias respecto al grupo meta del proyecto.
Grupo y/o entidad especfica para quien un proyecto ha sido planificado y diseado y que ser afectada positivamente por el logro del OBJETIVO ESPECFICO. Es uno
de los interlocutores ms importantes del proyecto.
Hiptesis sobre factores externos o riesgos que pueden afectar el avance o el
xito de un proyecto, pero que no estn bajo el control directo de sus responsables. Representan la cuarta columna de la matriz del marco lgico. Un factor externo es definido hiptesis asesina cuando tiene una alta posibilidad de ocurrir,
causando por lo tanto el fracaso del proyecto. Sinnimo: Riesgos.
Hiptesis o supuesto sobre factores externos o riesgos especialmente importantes, que puede influir seriamente en la implementacin y en el xito del proyecto
y que no estn bajo el control directo de sus responsables.
Variable o factor, cuantitativo o cualitativo, que proporciona un medio sencillo y
fiable para medir logros y resultados y reflejar los cambios obtenidos por un proyecto o una entidad.
Recursos financieros, humanos y materiales necesarios y/o empleados para la
realizacin de un proyecto.
Efecto de un proyecto sobre los beneficiarios directos as como sobre su entorno
ms amplio, al interior de un sector o en una rea geogrfica, en trminos de
factores tcnicos, econmicos, socioculturales e institucionales. Evidencia la relacin entre OBJETIVOS GENERALES y OBJETIVOS ESPECFICOS.
Efecto a largo plazo, positivo o negativo, primario o secundario, producido directa
o indirectamente por un proyecto, intencionalmente o no.
Indicador substitutivo
Indicadores medibles de los diferentes niveles de objetivos (OBJETIVOS GENERAOBJETIVO ESPECFICO, RESULTADOS, ACTIVIDADES), que sealan si stos se
han logrado o no. Representan la segunda columna de la MML y sirven de base
para el diseo de un sistema de monitoreo adecuado.
LES/GLOBALES,
Proxy Indicator
Informantes clave
Key Informants
CISP
Page 64
DRN
Jerarqua de objetivos
Hierarchy of Objectives
Lgica de intervencin
Intervention Logic
Lgica transversal
Horizontal Logic
Lgica vertical
Vertical Logic
Medios
Means
Meta
Target
Mtodos cualitativos
Qualitative Methods
Actividad sistemtica y permanente de recoleccin y anlisis de datos para proveer al equipo de gestin y a las principales partes interesadas indicaciones sobre
el avance y el logro de los objetivos, as como de la utilizacin de los fondos disponibles. Es muy importante para retroalimentar la gestin y la toma de decisiones.
CISP
Page 65
DRN
Objetivo general
[global] [Meta]
Overall [General]
Objective - [Goal]
Partes interesadas
Stakeholders
Pertinencia
Relevance
Plan de trabajo
Workplan
Planificacin
Planning
Producto
Output
Punto [Norma] de Base de comparacin, norma o estndar en relacin con la cual pueden medirse
referencia
los logros obtenidos y las prestaciones realizadas.
Benchmark
Rendimiento
Performance
Responsabilidad
de rendir cuentas
Accountability
Resultados
Results
Page 66
DRN
Sostenibilidad
[Sustentabilidad]
Sustainability
Medida en la que los grupos que recibieron la ayuda quieren y pueden realizar las
actividades necesarias para seguir cumpliendo con los objetivos del proyecto.
Trminos de Referencia
Documento que define las tareas que le corresponden a una persona u organizacin contratada e indica el contexto, los objetivos, las actividades planificadas, los
insumos y productos esperados, el presupuesto, el cronograma y la descripcin
del trabajo.
Terms of Reference
Triangulacin
Triangulation
CISP
Uso sistemtico y comparativo de tres o ms teoras o mtodos de anlisis, fuentes o tipos de informacin independientes para verificar y sustentar una evaluacin. Se utiliza para aumentar el grado de confianza en sus conclusiones.
Anlisis crtico de una propuesta de proyecto, orientado a tomar una decisin sobre su eventual financiacin, para determinar sus mritos y aceptabilidad de
acuerdo con criterios previamente establecidos. Averigua que el proyecto sea factible respecto a la situacin sobre el terreno, que los objetivos sean adecuados y
los costos razonables.
Mtodo utilizado al principio en el desarrollo agrcola y rural (donde se conoce como
Rapid Rural Appraisal, RRA - Valoracin Rural Rpida, VRR) para comprobar, de manera rpida y barata, las condiciones de una comunidad o rea al momento de la
planificacin del proyecto. Desde entonces, se ha extendido tambin al estudio del
impacto y ahora se utiliza en otros sectores como la salud o la nutricin. Est basada
en mtodos cualitativos como la observacin y la entrevista semi-estructurada. Normalmente se habla de Valoracin Participativa Rpida (VPR), que concentra el enfoque en los procesos y el sentido de apropiacin de los participantes.
Page 67
DRN
PROYECTO 1
Ttulo
Desarrollo rural y comunitario en tres distritos de la regin de Amhara (Etiopa).
Origen
El proyecto concebido se implementar en tres distritos de la regin de Amhara (Etiopa). El rea de operaciones ha sido identificada conjuntamente por las autoridades regionales y la ONG con base en dos criterios principales: alto grado de inseguridad y ausencia de acciones realizadas por otras ONGs.
Las reas seleccionadas son caracterizadas por recursos naturales escasos y pobres,
pero presentan fuentes de agua no aprovechadas para el riego. Las atracciones tursticas al interior del rea no se explotan completamente y la poblacin local no recibe beneficios.
Anlisis de problemas
La inseguridad alimentaria est vinculada a la limitada base de subsistencia de la mayora de las familias (el 80% de estas dependen de una agricultura alimentada por la lluvia). Las oportunidades de desarrollo de las microempresas estn obstaculizadas por la
falta de acceso a los servicios financieros y a la informacin de mercadeo, y por escasas
capacidades de gestin.
Aunque la pobreza est difundida en los tres distritos, el estudio de factibilidad del proyecto ha permitido la identificacin de algunos grupos ms vulnerables, por ejemplo las
mujeres cabeza de hogar o las personas sin tierra.
Los problemas de vulnerabilidad son agudizados por un acceso inadecuado a los servicios bsicos, el agua potable es el ms crtico.
Los apoyos externos se concentran en la ayuda alimentaria manejada por ONGs locales.
Los Consejos de Distrito (Woreda) estn aumentando sus funciones y papeles en el proceso de desarrollo, pero todava les hace falta responsabilidad hacia las organizaciones
locales informales.
CISP
Page 68
DRN
Actividades
Para ofrecer soluciones sostenibles a los problemas que afectan el rea, el proyecto se articular segn tres componentes principales:
1. El desarrollo de oportunidades de ingreso no agrcola a travs del fortalecimiento de los
servicios financieros descentralizados, de la capacitacin por parte de pequeos empresarios locales y de la provisin de servicios de apoyo para el desarrollo de negocios.
2. La creacin de servicios comunitarios (abastecimiento domstico de agua, irrigacin a
pequea escala y vas de acceso) a travs de esquemas de crdito para la realizacin de
micro proyectos orientados segn las necesidades efectivas.
3. La difusin de tcnicas participativas y el fortalecimiento de las organizaciones de base
para incrementar la capacidad de respuesta de los proveedores de servicios y de las instituciones pblicas descentralizadas para los habitantes de los tres distritos.
Duracin
Tres aos.
Monitoreo
Los datos sobre los indicadores relativos a los productos y resultados del proyecto provendrn principalmente de los archivos de las instituciones locales involucradas. En todo caso,
el equipo proyecto realizar un anlisis detallado de los resultados de las actividades en una
muestra de tres pueblos, que sern monitoreados muy de cerca.
Marcos lgicos
Se anexan dos marcos lgicos. El primero incluye las tres componentes de actividades del
proyecto, mientras que el segundo se refiere nicamente a la componente relativa al resultado N 2. Los dos marcos lgicos pueden vincularse a travs de un marco lgico de conexin.
CISP
Page 69
DRN
Proyecto 1 - Desarrollo rural y comunitario en tres distritos de la regin de Amhara (Etiopa) / Marco lgico completo
Lgica de intervencin
Objetivo
general
Objetivo
especfico
Resultados
Fuentes de verificacin
Hiptesis
- Apreciacin de impacto.
- Datos del DPPB.
- Datos y/o informes de la Oficina de
Agricultura (BoA).
- Datos y/o informes de la Oficina de
Planificacin (BoPED)
- Datos y/o informes de la Oficina de
Salud (BoH).
- Encuestas cualitativas ad hoc a
nivel de familias [household].
- Datos de las entidades microfinancieras (MFIs).
- Datos de las agencias de desarrollo
a pequea escala.
- Cmaras de Comercio.
- Encuestas cualitativas ad hoc.
CISP
Page 70
DRN
Proyecto 1 - Desarrollo rural y comunitario en tres distritos de la regin de Amhara (Etiopa) / Marco lgico completo
Lgica de intervencin
Actividades 1.1 Capacitacin a los equipo de las enti-
dades micro-financieras para la provisin de servicios financieros especficos a las micro empresas.
1.2 Provisin de lneas de crdito a las
entidades micro-financieras para extender el cubrimiento de sus servicios
a los micro-empresarios.
1.3 Realizacin de investigaciones de mercado y diagnsticos de necesidades.
1.4 Capacitacin de los micro-empresarios.
Fuentes de verificacin
Hiptesis
CISP
Page 71
DRN
Fuentes de verificacin
Hiptesis
Reducir la vulnerabilidad de los campesinos pobres con respecto a las enfermedades debidas al agua en tres distritos de
la regin de Amhara.
Objetivo
especfico
Resultados
Clima favorable para el desarrollo del sector privado en la provisin comunitaria de agua.
Objetivo
general
CISP
Page 72
DRN
CISP
Fuentes de verificacin
Hiptesis
Page 73
DRN
PROYECTO 2
Ttulo
Apoyo a la educacin y a la capacitacin en las reas urbanas brasileos de Santo Andr
Origen
En Santo Andr el gobierno local ha empezado una iniciativa piloto de desarrollo urbano (plan de revitalizacin) que combina los trabajos de construccin de la infraestructura (transporte y social), viviendas a bajo costo, y la creacin de oportunidades
de generacin de ingreso para las personas que viven en las partes ms pobres de la
ciudad.
Anlisis de problemas
El nivel de educacin de los jvenes entre los 12 y 18 aos que viven en las favelas
se ha deteriorado; las escuelas secundarias y los ltimos grados de la escuela primaria estn caracterizados por una baja asistencia escolar y altas tasas de abandono.
La creacin de pandillas se ha vuelto un problema serio: los actos criminales cometidos por menores se ha incrementado del 30% en los ltimos dos aos; el ao pasado, 1 de cada 10 personas atendidas por heridas de arma de fuego o arma blanca era
un menor.
Actividades
El proyecto se implementar como iniciativa piloto en dos favelas donde el Municipio ha
empezado plan de revitalizacin arriba mencionado. Se prev la creacin de dos centros
de capacitacin (uno en cada favela) para los jvenes entre 12 y 18 aos, que ofrece
capacitacin, servicios de asesora (como la creacin de una pgina web, la creacin y el
mantenimiento de una red de comunicacin, el desarrollo de software, etc.) para las empresas locales, y otras actividades de apoyo a la comunidad local.
Duracin
Tres aos.
Monitoreo
La definicin de los objetivos a lograr debe realizarse durante la fase inicial con la participacin de los representantes de la comunidad, los docentes, las familias y los estudiantes. En el presupuesto se incluirn los recursos para una revisin a mediano plazo con el
objetivo de verificar los resultados y establecer las condiciones necesarias para asegurar
la viabilidad financiera de la iniciativa. Una evaluacin final est prevista para verificar la
posibilidad de replicar la iniciativa en otras favelas.
CISP
Page 74
DRN
Proyecto 2 - Apoyo a la educacin y a la capacitacin en las reas urbanas brasileas de Santo Andr
Lgica de intervencin
Objetivo
general
Objetivo
especfico
Resultados
CISP
Fuentes de verificacin
Hiptesis
No se suspende el plan de revitalizacin en las favelas.
- Hay cooperacin entre el sistema de educacin formal y los
centros de capacitacin.
- No se deteriora la situacin
econmica en las favelas.
Page 75
DRN
Proyecto 2 - Apoyo a la educacin y a la capacitacin en las reas urbanas brasileas de Santo Andr
Lgica de intervencin
Fuentes de verificacin
Hiptesis
1.1
Condiciones previas.
- El Municipio provee los edificios
para los centros y establece los
acuerdos con algunas empresas
para el pago de los honorarios
al equipo local hasta que (y en
todo caso antes del cierre del
proyecto) se alcance la sostenibilidad financiera.
- El plan de revitalizacin en las
favelas A y B ha ya empezado
cuando inicia el proyecto.
Actividades
1.2
1.3
1.4
1.5
2.1
2.2
2.3
3.1
3.2
3.3
3.4
CISP
Page 76
DRN
PROYECTO 3
Ttulo
Atencin de emergencia y rehabilitacin de las comunidades rurales afectadas por desastres
naturales y antrpicos en el Sudan meridional.
Origen
En los ltimos 2 aos sequas y frecuentes inundaciones han duramente afectado el rea.
Los efectos negativos de los desastres naturales se han recientemente agravado por los
conflictos tnicos que han causado desplazamiento, destrucciones masivas de bienes e insumos y prdida de vidas (especialmente hombres jvenes cabeza de hogar).
En este momento el 50% de la poblacin en el rea del proyecto est constituida por desplazados.
Anlisis de problemas
El desplazamiento masivo y la prdida substancial de insumos productivos est causando
una crisis alimentaria: ms del 50% de la poblacin no tiene acceso a los alimentos y est
al borde del hambre.
Mujeres y nios en este momento son particularmente vulnerables y empiezan a mostrar
sntomas de malnutricin.
La prdida de insumos productivos (semillas y herramientas especialmente) obstaculizan la
reactivacin de las actividades agrcolas (slo se cultivan 100 de las 500 Has disponibles).
La produccin agrcola est afectada tambin por la degradacin del suelo causada por el
proceso de deforestacin en curso.
La escasa precipitacin es otro factor negativo. Sin embargo en el rea existe un importante
sistema de riego que se abandon durante los conflictos tnicos y opera actualmente con el
10% de su capacidad (5 Has de 50 Has), entre otras cosas porque los canales de riego han
sido daados e mantenidos de manera inadecuada.
Los campos irrigados son particularmente importantes para las mujeres cabeza de hogar
que necesitan invertir su limitada fuerza laboral en actividades con altas tasas de retorno
por unidad de trabajo.
La extensin de servicios agrcolas por parte del gobierno es casi ausente en el rea a causa
de la falta de recursos.
Actividades
Para brindar soluciones rpidas y efectivas a los las emergencias identificadas; sentar las bases para una rehabilitacin sostenible de los insumos de los campesinos pobres; y asegurar
continuidad entre las acciones de emergencia, rehabilitacin y desarrollo, el proyecto realizar
las siguientes actividades:
1. Distribucin gratuita de ayuda alimentaria al 50% de la poblacin (desplazados, familias
numerosas y mujeres cabeza de hogar) en el corto plazo (dos meses).
2. Implementacin de iniciativas de seguridad alimentaria durante la realizacin del proyecto
para beneficiar los grupos (ancianos, discapacitados) que no pueden participar en las actividades de alimentos por trabajo.
3. Formulacin participativa de varios micro proyectos para rehabilitar los insumos comunitarios.
4. Implementacin de micro proyectos (conservacin del suelo y del agua y rehabilitacin de
canales de riego) a travs de actividades de alimentos por trabajo.
5. Implementacin de capacitaciones agrcolas a travs de alimentos por capacitacin. Dichas
actividades se enfocarn en el riego y estarn dirigidas a las mujeres cabeza de hogar.
6. Distribucin de insumos y semillas a los agricultores.
Duracin
12 meses.
Insumos
Ayuda alimentaria, semillas, herramientas, asistencia tcnica.
CISP
Page 77
DRN
Proyecto 3 - Atencin de emergencia y rehabilitacin de las comunidades rurales afectadas por desastres naturales y antrpicos en el Sudan meridional
Lgica de intervencin
Objetivo
general
Objetivo
especfico
Resultados
Actividades
CISP
Fuentes de Verificacin
- Datos del Ministerio de Planificacin.
Hiptesis
- La paz prevalece en el rea.
Page 78
DRN
INDICADORES
Bienestar econmico
1. Erradicar la pobreza extrema y
el hambre
1. Reducir a la mitad, entre 1990 y
2015, el porcentaje de personas cuyos
ingresos sean inferiores a 1 dlar por
da.
2. Reducir a la mitad, entre 1990 y
2015, el porcentaje de personas que
padezcan hambre.
Desarrollo social
2. Lograr la enseanza primaria
universal
3. Velar por que, para el ao 2015, los
nios y nias de todo el mundo puedan terminar un ciclo completo de enseanza primaria.
CISP
Page 79
DRN
to.
Prevalencia y tasas de mortalidad asociadas a la tuberculosis.
Proporcin de casos de tuberculosis detectados y curados con
el tratamiento breve bajo observacin directa.
Desarrollo econmico
8. Fomentar una asociacin mundial para el desarrollo
12. Desarrollar an ms un sistema
comercial y financiero abierto, basado
en normas, previsible y no discriminatorio.
13. Atender las necesidades especiales
de los pases menos adelantados.
14. Atender las necesidades especiales
de los pases sin litoral y de los pequeos estados insulares en desarrollo.
15. Encarar de manera general los problemas de la deuda de los pases en
desarrollo con medidas nacionales e
internacionales a fin de hacer la deuda
sostenible a largo plazo.
16. En cooperacin con los pases en
desarrollo, elaborar y aplicar estrategias
que proporcionen a los jvenes un trabajo digno y productivo.
17. En cooperacin con las empresas
farmacuticas, proporcionar acceso a
los medicamentos esenciales en los
pases en desarrollo a un costo razonable.
18. En colaboracin con el sector privado, velar por que se puedan aprovechar
los beneficios de las nuevas tecnologas,
en particular de las tecnologas de la
informacin y de las comunicaciones.
CISP
Page 80
DRN
B. Indicadores de participacin
Los indicadores de participacin pueden ser cuantitativos o cualitativos. Los indicadores
cuantitativos se pueden medir fcilmente y normalmente se prefieren, especialmente
para la elaboracin del marco de referencia del proyecto (por ej.: el marco lgico). Estos
indicadores son adecuados cuando se habla de productos. Sin embargo, el uso de indicadores cualitativos puede ser ms apropiado a nivel de objetivo especfico del proyecto,
especialmente cuando la participacin es un fin en si mismo (por ej.: cuando el xito de
un proyecto depende del empoderamiento de los participantes).
Los indicadores cuantitativos de participacin pueden utilizarse para monitorear los procesos. Cuando se han acordado las herramientas adecuadas para la recoleccin de datos
con las partes interesadas, su verificacin puede ser fcilmente llevada a cabo, dado que
el coordinador del proyecto puede recoger los datos necesarios para medirlos durante la
implementacin.
Los indicadores cualitativos de participacin describen aspectos de sta que no se pueden
captar a travs de nmeros. Deben utilizarse para monitorear el grado de consecucin
del objetivo especfico, por ejemplo durante las misiones sobre el terreno, las revisiones
a mediano plazo, o la evaluacin final del proyecto.
Ya que son descripciones u observaciones de actitudes, los indicadores cualitativos producen apreciaciones subjetivas y en ellas influye el contexto y las personas involucradas.
Por lo tanto, su recoleccin debe ser realizada por expertos externos al proyecto, que
posiblemente actan como facilitadores ms que como evaluadores.
El siguiente listado indica unos temas que se refieren a las dos categoras de indicadores,
y algunas posibles mediciones (ODA 1995). El listado puede utilizarse para identificar y
establecer cules datos recolectar a nivel del proyecto y cuales aspectos averiguar durante una misin de monitoreo, una revisin a mediano plazo, una evaluacin, etc.
Dimensin cuantitativa de la participacin
Preguntas
Quin est participando?
Posibles mediciones
- N de mujeres / hombres participantes.
- N o % de personas ms vulnerables.
- N de personas que pertenecen a diferentes grupos tnicos.
Los participantes estn movili- - N de das de trabajo, materiales, herramientas, dinero aportado
como contribucin por parte de los usuarios.
zando sus mismos recursos?
CISP
Page 81
DRN
Posibles mediciones
Cmo se pretende que los grupos logren estabilidad e independencia (confianza en ellos
mismos)?
Cules caractersticas compor- - Altos niveles de compromiso de todos miembros del grupo en las
reuniones y en las discusiones.
tamentales se pretende que
- Evidencias de una toma de decisiones consensual.
desplieguen los participantes?
- Rapidez en llegar a las decisiones.
- Aumento de las evidencias de identidad y solidaridad colectivas.
- Confianza en la expresin de sus opiniones y necesidades.
- Compromiso activo en los procesos de toma de decisiones.
Una manera de combinar las dos dimensiones de la participacin es la de utilizar conjuntamente los indicadores de participacin (medidas cuantitativas) y de madurez socioinstitucional (medidas cualitativas). Por ejemplo, en un proyecto de desarrollo comunitario, el
siguiente listado puede representar los aspectos clave (cuantitativos y cualitativos) que
deben ser tomados en consideracin:
a.
b.
c.
d.
e.
f.
g.
h.
i.
j.
k.
l.
m.
CISP
Page 82
DRN
OBJETIVO:
Cules son los efectos
del acceso de los beneficiarios al uso de/
satisfaccin con los
bienes y/o servicios
entregados?
CISP
Pregunta(s)
especfica (s)
Posibles indicadores
de efecto directo
Pregunta(s)
especfica (s)
Posibles indicadores
de efecto directo
Pregunta(s)
especfica (s)
Posibles indicadores
de efecto directo
De qu manera el
proyecto ha mejorado el acceso al agua
potable para los
beneficiarios identificados?
De qu manera la
existencia de los
centros de capacitacin ha mejorado
los estndares educativos y las oportunidades de trabajo para los beneficiarios identificados?
De qu manera
- Reduccin del % de familias
el proyecto ha
que necesitan ayuda de
contribuido a la
emergencia (del 50% al
reduccin de la
25%).
inseguridad ali- Aumento de la disponibilidad
mentaria en el
de los alimentos en los mercorto plazo y a la
cados locales (del actual
rehabilitacin de
20% al 50% de la demanlas condiciones de
da).
vida de la pobla- Disminucin (hasta del
cin
20%) de los precios en los
mercados locales.
Page 83
DRN
RESULTADOS:
- Cmo son utilizados - Cmo se ha mejolos resultados fsirado la disponibilicos? Cmo desarrodad del agua a nillan su trabajo?
vel comunitario?
- Los servicios y/o
productos entrega- Se han desarrollados funcionan cmo
do las capacidades
planificado?
de la comunidad
- Quin utiliza los
para la operacin y
servicios y producel mantenimiento
tos?
(O&M) de los puntos de agua?
- Cules capacidades
se han creado y/o
mejorado a travs de
la entrega de los
servicios / productos?
- Cmo ha cambiado
el sistema organizativo / estructural?
- Cmo continan los
servicios y/o produc- - Cmo se han
tos despus del cieestablecido las carre del proyecto?
pacidades O&M a
nivel de distrito?
CISP
Posibles indicadores
de producto
Pregunta(s)
especfica (s)
Posibles indicadores
de producto
Pregunta(s)
especfica (s)
- Contribucin comunitaria
(20% del total)a los costos
de construccin e implementacin.
- Nivel de contribucin recogido entre los usuarios (1
Eth Birr por familia por semana).
- Al menos el 50% de los
puntos de agua estn completamente mantenidos a
nivel comunitario.
- Tipo y calidad de las actividades de O&M realizadas a
nivel comunitario.
- 10 intervenciones de O&M
exitosas por parte de operadores del sector privado.
- 10 intervenciones de O&M
exitosas por parte de los
equipos de las Oficinas de
Distrito para el Agua.
- Al menos el 90% de los
puntos de agua estn completamente mantenidos a
nivel de distrito.
- Disponibilidad de repuestos
en el mercado local.
- Cmo est
trabajando el
centro?
- Qu cambios
organizativos se
han aportado?
Posibles indicadores
de producto
Page 84
DRN
ACTIVIDADES:
- Los servicios y/o
productos son entregados / creados cmo planificado?
- Cules son los resultados fsicos?
CISP
Pregunta(s)
especfica (s)
Posibles indicadores
de proceso
Pregunta(s)
especfica (s)
Posibles indicadores
de proceso
Pregunta(s)
especfica (s)
Posibles indicadores
de proceso
- N de puntos de agua en
funcin.
Se ha aumentado la
disponibilidad de
agua como planificado?
- N de Comits de usuarios
de agua establecidos.
- Desde el segundo ao la
escuela brinda al menos 4
clases en diferentes materias, con una duracin variable de 1 semana a 3 meses.
- Se han desarrollado las
hojas de vida para aumentar los estndares de alfabetizacin de los estudiantes y la capacidad de respuesta a las necesidades
del mercado laboral local.
Page 85
DRN
Sigue un listado adicional de las preguntas clave que deben guiar las principales partes interesadas en la definicin de indicadores de efectos directos, productos para los proyectos de
emergencia. Se dan ejemplos de indicadores en relacin a las preguntas clave.
DISTRIBUCIN DE RACIONES ALIMENTARIAS SECAS Y/O HIDRATADAS A LAS POBLACIN EN RIESGO
OBJETIVO
Pregunta(s) clave
Pregunta(s) especfica(s)
Pregunta(s) especfica(s)
Pregunta(s) clave
Pregunta(s) especfica(s)
ACTIVIDADES
CISP
Page 86
DRN
APOYO A LA REHABILITACIN DE LOS RECURSOS ESENCIALES: REHABILITACIN DE LAS CARRETERAS RURALES A TRAVS DEL PROGRAMA DE ALIMENTOS POR TRABAJO
OBJETIVO
Pregunta(s) clave
Pregunta(s) especfica(s)
- De qu manera el proyecto ha
contribuido a la reduccin de la
inseguridad alimentaria y a la
rehabilitacin de los medios de
sustento de las personas?
Pregunta(s) clave
Pregunta(s) especfica(s)
- N de asociaciones comunitarias
involucradas en las actividades de
alimentos por trabajo.
- N de hombres y mujeres miembros
de los comits de decisiones.
- N de hombres y mujeres que han
mejorado su conocimiento en tcnicas de mantenimiento.
RESULTADOS
ACTIVIDADES
Pregunta(s) clave
Pregunta(s) especfica(s)
CISP
Page 87
DRN
OBSERVACIN
MEDIOS
OBJETIVOS
REQUISITOS
VENTAJAS
Disponibilidad, accesibilidad
y confianza de la informacin
contenida en los documentos.
DESVENTAJAS
ENTREVISTA INDIVIDUALES
ABIERTAS
CERRADAS (ENCUES-
TA)
ENTREVISTAS DE GRUPO
/ DISCUSIONES
DISCUSIONES DE
GRUPO FOCAL (6-12
personas)
Discusiones semi-formales
basadas en una serie de temas
previamente definidos, a travs
del uso de preguntas generales.
ENCUENTROS COMU-
NITARIOS
CISP
Page 88
DRN
NO
f
f
f
f
f
f
f
f
f
f
f
f
f
f
f
f
f
f
f
f
f
f
f
f
f
f
f
f
f
f
f
f
f
f
f
f
f
f
f
f
GRUPO(S) META
CISP
Page 89
DRN
DURACIN:
PREPARADO POR:
INFORME N:
Acciones
dadas
recomen-
Acciones
dadas
recomen-
CISP
Page 90
DRN
CISP
Page 91
DRN
DURACIN DE LA MISIN:
FECHA(S) DE LA MISIN:
Calificacin
Observaciones
Observaciones
CONCLUSIONES GENERALES:
Observaciones
CISP
Calificacin
Observaciones
Page 92
DRN
CONCLUSIONES GENERALES:
CONCLUSIONES GENERALES:
Calificacin Observaciones
CISP
Calificacin Observaciones
Page 93
DRN
CONCLUSIONES GENERALES:
Calificacin
Observaciones
Temas
Calificacin
Las tecnologas adoptadas por el proyecto son fcilmente comprensibles y
utilizables por la poblacin local?
El proyecto logra optimizar el uso de
tecnologas y recursos locales?
Observaciones
USO DE LA TECNOLOGA
Calificacin
Observaciones
Observaciones
CONCLUSIONES GENERALES:
CISP
Page 94
DRN
Temas
Calificacin
Sostenibilidad esperada
CONCLUSIONES GENERALES:
PRINCIPALES PROBLEMAS Y/O LIMITANTES:
AVANCES HACIA LA CONSECUCIN DE LOS OBJETIVOS:
RECOMENDACIONES PARA EL SIGUIENTE PERODO DE IMPLEMENTACIN:
Para los coordinadores nacionales y/o regionales:
Para el responsable del proyecto:
Para los dirigentes y el responsable de rea en la sede principal:
Para la administracin en la sede principal:
Gua para la asignacin de las calificaciones
(A) EXCELENTE. Desempeo superior al normal, algo particularmente innovador: el proyecto
es considerado un modelo a seguir.
(B) BUENO. Plena satisfaccin de todos los requisitos de calidad: hay slo unas pocas debilidades.
(C) POR LO GENERAL SATISFACTORIO. Hay debilidades as como fortalezas: las debilidades no son
tan graves como para amenazar el xito del proyecto.
(D) CON PROBLEMAS. Hay graves debilidades aunque otros aspectos pueden ser satisfactorios:
es necesaria una accin temprana para reforzar el proyecto.
(E) DBIL. Hay graves deficiencias respecto a los requisitos de calidad: es necesaria una accin inmediata para enfrentar los problemas y reorientar el proyecto.
CISP
Page 95
DRN
a.
EPIZOTICAS
ALCANCE
Indica lo que se debe evaluar (puede ser un pas, un sector, un tema, un programa, o un
proyecto), el perodo que debe tomarse en consideracin y la cobertura geogrfica, el monto
financiero comprometido.
Ejemplo:
a.
b.
c.
CISP
Page 96
DRN
gunda fase del programa (CDP2), especialmente en relacin a la individuacin de iniciativas orientadas a la reduccin de la pobreza.
CONTEXTO
Esta seccin brinda la necesaria informacin sobre el proyecto: razn; objetivo; cobertura
geogrfica; componentes; resultados; acciones principales; gestin y estructura operativa;
principales partes interesadas; agencias de implementacin; partner(s) local(es); participantes; costos y duracin. Debe ocupar mximo una pgina.
Ejemplo:
El programa PACE es financiado con los fondos regionales del EDF y tiene una duracin de 5
aos. El convenio se firm en agosto de 1999 para un monto de 72.000.000 Euros. Algunos
pases europeos (Gran Bretaa, Francia e Italia) estn aportando unos recursos adicionales y
brindan asistencia tcnica en algunos de los pases beneficiarios.
Este programa se propone aprovechar los avances logrados por la campaa contra la peste
bovina para establecer una red regional para el control epidemiolgico de las principales enfermedades animales, brindando a los pases las capacidades necesarias para organizar programas de control, econmica y tcnicamente apropiados, y desarrollar una distribucin de
productos y servicios veterinarios efectiva y sostenible.
Una descripcin ms detallada del programa se encuentra en al anexo A. El programa incluye operaciones planificadas e implementadas en cada pas y tambin apoyo a los componentes de coordinacin regional y sub-regional.
El programa PACE cubre 32 pases del frica sub-sahariana. Los proyectos nacionales estn
consolidados en un plan operativo regional firmado por la Autoridad Regional de Autorizacin (ARA) [RAO - Regional Authorising Office] y respaldado por la Delegacin Europea lder
cada seis meses. En noviembre de 2001, casi todos los pases del programa PACE han visto
aprobado su primer o segundo plan operativo anual, y han empezado las actividades respectivas (Anexo B). Las excepciones se refieren a los pases en donde se suspendi la cooperacin al desarrollo de la Unin Europea (UE), y al Sudan del Norte, donde todava no se ha
cumplido la clusula del reclutamiento de los asesores tcnicos nacionales. Al principio de
2000, la Unidad de Coordinacin del Programa ha preparado un manual de procedimientos
para la gestin de los proyectos nacionales.
El programa es coordinado por el Inter-African Bureau for Animal Resources (IBAR) de la
Organisation of African Unity (OAU), que define tambin los servicios comunes. El organigrama incluye una Unidad de Coordinacin del Programa (UCP) en Nairobi y dos Unidades de
Coordinacin Regional (UCR), en Bamak para el frica Occidental y Central y en Nairobi
para el frica Oriental. La coordinacin regional pretende minimizar la duplicacin del esfuerzo y armonizar las actividades nacionales en el marco del programa regional. En diciembre de 2000 las estructuras regionales han sido completamente dotadas de personal. Sin
embargo, han ocurrido varios cambios en la asistencia tcnica, incluyendo el principal asesor
tcnico.
En diciembre de 2001 una misin externa de apoyo formul recomendaciones para mejorar
la eficiencia en las relaciones entre la UCP, las UCRs, los Servicios Tcnicos Comunes, la ARA
y la Delegacin Europea lder.
ACTIVIDADES PRINCIPALES [O TEMAS POR ESTUDIAR]
Incluye la descripcin de los temas especficos objeto de la evaluacin; por ejemplo aspectos
particulares relativos a los cinco criterios de evaluacin: pertinencia, eficiencia, eficacia, impacto y sostenibilidad. En cada evaluacin los temas pueden ser diferentes, pero normalmente se refieren a los siguientes aspectos:
-
Anlisis de la lgica de intervencin: pertinencia del proyecto con respecto a las necesidades identificadas, por un lado, y a la coordinacin y coherencia con las otras acciones
que se estn realizando en la misma rea, por el otro; idoneidad de la eleccin de los par-
CISP
Page 97
DRN
ticipantes y beneficiarios; valoracin de las hiptesis y vnculos externos; anlisis de la situacin actual y de los cambios ocurridos.
-
Implementacin del proceso: caractersticas de la organizacin y estructura de gestin operativa; adaptabilidad a los cambios en la situacin general; uso de los recursos;
mecanismos de coordinacin y asesora; sistema de monitoreo.
Partners locales y otras partes interesadas: su participacin en el proceso de realizacin (roles desarrollados, tipos de cooperacin, etc.); cambios en las capacidades y en
la organizacin; sentido de apropiacin de los resultados.
METODOLOGA
Especifica los temas metodolgicos que el comitente de la evaluacin quiere que se tengan
en consideracin. Por ejemplo, si se deben emplear mtodos participativos; si el muestreo
debe tener en cuenta temas y/o grupos especficos; si la evaluacin debe usar mtodos
cuantitativos o cualitativos para la recoleccin y anlisis de los datos. Esta seccin describe
tambin las fases de la evaluacin (que normalmente son: revisin de la documentacin,
visitas sobre el terreno y redaccin del informe) y aclara si estn previstas modalidades especficas para la consulta de las partes interesadas y la difusin de los resultados de la evaluacin (por ej.: un taller o una publicacin).
Ejemplo:
a.
El estudio se concentrar al inicio en los pases del frica del Sur y del Oeste (Zambia,
Zimbabwe, Tanzania) y del Caribe (Jamaica). Se analizarn tambin los programas regionales en las mismas reas; por ejemplo: Comunidad para el Desarrollo del frica Meridional (SADC - Southern African Development Community), Indias Occidentales, etc.
En todo caso, no se excluye que en una fase ms avanzada se consideren tambin otros
pases y regiones; por ejemplo: frica Occidental. En esta perspectiva, sern muy importantes los resultados logrados a travs de los estudios iniciales sobre los distintos
pases.
b. El asesor debe leer todos los documentos clave del proyecto, incluyendo la Propuesta
Financiera, el Acuerdo Financiero, el informe de evaluacin, que desarrolla el nuevo enfoques de Microproyectos, las lneas internas de gestin y los planes e informes de trabajo. El asesor debe revisar tambin las actas del Project Steering Committee y de las
reuniones de monitoreo con el personal del Distrito. Debe tener en cuenta las recomendaciones del Fiscal Decentralization Study, que debe ser implementado por MOPFED
desde el siguiente ao financiero, y las recomendaciones del estudio sobre Relaciones
entre el Plan de Desarrollo Local del Gobierno y los programas apoyados por donantes
internacionales en el sector de la descentralizacin fiscal.
c.
El asesor debe utilizar la Gua de la Comisin Europea sobre la realizacin de las evaluaciones y utilizarla como referencia de su metodologa de trabajo.
d.
Para cumplir con esta tarea, el asesor debe realizar los siguientes encuentros: oficinas de la
OAU/IBAR en Nairobi, que ser la base de operaciones; Unidad de Coordinacin del
Programa PACE en Bamak; Delegacin de la Comisin Europea en Kenya; algunos de los
pases PACE (representantes de las diferentes proyectos nacionales), donde se
entrevistarn la administracin nacional y la Delegacin.
CISP
Page 98
DRN
Adems, el asesor se relacionar con el Office International des pizooties (OIE) en Pars y
la Organizacin de las Naciones Unidas para la Alimentacin y la Agricultura (FAO) en
Roma. Estn disponibles unos recursos para los viajes a Bruselas y la preparacin del informe en el pas de residencia del asesor.
e.
Fase 1. Fase de estudio terico, para preparar el inventario de los proyectos y programas de educacin y capacitacin incluidos en el VII y VIII EDF y una metodologa detallada para la evaluacin. Deben proponerse criterios para guiar la eleccin del tipo de acciones a analizar y su difusin geogrfica, as como los indicadores a utilizar durante las
misiones sobre el terreno en los pases beneficiarios.
Fase 2. Fase de terreno para analizar los proyectos y programas de educacin apoyados
por la Comisin Europea (CE) en los pases seleccionados, otras actividades especficas,
y eventuales programas regionales. El anlisis incluye la evaluacin de la pertinencia,
eficiencia, eficacia, impacto, y sostenibilidad.
Fase 3. Los anlisis y la redaccin de los informes se llevarn a cabo inmediatamente
despus de la fase de terreno. Un informe sinttico resumir las conclusiones de las fases 1 y 2, y ser elaborado en base a los temas clave y las lecciones aprendidas.
Los resultados provisionales se presentarn en un seminario en Bruselas, con la participacin de los servicios geogrficos y los especialistas sectoriales de la CE.
RESPONSABILIDADES
Indica de manera clara el papel de todas las partes involucradas, particularmente el responsable de la evaluacin, el otro personal de la ONG, el evaluador, el partner local y las partes
interesadas. Esta seccin establece quin es responsable de la recoleccin de datos y otros
documentos necesarios. Si se requieren mecanismos de asesora especficos (por ej.: grupos
de trabajo), esta seccin indica su composicin y responsabilidades. Un grupo de trabajo de
seguimiento es muy oportuno, para aumentar la objetividad del proceso, si la evaluacin
tiene una dimensin transversal (por ej.: evaluacin de polticas sectoriales o geogrficas,
evaluacin de programas) o si es llevada a cabo por personal interno a la institucin.
La normal divisin de tareas entre el responsable de la evaluacin y el evaluador es la siguiente:
Responsable de la evaluacin
Evaluador
CISP
Page 99
DRN
sociales y polticas de descentralizacin. Ttulo requerido: postgrado en ciencias sociales (35 da/persona).
-
b. Para la evaluacin del programa panafricano para el control de las enfermedades epizoticas
El equipo debe estar formado por al menos 4 expertos, cada uno con grado universitario,
y preferiblemente un postgrado en una disciplina pertinente. Al respecto, se proponen los
siguientes perfiles:
-
un veterinario con conocimiento y experiencia en las enfermedades epizoticas y conocimientos del control epidmico;
un experto en la gestin de la comunicacin e informacin con experiencia en comunicacin rural y/o de apoyo al desarrollo.
Cada componente del equipo tiene que tener comprobada experiencia en cooperacin al
desarrollo, y en particular en la evaluacin de proyecto complejos.
c.
experiencia de terreno en educacin no formal y mtodos cualitativos, como la valoracin participativa rural y las tcnicas aplicables a las dinmicas de grupo;
INFORMES Y RETROALIMENTACIN
Esta seccin incluye el tipo de informes y los documentos que el asesor debe presentar durante y al final del trabajo y que representan el producto de una evaluacin. Los informes se
presentan normalmente en relacin a la conclusin de una fase especfica. Otros materiales
(actas de reuniones tcnicas, notas metodolgicas, memorando) pueden presentarse al final
o durante la preparacin de una fase especfica. Se deben indicar tambin el nmero de pginas, de copias y el idioma de cada documento. El formato y la estructura deben anexarse a
los TdR al menos para el informe final. Es buena costumbre indicar en cada informe o documento dentro de cuanto tiempo se espera recibir la retroalimentacin sobre sus contenidos
por parte de las dems partes interesadas involucradas en el proceso de evaluacin.
Ejemplo:
a.
CISP
Page 100
DRN
c.
Informe final definitivo para presentarse dentro de los 21 das calendario siguientes a la recepcin de los comentarios sobre el borrador.
El informe inicial: Al final de la Fase 1 (que prepara en gran parte la fase de terreno); 10 copias en ingls o francs.
El informe pas: En borrador 30 das despus del final de las misiones sobre el terreno (mximo 50 pginas cada uno, incluyendo 3-5 pginas de resumen ejecutivo); 10 copias en ingls, francs o portugus, dependiendo del pas; 3-5 pginas de
resumen ejecutivo (en los tres idiomas).
El borrador de informe sinttico: 30 das despus del borrador del informe pas:
mximo 75 pginas ms un resumen ejecutivo de mximo 7 pginas, ms anexos.
El perfil para este informe est anexo: 15 copias en ingls o francs; resumen ejecutivo en ambos idiomas. El informe sinttico debe brindar las conclusiones de los
estudios relativos a cada pas en una perspectiva ms amplia, e identificar de manera clara los temas clave detectados.
Un breve resumen de 2 pginas para una distribucin ms amplia debe presentarse separadamente: se anexa un modelo.
CRONOGRAMA Y PRESUPUESTO
Contiene las indicaciones sobre el cronograma de la evaluacin (duracin total, perodo en el
cual debe llevarse a cabo, tiempo aproximado dedicado a cada fase). Si se prev un grupo
de trabajo, en esta seccin debe incluirse el cronograma de sus reuniones. Esta parte incluye tambin el presupuesto general y la tipologa de los costos cubiertos.
Ejemplo:
a.
CISP
Page 101
DRN
b. El estudio de evaluacin empezar en Julio 2001 y tendr una duracin total de 9 meses,
con la siguiente distribucin:
Primera Fase: 3 meses desde la firma del contrato.
Segunda fase: 4 meses desde el final de la primera fase.
Tercera fase: 2 meses desde el final de la segunda fase.
El evaluador deber encontrar los grupos de trabajo al menos:
al inicio de la evaluacin;
2 semanas despus del final de la primera fase;
a la semana 10 de la segunda fase;
a la semana 5 de la tercera fase.
ANEXOS
Esta seccin incluye las referencias tiles para los evaluadores. Puede ser la descripcin
completa del proyecto; el mapa geogrfico de su rea de influencia; el listado de la documentacin relevante para consultar; el listado de las personas que se deben entrevistar
(partes interesadas); las lneas metodolgicas que se deben adoptar para el anlisis de algunos aspectos especficos (por ej.: listas d control con preguntas, metodologa a adoptar en
el anlisis de gnero y de impacto ambiental, etc.); debe incluir el formato de informe.
Ejemplo:
a. Anexos contenidos en los TdR de la evaluacin del programa panafricano para
el control de la enfermedad epizotica:
- Anexo A: Descripcin detallada del programa y del presupuesto.
- Anexo B: Estado de avance de los proyectos en ejecucin en cada pas.
- Anexo C: Formato del informe final.
b. Anexos contenidos en los TdR de la evaluacin de impacto de un programa de
desarrollo comunitario:
- Anexo 1: Formato de los informes de evaluacin.
- Anexo 2: Glosario.
CISP
Page 102
DRN
Resumen ejecutivo
Nmero de pginas: 5-6
El resumen ejecutivo es una parte esencial del informe: tiene mucha influencia y tiene que
ser ms fcil de consultar que las otras partes. Se debe enfocar en los propsitos y temas
principales de la evaluacin, enfatizar los puntos de mayor inters sobre el rendimiento, e
indicar de manera clara las conclusiones, las lecciones aprendidas y las recomendaciones
especficas. Las referencias transversales deben hacerse en la pgina o nmero del prrafo
correspondiente en el texto principal.
El resumen ejecutivo debe contener la siguiente informacin sobre la evaluacin: (a) Propsito(s); (b) Contexto; (c) Metodologa; (d) Anlisis de los resultados; (e) Conclusiones y recomendaciones.
Introduccin
Nmero de pginas: 1-2
Describe brevemente el propsito del informe, el alcance y el contexto del proyecto evaluado. Puede incluir reconocimientos a los que contribuyeron en la realizacin de la evaluacin.
Conclusiones
Nmero de pginas: 30. Esta es la seccin ms larga del informe.
Las conclusiones constituyen afirmaciones basadas en las informacin recogida. El cuerpo del
informe debe seguir los cinco criterios de evaluacin, describiendo los hechos e interpretndolos o analizndolos segn las preguntas clave relativas a cada criterio.
i.
Pertinencia: si la formulacin del proyecto era originalmente, y todava sigue, pertinente: por ejemplo si responde a las necesidades y problemas reales de los beneficiarios
identificados.
ii.
iii. Eficacia: si se consiguieron los objetivos especficos y los beneficiarios recibieron los cambios
positivos previstos; si los resultados conseguidos llevan al objetivo especfico del proyecto.
iv. Impacto: se refiere a los resultados ms generales para los beneficiarios identificados,
entendidos en este caso como un grupo ms amplio de personas o toda una sociedad; el
xito y el fracaso en la consecucin de los objetivos generales, y sus razones principales.
v.
CISP
Page 103
DRN
Metodologa
Nmero de pginas: 3
Indica cmo se elaboraron las preguntas relativas a la evaluacin y cules limitaciones se
encontraron al respecto. Describe tambin los indicadores utilizados para calificar el rendimiento, as como las fuentes de informacin y los mtodos utilizados para la recoleccin y el
anlisis de la informacin. Debe especificar tambin el nivel de participacin y la contribucin
de las partes interesadas a la evaluacin.
Conclusiones y recomendaciones
Nmero de pginas: 3-6
Las conclusiones describen los resultados logrados y cmo stos se comparan con las expectativas definidas durante la planificacin y formulacin del proyecto. Las recomendaciones
son afirmaciones que vienen de las evidencias registradas y determinan quin debera hacer
qu cosa en el futuro, y brindan sugerencias para introducir mejoras y/o identificar los problemas que tienen que ser monitoreados para el seguimiento posterior. Si es posible, para
cada conclusin debera darse una recomendacin correspondiente.
El valor de una evaluacin depende de la calidad y fiabilidad de las recomendaciones brindadas. Las recomendaciones deben ser lo ms realistas, pragmticas y operativas posible; o
sea, deben tener cuidadosamente en cuenta las circunstancias que prevalecen en el contexto
del proyecto en el momento de la evaluacin, y los recursos disponibles para implementarlos.
Las recomendaciones deben estar dirigidas de manera clara al pblico adecuado en los distintos niveles, especialmente al interior de la estructura operativa de las ONGs (coordinadores
nacionales y/o regionales, responsable del proyecto, dirigentes y responsable de rea en la
sede principal, administracin en la sede principal, responsable de la evaluacin).
Anexos
El informe debe generalmente incluir los anexos siguientes:
1.
2.
Composicin del equipo de evaluacin (las hojas de vida deben estar incluidas, mejor si
de forma sinttica).
3.
Matriz del marco lgico (la versin original como y, si es posible, las versiones posteriores
con las mejoras y/o actualizaciones eventualmente introducidas).
4.
5.
6.
7.
CISP
Page 104
DRN
CISP
Page 105
DRN
CISP
Page 106
DRN
Referencias bibliogrficas
Manuales y Lneas gua de M&E son indicadas con el autor subrayado.
AusAID - Australian Agency for International Development (1998), Review of the Evaluation
Capacities of Multilateral Organisations
Baker J.L. (2000), Evaluating the Impact of Development Projects on Poverty: A Handbook
for Practitioners
Berg E. (2000), Why arent Aid Organisations Better Learners?, in Jecker Carlsson and Lennart Wohljemuth, Learning in Development Co-operation, Almquist & Wiksell International,
Stockholm, Sweden
Berg E. et al. (1998), NGO-Based Participatory Impact Monitoring of an Integrated Rural
Development, Berlin, Germany
Broughton B. and Hampshire J. (1997), Bridging the Gap A Guide to monitoring and evaluating development projects
CARE, Uganda (1997), Guidelines to Monitoring and Evaluation: How are we doing?
Cousins J.B. (1995), Theory & Practice: Participatory Evaluation Enhancing Evaluation Use
and Organisational Learning Capacity, Ottawa, Canada
Coupal F. and Simoneau M. (2001), A Case Study of CCIC Humanitarian Fund Projects in
Haiti, Mosaic.net International, Ottawa, Canada
Cracknell B.E. (2000), Evaluating Development Aid: Issues, Problems and Solutions, Sage
Publications, India
CRS - Catholic Relief Services (1999), Participatory Programme Evaluation Manual: Involving
Partes interesadas in Evaluation Process
CEPAL - Comisin Econmica para Amrica Latina y el Caribe (1999), Manual de identificacin, formulacin y evaluacin de proyectos de desarrollo rural
CIDA Canadian International Development Agency, Performance Review Branch (2000),
CIDA Evaluation Guide
Davies R. (2001a), Monitoring and Evaluating NGO Achievement, Cambridge, UK
Davies R. (2001b), Tree Maps: A Tool for Structuring, Exploring and Summarising Qualitative Information, Swansea, UK
Davies R. (1995), The Management of Diversity in NGO Development Programmes, Swansea, UK
DFID Department for International Development (1998), Impact Assessment in Multilateral
Development Institutions, UK
Earl S. et al. (2000), Outcome Mapping: Focussing Monitoring & Evaluation fo Development
Programs on Changes in Partners, Canada
ELDIS Gateway to Development Information (2000), Participatory Monitoring and Evaluation Guide
EC European Commission, EuropeAid Evaluation Office (2002), Manual Project Cycle Management Handbook, Brussels
EC, EuropeAid Evaluation Office (2001a), Manual Project Cycle Management, Brussels
EC, EuropeAid Evaluation Office (2001b), Evaluation in the European Commission: A Guide
to the Evaluation Procedures and Structures currently operational in the Commissions External Co-operation Programmes, Brussels
EC (2000), Focus on Results: Strengthening Evaluation of Commission Activities, Communication to the Commission SEC (2000) 1051 26.07.2000
CISP
Page 107
DRN
EC, DG XXII (1997), Tempus Handbook Objective Oriented Project Design & Management,
Brussels
FAO - Food and Agriculture Organization of the United Nations (1990), The Community's
Toolbox: The idea, Methods and Tools for Participatory Assessment, Monitoring and Evaluation in Community Forestry
FAO (1989), A Field Methodology for Participatory Self-evaluation of PPP Group and Intergroup Association Performance
Foresti M. (2000), Imparare a sbagliare: Come istituzionalizzare la cultura della valutazione
in un mondo che non sa ascoltare?, Abstract of the presentation made for the IV Congresso
Nazionale della Societ Italiana di Valutazione, Bari
GTZ Deutsche Gesellschaft flr Technische Zusammenarbeit (1998), El seguimiento en los
proyectos de cooperacin tcnica
GTZ (1996), Seguimiento de procesos: Una ayuda para personal de proyectos
IDB Inter-American Development Bank, Evaluation Office (1997), Evaluation: A Management Tool for Improving Project Performance
IDS Institute of Development Studies, University of Sussex (1998), Participatory Monitoring & Evaluation: learning from change
IFAD - International Fund for Agricultural Development, Office of Evaluation and Studies
(2002), Managing for Impact in Rural Development: a Guide for Project M&E
ILO International Labour Organisation, Evaluation Unit (1998), Guide to the ILO's Programming, Monitoring, Evaluation and Reporting System (MERS)
ILO, Evaluation Unit (1997), Guidelines for the Preparation of Independent Evaluations of
ILO Programmes and Projects
ILO, Evaluation Unit (1995), Guidelines for the Integration of Gender Issues into the Design,
Monitoring and Evaluation of ILO Programmes and Projects
ITAD Information Training and Development (1996), Project Monitoring and the Use of
Indicators
IUCN The World Conservation Union, Global Monitoring and Evaluation Initiative (2000),
Planning, Monitoring and Evaluating Programmes and Projects Introduction to Key Concepts, Approaches and Terms
Kruse, S.E.; Kyllnen, T.; Ojanper, S.; Riddell, R.C.; Vielajus, J. (1997), Searching for Impact
and Methods: NGO Evaluation Synthesis Study. A Report Prepared for the OECD/DAC Expert
Group on Evaluation, Institute of Development Studies (IDS / KMI), University of Helsinki
Mohr L.B. (1995), Impact Analysis for Programme Evaluation, Sage Publications, California
ODA - Overseas Development Administration (1995), Guidance Note on Indicators for Measuring
and Assessing Primary Stakeholder Participation, ODA - Social Development Department
OECD Organisation for Economic Co-operation and Development / DAC Development
Assistance Committee (2002), Glossary of Key Terms in Evaluation and Results Base Management, DAC Evaluation and Aid Effectiveness N 5, Paris
OECD / DAC (2001), Evaluation Feedback for Effective Learning and Accountability, DAC
Evaluation and Aid Effectiveness N 6, Paris
OECD / DAC (2000), Glossary of Evaluation and Results Based Management Terms. Terms
and Definitions submitted by Members, Background Document N 1, Working Party on Aid
Evaluation 33rd Meeting (Paris, 22-23 November 2000), Paris
OECD / DAC [Ala-Harja M. & Helgason S.] (1999), Improving Evaluation Practices: Best
Practices Guidelines for Evaluation and Background Paper, Paris
OECD / DAC (1998), Review of DAC Principles for Evaluation of Development Assistance, Paris
CISP
Page 108
DRN
CISP
Page 109