Documentos de Académico
Documentos de Profesional
Documentos de Cultura
www.asocam.org
Monitoreo y evaluacin
de acciones de desarrollo
orientadas al impacto
Ser
ie
Me
todo
loga
s y casos
Monitoreo y evaluacin de
acciones de desarrollo orientadas al impacto
Secretara Tcnica
ASOCAM-Intercooperation
Auspicia: COSUDE
Elaborado por:
Philippe de Rham
Lorena Mancero
Fotos:
Lorena Mancero, Philippe de Rham, Martin Fischler, Timmi Tillman
Archivos fotogrficos de los proyectos: APODER, EMPRENDER, PROMIPAC
Edicin de textos:
Alejandra Adoum
Diseo:
graphus 290 2760
ISBN:
978-9978-9962-2-5
Tiraje: 1000 ejemplares
Reproduccin autorizada si se cita la fuente
Quito. Julio de 2009
Hernando Sarmiento N39-77 y Hugo Moncayo
Telfono: (593-2) 2447 292
e-mail: asocam@asocam.org
Quito - Ecuador
www.asocam.org
11
13
15
15
15
16
20
21
23
23
Proceso en 3 etapas
23
23
24
24
Uso de la informacin
24
26
C.3 Institucionalizacin
26
Cultura institucional
26
28
Desarrollo de capacidades
28
29
Indicadores priorizados
29
Sistema balanceado
29
29
30
Brecha de atribucin
30
31
34
34
35
35
37
37
37
40
47
51
Aclaracin
51
Procedimiento
51
Consejos
54
55
Aclaracin preliminar
55
56
61
Definir el mtodo
61
Disear instrumentos
66
Organizar la implementacin
71
72
72
73
75
74
74
76
La comunicacin de la informacin
78
79
81
82
83
Anexos
85
A quin se dirige?
Este documento est destinado principalmente a los tcnicos de gobiernos locales, al personal de entidades de promocin y ofertantes de servicios, a los equipos de proyectos de cooperacin nacional e internacional y, considerando un pblico ms amplio, puede tambin servir
a lderes de organizaciones sociales y econmicas.
Qu contiene?
Primero se presenta la sistematizacin de prcticas de M&E (resultado del estudio de casos ejecutado en el marco de ASOCAM entre 2002 y 2003 y del taller de validacin de 2006). Se
enuncian los principales problemas y desafos del M&E.
En una segunda parte se aporta con aclaraciones conceptuales para definir los campos de
M&E y precisar la terminologa, por considerarse que varias dificultades en la implementacin
del M&E se deben a una confusin a nivel conceptual.
En la tercera parte se plantean principios orientadores para disear e implementar un sistema
de M&E.
En la cuarta parte se desarrolla la propuesta metodolgica con pautas para operativizar el ciclo
de M&E y se presentan casos de aplicacin en tres proyectos con enfoque temtico distinto.
A. ANLISIS
Anlisis
En 2006 se realiz en Honduras un taller regional para validar estas orientaciones con los responsables de M&E de instituciones y proyectos
relacionados a ASOCAM.
En adelante se presentan, como producto del estudio inicial y del taller de validacin, los principales desafos que plantea la prctica el M&E de
acciones de desarrollo, a los cuales intenta responder la propuesta presentada en esta gua.
Se da poco uso a la informacin proporcionada por el M&E para fines de anlisis y reflexin sobre los cambios alcanzados y la
pertinencia de las estrategias de intervencin. La razn es que el M&E est concebido,
ante todo, para rendir cuentas sobre lo realizado antes que para el pilotaje estratgico y
1 Informe del Estudio Regional "Evaluacin de Impacto en Cinco Casos" (ASOCAM, de Rham Camacho - Matre, 2001. Disponible en
www.asocam.org/index.shtml?x=5700 )
Todava constituyen una excepcin los programas que muestran una prctica voluntaria
de devolucin-comunicacin amplia de los
datos proporcionados por el M&E, impulsando por categora de actores el anlisis de
la informacin y la elaboracin participativa
de conclusiones acerca de posibles ajustes
y mejoras en las estrategias de intervencin.
Son pocos los proyectos que recogen la opinin de los actores sobre los cambios esperados en aras de concertar indicadores de
impacto y de resultado. En la mayora de los
casos los socios y aliados del proyecto no
tienen la posibilidad de aportar a la definicin
e implementacin de un sistema de M&E que
recoja sus anhelos e hiptesis de impacto.
2 Hiptesis de Impacto Campesinas, Nota conceptual No 2, ATICA, mayo 2002. Disponible en www.asocam.org/index.shtml?x=8270
3 Evaluacin Participativa por Productores EPP. Gua Metodolgica para la evaluacin del efecto e impacto del desarrollo tecnolgico, PASOLAC,
Centroamrica, 2001. Disponible en www.asocam.org/index.shtml?x=6640
Se observa la tendencia a medir muchas variables sin dimensionar previamente los esfuerzos necesarios para llevar a cabo el
proceso de levantamiento, procesamiento y
consolidacin. La reticencia a priorizar cules
son los parmetros ms relevantes en canti-
Anlisis
viamente, etc.) impide garantizar datos primarios precisos y dificulta la labor de consolidacin.
Los proyectos que operan en diferentes territorios encuentran dificultad en la agregacin de datos para un mismo indicador
debido a la falta de precisin sobre la unidad
de medida. A ttulo de ejemplo, para medir el
incremento del ingreso de la unidad de produccin familiar, en una zona se recogen
datos del sistema productivo en el ao calendario cuando, en otra, se los recolecta por
campaa agrcola. Estos datos no se pueden
agregar ni comparar. La falta de rigor en la
recoleccin (preguntas ambiguas, prejuicios
de el/la entrevistador/a, formato inadecuado
de registro por no haber estado validado pre-
La nueva generacin de proyectos contempla indicadores relacionados con el desarrollo humano e institucional y no se limita, como
suceda en el pasado, a aspectos fsicos y
econmicos. Sin embargo, muchas veces los
indicadores carecen de desagregacin por
categora de actores (segn gnero, generacin, estratificacin social, origen etnolingstico) ni enfocan hitos de cambio de
comportamiento y relacin de poder entre
actores del desarrollo.
10
Aclaracin
en torno a M&E
B. ACLARACIN
Aclaracin
Grfico No. 1:
Diagnstico
Planificacin
Est
rat
eg
ia
Planif.
POA
Prog.
Implementacin
Integrado en
la planificacin
estratgica
Mon
itoreo
y evaluacin
13
Tomar en cuenta el conjunto de los actores involucrados y analizar los roles, motivaciones y relaciones.
misma para valorar los resultados y el impacto en funcin de la evolucin del contexto
con el fin de retroalimentar la orientacin y
planificacin de la accin.
Monitorear
Es observar. El monitoreo se refiere a la actividad
de recoleccin y de gestin de datos en torno a lo
que se ejecuta y a lo que est ocurriendo. Los actores locales, las instituciones socias y el equipo
ejecutor proporcionan informacin descriptiva y
explicativa. El monitoreo requiere de mecanismos
e instrumentos para recoger, compilar, sintetizar y
almacenar esta informacin de modo tal que resulte accesible.
se fijan plazos.
Evaluar
Es interpretar y juzgar. La evaluacin es una actividad peridica de anlisis y valoracin. Implica
un proceso de apreciacin crtica a partir de la
informacin proporcionada por el monitoreo.
Establece relaciones entre lo que est ocurriendo, las causas y sus posibles consecuencias. Juzga la estrategia de accin y de
organizacin, formulando apreciaciones con el
objeto de responder a preguntas especficas y
suministrar lecciones aprendidas.
14
racin del avance en relacin a lo previsto y el anlisis del manejo del programa. Conduce a reflexionar sobre la estrategia operativa a nivel de cada
resultado. Est incluido en este documento en lo que
llamamos Monitoreo y Evaluacin de la gestin.
Los reportes de monitoreo y evaluacin presentan datos y evidencias sobre los progresos y las
dificultades, recogen el punto de vista y la interpretacin de los diferentes grupos de actores y
plantean posibles adaptaciones y mejoras en
cuanto a la estrategia de accin y a las modalidades de cooperacin.
15
Aclaracin
Seguimiento
Los mbitos de
medicin del MEI
El monitoreo y la evaluacin de acciones orientadas al impacto (MEI) se realizan en torno a cuatro mbitos: mbito del contexto y 3 mbitos a
nivel operativo (la gestin, los resultados logrados y el impacto generado).
a) M&E del contexto: cada accin de desarrollo
est sometida a la influencia directa de factores
que no controla y que deben ser monitoreados
para poder relativizar lo que se est logrando.
M&E de gestin: las actividades ejecutadas, con qu recursos y bajo qu modalidad de organizacin y movilizacin de
talentos humanos.
M&E
DE IMPACTO (*)
M&E
DE RESULTADOS
M&E
DE GESTIN
Impacto en el tiempo
(se aporta con datos p. ej. en cuanto
reduccin de pobreza, desarrollo
equitativo, etc.)
FINALIDAD
(objetivo superior)
OBJETIVO PRINCIPAL
(Propsito / Objetivo
de fase (+ ev.
Objetivos Especficos)
RESULTADOS
Metas alcanzadas
(se verifica el cumplimiento de las metas
declaradas por cada actividad)
ACTIVIDADES
Gestin de los recursos humanos,
financieros y materiales
(se aprecia el buen manejo de los
recursos de una operacin)
(*) los efectos e impactos conforman una cadena de cambios (positivos y negativos) que se deducen de los resultados que se van logrando. Con el
fin de simplificar el mtodo y la terminologa, la propuesta ASOCAM no diferencia entre efecto, impacto inicial e impacto, como lo hacen otras
guas, y considera llamar a este conjunto de consecuencias como los impactos de un programa. La distincin en la formulacin de indicadores de
efecto y de impacto puede ser bastante sutil y la experiencia ensea que, ms que aportar, confunde a los equipos operativos e impide que el M&E
salga del dominio de los especialistas en metodologa y que se apropien de l los actores del desarrollo.
16
lista de supuestos al momento de seleccionar los indicadores de contexto que van a ser
monitoreados.
El M&E del contexto es hacer uso de algunos pocos indicadores relevantes que constituyen las condiciones marco en las cuales
se realiza la operacin.
Se trata de recolectar la informacin y de facilitar la validacin participativa de las tendencias
observadas. Se recomienda hacer uso de informacin de fuentes secundarias (estadsticas gubernamentales, importaciones aduaneras, datos
de estaciones meteorolgicas, flujos de transferencia monetaria realizados por agencias financieras, registro civil, etc.)
M&E de la gestin
Eficacia
En primer lugar, se mide la eficacia de una operacin, o sea el cumplimiento de las actividades programadas y de las tareas correspondientes
(actividades ejecutadas en relacin a aquellas programadas). Se analizan las razones de las dificultades encontradas. Se identifican eventuales
efectos indeseables de las actividades ejecutadas
averiguando cmo reducirlos.
Esto conduce a reflexionar si las actividades en
ejecucin son las ms adecuadas para la consecucin de los resultados esperados.
Eficiencia
Por otra parte, el M&E de gestin permite apreciar la productividad, o sea la eficiencia del trabajo y de la forma de organizarse.
17
Se analizan los aportes de los actores y del personal involucrado, las formas de organizacin
(por ejemplo el beneficio de la ejecucin directa,
del trabajo en alianza y/o de la tercerizacin), la
asignacin de los materiales y de los recursos financieros. Se establecen los costos efectivos
por actividad principal para ver cmo se componen, si son aceptables y sostenibles en el
tiempo y cmo se podra reducirlos. La identificacin de los logros y dificultades sirve para
aprender a trabajar y organizarse de mejor manera e introducir rectificaciones en el funcionamiento de la operacin.
5 En la primera versin de esta gua se haba utilizado la expresin Monitoreo y Valoracin de impacto para enfatizar que en la realidad es difcil medir
el impacto y que se trata ms bien de apreciar las tendencias de los cambios que se van produciendo (seales de progreso). (Vase CDE, 2002).
18
19
Aclaracin
finalidad. La valoracin participativa del impacto sirve para juzgar peridicamente la intervencin y, cuando sea necesario, para
ajustarla o reorientarla.
La responsabilidad de un programa en la ejecucin y consecucin de cambios se reduce a medida que se va subiendo de nivel: de las
actividades a la finalidad (vase el grfico No 3).
De la misma manera, un programa puede atribuirse el mrito de la buena ejecucin de actividades pero debe admitir que el logro de
JERARQUA
FINALIDAD
OBJETIVO PRINCIPAL
+ ev. Objetivos
especficos
GRADO DE ATRIBUCIN
Y CONTROL
Bajo su
responsabilidad
pero
razonablemente
RESULTADOS
Bajo su
responsabilidad
directa
ACTIVIDADES
Bajo su
responsabilidad
directa
les va a responsabilizar por el alcance de los cambios, ocurridos o no, aun cuando saben que muchos procesos pueden fcilmente verse
entorpecidos por factores externos. Cabe recalcar entonces que la responsabilidad del o de la gerente es garantizar la produccin de informacin
relevante, de analizarla y plantear oportunamente
propuestas de ajustes estratgicos pero que el
logro o no de los impactos no es de su responsabilidad. A la hora de introducir y entregar el mandato a un/a director/a de proyecto, se
recomienda discutir sobre el tema haciendo las
aclaraciones necesarias.
20
Principios
orientadores del MEI
C. PRINCIPIOS
Principios
Proceso en 3 etapas
EL MEI debe ser visto como un aporte a una gestin adaptativa que es retroalimentada en tiempo
oportuno desde evidencias y datos de cambio y
de resultado. El MEI consta de tres
etapas:
2. Levantamiento y procesamiento de la
informacin.
Definicin temprana de
responsabilidades
23
b) Asignar recursos realistas para el funcionamiento del MEI. Se refiere a los talentos y
recursos a movilizarse para trazar la lnea
base, para levantar y procesar peridicamente datos, para comunicar informacin,
etc. Permite presupuestar en forma realista
los recursos para capacitar a las personas
que van a gestionar informacin a los diferentes niveles y para realizar estudios complementarios de casos.
Uso de la informacin
La gestin de informacin til sobre hitos de
cambio, resultados logrados, cumplimiento de
metas y gastos realizados contribuye a una cultura general de aprendizaje (controlar, analizar,
juzgar, proponer, corregir), que fortalece las
capacidades de gestin de los actores.
Bajo un enfoque participativo el MEI contribuye al desarrollo de capacidades para evaluar y decidir sobre la base de datos
objetivos. En algunos casos la informacin
corroborar suposiciones y en otros, por el
contrario, podr evidenciar una situacin distinta de la que se presuma.
La gestin de una informacin fidedigna y relevante sobre un tema de especializacin permite a un grupo social o econmico, a una
municipalidad, a un centro de servicio, ser reconocido como centro de referencia y ganar
protagonismo. Disponer de informacin genera poder de negociacin!
24
Ejemplo
La Asociacin Nacional de
Apicultores de Honduras
ANAPIH es una organizacin de apicultores que brinda servicios empresariales y productivos
para impulsar el desarrollo de la apicultura en Honduras de manera competitiva, promoviendo
la comercializacin, la investigacin y la transferencia de tecnologa.
ANAPIH con el apoyo del Programa Agropyme (COSUDE-SWISSCONTACT) implement
un sistema de monitoreo y evaluacin que refleje cambios en los principales indicadores
productivos y socioeconmicos.
Los indicadores del M&E son de tipo productivo (Por ejemplo, rendimiento, cantidad de
colmenas, aspectos tcnicos del sistema de produccin, etc.) y de tipo socioeconmico (por
ejemplo, empleo e ingreso, acceso a agua, a crdito, etc.).
A partir de la implementacin del monitoreo por los miembros del ANAPIH nace la idea y el
inters de desarrollar un Sistema de Informacin Apcola (SIA) de envergadura nacional que
permita:
Conocer mejor el sector apcola y su evolucin
Orientar las decisiones estratgicas del ANAPIH.
Proveer al pas de una informacin fidedigna sobre el sector (produccin por regin,
precios, problemas fitosanitarios, exportacin, importacin, etc.).
La implementacin del SIA, a partir de la experiencia del M&E, ha permitido a la ANAPIH
convertirse en el referente a nivel nacional sobre el tema. La dinmica de funcionamiento del
SIA es la siguiente:
Provee informacin
ANAPIH
CLIENTES
Identificacin de necesidad
Busca y colecta la informacin
Procesa informacin
Apicultores
Univer./Estudiantes
Cooperacin
Gobierno
Empresarios
Solicita y evalua
Los retos del SIA en la actualidad son crear y desarrollar los medios para que la informacin
fluya de forma expedita y crear sistemas autosostenibles de generacin y divulgacin de
informacin.
25
Principios
Por lo tanto, es importante vincular la informacin generada en el marco del MEI al inters de cada categora de actor para que la
informacin relevante sea gestionada a su
Interpretacin desde
diferentes miradas
El anlisis de la informacin y su interpretacin
que hacen los representantes de los diferentes
actores involucrados contribuyen a una visin
plural sobre el contexto, la apreciacin de los
avances y de las dificultades. La prctica nos
ensea que una misma informacin puede ser in-
C.3 Institucionalizacin
Se entiende que todo sistema de MEI institucionalizado debe contar con al menos cuatro elementos:
Cultura institucional
El monitoreo y la evaluacin tienen que institucionalizarse en las entidades socias y aliadas de
manera que asuman sistemticamente prcticas
de MEI como parte de su poltica organizacional.
Para promover la institucionalizacin es importante que los sistemas de planificacin y monitoreo cuenten con voluntad poltica y arreglos
organizacionales (definicin de funciones y responsabilidades fijacin de procedimientos e instrumentos, asignacin de tiempo y recursos
financieros, aplicacin de control interno).
26
Nivel
Caractersticas
Existe un/a responsable del MEI en el equipo de proyecto quien es coordinador/a,
facilitador/a y asesora a los responsables del MEI en las instituciones socias; trabaja
en equipo, est entrenado/a con competencias y roles claros.
El MEI es conocido y asumido por las diferentes instituciones; hay mandatos
especficos, tiempos acordados, flujos de informacin claros, funciones delegadas y
presupuesto.
AVANZADO
Los instrumentos, planes y productos del MEI son elaborados con los actores clave,
son tiles y sencillos, estn incorporados en los diferentes niveles en el proceso de
gestin y toma de decisiones.
Se aplica una estrategia de difusin y uso de los productos para retroalimentar la
planificacin y las estrategias, y existen espacios institucionalizados para la toma de
decisiones, considerando el aprendizaje social.
Los sistemas de MEI estn articulados a la institucionalidad local, por eje, a nivel de
gobiernos locales, mesas interinstitucionales, asociaciones de productores, entre otros.
MEDIO
BAJO
6 Rotondo, E. Lecciones aprendidas en el desarrollo de la capacidad evaluativa para la lucha contra la pobreza rural de un programa regional. II
Conferencia RELAC, Bogot, 17-21 de julio 2007.
27
Principios
Tabla No. 1:
Gestin descentralizada de
la informacin
a) procurar que tales necesidades sean correctamente expresadas (en la definicin de hiptesis e indicadores de impacto) e
interpretadas (desde los actores, respetando
su visin de los cambios ocurridos);
Desarrollo de capacidades
La institucionalizacin no slo requiere que se
definan funciones y responsabilidades en torno
al MEI sino que se desarrollen capacidades locales y se brinde asesora para que
los actores locales asuman estos roles y
responsabilidades.
28
Indicadores priorizados
El establecimiento del MEI comienza con la
identificacin de las necesidades de informacin para orientar mejor la accin, asegurar
la eficacia operativa y comunicar interna y externamente sobre los avances alcanzados y
las dificultades encontradas.
Sistema balanceado
Es por supuesto importante disponer de
datos precisos y peridicos sobre el avance
de las actividades, que permitan controlar la
implementacin de lo planificado, verificar de
cerca la ejecucin presupuestaria, as como
analizar y superar a tiempo las dificultades
encontradas en el camino. La recomendacin
es concebir procedimientos giles y estandarizados, utilizando formatos prcticos para
recolectar, consolidar y procesar fcilmente
la informacin a este nivel. Estas tareas
deben dejar tiempo para que el equipo de coordinacin y los actores sociales e institucio-
29
Principios
Hay factores internos de la realidad local y regional que tienen influencia (por ejemplo la estructura local del poder poltico). Pueden
asimismo existir otras intervenciones de desarrollo que inciden en la situacin (por ejemplo la accesibilidad a mejores servicios). Por
ltimo, siempre existen condiciones marco
del contexto que tienen una influencia notable (por ejemplo la poltica crediticia nacional,
el canon minero, etc.). Por lo tanto, es difcil
atribuir un cambio positivo a la sola intervencin del programa de desarrollo. Eso se
llama la brecha de atribucin que es por naturaleza difcil de cerrar.
Brecha de atribucin
Los impactos que se pueden observar dependen de varios factores y no corresponden
slo al mrito de un programa de desarrollo.
30
D. PROCESO
33
Organizar espacios
de diseo y definir
responsabilidades
Informar,
sensibilizar y
establecer primeros
acuerdos
Formular
indicadores de
resultado
Formular
indicadores de
impacto
Formular
indicadores de
contexto
-
Revisar la
consistencia del
marco lgico
Identificar los
autores con inters
en la funcin MEI
Evaluar si la
gestin es
eficaz y
eficiente.
Identificar
oportunidades
de desarrollo
humano.
Evaluar el clima
organizacional
para promover
su desarrollo.
Monitorear
la gestin
Identificar y
priorizar
indicadores
Preparar las
bases
Secuencia de pasos
Organizar la
implementacin
- Visualizar flujos
de informacin.
- Incluir en los
planes de operacin
- Respetar los 4
principios
Disear y validar
instrumentos
Aclarar indicadores
y definir mtodos
- Capacitar en el
uso de los
instrumentos.
- Levantar la lnea
base.
- Procesar los
datos.
- Organizar el
almacenamiento y la
accesibilidad
Levantar y
procesar
informacin
Desarrollar
instrumentos y
organizar la
implementacin
Agrupar
indicadores por
unidad de anlisis
Proceso
- Analizar e
interpretar- Promover el uso de
la informacin por
parte de los
actores clave.
- Comunicar con
miras a la retroalimentacin y a
procesos de
aprendizaje.
Analizar,
interpretar y
difundir la
informacin
Eje Gestin sostenible de recursos naturales: Proyecto regional PROMIPAC en Centroamrica (El Zamorano - COSUDE) de
manejo integral de plagas en cultivos.
Eje Buena gobernabilidad: Proyecto APODER en Per (CND-COSUDE) de descentralizacin en espacios rurales.
Gremios profesionales.
a/ Contrapartes oficiales
Entidad facilitadora que acompaa procesos
de desarrollo (ONG, centro universitario, etc.)
b/ Socios
Centro de formacin
Actores de desarrollo que se asocian con el Proyecto para progresar en un tema y/o para fortalecerse a nivel humano-institucional; es a ese
nivel que se espera impulsar cambios significativos y durables. Por ejemplo:
Entre otros.
Esta actividad de compilacin servir luego para
reunir a los actores por categora a fin de que
aporten con su visin sobre los cambios esperados y definan la informacin que a ellos les
sera til manejar. A modo de referencia vase
el Anexo No 9: Rol de los actores clave en el monitoreo y evaluacin.
8 Por categora de actores se entiende un grupo de personas o instituciones con visin e inters propios y con capacidad representativa para participar
en espacios de concertacin.
34
35
Proceso
Informar, sensibilizar y
establecer primeros
acuerdos
Procedimiento
ETAPA 2
ETAPA 3
Tecnificar la
transformacin del
jugo de caa y sus
derivados
Encontrar mejores
mercados con
productos de
calidad
Mejorar nuestros
ingresos
(duplicar el precio
de venta)
36
Procedimiento
Formular indicadores de
contexto
La identificacin de indicadores de monitoreo de
contexto pasa por revisar el anlisis del entorno.
Durante el proceso de diagnstico y de formulacin del proyecto se visualizaron factores clave
de influencia sobre los cuales el proyecto no dispone de llave.
Se trata de una condicin general del medio ambiente, del entorno social, econmico, poltico,
institucional (a nivel regional y/o nacional y/o internacional) que est fuera de control de los actores y gestores del proyecto, pero que influye
significativamente sobre el xito y la sostenibilidad de su accin.
Tarea 3: cruzar las respuestas a la pregunta anterior (tarea 2) con los insumos (tarea 1); abrir la
discusin y facilitar la formulacin y priorizacin
de indicadores de contexto.
9 Kart Herweg & Kurt Steiner. (2003). "Monitoreo y valoracin del impacto. Instrumentos a usar en proyectos de desarrollo rural con enfoque en el
manejo sostenible de la tierra". CDMA & GTZ, Suiza. Disponible en:
Volumen I Procedimiento: www.asocam.org/biblioteca/MVI_013.pdf
Volumen II Utilera: www.asocam.org/biblioteca/MVI_014.pdf
37
Proceso
Consejos
a) Esta actividad requiere de un trabajo previo
a la priorizacin, que resulta de una reflexin
interinstitucional, si es posible insertada en el
taller de planificacin de fase. Un tiempo de
2 a 3 horas parece adecuado.
Flujo de comercio de las aduanas, los ministerios y las cmaras del sector empresarial.
Registro oficial.
38
39
Registro oficial
Proceso
Registro oficial
Fuente
CO 2: migracin
CO 1: poltica crediticia
CO 4: Asociativismo municipal
CO 2: Evolucin de la normatividad en
relacin a la descentralizacin
CO 3: Conflictividad
Proyecto
APODER
Tabla No. 2:
Ejemplo
Formular indicadores de
impacto
Se trata primero de formular un nmero reducido de
hiptesis respecto del impacto que se espera de la
accin del proyecto (situacin alcanzada o proceso
en marcha) y, luego, para cada hiptesis, algunos
pocos indicadores que evidencian el cambio.
Aclaracin
Impacto: es toda repercusin importante de un
programa a mediano-largo plazo que transciende
los productos directos. Puede ser la multiplicacin
de un resultado logrado (por ejemplo, agricultores
no atendidos directamente por los servicios del
proyecto adoptan las innovaciones que han sido
aplicadas y validadas por productores vecinos relacionados al proyecto). Puede ser un efecto logrado por la accin del proyecto que se vuelve
sostenible en el tiempo (por ejemplo, empleos creados en la microempresa se mantienen ms all
del apoyo externo brindado por el proyecto).
Procedimiento
Tarea 1: identificar en qu campos se desea observar un impacto significativo que guarde directa relacin con el objetivo central y la finalidad
del proyecto. Seleccionar de 2 a 4 campos de
observacin (CO). Esta tarea, que es prescindible, a menudo facilita la ejecucin de la tarea 2,
que aparece a continuacin.
Tarea 2: para cada CO, formular un nmero reducido de hiptesis de impacto (HI); entre una a
mximo tres HI por CO.
Tarea 3: para cada HI declarada, hallar de uno a
dos indicadores que sealan el cambio esperado.
Los atributos de un indicador son:
Relevancia = capta lo importante.
Sensibilidad = el tiempo entre una medicin y
la siguiente es suficiente para observar un
real cambio.
Indicador (I): es una variable cuantitativa o cualitativa que contribuye a revelar un cambio o un progreso. Sirve para dar a entender lo que se ha
Confiabilidad = definido de manera suficientemente clara para que distintas personas levanten la misma informacin.
Proceso
41
Objetivo central
(objetivo superior)
Finalidad
Para cada CO
en qu campo se
observarn cambios
significativos, a
mediano y largo plazo,
atribuibles a la accin
apoyada por el
proyecto y
relacionados con su
objetivo y finalidad?
qu cambio(s)
significativo(s)
esperamos que
ocurra(n)?
PREGUNTA 2
Hiptesis de
impacto
(HI)
PREGUNTA 1
Campo de
observacin
(CO)
Cdigo
42
cul es el informante?
cmo se obtendr el
dato?
por censo o muestra?
Quin proveer la
informacin, cundo y
dnde?
Para cada II
Para cada II
Para cada II
Para cada HI
qu evidencia nos
indica que el cambio
ha ocurrido?
PREGUNTA 6
PREGUNTA 5
Responsable
PREGUNTA 4
Unidad de
anlisis y mtodo
PREGUNTA 3
PREGUNTAS GUIADORAS
Indicador de
impacto
(II)
Nivel del
Marco Lgico (ML)
Tabla No. 3:
Tabla No. 4:
f) Contemplar dimensiones para disponer de indicadores bajo un enfoque de equidad intercultural y de gnero.
Dimensin
Ejemplo de criterio/indicador
Igualdad de oportunidades
Participacin y liderazgo
- Acceso a recursos productivos (tenencia de tierra, riego, acceso a bosque y pradera, etc.)
- Acceso a servicios financieros y de asistencia tcnica (en su idioma)
- Acceso a informacin y capacitacin en idioma materno, con modalidad concertada
43
Proceso
sitivamente la calidad del servicio de agua potable a nivel familiar), se fija un valor para el impacto deseado (por ejemplo, en 4 aos, 60%
de la poblacin declara satisfaccin por el servicio de agua potable a nivel familiar). No obstante, tiene tambin sentido establecer un
estndar cuando se considera que el valor de
partida es cero. Por ejemplo, nmero de empresas asociativas que han llegado al punto de
equilibrio y que disponen de un mercado creciente: al inicio no existe ninguna empresa asociativa constituida en el rea de intervencin y
se considera un impacto positivo si existen, a
los 5 aos, al menos dos empresas asociativas por lnea de produccin apoyada que han
llegado al punto de equilibrio y que disponen
de un mercado creciente.
Consejos
APODER
Proyecto
44
HI 2: La ciudadana en
municipios rurales pobres
logra avances efectivos en la
gestin municipal
HI 3: La cultura de
concertacin ampla las
oportunidades para el
desarrollo local y la
generacin de riqueza
CO 3: las economas
locales
HI 1: La descentralizacin del
Estado facilita el surgimiento
de nuevos modelos de gestin
local basados en la inclusin
social y el acceso a
informacin
CO 2: la gestin
municipal
CO 1: el proceso de
gestin local en el
marco de la
descentralizacin
% de Municipios apoyados en
Des. Econ. Local en los cuales
se ha incrementado la inversin
privada fruto de polticas de
promocin
I.31
I.21
I.13
La municipalidad
hoja de registro
(9 Municipios)
Encuesta familiar
por muestreo
Encuesta familiar
por muestreo
Secr. tcnico de la
Asociacin de
Municipios
la municipalidad
ficha registro
(censal)
I.12
Participacin creciente de
mujeres y jvenes en los espacios
locales de concertacin
% de poblacin de los Municipios
atendidos se siente debidamente
informada sobre el proceso de
descentralizacin
Secr. tcnico de la
Asociacin de
Municipios
Resp.
la municipalidad
a partir ficha
(censal)
Unidad+mtodo
I.11
Cod.
Indicador (ejemplos)
Tabla No. 5:
Ejemplo
EMPRENDER
Proyecto
CO 3: el gobierno local
CO 2: la asociacin de
productoras/es de una
misma lnea productiva
CO 1: la productora / el
productor socio
45
No de clientes y No de
proveedores por empresa
asociativa
Registro existente en
cada empresa
El gobierno local a
partir ficha (censal)
I.31
Registro existente de
cada empresa
I.22
I.21
Encuesta familia
productora socia
(por muestreo)
I.12
% de incremento de ingreso
familiar anual promedio
proviniendo de las lneas
apoyadas
No de productores/as socios de
las empresas asociativas
constituidas
Encuesta familia
productora socia
(por muestreo)
Unidad+mtodo
I.11
Cod.
% de incremento en empleo
familiar generado (promedio de
No de jornales por familia/ao)
Indicador (ejemplos)
Tabla No. 5:
(microempresas rurales)
Ejemplo
Proceso
Gerente empresa
Gerente empresa
Resp.
46
PROMIPAC
CO 3: mejoramiento de
la calidad de vida
CO 2: la gestin
ambiental
CO 1: la prctica de
manejo integral de
plagas (MIP)
I.341
I.332
I.331
I.321
I.312
I.311
I.22
I.21
I.12
I.112
I.111
Cod.
Indicador (ejemplos)
Campo de observacin
Nota: se trata de una seleccin de algunos de los indicadores (de los CO y de los H1) aplicados en 2006-2007 por los 3 proyectos.
Proyecto
Tabla No. 5:
Estadsticas puesto de
salud
Unidad+mtodo
Resp.
Ejemplo
Aclaracin
Resultado: es la consecuencia de una operacin, de una intervencin. Es el producto de un
conjunto de actividades en forma de bienes o
servicios. Est formulado en el pasado o en el
presente continuo por ubicarse al final del plazo
de la accin. Los efectos aunados de todos los
resultados son necesarios para alcanzar el objetivo central del proyecto.
Consejos
a) Un error comn es utilizar un indicador de resultado como indicador de impacto. Es til
entonces recordar que los indicadores de impacto son aquellos que reflejan cambios en
la naturaleza y en los socios (poblacin objetivo) y no aquellos que contemplan los servicios y productos directos del proyecto. Por
ejemplo,
Procedimiento
Tarea 1: a nivel de cada resultado del Marco Lgico del proyecto, identificar indicadores. Un resultado puede ser medido mediante uno o varios
indicadores (pero no ms de 4!).
En caso de dificultad en formular un indicador
para un resultado, se puede acudir al uso de preguntas clave (PC). Por ejemplo, si el resultado
declara se ha fortalecido la gestin de las empresas asociativas rurales, una pregunta clave
47
Proceso
Formular indicadores de
resultados
APODER
Proyecto
R.1102: Organizaciones
sociales y autoridades locales
negocian regional y
nacionalmente sus propuestas
de ajuste a normas y polticas
de descentralizacin con base
en sus experiencias
R.1202: Existen
organizaciones sociales
fortalecidas y activas en la
cogestin de los recursos
pblicos locales
48
Unidad+mtodo
Campo de observacin
Tabla No. 6:
Ejemplo
Resp.
49
EMPRENDER
Proyecto
Campo de observacin
Tcnico provincial
en Des. Econ.
Proceso
Tcnico provincial
en Des. Econ.
Resp.
Unidad+mtodo
Indicador ejemplos-
R4: Se ha fortalecido la
gestin empresarial de
pequeas empresas rurales
Tabla No. 6:
microempresas rurales
(2 de 6 R.)
Ejemplo
PROMIPAC
Proyecto
50
Resp.
Unidad+mtodo
Indicador ejemplos-
Campo de observacin
Tabla No. 6:
Ejemplo
Aclaracin
Gestin: el trmino tiene una doble acepcin.
Por un lado, es la realizacin de las acciones
oportunas para conseguir un fin y, por otro, es la
organizacin y direccin de una institucin. Estas
dos dimensiones reflejan lo que se pretende monitorear y evaluar en relacin a un proyecto de
desarrollo.
Procedimiento
Tarea 1
Sentar bases en el plan operativo anual (POA)
para facilitar el monitoreo y evaluacin. Un plan
anual bien estructurado agrupa las actividades
relacionadas a un resultado y proporciona, para
cada actividad, la informacin correspondiente:
51
Proceso
Unid.
Fase
Del ao
Metas
T1
T2
T3
Plazo
sesin
graba
da
curso
taller
04
12
02
04
XX
XX
250
350
Costo Unit.
500
1400
Monto
AST
Centro BLC
Resp.
01
03
No.
Unidad
50%
75%
%
avance
300
1200
Monto
gastado
60%
86%
%
Ppto
Ejecutado
Descripcin
Actividad
Meta
Planificado
Ppto $
N y %
Ej. Ppto $
% ejec.
Ejecutado
1.1.1.
COD.
A.E.
2. Elaborar una
propuesta metodolgica
1. Culminar diagnsticos
iniciados en 2006
Diagnsticos territoriales
de Gestin de recursos
hdricos
Propuesta
01
Diagnsticos
de Manc. de
municipios
05
16,500
00
05 diagn.
100%
14577
88%
Avances / limitaciones
Logro.dificultad
Apreciacin
A.G. 1.1 Formulacin de Propuestas de PCI para la valorizacin de los RRNN en mancomunidades
COD.
R1: Familias campesinas han mejorado su seguridad alimentara e ingresos monetarios en ejes productivos competitivos.
Produccin
programas
radiales en
quichua
14.2
Tabla No. 8:
Capacitacin a
comunicadores
rurales
T4
Planificado
Descripcin
Actividad
14.1
1014
Cod.
Tabla No. 7:
Ejemplo
Proceso del MEI en 6 pasos
Tarea 3
1. A nivel del equipo de profesionales que trabaja directamente en la ejecucin de la operacin, dos
aspectos deberan ser objeto de monitoreo y evaluacin individual:
a) La carga de trabajo personal sobre la base de la elaboracin al inicio del ao de un plan de capacidades que permita evaluar semestral o anualmente el tiempo de trabajo por campo de responsabilidad (vase el siguiente esquema).
Tabla No. 9:
Cd.
Cd.
Plan de capacidades
Actividad/
subactividad
Planificado
Planificado
Metas
Resp
Unidad
Fase del ao
Presupuesto
anual
Tareas
Plan de capacidades
Resp Plazo
Das programados
Ana
Jos Mara
1.1
1.1
1.1.2.
Tiempo disponible ao
Tiempo requerido ao
PT
POA
220
340
PC
POF
POF: Plan operativo de fase; POA: Plan operativo anual; PT: Plan de trabajo por actividad y por responsable; PC: plan de capacidades por
actividad y por responsbale
53
Proceso
Incorporar desde el inicio en el diseo y la preparacin del M&E de la gestin el tema de los talentos humanos y de las modalidades de organizacin. Eso significa concebir la evaluacin anual de la
gestin de los talentos humanos a nivel individual en relacin a la gestin de los aspectos organizacionales y de relacin interinstitucional..
b) La relaciones interinstitucionales entre socios o aliados en cuanto a roles y funciones, procesos de comunicacin y
decisin, resolucin de divergencias, momentos compartidos para intercambiar y
aprender.
En el diseo del M&E de la gestin se caracterizan los procedimientos y se elaboran los instrumentos que se utilizarn para realizar la
evaluacin en este mbito. La manera de proceder ser, por supuesto, muy afn a los rasgos de
la cultura institucional dominante (estilo ONG, estilo empresarial, estilo jerrquico, etc.).
Consejos
a) Lo esencial, al momento de informar de manera anticipada sobre el M&E de la gestin,
es alcanzar un buen nivel de entendimiento
entre actores asociados sobre qu y cmo
se va a monitorear este mbito.
Los actores deben tener la certeza de que no
solamente van a recopilar y entregar datos
sino que ciertos encuentros estn previstos
para interpretarlos y sacar en comn aprendizajes.
La tcnica de la mirada cruzada facilita el
paso de lo descriptivo a lo analtico. Los responsables de una lnea de accin o de un resultado analizan las cifras clave del monitoreo
de otra lnea de accin o resultado y plantean
preguntas para abrir la discusin sobre los
aspectos que les parecen ms destacables.
Esta tcnica se practica a veces entre actores de diferentes territorios que desarrollan
una misma accin para que observen y analicen los avances, las dificultades y los logros
de manera cruzada entre pares11.
La experiencia ensea que no tiene mucha
perspectiva la revisin anual en forma detallada de todas las actividades y que ms
vale centrar la reflexin en algunas pocas
actividades crticas.
54
Aclaracin
Mtodo: procedimiento establecido, sistemtico y ordenado que se sigue para realizar o descubrir algo12.
Los mtodos utilizados en el marco del MEI provienen de la investigacin de campo, a diferencia
de la investigacin experimental que busca aislar
un conjunto de variables para organizar el experimento en laboratorio. En cambio, en la investigacin de campo, la realidad es estudiada tal
como se presenta.
En el mbito del desarrollo y del MEI, la investigacin es aplicada y se distingue de la investigacin fundamental que postula proposiciones
tericas en el mundo de la ciencia. La aplicada
12 Es til distinguir entre tcnica (procedimiento que es de lo que se sirve una ciencia, un arte o una accin), mtodo y metodologa. Esta ltima es la
ciencia de los mtodos (Diccionario de la Real Academia Espaola) y, por extensin, designa el conjunto de los mtodos seguidos en una
investigacin compleja.
55
Proceso
d) El diseo del proceso anual de evaluacin operativa gana cuando se distinguen dos momentos.
Unidad de anlisis: se refiere a la entidad o categora que ser objeto de medicin. El tipo de
anlisis al que se someter la informacin es determinante para elegir la unidad de anlisis. Por
ejemplo, si el objetivo es dar cuenta de la colaboracin con los gobiernos locales, la unidad de anlisis natural es el municipio, para lo cual se
recoger informacin desde diferentes fuentes: la
autoridad del poder ejecutivo, el departamento financiero, la comisin del parlamento municipal encargada del desarrollo econmico territorial, entre
otras. Las unidades de anlisis pueden corresponder a las siguientes categoras:
Personas
Grupos humanos especficos o poblacin de
un territorio
Institucin
Infraestructura
Unidad espacial como parcelas, fincas, reas
con un uso especfico, cuenca
Circunscripcin territorial
Etc.
56
Descentralizacin municipal
(caso APODER)
Microempresa rural
(caso EMPRENDER)
Agricultura y plagas
(caso PROMIPAC)
Familias productoras
miembros de las empresas asociativas apoyadas
Familias productoras
que han sido parte de procesos
de capacitacin
Familia residente
en los caseros y el centro poblado de los Municipios rurales
con los cuales se trabaja
Empresas asociativas
apoyadas
Instituciones socias
del proyecto en la
implementacin
Organizaciones sociales
de base
que agrupan a ciudadanos y
tienen representatividad local
Gobiernos locales
socios
Instituciones educativas
socias
57
Proceso
Ejemplo
APODER
Proyecto
resultado
Impacto
58
No Municipios en los cuales se han implementado experiencias de promocin econmica y donde los productores evidencian una mejora en
sus ingresos
% de las organizaciones que han tomado iniciativa de resolucin de problemas importantes en su localidad
50% Municipios en los cuales las organizaciones sociales se involucran y participan en la elaboracin de propuestas de ajustes de normas y
polticas de descentralizacin
70% de organizaciones sociales de base que participan en el presupuesto participativo llevando propuestas a partir de acuerdos de sus bases
100% de polticas, normas y proyectos del CND (Centro nacional de la Descentralizacin) y de los ministerios que toman en cuenta estrategias
diferenciadas para los municipios rurales
70% de Municipios donde las autoridades y los lderes han definidos temas locales de la agenda pblica
70% de gobiernos locales que generan y difunden informacin financiera y tcnica clara y transparente (mecanismo ida-vuelta) dos veces al
ao
100% de Municipios en los cuales el presupuesto participativo responde a los estndares definidos y a planes de mediano-largo plazo
20 gobiernos locales han definido su rol en promocin econmica, han creado la funcin adecuando su estructura y destinando recursos
Al menos 8 gobiernos locales cuentan con un plan de desarrollo econmico local
En al menos 8 cadenas de produccin se han institucionalizado mecanismos locales de concertacin pblica-privada
Municipalidad socia
Indicador (ejemplos)
Municipalidad socia
Unidad de anlisis
Agrupacin de los indicadores por unidad de anlisis, ejemplos de aplicacin en 3 ejes temticos
Nivel
Ejemplo
59
EMPRENDER
Proyecto
resultado
Impacto
Gobierno local
Empresas asociativas
Gobierno local
Familias productoras
Unidad de anlisis
Proceso
% de incremento del monto asignado anualmente por el gobierno local a cada lnea de produccin
priorizada en su territorio
% de incremento del monto de ventas anuales por empresa (al menos 20% anual)
No de empresas que manejan un conjunto de herramientas de gestin (al menos 80% de las empresas
apoyadas)
Indicador (ejemplos)
Agrupacin de los indicadores por unidad de anlisis, ejemplos de aplicacin en 3 ejes temticos
Nivel
(Microempresas rurales)
Ejemplo
PROMIPAC
Proyecto
60
resultado
Impacto
Instituciones educativas
Instituciones socias
Familias productoras
Indicador (ejemplos)
No de ensayos participativos entre agricultores y tcnicos que son sistematizados y difundidos cada ao
No de instituciones socias que disponen de un sistema propio de promocin de MIP, validado en su medio
% de instituciones socias que incorporan MIP en las acciones financiadas por otros mandantes o entidad
cooperante
No de familias que aumentaron su rendimiento por tipo de cultivo respecto del ao anterior
No de familias que conocen la norma de aplicacin de los das a cosecha de insumos qumicos
No de prcticas MIP que son conocidas y aplicadas por las familias productoras
% de familias de agricultores que implementan prcticas de manejo integral de plagas (MIP) en su finca
Unidad de anlisis
Agrupacin de los indicadores por unidad de anlisis, ejemplos de aplicacin en 3 ejes temticos
Nivel
Ejemplo
c) Cules son el numero y el tipo de sanciones que han sido efectivamente aplicadas
conforme a lo que estipula la norma?
Qu proporcin representan en relacin al
total anual de quejas registradas en la comunidad? El ejemplo evidencia la necesidad
de contar con un entendimiento comn entre
las personas encargadas de levantar la informacin sobre los datos precisos que debern proporcionar, de manera que luego se
puedan consolidar datos que provienen de diferentes sitios.
Procedimiento
Precisar y puntualizar en forma de una nota la
definicin que se da a los indicadores aclarando,
cuando sea necesario, los conceptos y lo que
efectivamente se va a medir.
Consejo
Una breve nota que especifica, para cada indicador de impacto y resultado, los trminos utilizados, que revela su significado y la tcnica de
recoleccin puede resultar muy til cuando se
coopera con entidades que tienen rotacin frecuente de personal (por ejemplo, tcnicos pblicos de gobiernos locales y regionales). La nota
constituye un soporte para la induccin y capacitacin de una persona, recin nombrada, encargada de proveer datos.
Definir el mtodo
Aclaracin
61
Proceso
Tipo de mtodos
Para el MEI participativo los mtodos se agrupan del modo siguiente:
Mtodos muestrales;
Mtodos bsicos de MEI (anlisis de las partes interesadas con cuestionarios);
Mtodos de debate en grupo (como lluvia de ideas, grupos focales y simulacin de
situaciones);
Mtodos para distribucin espacial de la informacin (como mapas temticos y transectos);
Mtodos para el seguimiento cronolgico de los cambios (como diarios, lneas de tiempo
y monitoreo por fotografas);
Mtodos para analizar los vnculos y relaciones (como diagramas de impacto y rboles de
problemas);
Mtodos para jerarquizar y priorizar (por ejemplo matrices)
Es probable que se utilicen otros mtodos especializados en relacin con disciplinas tcnicas
especficas. Para asegurar esta inclusin en un plan de MEI se debe recurrir a expertos en
tcnicas especficas.
Ejemplos de mtodos de MEI
Datos cualitativos
Datos cuantitativos
Mtodos para
grupos
Tcnica de grupos
nominales, mapas,
transectos, tendencias
histricas/cronologa,
calendarios estacionales,
diagramas de flujo, matrices
de puntuacin y
jerarquizacin
Mtodos para
individuos
Entrevistas semiestructuradas,
estudios de caso, mapas, transectos,
diarios, tendencias
histricas/cronologa, calendarios
estacionales, diagramas de flujo
Mediciones biolgicas,
cuestionarios estructurados,
mapas, transectos, SIG,
diarios, diagramas de flujo
62
Procedimiento
Tarea 1: definir, por unidad de anlisis, los mtodos para recoger la informacin, identificando con
claridad el grado de precisin deseado, las necesidades de informacin cuantitativa y cualitativa, lo
participativo del proceso y si se va a recoger informacin desde individuos y/o desde grupos.
Tarea 2: decidir si se trabajar con una muestra o con la poblacin entera; si se opta por una muestra se debe calcular su tamao y aplicar el muestreo.
Muestra
Una muestra es un subconjunto de casos o individuos extrados de una poblacin. Las
muestras se obtienen con la intencin de inferir propiedades de la totalidad de la poblacin,
para lo cual deben ser representativas de las mismas.
El muestreo se refiere a la tcnica para la seleccin de una muestra a partir de una poblacin.
Este proceso permite ahorrar recursos, obteniendo resultados parecidos a los que se lograran
si se realizase un estudio de toda la poblacin. Entre las razones para optar por el muestreo
estn:
Reduccin de costos: al estudiar una pequea parte de la poblacin, los gastos de
levantamiento y tratamiento de los datos sern menores que si los obtenemos del total de
la poblacin.
Rapidez: al reducir el tiempo de levantamiento y tratamiento de los datos, se consigue
informacin de manera ms rpida.
Viabilidad: la eleccin de una muestra permite la realizacin de estudios que seran difciles
o imposibles de hacer sobre el total de la poblacin.
El tamao de la muestra se determina para obtener una estimacin apropiada de un
determinado parmetro poblacional. Para realizar este clculo hay que tomar en cuenta tres
factores:
1. Definir claramente el marco del muestreo, es decir conocer la poblacin que se quiere
monitorear.
2. Decidir el tamao adecuado de la muestra, determinando el nivel de confianza aceptable
y considerando los recursos disponibles
3. Seleccionar el mtodo de muestreo aceptable
Una adecuada seleccin del tamao muestral no es suficiente; es necesario definir con
precisin el grupo que se va a monitorear, para lo cual existe una alternativa de mtodos: el
muestreo aleatorio, que da a los individuos de una poblacin las mismas posibilidades de ser
seleccionados, y el muestreo no aleatorio, que supone una seleccin ms deliberada entre
una poblacin, en base a criterios.
63
Proceso
n =
Z pq
E
Hay que tomar nota de que debido a que la variabilidad y el error se pueden expresar por
medio de porcentajes, hay que convertir todos esos valores a proporciones cuando el
caso lo amerite.
es el tamao de la muestra;
es el nivel de confianza;
es la variabilidad positiva;
es la variabilidad negativa;
es el tamao de la poblacin;
es la precisin o el error.
Z2 p q N
n =
N E2 + Z2 p q
64
En algunos casos cada indicador (de carcter social, econmico, de poltica pblica, bitico, etc.) requiere de una
muestra especfica debido a que la unidad
de anlisis es distinta.
Estudios de caso
Un estudio de caso es un mtodo que permite documentar una serie de datos y hechos en
relacin con una persona, un espacio, un hogar o una organizacin, a fin de obtener
percepciones acerca de cambios ocurridos. La ventaja es que se incrementa el nivel de
profundidad en el anlisis. La representatividad no es alta, pero permite entender procesos y
tendencias de cambio que estn ocurriendo.
La necesidad de un estudio de caso puede derivarse de una encuesta general en la que
aparezca un tema particular que necesita tratarse con ms detenimiento.
Desde una perspectiva de MEI, los estudios de casos dan vida a datos que de lo contrario
seran impersonales, y permiten conocer a fondo el contexto y los factores en que se basan
los datos generales.
Por lo general, los estudios de casos no se consideran representativos, por lo cual es
conveniente efectuarlos en combinacin con mtodos que requieran de muestras ms grandes,
como las encuestas o cuestionarios.
A ttulo de ejemplo, el proyecto APODER realiz al margen del MEI estudios
complementarios de algunos casos para analizar con mayor profundidad lo que estaba
ocurriendo en la prctica del presupuesto participativo municipal, de la asociacin entre
Municipalidades rurales, etc.
65
Proceso
Consejos
Consejos
Dependiendo de los temas definidos para realizar anlisis de casos, se debe identificar el
nmero de casos, intentando que sean contrastantes y que reflejen situaciones
distintas.
Consejos
Los casos deben ser seleccionados y definidos con personas clave que conozcan la realidad que se va a analizar y apoyen la
definicin de tipologas y categorizacin.
Cabe recalcar que se debe analizar ms de
un caso por tipologa identificada; esto es
muy importante debido a que los casos analizados se vuelven un referente para el
anlisis.
Los datos de los estudios de caso deben servir de insumos para reflexionar en grupos.
Por ejemplo: los datos de un estudio sobre
una familia productora sern analizados por
la junta de regantes, de modo que la informacin sea validada y retroalimentada.
Disear instrumentos
Procedimiento
Tarea 1: construir los instrumentos de recoleccin de informacin por mtodo y unidad de anlisis. En la medida de lo posible, establecer un
solo instrumento por unidad de anlisis.
Por ejemplo, si el mtodo seleccionado para recoger informacin a nivel de la familia campesina (unidad de anlisis) es la encuesta
estructurada, agrupar en un cuestionario nico
toda la informacin que se plantea recoger, separando en diferentes captulos los temas a tratarse.
66
Cultivo
promovido
Cantidad
Unidad1
Venta
Cantidad
Precio
unitario
Papa
Haba
67
Proceso
APODER
Proyecto
resultado
Impacto
indicador
68
Estudio de casos
Encuesta a la directiva
Red de Municipalidades
Rurales del Per (REMURPE)
Sistema de registro
censal
Municipalidad socia
Organizaciones sociales
apoyadas
Encuesta estructurada a
Pdte Org.
Organizaciones sociales y
econ. apoyadas (sociedad civil
organizada)
Encuesta
muestral a jefes familia
Productores/as de lneas de
produccin priorizadas (en
Municipios con convenio DEL)
Encuesta estructurada a
grupo:
- Alcalde
- Gerente M.
- Rep. S.civil
Mtodo
Municipalidad socia
Unidad de anlisis
Cuestionario
(5 preg.)
anual
anual
anual
Ficha por
Municipio con
convenio DEL
Esquema registro
anual
LB + fin fase
LB + fin fase
periodicidad
Cuestionario
(19 preg.)
Cuestionario (ordena
datos existentes)
Cuestionario
(vase Anexo No 6.a)
Cuestionario
(21preg.)
Instrumento
Nivel
Ejemplo
Tcn. facilitador
Coord. Reg.
+ Resp. MEI
EMPRENDER
Proyecto
Resultado
Impacto
Encuesta
estructurada
gerente de
empresa,
administrador y
presidente de la
asociacin.
Sistema de
registro
Empresas
asociativas
Gobierno local
Encuesta
muestral a
socios/as
Encuesta
estructurada a
autoridad y
director de
planificacin
Familias productoras
Mtodo
Gobierno local
Unidad de anlisis
indicador
69
Ficha por
gobierno local
con convenio
Cuestionario (5
partes, 29
preg.)
Cuestionario
(11 preg.)
Cuestionario
(6 partes, 32
preg.) (vase
Anexo No 6.b.)
Instrumento
anual
anual
LB + fin fase
LB + fin fase
periodicidad
Nivel
(microempresas rurales)
Ejemplo
Tcn.
Responsable
DEL
Tcn. facilitador
Inst. aliada con
Resp. MEI
Tcn.
Responsable
DEL
Tcn. facilitador
Inst. aliada con
Resp. MEI
Proceso
Resp. MEI
Resp. MEI
Resp. MEI
Resp. MEI
PROPIMAC
Proyecto
Resultado
Impacto
70
Instituciones
educativas
Sistema de
registro
Sistema de
registro
Encuesta a casos
seleccionados
Familias productoras
Instituciones socias
Mtodo
Unidad de anlisis
indicador
Ficha de registro
Ficha de registro
Mapas parlantes
Calendario
agrcola
Guas de
entrevistas con
esquemas a
llenar con la info.
proporcionada
de manera de
visualizar sus
respuestas
(vase Anexo No
6.c)
Instrumento
Por perodo de
capacitacin
Por perodo de
capacitacin
LB + fin fase
periodicidad
Nivel
Ejemplo
Tcnico
responsable de
resultado
Tcnico
responsable de
resultado
Tcn. Inst.
aliada con
Resp. MEI en
cada pas
Tcnico
responsable de
resultado
Tcnico
responsable de
resultado
Resp. MEI en
cada pas
Levantamiento
mbito
Proceso
Organizar la
implementacin
Instr.
Resp.
Procesamiento
Instr.
Resp.
Comunicacin
Medio y destinatario
Resp.
M&E contexto
M&E impacto
M&E resultados
M&E de la gestin
Instr.: instrumento; Resp.: responsable
El flujo est muy relacionado con las caractersticas del proyecto, dependiendo de sus niveles
de actuacin y de los actores asociados.
b) La responsabilidad de la implementacin es
de todo un equipo y no recae solamente en la
persona encargada de la coordinacin; los
trminos de referencia del personal tcnico
del proyecto y los convenios de cooperacin
con las entidades socias deben incluir un artculo que se refiera a las responsabilidades
en la implementacin del MEI
Las actividades del MEI tienen que estar incluidas en los planes operativos del proyecto y de
las instituciones socias.
El dispositivo del MEI gana al estar descrito en
un documento (idealmente como captulo del
plan operativo de fase) que informe tambin
sobre los mecanismos y acuerdos para su implementacin.
71
Aclaracin
Para monitorear y evaluar se requiere establecer
un punto de partida que se llama lnea base y
sirve de referencia para apreciar los futuros cambios. Constituye la primera medicin de los indicadores contemplados en el MEI. Esta
informacin es clave porque describe la situacin
de partida en funcin de la cual se apreciar el
cambio a futuro.
Consejos
Hay que tomar en consideracin que la recoleccin y la consolidacin de los datos requieren de un gran trabajo para concluir en
pocos datos relevantes que permitan puntos
de comparacin posterior.
72
Consejos
a) Se debe previamente definir el perfil de las
personas que van a estar asociadas en el levantamiento de la informacin, definiendo requerimientos especficos y habilidades.
Consejos
a) El desarrollo de la herramienta informtica
debe realizarse de manera inmediata una
vez que se cuente con los instrumentos
aprobados.
d) En la capacitacin se recomienda incluir ejercicios piloto que sirvan para verificar el nivel
de dificultad que presentan los instrumentos
diseados. Es una oportunidad para que las
personas en proceso de capacitacin aporten con mejoras antes de pasar a una aplicacin masiva de los instrumentos.
b) Antes de armar una aplicacin informtica especfica hay que apreciar bien los beneficios
de utilizar hojas Excel. Es un asunto de beneficio/costo que debe ser evaluado por el
equipo del proyecto. La naturaleza iterativa
del MEI puede hacer que se requieran, con
cierta periodicidad, ajustes en la programacin del sistema de procesamiento. Resulta
entonces ms prctico empezar con una aplicacin sencilla y fcilmente adaptable.
En esta etapa es fundamental contar con una herramienta para el procesamiento de la informacin. Se puede usar una base de datos diseada
73
Proceso
especficamente para este fin, utilizando un programa especializado como SPSS o una hoja de
clculo en Excel.
Capacitacin para el
levantamiento de la
informacin
Refina la comprensin de lo que est sucediendo mediante la discusin de la informacin procesada con los interesados
para obtener una percepcin ms precisa,
entender las aparentes contradicciones y
las conexiones entre distintas variables,
comparar la evolucin entre diferentes territorios, diferentes grupos sociales e interpretar cules son las razones.
74
La informacin generada por el sistema generalmente sirve para las siguientes funciones:
3. Revisar, a la luz de lo logrado en un periodo determinado, las estrategias y las metas de la accin para el prximo periodo de planificacin.
Valorar y utilizar la retroalimentacin procedente del monitoreo como punto de partida
para tomar decisiones e iniciativas. Es funcin
del liderazgo de un/a director/a de proyecto,
con base en el MEI, no solo producir informes
sino abrir una reflexin que retroalimente directamente la planificacin.
75
Proceso
Grfico No. 4: Grfico de cadena de cambio que permite interpretar los avances
en relacin al impacto que se est buscando
Impacto
Ej: los agricultores venden
su produccin frutcola
orgnica en mercados ms
estables y a mejor precio
Resultado logrado
Ej: los productores aplican los
conocimientos adquiridos, los
adaptan a su situacin y
certifican sus productos
Indicador de impacto
Ej: se han aumentado y se
mantienen estables los
ingresos monetarios de los
fruticultores
Brecha de
atribucin
Producto de la actividad
Ej: los productores/as
conocen las exigencias
y los lineamientos de la
produccin orgnica
Actividad
Ej: realizar un curso de
capacitacin sobre la
produccin orgnica de
frutales
76
Informacin/datos
Rol/participacin
Tipo de
En el uso para
En la
En la
En la organiza- En el reporte retroalimentar
info que Frecuencia Contenido
accomunicacin
y forma recoleccin cin y anlisis
(y a quin)
necesita
ciones
externa
Xxx
Zzz
Ejemplo
APODER
EMPRENDER
PROMIPAC
Poblacin
objetivo
socios
- Organizacin de base de
la sociedad civil
- Asociacin de
Municipalidades rurales
- Municipalidad con piloto de
des. econ. (Oficina DEL)
- Gobierno regional
- Unidad de produccin
familiar
- Empresa asociativa
- Consejo provincial
(Gerencia des. econ.)
- Unidad de produccin
familiar
- Asociacin de
productores (escuela de
campo)
Institucin
de servicio
aliados
- Institucin facilitadora
provincial
- Institucin de servicio
Contraparte
- Centro nacional de la
descentralizacin (CDE)
- Asociacin de Municipalidades
del Ecuador, Regional Sierra
Centro
77
La comunicacin de la
informacin
Es una obligacin del proyecto brindar informacin sobre sus resultados y su impacto y la inversin realizada.
Las conclusiones del
monitoreo-evaluacin tienen muchos destinatarios potenciales:
entidades socias;
miembros de los comits directivos y asesores;
instituciones aliadas y coejecutoras;
integrantes de los equipos tcnicos;
otros proyectos que trabajan en el mismo territorio o la misma temtica, etc.
en el eje de la Gobernabilidad: una Municipalidad que informe en su pgina web con datos
actualizados sobre los proyectos financiados
en el marco del presupuesto participativo;
78
Aprendizajes desde
la prctica del MEI
E. APRENDIZAJES
Aprendizajes
MEI ASOCAM a partir del ao 2003 en particular APODER, EMPRENDER y PROMIPAC hicieron hincapi en 3 lecciones que se presentan a continuacin.
81
La discusin sobre indicadores incluye los valores que los actores atribuyen a la accin de
manera mucha ms explcita que la formulacin de la jerarqua de objetivos.
Mayor transparencia
No es porque el MEI constituya una obligacin que su valor es bien comprendido! Las
acciones de desarrollo realizadas en cooperacin entre diferentes actores pblicos y privados constituyen un espacio favorable para
promover elementos concretos de una cultura democrtica a la cual el MEI aporta en
tres aspectos:
82
Quin debe responder de los logros, problemas, impacto y lecciones aprendidas de una accin de desarrollo? No hay una respuesta nica
pero cada proyecto y sus socios deben plantearse dos preguntas centrales:
14 PNUD-1998.
83
Aprendizajes
c) Reflexin crtica para analizar con mayor profundidad la adecuacin de la accin en funcin
del contexto, de los intereses y capacidades
existentes, y de sus reales efectos.
tiempo de una persona experimentada, ubicada en la unidad central del proyecto bajo supervisin
directa de la direccin.
b) Involucrar a todo el equipo en la tarea del MEI, del nivel central al nivel local, con reparto de responsabilidades no solo por zona geogrfica sino por tema y por hiptesis de impacto (por ejemplo, cada miembro del equipo tiene la responsabilidad de coordinar la implementacin del MEI para
los indicadores relacionados a una hiptesis de impacto).
c) Acordar, desde un inicio y de manera formal, el rol de cada entidad socia y aliada en el levantamiento, agregacin estadstica y reporte peridico de la informacin, y planificar el acompaamiento tcnico que eso requiere.
d) No tercerizar el diseo completo y/o la implementacin del MEI, por ser un sistema de gestin de
los actores del desarrollo, pero contratar a un consultor asociado (o firma consultora) para un elemento determinado del proceso
-
84
Anexos
ANEXOS
(disponibles en versin digital en:)
www.asocam.org/biblioteca/ASO_MEI_Anexos_herramientas.pdf
1
Ejemplos de herramienta
a) Formato de encuesta familiar caso APODER
b) Ficha por productor (para manejo de informacin en la organizacin del MEI)
c) Monitoreo de manejo de plagas a nivel familiar 2 herramientas - caso
PROMIPAC
10
11
Dispositivo MEI
86
Bibliografa Citada
COSUDE, DAL, 2003.
de Rham, Philippe; Camacho, Patricia y Matre, Adrian (2001). Informe del Estudio Regional
"Evaluacin
de
Impacto
en
Cinco
Casos".
ASOCAM,
Disponible
en
www.asocam.org/index.shtml?x=5700
Earl, S.; Carden, F.y Smutylo T. (2002). Mapeo de Alcances. Incorporando aprendizaje y reflexin
en programas de desarrollo. Ottawa, IDRC.
Evaluacin Participativa por Productores EPP. Gua Metodolgica para la evaluacin del efecto
e impacto del desarrollo tecnolgico. PASOLAC Centroamrica, 2001. Disponible en
www.asocam.org/index.shtml?x=6640
FIDA (2002) Gua para el S y E de proyectos. Roma-Italia.
Herweg, Karl y Steiner, Kurt (2003). "Monitoreo y valoracin del impacto. Instrumentos
a usar en proyectos de desarrollo rural con enfoque en el manejo sostenible de la tierra".
Disponible en:
Volumen I Procedimiento: www.asocam.org/biblioteca/MVI_013.pdf
Volumen II Utilera: www.asocam.org/biblioteca/MVI_014.pdf Berna, CDMA, GTZ.
Hiptesis de Impacto Campesinas. Nota conceptual No 2. ATICA, mayo 2002. Disponible en
www.asocam.org/index.shtml?x=8270
Nota de la Divisin Latinoamrica. COSUDE, 2007.
PNUD-1998.
Rotondo, E. (2007). Lecciones aprendidas en el desarrollo de la capacidad evaluativa para la
lucha contra la pobreza rural de un programa regional. II Conferencia RELAC, Bogot, 17-21
de julio.
87
Siglas
APODER
ANAPIH
ASOCAM
BM
Banco Mundial
CO
Campo de Observacin
CND
COSUDE
DEL
DELC
FAO
FODA
HI
I
IC
LB
Lnea Base
M&E
MIP
Monitoreo y Evaluacin
Manejo Integral de Plagas
ML
Marco Lgico
MEI
OSB
PASOLAC
PC
Plan de Capacidades
POA
POF
PROMIPAC
PT
REMURPE
RRHH
Recursos Humanos
RRNN
Recursos Naturales
SIG
SIA
SPSS
UNICEF
88
Lista de participantes
Taller regional de validacin de
contenidos de la primera versin de la serie
Honduras del 11 al 13 de julio de 2006
Pas
Bolivia
Entidad/Proyecto
Participante
CORLAP
AOS
Geraldine Zeuner
Renata Hofmann
CAMAREN
CESA
Sandra Vallejo
Juan Diego Unda
APODER
APODER
MASAL
PREVAL
AGROPYME
PROMIPAC
PROMIPAC
PROMIPAC
PROMIPAC
Rosa Escoln
Rhina Domnguez
Ernesto Garay
Zenia Flores *
Alfredo Rueda *
PROEMPRESA
PROMIPAC
ECOMERCADOS
CORMAN
PASOLAC
Proyecto Rioplus (GTZ)
Johanna Snchez
Francis Porras
Magali Ladislas
Jos Luis Sandino
Nelson Castelln
Maria Delfina Flores
PROMIPAC
Gloria Meja
ASOCAM/IC
ASOCAM / IC
IC
Philippe de Rham
Lorena Mancero
Martin Fischler
Ecuador
Per
Honduras
Nicaragua
El Salvador
Regional
89
Esta gua, en su versin 2008, busca aportar respuestas a las dificultades que
encuentran los programas e instituciones al establecer mecanismos de monitoreo y
evaluacin (M&E). El anlisis de varias prcticas de monitoreo y evaluacin muestran que
el marco conceptual a menudo carece de claridad, que persisten dificultades
metodolgicas en la implementacin y que la evaluacin se centra ms en el desempeo
que en el impacto.
No se trata, entonces, de proponer una metodologa nueva y exclusiva, que se desmarca
de otras y que alimenta el debate entre especialistas, sino de facilitar la puesta en
prctica de una evaluacin de acciones de desarrollo que sea asequible, amigable y til.
El propsito es conseguir que el M&E se vuelva una prctica institucionalizada de gestin
estratgica y de calidad orientada al impacto y al aprendizaje. Se apuesta a un sistema
autogestionado, no demasiado complejo, que acompae la intervencin desde el inicio
y que sea de provecho.
www.asocam.org
Monitoreo y evaluacin
de acciones de desarrollo
orientadas al impacto
Ser
ie
Me
todo
loga
s y casos