Guía para el diseño, monitoreo y evaluación de proyectos CARE El Salvador

Gua para el Diseo, Monitoreo y Evaluacin CARE EL Salvador
Ligia Alvarenga Direccin Nacional CARE El Salvador Martn Segovia Coordinador Monitoreo y Evaluacin
Oswaldo Fajardo Consultor Monitoreo y Evaluacin
Nancy Moscoso de Navas Diagramacin y Diseo Se autoriza la reproduccin total o parcial de este documento siempre que se cite la fuente y se notifique a CARE El Salvador Guia para el Diseo, Monitoreo y Evaluacin El Salvador, Mayo de 2004 200 Ejemplares
Introduccin . Hablemos de CARE . Rol de CES en El Salvador Fase de Diseo .. La Lgica del Marco Lgico . Estndares de Proyectos .. Pasos de Diseo de Proyecto . Paso 1 Identificacin de Proyecto .. Paso 2 Diagnostico/Evaluacin de necesidades Paso 3 Ambiente operativo Paso 4 Anlisis de Problemas .. Paso 5 Estrategia para la Intervencin ... Paso 6 Hiptesis del Proyecto Paso 7 Metas/Objetivos e Indicadores .. Paso 8 Productos y actividades .. Paso 9 Plan de Monitoreo & Evaluacin .. Fase De Ejecucin . El sistema de Monitoreo y Evaluacin .. Fase Monitoreo Monitoreo . Plan Monitoreo Fases bsicas para iniciar actividades de monitoreo ....... Fase de Evaluacin Fases Bsicas para iniciar las actividades de evaluacin .. Fase 1: Analisis de diseo del proyecto . Fase 2: Diseo del plan evaluacin Fase 3: Elaboracin instrumentos de evaluacin . Fase 4: Ejecucin del proceso de evaluacin Bibliografa .
1 2 3 4 7 11 12 13 13 13 14 15 16 19 22 24 25 35 36 37 38 41 43 48 48 48 48 51 55
En esta oportunidad me complace presentarles esta Gua para el Diseo, Monitoreo y Evaluacin de Proyectos de Desarrollo Humano para el Diseo y Gestin de Iniciativas Programticas". El propsito del presente documento es proporcionar una herramienta de apoyo, mediante esta Gua Prctica que facilite a todo el personal de programas el proceso lgico que se debe realizar en todo diseo e implementacin de un sistema de informacin, monitoreo y evaluacin, permitiendo desarrollar las capacidades para que pueda aplicar de manera efectiva y consciente, los lineamientos de CARE El Salvador enmarcados con los estndares internacionales de CARE en Diseo, Monitoreo y Evaluacin (DM&E). Los lineamientos aqu expuestos son extrados y sintetizados de varios documentos tanto al nivel de CARE, como de otros manuales elaborados por organismos de Cooperacin Internacional, as como tambin, tomando como base experiencias operativas positivas realizadas con la implementacin del mtodo del marco lgico en las Oficinas de Pas de CARE. Este instrumento pretende inducir a las personas responsables del Diseo y Gestin de las Iniciativas Programticas a tener en cuenta los elementos esenciales a lo largo de tiempo el ciclo de proyectos. La participacin activa de las personas encargadas de decidir, planificar y de ejecutar las iniciativas programticas es una condicin para obtener los mejores resultados y disminuir el tiempo requerido de preparacin una vez alcanzado un consenso que sirva de base para facilitar la conduccin de los procesos. Deseo agradecer a la Unidad de Planificacin por el esfuerzo realizado en la elaboracin de este documento, y pedirles que su aplicacin solo nos hace ser cada vez ms eficientes en los servicios que proveemos mediante proyectos, a la poblacin viviendo en pobreza.
Ligia Alvarenga Directora a.i. CARE El Salvador
Gua para el Diseo, Monitoreo y Evaluacin
Introduccin
Las personas que trabajamos en la industria del desarrollo nos vemos obligados constantemente a elaborar o revisar propuestas de proyectos para abordar determinada problemtica con un grupo poblacional especfico. En esta tarea surgen algunas dudas como las siguientes: a) b) c) d) e) f) g) Realmente este es un objetivo? o es una actividad? Estos indicadores son medibles? Cmo se elaboran los supuestos? Qu es un estudio de lnea base? cmo se diferencia del diagnstico? Cmo se llega a las preguntas de una boleta de lnea de base o evaluacin? La planificacin termina con el plan operativo anual del proyecto? Cmo se puede elaborar un plan de monitoreo y evaluacin?
Cuando se busca informacin para responder estas dudas nos damos cuenta que existe pocas publicaciones al respecto. Tambin, encontramos que lo nico existente, en la mayora de los casos, corresponde a documentos elaborados por organizaciones. Esto es porque son las organizaciones las que disean, ejecutan y evalan proyectos. O por lo menos son las que sienten la necesidad de tener algo escrito para abordar la situacin. En este sentido la oficina de Care en El Salvador decidi elaborar esta gua para que sea utilizada por todo el personal del rea de programas y especialmente por todas aquellas personas u organizaciones que luchan por superar la pobreza en El pas. Este documento intenta hacer una simbiosis entre la base terica existente y la experiencia de ms de 10 aos de nuestra oficina en el tema. Finalmente, quiero agradecer a Oswaldo Fajardo, quien trabajo por ms de 10 aos en la oficina de Care en Honduras, su valioso aporte en la construccin de este documento. Si esta gua le ayuda a resolver tan slo una duda o inquietudestaremos satisfechos!!! El esfuerzo vali la pena.
Martn Segovia Care El Salvador
C A R E
E l
S a l v a d o r
HABLEMOS SOBRE CARE

VISIN Y MISIN DE CARE Declaracin de la Visin Buscamos un mundo de esperanza, tolerancia y justicia social, en donde la pobreza se ha superado y las personas viven con dignidad y seguridad. CARE Internacional ser una fuerza global y un socio de eleccin dentro de un movimiento mundial dedicado a erradicar la pobreza. Seremos conocidos en todas partes por nuestro compromiso inquebrantableen favor de la dignidad de las personas. Declaracin de la Misin La misin de CARE Internacional es servir a las personas y las familias en las comunidades ms pobres del mundo. Nos fortalecemos de nuestra diversidad, recursos y experiencia a nivel global. Promovemos soluciones innovadoras y abogamos por la responsabilidad global. Facilitamos el cambio sostenible por los siguientes medios: n Fortaleciendo la capacidad para la auto-ayuda; n Proporcionando oportunidades econmicas; n Ayudando en casos de emergencia; n Influenciando las decisiones polticas en todos los niveles; y n Abordando la discriminacin en todas sus manifestaciones. Guiados por las aspiraciones de las comunidades locales, buscamos realizar nuestra misin tanto con excelencia como con compasin puesto que las personas a las que servimos se merecen lo mejor. PRINCIPIOS PROGRAMATICOS Todos los programas de CARE deben conformarse con los Principios Programticos de CI, contenidos en el Cdigo de CI. Estos principios son caractersticas que deberan informar y guiar, a nivel fundamental, la manera en que trabajamos. No son opcionales. Estos principios programticos pueden resumirse de la siguiente manera:
1. Promover el Empoderamiento: Somos
solidarios con los pobres y las personas marginadas, y apoyamos sus esfuerzos para tomar el control de sus propias vidas y ejercer sus derechos, deberes y aspiraciones. Nos aseguramos que los participantes claves que representan a las personas afectadas estn involucrados en el diseo, implementacin, monitoreo y evaluacin de nuestros programas.
2. Trabajar en asocio con otros: Trabajamos
con otros para lograr el mximo impacto de nuestros programas, estableciendo alianzas y asocios con aquellos que ofrecen enfoques complementarios, son capaces de adoptar enfoques programticos efectivos a mayor escala, y/o quienes tienen la responsabilidad de hacer cumplir los derechos y aliviar la pobreza mediante el cambio y cumplimiento de las polticas.
3. Asegurar el sentido de la propia Responsabilidad y Promover la Responsabilidad: Buscamos maneras de ser
considerados responsables de las personas pobres y marginadas cuyos derechos son negados. Identificamos a aquellos con una obligacin frente a las personas pobres y marginadas, y apoyamos y alentamos sus esfuerzos para cumplir sus responsabilidades.
4. Nos Oponemos a la Discriminacin: En
nuestros programas y oficinas nos oponemos a la discriminacin y la negacin de los derechos basada en el sexo, raza, nacionalidad, etnia, clase, religin, edad, habilidad fsica, casta, opinin u orientacin sexual.
C A R E
E l
S a l v a d o r
5. Nos Oponemos a la Violencia: Promovemos
medios justos y no violentos para prevenir y resolver los conflictos, considerando que dichos conflictos contribuyen a la pobreza y a la negacin de los derechos.
6. Buscamos Resultados Sostenibles:
Rol de CES en El Salvador Es importante extraer del Plan Estratgico CES 2003 2007, y tener presente en el diseo y gestin de iniciativas programticas que el rol que ha definido CES en la sociedad salvadorea, enfatiza en el impulso de la responsabilidad institucional y ciudadana, entendiendo como institucional a la serie de prcticas sociales y cmo estas son apoyadas o ignoradas por las instituciones existentes o por las personas individuales. Tambin se enfatiza dentro de este rol la actuacin de CES como una organizacin que buscar la innovacin en las soluciones y retos que la pobreza presenta a este pas. El nuevo rol de CES ha quedado definido de la siguiente manera: Impulsar la responsabilidad institucional y ciudadana en la bsqueda de soluciones innovadoras en la lucha contra la pobreza. CES ha definido cuatro productos de valor considerados de importancia en la lucha contra la pobreza en los aos por venir. Estas reas se dan dentro del concepto de intervenciones que permitirn a CES procesar los cambios y adaptar el trabajo para responder con mayor eficiencia a de acuerdo a los escenarios planteados por la institucin, bajo una concepcin integral y flexible.
Actuando para identificar y tratar las causas subyacentes a la pobreza y a la negacin de los derechos, desarrollamos y utilizamos enfoques que aseguren que nuestros programas resulten en mejoras duraderas y fundamentales en las vidas de las personas pobres y marginadas con las que trabajamos.
Nos hacemos responsables de poner en prctica comportamientos que sean consistentes con estos principios, y le pedimos a otros que nos ayuden a hacerlo, no solamente en nuestros programas, sino en todo lo que hacemos.
Nuestros productos de valor son: a) b) c) d) Democracia y Gobernabilidad. Fortalecer la capacidad de gestin de instancias locales. Incrementar el acceso y calidad de los servicios de salud en los sectores pobres. Incrementar el acceso y calidad de los servicios de educacin en los sectores pobres.
En el literal a) CES se refiere al fortalecimiento de procesos de gobernabilidad democratica en el pas. El literal b) a la generacin de capacidades locales para la eliminacin de la pobreza. Finalmente en los literales c (y d) se habla de los sectores que CES considera como las reas que necesitan el incremento de calidad y accesibilidad de los servicios pblicos.
C A R E
E l
S a l v a d o r
FASE DE DISEO
Esta fase tiene como propsito proporcionar conceptos conocidos y ampliamente validados en diferentes mbitos y sectores, a fin de permitir y facilitar el trabajo prctico en la sistematizacin de la informacin requerida para el diseo de iniciativas programticas. Objetivos de la fase: n n n n Presentar los conceptos bsicos de la jerarqua lgica de proyectos, sus comparaciones en la terminologa utilizada por diferentes donantes. Enfatizar sobre los estndares de calidad de CARE que deben cumplir los proyectos e iniciativas programticas. Compartir una gua practica para el diseo de iniciativas programticas. Fortalecer las capacidades tcnicas y metodolgicas que permitan facilitar el desarrollo de un proceso sistemtico para disear iniciativas programticas, enfatizando las actividades claves requeridas en cada paso. Fortalecer las capacidades tcnicas para preparar un marco lgico aplicando las herramientas apropiadas.
Competencias a desarrollar n n Facilitar el desarrollo de un proceso sistemtico en el diseo de un proyecto o iniciativa programtica. Preparar un marco lgico para una iniciativa programtica.
C A R E
E l
S a l v a d o r
Conceptos Generales
La jerarqua del proyecto corresponde a la relacin causa-efecto que existe entre las condiciones especficas en una comunidad y los problemas resultantes.
Un proyecto/programa disea su intervencin basndose en productos (conocido tambin como resultados, incluye servicios) alcanzados mediante el desarrollo de actividades o procesos, para las cuales se han definido los insumos y recursos necesarios. Al momento que los clientes adaptan y aplican los productos en la prctica de sus acciones, se generan beneficios directos, los cuales son atribuidos directamente al proyecto como efecto de sus intervenciones. Los beneficios directos o los efectos, pueden generar beneficios indirectos o impactos, los cuales resultan difciles para atribuirse directamente al proyecto. Estos beneficios indirectos o impactos se ubican a largo plazo y sentido amplio como por ejemplo en las Seguridades de Medios de Vida Sostenibles del Hogar. Los beneficios indirectos son los impactos a los que el proyecto ha atribuido, pero que no son resultado exclusivo del mismo. Pueden existir otras influencias para el logro de los impactos, tales como otros proyectos u otras intervenciones.
C A R E
E l
S a l v a d o r
Existen muchos tipos de proyectos de desarrollo. Algunos proveen apoyo a comunidades rurales y/o urbanas. Otros ayudan a los hombres, mujeres, adolescentes y nios. Los proyectos pueden funcionar solos o en colaboracin con la comunidad, gobierno o una organizacin no gubernamental (ONG). Ellos pueden ser de gran alcance y caros o relativamente modestos en alcance y presupuesto. A pesar de su diversidad sin embargo, todos los diseos de proyecto tienen la misma estructura y estn basados en una jerarqua similar a la lgica causa-efecto.
Existen otros elementos o factores que pueden afectar los impactos, pueden ser directos o indirectos, estos son generalmente conocidos como riesgos o supuestos. Los supuestos pueden ser definidos como las creencias razonables pero no probables mantenidas por el equipo de diseo sobre el medio en el cual el proyecto se lleva a cabo. Durante el diseo del proyecto, los supuestos son uno de los elementos ms difciles de ensear y comprender. Los supuestos pueden ser identificados a travs del siguiente proceso: 1. Identificando factores externos no reconocidos en la lgica de la hiptesis del proyecto pero importantes para el xito del proyecto. 2. Determinando si la informacin sobre factores externos es crtica y obtenible. Investigue sobre preguntas claves y revise el diseo del proyecto. 3. Evale la importancia de cada uno de los factores restantes (supuestos) y la posibilidad de que stos supuestos se cumplan.
C A R E
E l
S a l v a d o r
Dependiendo de las conclusiones: n No incluya el factor externo n Incluya el factor externo como una suposicin n Redisee la intervencin 4. Ingresando los supuestos vlidos en el apropiado nivel del diagrama de la hiptesis del proyecto. 5. Verificando que la lgica de intervencin se mantiene vlida y que no ignora factores importantes.
1.
Es externo al proyecto? S
No (no incluir)
2.
Es importante? S
No (no incluir)
3.
Cul es la probabilidad de que ocurra? No es probable Probable (=supuesto)
Muy probable (no incluir)
4.
Puede ser rediseado el proyecto? S (redisear el proyecto)
No (supuesto fatal Pare!)
El manejar los riesgos permite cierto control al definirse actividades especficas dentro del proyecto/programa. La identificacin de los riesgos da la posibilidad de disear planes de contingencia y mitigacin, as como el monitoreo de los mismos.
La Lgica del Marco Lgico

Los marcos lgicos son herramientas tiles para organizar y resumir la informacin del proyecto. Ellos pueden tambin guiar la implementacin del proyecto. Los marcos lgicos son ahora ms que nada un resumen ejecutivo, el diseo del proyecto y la jerarqua. Obviamente, a medida que la informacin del proyecto es modificada durante la implementacin, como ser los cambios recomendados en las evaluaciones a mitad del proyecto, los marcos lgicos tambin cambiarn. Utilizando informacin peridica de monitoreo, un proyecto puede adaptar el plan anual e incluso modificar los niveles inferiores del marco lgico para indicar lo que objetivamente puede lograrse el prximo ao.
C A R E
E l
S a l v a d o r
El proceso de crear un marco lgico comienza con el postulado de que, si conocemos cul es el problema o la situacin que queremos cambiar, entonces podemos prever una solucin o un futuro mejor (por ejemplo, los objetivos o metas de un proyecto). Luego, el Enfoque del Marco Lgico (EML) sostiene que, si conocemos nuestros objetivos, podemos entonces identificar un conjunto de productos del proyecto que lograrn los objetivos. Continuando con este razonamiento, podemos entonces identificar las actividades y los insumos de los proyectos que son esenciales para generar los productos necesarios, con miras a lograr los objetivos. El formato de un marco lgico completo suele tener normalmente una cuadrcula de cuatro columnas que indican las conexiones entre las intenciones del proyecto ("metas", "objetivos"), las evaluaciones de resultados ("indicadores"), las formas de comprobar el progreso ("medios de verificacin") y los sucesos o situaciones previstos fuera del control del proyecto que pueden tener una influencia sobre el mismo ("supuestos").
Estructura representativa de un Marco Lgico
C A R E
E l
S a l v a d o r
Matriz del Marco Lgico
C A R E
E l
S a l v a d o r
10
Comparacin de la Terminologa de Proyectos entre Importantes Organizaciones de Desarrollo
LISTA DE VERIFICACION PARA LA REVISION DEL MARCO LOGICO 1. Lgica del Proyecto x Los objetivos (Fin, propsito y componentes) del proyecto/programa estn claramente expresados. x Cada componente es necesario (esencial) para lograr el propsito. x Todos los elementos proyecto/programa estn interrelacionados de manera lgica. 2. Indicadores de Propsito x Los indicadores del propsito especifican cuantitativa y cualitativamente el efecto directo esperado, al final de la ejecucin del proyecto. x Por lo menos un indicador a nivel de propsito es cualitativo, es decir, refleja calidad/satisfacci de los beneficiarios con los bienes y servicios que han sido resultados del proyecto. x Los indicadores del propsito cumplen los criterios principales: pertinentes, orientados a resultados, prcticas y verificables, realizables e independientes. 3. Indicadores de componentes (productos) x x x Los indicadores de los componentes especifican cuantitativamente los productos principales que se alcanzarn en la etapa de ejecucin con el financiamiento del proyecto. Los indicadores de los componentes reflejan productos (resultados) que se obtendrn durante y al final del proyecto. Los indicadores de los componentes cumplen los criterios principales: pertinentes, orientados a resultados, prcticos y verificables, realizables e independientes.
4. Datos de base para Indicadores x x Los indicadores a nivel de propsito incluyen los datos de base para medir los cambios. Los indicadores de los componentes incluyen datos de base cuando es apropiado.
C A R E
E l
S a l v a d o r
11
x x
Los supuestos reflejan el resultado del anlisis de Involucrados (en el documento de proyecto). Los supuestos son los suficientemente precisos para permitir hacer el seguimiento de los mismos (e identificar acciones apropiadas para aumentar la probabilidad de ocurrencia).
6. Sistema de seguimiento y evaluacin x Las fuentes de informacin (medios de verificacin) estn bien especificadas para cada indicador. x El banco y la agencia ejecutora han definido un sistema de recoleccin de informacin para los indicadores ( en el documento de proyecto)
Estndares de los Proyectos

Cada Proyecto de CARE debe: 1. 2. 3. 4. Ser consistente con la Visin y Misin de CARE Internacional, y sus Principios Programticos. Debe estar claramente relacionado a una estrategia y/o metas programticas a largo plazo de la Oficina de Pas. Asegurar la participacin activa y la influencia de las partes interesadas (stakeholders) en sus procesos de anlisis, diseo, implementacin, monitoreo y evaluacin. Tener un diseo que se base en un anlisis holstico de las necesidades y derechos de la poblacin objetivo y las causas subyacentes de sus condiciones de pobreza e injusticia socia Tambin debera examinar las oportunidades y riesgos inherentes en las intervenciones potenciales. Utilizar un marco lgico que explique cmo contribuir el proyecto con un impacto ltimo en las vidas de los miembros de una poblacin objetivo definida. Establecer una meta final significativa, pero alcanzable y medible. Ser tcnica, ambiental y socialmente apropiado. Las intervenciones deberan basarse en la mejor prctica actual y en la comprensin del contexto social y en las necesidades, derechos y responsabilidades de las partes interesadas. Indicar qu tan apropiados son los costos de los proyectos, a la luz de las estrategias seleccionadas de los proyectos y los productos y resultados esperados. Desarrollar e implementar un plan de monitoreo y evaluacin y un sistema basado en el marco lgico que asegure la recoleccin de la lnea de base, el monitoreo y los datos de la evaluacin final y que anticipe cmo se utilizar la informacin en la toma de decisiones; con un presupuesto que incluya los montos adecuados para implementar el plan demonitoreo y evaluacin. Establecer una lnea de base para medir el cambio en los indicadores de impacto y efecto, conduciendo un estudio o encuesta antes de la implementacin de las actividades delproyecto. Utilizar indicadores que sean relevantes, medibles, verificables y confiables. Emplear un balance de metodologas de evaluacin, asegurar un nivel adecuado de rigor, y adherirse a los estndares ticos reconocidos. Estar informado por el aprendizaje y contribuir con un aprendizaje progresivo dentro y fuera de CARE.
5. 6. 7. 8. 9.
10. 11. 12. 13.
Estos estndares se refieren especficamente a los proyectos de CARE (ya sea que se implementen directamente o a travs de socios). Sin embargo, donde existen planes de programas a ms largo plazo, estos estndares tambin deben aplicarse a ellos.
C A R E E l S a l v a d o r
12
Pasos para el Diseo de Proyecto

Generalmente los diseadores del proyecto siguen un mtodo sistemtico. El proceso comienza con la definicin de un problema, el cual al ser resuelto producir en un impacto. Trabajando con base en el impacto esperado, se desarrollar paso por paso la jerarqua hasta que los insumos sean definidos. La siguiente grfica sugiere los pasos recomendados para el diseo de un proyecto, junto con las actividades claves requeridas en cada paso.
Plan de Monitoreo y Evaluacin Productos y actividades Metas e Indicadores Hiptesis del proyecto
Estratgia para la intervencin
Anlisis del problema
Ambiente operativo Diagnsticos Evaluacin de necesidades Identificacin de Proyecto
C A R E
E l
S a l v a d o r
13
Paso 1: Identificacion del proyecto. En la primera fase del diseo de proyecto, se identifica el alcance, extensin geogrfica, poblacin meta y problemas generales a ser tratados. Basar estas decisiones en los principios de CARE y en sus objetivos estratgicos. Tomar en consideracin las necesidades locales, los recursos disponibles, los intereses del gobierno y del donante. ACCIONES: n n n Planificacin de las Estrategias Evaluacin de la Seguridad de los Medios de Vida del Hogar (SMVH) Mapeo de la Vulnerabilidad, etc. Diagnostico Evaluacion de Necesidades
Paso 2:
Los diagnsticos incluyen muchas herramientas con el propsito de determinar las brechas entre lo que es y lo que debera ser. Durante la evaluacin de necesidades, se identifica los problemas basado en la informacin obtenida a travs del proceso de recoleccin de datos a nivel de la comunidad y de organizacin. Considerar los problemas desde ambas perspectivas, interna y externa. La brecha puede existir a nivel de beneficiario (p.ej, la poblacin meta), los proveedores de servicios o de infraestructura. ACCIONES: n n n Desarrollar e implementar las herramientas de evaluacin. Explore la necesidad sentida, normativa y relativa. Analice basado en la Seguridad de los Medios de Vida del Hogar (SMVH) u otro esquema.
Paso 3: Ambiente operativo En este paso, primero se deber estudiar y describir en detalle el contexto fsico, social, econmico e institucional en el cual el proyecto se disear. Se deber proveer suficientes detalles para tomar decisiones acerca de los problemas y sus causas, adems cmo las organizaciones pudieran tratarlos. Este estudio no es un paso discreto ni finito, contina durante todo el proceso de diseo. ACCIONES: n Delinear la informacin requerida. n Revisar los datos secundarios y conducir las entrevistas. n Recolectar y analizar los datos originales. Paso 4. Anlisis de Problemas El anlisis del problema est basado en la lgica de causa y efecto, es fundamental para la planificacin, ya que sirve de orientacin para concebir una posible intervencin. Se identifica, analiza y organiza el problema, sus causas y las consecuencias en una jerarqua. Los niveles en la jerarqua corresponden a condiciones, comportamientos, actitudes, creencias, conocimientos y a factores externos. Existen varias herramientas que se pueden usar para hacer este anlisis. El rbol del problema pudiera ser el mejor para detectar la causa y efecto. Con este anlisis se pretende identificar obstculos reales, importantes y prioritarios para los grupos implicados. Resulta valioso este anlisis, cuando se efecta en forma de reunin o taller en el que participan las partes implicadas (que conocen la problemtica) animado por un facilitador quien domina el mtodo y la dinmica del grupo. Este procedimiento puede combinarse con otros, como estudios tcnicos, econmicos y sociales cuyos resultados pueden aadirse al anlisis efectuado por el grupo.
14
ACCIONES: n Identificar el(los) problema(s) prioritario(s) y todos los factores relacionados. n Conduzca un anlisis de causa efecto. n Muestre en el rbol de problema. rbol del problema. Otros trminos para este mtodo incluyen el Anlisis de rbol, Anlisis Causal y los Diagramas del Problema. El rbol del problema representa un mtodo de sistemas para analizar la causa y efecto; es extremadamente til en el diseo del proyecto, es de los ms complejos y poderosos. Da una representacin visual de varias secuencias causales que contribuyen al problema. Si el problema es el tronco del rbol entonces las secuencias causales son las ramas o races. Frecuentemente, consecuencias son tambin agregadas como ramas o races. Paso 5: La Jerarqua del Anlisis En la mayora de los casos, la secuencia de las causas cae bajo la siguiente jerarqua: n n n n Las causas directas del problema son condiciones especficas fsicas o sociales Estas condiciones son causadas por comportamientos humanos o en menor manera por una falta sistemtica; El comportamiento humano es primeramente determinado por el conocimiento, actitudes y creencias de la gente; El conocimiento, actitudes y creencias de la gente tienen sus bases en el contexto o el ambiente en el cual el rea meta se encuentre
Menor nmero de pasajeros utilizan el SAU
Servicio de Autobuses Urbano Arbol de Problemas
El servicio del SAU es inadecuado
Muchos pasajeros heridos
Demoras frecuentes
Accidentes frecuentes
Los choferes son descorteces
Los choferes conducen mal
Autobuses en mal estado
Jornada prolongada
Salarios bajos
Flota vieja
Mantenimiento inadecuado de vehculos
Caminos en mal estado
Topografa en mal estado
C A R E
E l
S a l v a d o r
15
Se debe formular el problema central de modo que sea lo suficientemente concreto para facilitar la bsqueda de soluciones, pero tambin lo suficientemente amplio que permita contar con una gama de alternativas de solucin, en lugar de una solucin nica. Uno de los errores ms comunes en la especificacin del problema consiste en expresarlo como la negacin o falta de algo. En vez de ello, el problema debe plantearse de tal forma que permita encontrar diferentes posibilidades de solucin.
El rbol de problemas y la jerarqua de objetivos del marco lgico
Grfico tomado del Mdulo de Gerencia Social dictado por el Soc. Percy Bobadilla.
Como se puede observar, cada componente del rbol de problemas tiene su respectivo correlato en la columna de jerarqua de objetivos del marco lgico. De este modo, el propsito u objetivo general del proyecto ser aquel que pretende dar solucin al problema central identificado en el rbol de problemas; los objetivos especficos o resultados son los cambios esperados que el proyecto se propone alcanzar para garantizar el logro del propsito a travs del control de las causas que generan el problema; y, finalmente, el fin u objetivo de desarrollo ser aquel al que se pretende contribuir con la intervencin del proyecto, de modo tal que se reviertan los efectos negativos identificados en el rbol de problemas
16
Paso 6: Hiptesis del proyecto En este paso se construye la hiptesis del proyecto, la cual define qu cambios en los impactos y efectos pueden esperarse como resultado de las intervenciones propuestas. La formulacin de la hiptesis incluye la identificacin de los supuestos y las preguntas claves. Las Hiptesis son respuestas a la pregunta: Cules son los factores externos que la intervencin no controla y que dificultan que la misma tenga efectos duraderos? ACCIONES: n Convertir problema y causa para anticipar los resultados. n Desarrollar un diagrama si/entonces que incluya intervenciones. n Identificar preguntas claves y los supuestos. La definicin de la hiptesis es un paso pequeo pero crtico en el diseo del proyecto. Es durante sta fase que el equipo de diseo cambia de estar predominantemente enfocado en el problema a enfocarse predominantemente en la solucin. El desarrollo de la hiptesis del proyecto facilita la definicin de una meta clara y precisa, es tambin un paso en el proceso de diseo que puede causar muchos problemas. Adems, es un escenario donde los supuestos necesitan ser consideradas y nos ayuda a probar la lgica de la jerarqua del proyecto, incluyendo las intervenciones recomendadas. En el marco lgico, se presentan las hiptesis de la siguiente forma:
El esquema anterior debe leerse del siguiente modo: n n n n Las actividades se inician una vez que se renan las condiciones previas; Las actividades realizadas y las hiptesis a este nivel conducen a la realizacin de resultados; Los resultados obtenidos y las hiptesis a este nivel conducen al objetivo especifico; El objetivo especifico y las hiptesis a este nivel conducen a la realizacin de los objetivos generales.
17
Explicacin de los Elementos Importantes de las Hiptesis
C A R E
E l
S a l v a d o r
18
Construyendo la Hiptesis del Proyecto Los siguientes pasos bsicos deben seguirse en el desarrollo de la hiptesis del proyecto. 1. 2. 3. 4. Convertir el problema y sus causas claves en productos esperados como se muestra en el siguiente ejemplo. Desarrolle un diagrama que ilustre las relaciones causa efecto de estos productos. Agregue las intervenciones (como se identificaron en la estrategia del proyecto) al diagrama de la hiptesis del proyecto. Para completar el diagrama de hiptesis de proyecto, identifique los supuestos e insrtelas apropiadamente.
C A R E
E l
S a l v a d o r
19
Paso 7: Metas /Objetivos e Indicadores
Este proceso de dos pasos involucra el establecimiento de metas/objetivos a nivel de impacto y efecto, luego la seleccin de los indicadores apropiados para medir el cambio anticipado. El establecimiento de metas y la seleccin de los indicadores son los siguientes pasos claves en el diseo de un exitoso proyecto. Un proyecto, inclusive uno bien diseado puede fallar si sus metas no estn claramente definidas antes de la implementacin. ACCIONES: n Identificar metas SMART de impacto y efecto. n Determinar definiciones operacionales. n Establecer benchmarks.
Definicin de Metas/Objetivos.- A pesar que las metas pueden ser simplemente definidas como
especificaciones de lo que los proyectos pretenden alcanzar, existen algunas reglas importantes a seguir al momento de establecerlas. Finalmente, todos los proyectos deben buscar beneficiar a las personas de manera significativa; si el proyecto no tiene un beneficio real y significativo, Para qu molestarse? Asegrese que las metas del proyecto cumplan con los criterios para un cambio significativo. Las metas del proyecto deben ser cuidadosamente pensadas y deben estar ligadas directamente con el anlisis del problema. Evite la trampa de tratar de lograr una meta que no se puede alcanzar debido a cambios en las circunstancia
Meta Impacto Fin Objetivo Final o General.- Puede estar definida como el ltimo objetivo o
propsito del proyecto, es escrito para reflejar una mejora en la condicin humana la cual se espera tome lugar en un grupo meta. Presenta las mejoras anticipadas en la vida de los beneficiarios del proyecto y describe la manera en que usted espera que la estructura del proyecto sea despus de que las intervenciones hayan sido completadas. La lgica del proceso del diseo de proyecto dicta que una meta de impacto puede solamente ser alcanzada con los logros en todos los niveles de las metas de efecto (Objetivos intermedios, especficos, propsitos).
Metas de Efecto Objetivo Intermedio/Especifico Propsito.- Son definidas como los cambios
pretendidos en condiciones sistemticas o comportamientos que deben ser alcanzados para lograr la meta de impacto. Las metas de efecto indican qu prcticas cambiarn, el cmo y cundo los cambios previstos tomarn efecto. Entre las tpicas metas de efecto se incluyen los sistemas funcionales de crdito agrcola (sistmico) y la adopcin y uso correcto de tecnologa apropiada (comportamiento). Las metas de efecto son verificables hasta cierto punto durante la ejecucin del proyecto, existen puntos finales, no procesos. Las metas u objetivos debern ser Especficos, Medibles, Especficos a un rea, Realistas y con Lmite de Tiempo. Definiciones operacionales ayudan a clarificar declaraciones vagas de la meta.
C A R E
E l
S a l v a d o r
20
Indicadores
Son simplemente las variables, medidas o criterios usados para verificar si un cambio propuesto ha ocurrido y por lo tanto, si una meta ha sido alcanzada. Los indicadores por s solos no representan valores meta; ste trabajo se logra en la definicin de la meta. De la manera en que las metas son establecidas en cada nivel de la jerarqua del proyecto, indicadores son establecidos para cada uno de los cinco niveles.
Indicadores de Insumos describen los recursos que van en el proyecto, como el nmero de horas
de trabajo, la cantidad de dinero gastado o la cantidad de suministros comprados. Indicadores de Actividades documentan el nmero de actividades conducidas y/o su grado de cumplimiento (por ejemplo, - el nmero de eventos de capacitacin ofrecidos, el nmero de demostraciones presentadas).
Indicadores de Productos describen a los bienes y servicios producidos por las actividades del
proyecto, como el nmero de trabajadores capacitados en la comunidad o el nmero de mujeres involucradas en grupos femeninos.
Indicadores de Efectos describen cambios en condiciones o comportamientos resultantes de haber
alcanzado la meta de efecto.

Indicadores de Impacto miden el cambio real en las condiciones del problema de base identificado,
incluyendo cambios en la situacin de medios de vida, salud, riqueza, etc. Los indicadores de insumos, actividades y productos son tpicamente ms fciles de medir que el efecto o los indicadores de impacto, aunque ellos ofrecen solo una medida indirecta del xito del proyecto. Nosotros asumimos, basados en la lgica del proyecto, que los logros de ciertos productos eventualmente resultarn, pero no podemos medir ese cambio directamente, ni tampoco demostrarlo. Estos indicadores tambin proveen estndares para comparar el progreso de una actividad. Idealmente los indicadores deben ser:
C A R E
E l
S a l v a d o r
21
Ejemplos Correctos e Incorrectos de Indicadores para las Metas Objetivos Propsitos.
C A R E
E l
S a l v a d o r
22
Paso 8: Productos y actividades

Para cada intervencin, se especifica los productos necesarios para lograr el cambio a nivel de efecto y definir las actividades para cada producto. Se deber determinar y notar los productos relacionados con el manejo y la administracin del proyecto. Los indicadores en estos niveles son usualmente una simple enumeracin de los eventos o productos. ACCIONES: n Definir los productos para cada meta. n Bosquejar o enfocar las actividades necesarias para producir cada producto/resultado Definiendo Productos / Actividades /Insumos. A continuacin estn los pasos bsicos para desarrollar los productos, actividades e insumos. 1. Defina los productos para cada meta efecto. Decida, como grupo, qu productos sern necesarios para asegurar los cambios esperados a nivel de efecto. Recuerde que para un monitoreo y una evaluacin exitosa, el enlace entre los productos y las correspondientes metas efecto deben estar claras. Los indicadores para las metas de productos son tpicamente una simple enumeracin de productos. (Ejemplo: Meta Producto: 2000 rboles plantados y sobreviviendo; Indicador: nmero de rboles plantados y sobreviviendo.) 2. Desarrolle los productos para la administracin. Sin relacin directa con las metas efecto, la administracin y el apoyo a los productos incluyen documentos como ser los planes anuales de trabajo o reportes, reuniones para la planificacin, retroalimentacin o construccin de equipo, rendimiento del monitoreo y la retroalimentacin, tambin el conseguir los materiales de oficina. Cada uno de estos productos tiene un grupo de actividades nico que deben tambin ser definidos e incluidos en el plan de monitoreo y evaluacin del proyecto.
C A R E
E l
S a l v a d o r
23
3. Defina las actividades para cada producto. La lista de actividades debe incluir las acciones a ser tomadas y la secuencia adecuada para la implementacin. Adems, los lmites de tiempo y las metas cuantificables son componentes importantes de cada actividad de la meta. De la misma manera que las metas de producto, los indicadores usualmente piden a los monitores de proyecto documentar el nmero de actividades exitosamente implementadas. 4. Defina los insumos. Las metas en este nivel son simplemente las cantidades de los recursos mnimos requeridos
C A R E
E l
S a l v a d o r
24
Paso 9: Plan de Monitoreo & Evaluacion
El mejor momento para la creacin de un Plan de Monitoreo y Evaluacin completo para un proyecto es despus del financiamiento, pero antes del estudio de lnea base inicial y el comienzo de las intervenciones. Con frecuencia, sin embargo, la realidad es que los proyectos empiezan a prestar atencin a la creacin de su Plan de Monitoreo y Evaluacin cuando se dan cuenta de que, aunque la ejecucin est teniendo lugar, la informacin no est circulando. Los documentos del proyecto (y sus "marcos lgicos") constituyen un instrumento importante para la administracin del proyecto, pero los mismos no contienen normalmente suficientes detalles en lo que se refiere a los sistemas de informacin. Los marcos lgicos s contienen una lista de elementos esenciales para planear la gestin de la informacin, o sea, la informacin deseada (como "indicadores objetivamente verificables") y las fuentes de informacin (como "medios de verificacin"). Estas dos categoras, sin embargo, no incluyen ninguna respuesta a las siguientes preguntas fundamentales:
Requisitos esenciales del sistema de informacin no incluidos en el Marco Lgico normal
n n n n n n n n n
Cmo se va a recoger la informacin? Quin va a recogerla? Cundo se va a obtener? Cmo se va a analizar la informacin recogida? Quin la va a analizar? Cundo se va a hacer el anlisis? Quin va a recibir los resultados? En qu formato se van a distribuir? Y qu decisiones en (o sobre) el proyecto dependen de obtener la informacin analizada?
El plan M&E incluye informacin especfica sobre los datos necesarios para medir los indicadores, las logsticas de recoleccin de datos y las guas para anlisis de los datos e interpretacin y diseminacin de resultados. ACCIONES: n Especifique indicadores en todos los niveles de la jerarqua. n Para cada indicador defina: n las variables ha ser medidas n quin las medir n cundo se medirn n cmo se analizarn n el plan de diseminacin.
C A R E
E l
S a l v a d o r
25
FASE DE EJECUCION
Esta fase tiene como propsito proporcionar las herramientas bsicas para la preparacin de los planes de trabajo respectivos en la ejecucin de los momentos claves de un proyecto o iniciativa programtica.
Objetivos de la fase:
n n n
Compartir las herramientas bsicas que faciliten la preparacin de planes de trabajo. Fortalecer las capacidades tcnicas y metodolgicas que permitan facilitar la preparacin de los planes de trabajo. Orientar sobre la preparacin de planes operativos individuales que faciliten la evaluacin de desempeo del personal responsable en la ejecucin de iniciativas programticas.
Competencias a desarrollar
n n n
Visin de procesos que faciliten la preparacin de planes detallados de implementacin para la vida de un proyecto. Precisar el nivel de detalle de las actividades o subactividades claves para desarrollar un proceso en un plan operativo anual. Identificar los objetivos estratgicos de desempeo del personal a partir de los resultados/productos principales establecidos en un plan de trabajo anual del proyecto, para facilitar procesos de evaluacin de desempeo de personal de la institucin.
Preparacin de planes operativos
Un supuesto bsico es que los gerentes de los proyectos y programas tienen los conocimientos y habilidades para el manejo de los procesos para la preparacin del Plan Detallado de Implementacin para la vida del proyecto y programa, el Plan de Trabajo Anual y su vinculacin con los Planes Operativos Individuales que faciliten los procesos de evaluacin de desempeo del personal tcnico del proyecto y programa. En esta capitulo se brindara un pequeo recordatorio de los procesos a seguir para la preparacin de planes de trabajo minuciosos que faciliten en trminos de rapidez y fluidez la implementacin del sistema de informacin del proyecto, incluyendo el trabajo de campo y anlisis de la informaciones subsiguientes.
Preparacin del Plan detallado de Implementacin
En este momento se retoman los indicadores seleccionados para medir los resultados o productos del proyecto y los criterios de los indicadores para medir las actividades que se consideran claves para el logro de los productos comprometidos. Generalmente este nivel de detalle no se encuentra en el Plan de Monitoreo del proyecto y programa diseado, ya que solamente se enlistan los resultados y sus indicadores ms relevantes para medir su desempeo.
C A R E
E l
S a l v a d o r
26
Plan de Monitoreo
Objetivo final/ Objetivo general/ Meta de impacto: Meta intermedia/ Objetivos especficos/ Meta de efecto #:
Recurdese que aunque los proyectos y programas estn bien diseados y conceptuados, es muy comn que al momento de ejecutarlos, se atasquen en la parte operativa; cayndose en el riesgo de solamente monitorear y evaluar solo actividades. Los monitoreos que se realizan (principalmente el de impacto) ayudaran a mantener la atencin en los efectos e impactos deseados, como consecuencia de ello, el Plan Detallado de Implementacin del proyecto deber tornarse mas flexible enfocndose hacia los efectos deseados y permitir operar al proyecto con mayor flexibilidad; en este sentido, la planificacin y ejecucin se enfocara mas en los procesos y sus efectos, mas que en las actividades. Matriz sugerida para la preparacin del Plan Detallado de Implementacin para la vida del proyecto y programa.
PRODUCTOS (a) En esta columna se anotan los productos detallados en el plan de monitoreo (que a su vez corresponden a los definidos en el marco lgico). INDICADORES DE CUMPLIMIENTO (b) En esta columna se detallan cada uno de los indicadores que medirn el cumplimiento de los resultados. Cada indicador se ubica en una lnea individual para dar el detalle de sus metas anuales (de acuerdo a la vida del proyecto). AO (C1CX) En estas columnas de detalla la correspondiente meta del indicador. Aqu es necesario que los diseadores del proyecto estimen la magnitud del cambio esperado para cada indicador y el promedio de cambio con el tiempo. Benchmark es el trmino que usamos para los valores esperados o niveles de logro en determinados perodos de tiempo. TOTAL VIDA DE PROYECTO (d) En esta columna se anota el total del indicador para vida del proyecto que ha sido detallada en las columnas anteriores. ACTIVIDADES / PROCESOS (e) En esta columna se listan o describen las actividades (en forma agregada para detallarlas en el plan de trabajo anual) necesarias a realizar para alcanzar los resultados (PRODUCTOS) esperados.
C A R E
E l
S a l v a d o r
27
Ejemplo: Meta de efecto #: 1
Preparacin del Plan de Trabajo Anual

El plan de trabajo anual o plan operativo anual detalla los productos comprometidos en un periodo de tiempo en particular (de acuerdo al ao de vida del proyecto). En este plan de trabajo se listan los productos correspondientes al ao seleccionado, se detalla las actividades listando las acciones particulares de las mismas de acuerdo al producto (en algunos casos, de preferirse, pueden vincularse a los indicadores de cumplimiento), los Benchmark de cada actividad por trimestre y los responsables de la ejecucin de las mismas. Matriz sugerida para la preparacin del Plan de Trabajo Anual o Plan Operativo Anual
C A R E
E l
S a l v a d o r
28
PRODUCTO En esta columna se listan los productos correspondientes al ao que se planifica. INDICADORES DE CUMPLIMIENTO Esta columna contiene los indicadores de cumplimiento del indicador que sern monitoreados y reportados en su ejecucin o avance durante el ao. METAS Esta columna contiene la informacin correspondiente a la VIDA DEL PROYECTO para monitorear su avance anual en relacin a la meta establecida para la vida del proyecto, esto permite no perder la visin global de lo planificado. As mismo, establece la columna para anotar la meta del indicador a lograr durante el ao que se planifica. ACTIVIDADES Aqu se listan las actividades o subactividades (en caso de haberse definido actividades muy agregadas en el Plan Detallado de Implementacin para la vida del proyecto). El enunciado de las actividades debe hacerse de manera de cuantificar la accin especifica en el trimestre correspondiente (es decir, deben ser medibles). UNIDAD DE MEDIDA - Especifica la unidad de medida de la actividad, de manera que al monitorearse su cumplimiento durante el trimestre este sea muy explicito para el personal responsable del proyecto para reportar su logro. TRIMESTRE En estas columnas por trimestre, se especifica cuando y la cantidad que se lograra en el cumplimiento de la actividad. RESPONSABLE Aqu se indica el componente o el nivel operativo del proyecto que ser responsable que la actividad se realice de acuerdo a los criterios y calidad requerida por el proyecto. En algunos proyectos facilitadores, se menciona la institucin ejecutora de la accin o actividad.
C A R E
E l
S a l v a d o r
29
Ejemplo Plan de Trabajo Anual:
La definicin de las actividades esta en correspondencia con el producto y no necesariamente para cada uno de los indicadores de cumplimiento.
C A R E
E l
S a l v a d o r
30
Un ejemplo sencillo de un Plan Operativo para la instalacin del proyecto se presenta a continuacin: Plan Operativo Ao 1 Instalacion del Proyecto
C A R E
E l
S a l v a d o r
31
Preparacin del Plan Operativo Individual

El Plan Operativo Individual (POI) retoma del plan Operativo Anual (POA) del proyecto, los productos con las actividades que corresponden a un responsable en particular. En el POI se listan los productos enuncindolos como el objetivo a alcanzar, se detallan los resultados a alcanzar en el ao correspondiente (generalmente un producto de un POA abarca mas de un ao), definindose los respectivos indicadores para medir su cumplimiento, el medio de verificacin de los mismos (estos son generalmente las actividades o acciones que se realizan), la fecha en que ser cumplido el indicador y los recursos de apoyo necesarios para realizar las acciones previstas.
OBJETIVO Corresponde al producto del POA que ser alcanzado en el ao correspondiente por el responsable (de un componente) de su ejecucin. RESULTADO Describe los productos que se esperan alcanzar por el responsable de acuerdo al objetivo asignado. INDICADOR DE CUMPLIMIENTO Especfica de acuerdo al resultado, las acciones y sus medidas para monitorear el cumplimiento o su avance en los momentos de evaluaciones de desempeo de personal. MEDIO DE VERIFICACION Aqu se indica el medio a utilizar para comprobar que la accin descrita en el indicador fue realizada. FECHA DE CUMPLIMIENTO Fecha tope en que se espera tener cumplida o alcanzada la accin descrita en el indicador. RECURSOS DE APOYO En esta columna se detallan los insumos, recursos o personas de apoyo que sern necesarios para alcanzar el indicador. Ntese que no se ha hecho nfasis en agregar una columna de actividades en el POI, las mismas sern parte de los planes semanales o mensuales que se preparen para la ejecucin del proyecto por parte del personal. Las actividades deben de relacionarse directamente para alcanzar los indicadores propuestos en el POI.
C A R E
E l
S a l v a d o r
32
El siguiente diagrama ilustra la progresin horizontal del Plan Operativo Individual, relacionando las actividades que sern parte de los planes semanales o mensuales que se preparen en la ejecucin del proyecto.
Plan Operativo Individual Plan semanal o mensual de actividades
Ejemplo: Tomando como insumo el POA y
2 La
definicin de las actividades esta en correspondencia con el producto y no necesariamente para cada uno de los indicadores de cumplimiento.
C A R E
E l
S a l v a d o r
33
El plan operativo de instalacin del proyecto
Preparamos el siguiente:
Plan Operativo Individual AF 2005

Responsable: Cargo: Coordinador componente de organizacin.
C A R E
E l
S a l v a d o r
34
Preparacin del Plan de Trabajo de M&E
Matriz sugerida para la preparacin del Plan de Trabajo para realizar los momentos de evaluacin & monitoreo del proyecto y programa.
C A R E
E l
S a l v a d o r
35
El Sistema de Monitoreo y Evaluacin

El sistema de Monitoreo y Evaluacin es otro mecanismo de planificacin y administracin de proyectos. Es propiamente dicho el sistema informativo que se emplea para evaluar el progreso, los resultados y el impacto del mismo. El Monitoreo se refiere a la recogida regular (y el anlisis y el uso) de informacin dentro del proyecto sobre su progreso. La evaluacin se refiere a los exmenes peridicos de la informacin desde dentro, as como sobre los proyectos y sus resultados. El sistema de Monitoreo y Evaluacin reviste una gran importancia por su capacidad para ayudar al personal del proyecto, a la poblacin beneficiaria y a otras partes interesadas a desarrollar el proyecto a lo largo de su plazo de duracin. Al igual que en el caso del marco lgico, la estructura del sistema de Monitoreo y Evaluacin se caracteriza tambin por varios niveles. Cada nivel est estrechamente relacionado con la jerarqua de objetivos del marco lgico. El cuadro siguiente indica cmo cada nivel de objetivos est relacionado con evaluaciones especficas de Monitoreo y Evaluacin. Sinopsis de la estructura del sistema informativo de Monitoreo y Evaluacin
Caractersticas principales de los sistemas: Sistema de Informacin Gerencial: Proporciona datos, registra y da seguimiento a la operacin de los proyectos. Monitoreo: Permite ver el avance de los acontecimientos en que medida se acerca a las metas planteadas (mejores prcticas, rendimientos, tendencias y patrones). Supervisin: Es dinmica, verifica en el lugar de los hechos el cumplimiento y propiedad de la programacin de actividades y sus metas, cumplimiento de normas, existencia y uso apropiado de los insumos, funcionamiento de equipo. Destrezas de personal.
36
Caractersticas de los Sistemas
Complementariedad entre monitoreo y evaluacin
Fase de Monitoreo
Esta fase tiene como propsito la introduccin al Monitoreo, conceptos conocidos y ampliamente validados en diferentes mbitos y sectores, a fin de permitir el trabajo prctico y de retroalimentacin en las experiencias concretas de sistematizacin de estos procesos por el personal de los proyectos/programas de CARE ES.
n n n n n
Presentar los conceptos de monitoreo. Compartir los conceptos bsicos de los momentos de monitoreo. Compartir los contenidos e instrumentos para preparar el plan de monitoreo. Compartir los contenidos e instrumentos de las fases bsicas que se sugieren para iniciar las actividades de monitoreo de un proyecto. Fortalecer las capacidades tcnicas y metodolgicas para obtener informacin primaria y secundaria de los diferentes momentos de monitoreo.
C A R E
E l
S a l v a d o r
37
Preparar el plan de monitoreo del proyecto/programa.
Disear instrumentos o registros para recolectar informacin referente al monitoreo de proyectos.
Monitoreo
El monitoreo es la recogida y gestin de datos, que estn relacionados con los valores fijados como objetivo definidos de antemano para los indicadores (OVI) en el marco lgico. La informacin del Monitoreo se recoge sobre una base continua durante la fase de ejecucin del proyecto. Los tipos principales de actividades de monitoreo:
Monitoreo institucional
Esta categora se refiere al monitoreo interno de cuestiones financieras, fsicas y organizacionales, que afectan al proyecto: n n n El monitoreo financiero sigue los insumos y costos del proyecto por actividad dentro de unas categoras de gastos definidas de antemano. El monitoreo fsico sigue la distribucin y entrega de las actividades y productos o intervenciones del proyecto. El monitoreo organizacional sigue la sustentabilidad, el desarrollo institucional y el fortalecimien de la capacidad en el proyecto y asociados directos.
Monitoreo de contexto
El proceso del seguimiento del contexto en que est funcionando un proyecto, en cuanto el mismo afecta a unos supuestos y riesgos importantes para el proyecto. Este incluye el monitoreo de cuestiones institucionales y de poltica que podran afectar la capacidad del proyecto para actuar o la capacidad de la poblacin objetivo para responder al proyecto. Estas cuestiones deben tratarse hasta cierto punto durante el monitoreo, pero principalmente durante las evaluaciones.
Monitoreo de los resultados
El proceso de seguir los efectos del proyecto (las respuestas de la poblacin objetivo a los productos o intervenciones del proyecto) y los impactos (la contribucin que hace el proyecto a un cambio fundamental y sostenible para la poblacin objetivo). Las cuestiones relativas a los efectos deben tratarse hasta cierto punto durante el monitoreo, pero principalmente durante las evaluaciones. La evaluacin de los impactos raras veces es tratada por el monitoreo y es mayormente el dominio de la evaluacin.
Monitoreo de impacto
Se diferencia de los otros procesos de monitoreo, porque est enfocado exclusivamente a la medicin de los impactos de la intervencin de los proyectos o programas; y, adems tiene mucha utilidad para medir la relacin ingreso egreso. En los procesos habituales de planificacin y evaluacin de proyectos, los impactos solo son definidos a nivel de objetivo de desarrollo. En el caso del monitoreo de impacto, se considera que los impactos inician desde los cambios que se han logrado por medio del proyecto o programa en el comportamiento de los clientes. Por lo tanto, el impacto comienza desde la adaptacin y aplicacin de los productos
C A R E
E l
S a l v a d o r
38
que provee el proyecto o programa. El monitoreo de impacto permite medir impactos generados directamente por el proyecto o programa. El monitoreo de impacto durante los ltimos aos ha sido un enfoque importante de la cooperacin internacional, agencias bi y multilaterales como herramienta para comprobar los impactos de los proyectos y programas en la poblacin, el medio ambiente y en el marco institucional; ya que no resulta suficiente el monitoreo y la evaluacin de los resultados y el desempeo de los proyectos y programas.
Plan Monitoreo
Se seleccionan los indicadores para medir los resultados o productos del proyecto. Tambin, se elaboran los indicadores para medir las actividades que se consideran claves para el logro de los productos comprometidos. Generalmente este nivel de detalle no se encuentra en el documento de proyecto diseado, ya que la costumbre es enlistar los resultados y actividades ms relevantes
Objetivo final/ Objetivo general/ Meta de impacto:
PRODUCTOS (1) Para asegurar una relacin con el Plan de Evaluacin anterior, la primera columna del Plan de Monitoreo es donde la transcriben los principales productos tal como estn planteados en el marco lgico.
Un producto relacionado al indicador Incrementado el porcentaje de familias con manejo adecuado de letrinas es el siguiente: n Incrementado el nmero de personas que tienen acceso a control de excretas
El criterio o definicin operacional en el cumplimiento del indicador o resultado es el siguiente: n Que las familias tengan acceso y utilicen letrina (lavable o inodoro, o letrina fosa simple en el menor de los casos.
CRITERIOS (2) - Es el proceso que el equipo de diseo sigue para seleccionar y definir ciertos criterios o aspectos relacionados como la mejor vlvula para medir resultados propuestos en el producto. Estos criterios ayudan al momento de definir los indicadores de resultados
INDICADORES (3) - Son tambin enumerados para ayudar a documentar a que productos corresponden. La informacin ingresada en esta columna debe ser trasladada (uno a uno) de los indicadores objetivamente verificables (OVI) del marco lgico.
Los indicadores de resultados para definir el cumplimiento del PRODUCTO es el siguiente: n# de letrinas construidas. n # de familia beneficiadas. n # de personas beneficiadas en las familias.
C A R E
E l
S a l v a d o r
39
CRITERIOS (4) - Es el proceso que el equipo de diseo sigue para seleccionar y definir las variables apropiadas en la construccin e interpretacin del indicador del producto. En algunos casos los productos tienen ms de un indicador.
El personal tcnico del proyecto al reportar una letrina
construida deber cumplir con los siguientes criterios: Letrina construida tiene lo siguiente: n Fosa excavada n Brocal terminado n Plancha terminada n Tasa instalada n Caseta con techo y puerta construida
FUENTE DE DATOS Y MTODO (5) Se describe dnde y cmo los datos son recolectados. Una fuente de datos puede ser secundaria (por ejemplo, reportes anuales de servicios de salud, datos de censo, datos de rendimiento de los proyectos agrcolas o servicios), pero es frecuentemente el resultado del muestreo original (por ejemplo, encuestas cuantitativas, medidas antropomtricas, entrevistas u observaciones) conducido por el personal del proyecto.
El personal tcnico del proyecto reportara sobre las letrinas construidas por comunidad y estos datos estarn ingresados en el sistema de informacin del proyecto (SIP). El SIP ser la fuente de informacin para las evaluaciones del proyecto.
El personal tcnico del proyecto reportara trimestralmente las nuevas letrinas construidas por comunidad, en un registro diseado para tal fin.
FRECUENCIA DE RECOLECCIN (6) La planificacin define intervalos aproximados entre los eventos de recoleccin de datos. En algunos casos, por ejemplo cuando fuentes secundarias son publicadas o diseminadas de acuerdo con un horario planificado, estos intervalos pueden ser determinados externamente. En otros, la frecuencia de recoleccin nivela las restricciones financieras y de tiempo con la necesidad de precisin, la cual puede ser mejorada recolectando datos ms frecuentemente. Es tambin importante crear un sistema donde grupos de tipos de datos puedan ser recolectados simultneamente, de ese modo reducir los costos de transporte y el tiempo del personal.
Los datos de letrinas construidas sern comparados en relacin a las metas establecidas (Plan de trabajo anual).
ANLISIS DE DATOS (7) Los datos no tienen valor a menos que sean adecuadamente analizados. Por otro lado, el anlisis que resulta en informacin importante y precisa depende de la recoleccin de los adecuados grupos de datos. Durante la planificacin es importante determinar de antemano cmo sern los datos analizados para producir los resultados deseados.
C A R E
E l
S a l v a d o r
40
DISEMINACIN Y UTILIZACIN (8) Los datos son recolectados con un propsito en especfico: aprender de los resultados de las actividades del proyecto. El aprendizaje es necesario por varias razones, incluyendo: a. b. c. Justificacin o verificacin de la lgica detrs del diseo del proyecto; Modificacin de las actividades del proyecto; y Mejores diseos para futuros proyectos.
La persona encargada del M&E del proyecto preparara un informe trimestral de ejecucin del proyecto, comparando lo ejecutado en relacin a lo programado y explicando cuando sea necesario los factores que influyeron (positivamente o negativamente) en lo realizado en el trimestre. Los reportes trimestrales son remitidos al gerente del proyecto y la Direccin de CARE. Los informes semestrales son remitidos a los organismos de cooperacin o fuentes de financiamiento del proyecto, cumpliendo los requisitos y formatos por ellos solicitados. No necesariamente deben ser semestrales, la periodicidad depender en este caso, de l a solicitud del donante. Para ilustrar lo anterior se ilustran dos ejemplos de flujo de informacin:
As, nosotros necesitamos un plan para presentar los resultados del monitoreo a los decisores.
C A R E
E l
S a l v a d o r
41
Fases bsicas para iniciar actividades de monitoreo

Las fases bsicas que se sugieren para iniciar las actividades de monitoreo de un proyecto son:
Fase 1. Anlisis del Diseo del Proyecto
En esta fase se revisan los indicadores anuales de monitoreo, observando la clara jerarqua de Insumos->Actividades->Resultados->Efecto->Impacto.
Fase 2: Diseo del Plan de Monitoreo
Para elaborar el plan de monitoreo el equipo retoma los indicadores anuales de monitoreo o de desempeo, de los resultados y decide sobre los datos necesarios para medirlos, la fuente y el mtodo de los datos, la frecuencia de recoleccin, el anlisis de los datos, la diseminacin y utilizacin de la informacin. Preguntas que se responden con el Monitoreo n n n n n Aumenta el acceso de la poblacin objetiva a los servicios del programa? Mejora la participacin comunitaria en el programa? Mejora la calidad de atencin a los clientes? Proporciona el volumen de servicios esperados? Logra una proporcin aceptable de costo por unidad de producto? (VER PLAN DE MONITOREO)
Fase 3: Elaboracin de Instrumentos de Monitoreo
Una vez realizado el plan de monitoreo, en donde se determinan los datos necesarios para la construccin de indicadores de productos/resultados seleccionados, el equipo elabora los instrumentos. En esta fase se definen las tcnicas ms adecuadas de medicin de indicadores de monitoreo o de desempeo, de acuerdo a las caractersticas o naturaleza del indicador.
Caractersticas de los indicadores de desempeo
C A R E
E l
S a l v a d o r
42
Algunas caractersticas de los indicadores anuales de monitoreo:

n n n
Son reportados anualmente a la organizacin, donantes. Medidos por rutina de registros de los implementadores o por las encuestas escritas. Dan algunas indicaciones de la calidad y efectividad de las intervenciones y de los problemas en el progreso hasta el final de los objetivos. El universo medido generalmente esta restringido a la poblacin beneficiaria del programa.
Ejemplo sencillo de la elaboracin de un instrumento para el monitoreo de indicadores anuales de desempeo:
Diseo del registro de capacitacin Periodo: _______________________________________________ Responsable: ___________________________________________ Regin: ________________________________________________
C A R E
E l
S a l v a d o r
43
FASE DE EVALUACION
Esta fase tiene como propsito la introduccin a la Evaluacin, conceptos conocidos y ampliamente validados en diferentes mbitos y sectores, a fin de permitir el trabajo prctico y de retroalimentacin en las experiencias concretas de sistematizacin de estos procesos por el personal de los proyectos/programas de CARE ES.
n n n n
Presentar los conceptos de evaluacin. Compartir los conceptos bsicos de los momentos de evaluacin. Compartir los contenidos e instrumentos para preparar el plan de evaluacin Compartir los contenidos e instrumentos de las fases bsicas que se sugieren para iniciar las actividades de evaluacin de un proyecto. Fortalecer las capacidades tcnicas y metodolgicas para obtener informacin primaria y secundaria de los diferentes momentos de evaluacin.
n n n
Preparar el plan de evaluacin del proyecto/programa. Preparar el estudio de lnea de base. Disear instrumentos para recolectar informacin referente a la evaluacin de proyectos.
Evaluacin
Por evaluacin se entiende la valoracin, el anlisis y la utilizacin peridica de los datos sobre un proyecto. Los principales puntos de evaluacin en el ciclo de un proyecto son:
Estudio de referencia
La evaluacin de un conjunto de indicadores seleccionados sobre las condiciones de la poblacin objetivo despus de la instalacin, pero antes del comienzo de las intervenciones del proyecto en el campo.
Estudio de lnea base
El enfoque principal del estudio de lnea base consiste en la recogida y el anlisis de datos antes de las intervenciones relacionados con los indicadores (OVI) para las Metas Intermedias y Finales (IG, FG). Los estudios de referencia se realizan para establecer puntos de referencia para los indicadores seleccionados, por ejemplo, para proporcionar datos sobre su situacin inicial, con el fin de que el monitoreo y la evaluacin posteriores puedan evaluar los efectos e impactos del proyecto para la poblacin objetivo. El estudio de lnea base ayuda tambin a evaluar la mensurabilidad de los indicadores seleccionados y puede utilizarse para perfeccionarlos con miras a un futuro seguimiento. Para ello, los estudios de referencia se realizan despus de disear y asegurar el financiamiento del proyecto, pero antes de comenzarse las intervenciones del mismo.
C A R E
E l
S a l v a d o r
44
Examen anual
La evaluacin interna de los resultados y el progreso del desarrollo de un proyecto a lo largo de perodos sucesivos de un ao. Suele incluir normalmente una evaluacin de los efectos (respuestas de la poblacin objetivo a los productos o intervenciones del proyecto). El objetivo de esta evaluacin es determinar el progreso y los resultados del proyecto y mantener el proyecto encaminado hacia el logro de su objetivo. Otro objetivo consiste en examinar las estrategias y el marco lgico del proyecto y, si es necesario, modificar el marco lgico. Dichas modificaciones suelen limitarse generalmente al nivel de actividades y a ciertos productos. Generalmente se realiza antes de la preparacin del siguiente Plan Operativo Anual.
Evaluacin a medio termino
Es normalmente una evaluacin externa (y, por tanto, "objetiva") de un proyecto que se concentra en sus resultados, la capacidad organizacional y las correcciones a medio trmino para mejorar la ejecucin en el resto del perodo del proyecto. La Evaluacin de Medio trmino es una actividad de evaluacin externa que tiene lugar aproximadamente a mediados de la fase de ejecucin de un proyecto. Los datos analizados y utilizados durante la evaluacin proceden de las actividades rutinarias del monitoreo financiero, fsico, de efectos y supuestos. Esta informacin se ha presentado en una serie de documentos producidos por el proyecto, entre otros, los informes anuales, los marcos lgicos y los estudios diagnsticos. La finalidad es identificar posibles mejoramientos respecto a los productos o las intervenciones del proyecto.
Evaluacin final
Es una evaluacin externa o interna de los efectos y los impactos producidos por el proyecto, as como una evaluacin del costo-eficacia o costo-beneficio. Normalmente se realiza unos meses antes de la terminacin del proyecto. El objetivo de la evaluacin final es aprovechar las experiencias del proyecto para mejorar el diseo de proyectos futuros y en marcha. Los datos utilizados para el anlisis en esta forma de evaluacin son los mismos que los empleados en la Evaluacin de Medio trmino, pero pueden incluir tambin un anlisis de eficacia en funcin de los costos (y a veces de costos-beneficios). Las fuentes de datos para la evaluacin final son, entre otros, los documentos del proyecto y las discusiones con todos los distintos grupos de personas participantes o asociadas con el proyecto desde su concepcin como, por ejemplo, la poblacin objetivo, el personal del proyecto, las autoridades nacionales responsables de la formulacin de la poltica y los donantes. Dos mtodos analticos principales que se utilizan en las evaluaciones finales son: a) comparar antes y despus (de volver a recoger indicadores seleccionados originalmente documentados en el estudio de lnea base y comparar los valores en la puesta en marcha y al final del proyecto), y b) comparar con y sin (evaluar indicadores seleccionados entre grupos de personas que han estado y no han estado expuestos a las intervenciones del proyecto).
C A R E
E l
S a l v a d o r
45
Evaluacin ex post
Estudio externo y a fondo del impacto que un proyecto tiene sobre la poblacin objetivo. El intervalo preferido entre la terminacin del proyecto y la evaluacin ex post es de 5 a 10 aos. Raras veces se realiza por falta de inters por parte del donante para financiarlo. El objetivo de la evaluacin ex post es determinar la sustentabilidad de los beneficios de un proyecto, tanto para las familias y comunidades campesinas como para el gobierno e instituciones colaboradoras en la zona del proyecto. Las fuentes de datos para el anlisis en la evaluacin ex post incluyen entrevistas, observaciones, documentos del proyecto (especialmente el estudio de lnea base y la evaluacin final), e informes de cualquier monitoreo en curso de la poblacin objetivo (por ejemplo, por contrapartes del gobierno u organismos comunitarios). Los estudios de referencia se basan en la recogida de nuevos datos. Todas las actividades de evaluacin despus del estudio de lnea base dependen de varias combinaciones de datos de monitoreo, datos obtenidos de otras organizaciones y nuevos datos que se recogern sobre el terreno.
Plan Evaluacin
Para elaborar el plan de evaluacin el equipo retoma los indicadores, tambin llamados indicadores objetivamente verificables, de las metas de impacto/objetivo final/general y meta de efecto/intermedias/objetivos especficos y decide sobre los datos necesarios para medirlos, la fuente y el mtodo de los datos, la frecuencia de recoleccin y el responsable de cada dato.
CRITERIOS (1) - Es el proceso que el equipo de diseo sigue para seleccionar y describir mejor los trminos usados en la declaracin de las metas u objetivos. Los criterios facilitan la seleccin y evaluacin de indicadores al describir los detalles incluidos en la explicacin de las metas u objetivos. El hacer uso de criterios o mejor entendido como definiciones operacionales permite al equipo de diseo simplificar y acortar las frases de la meta. Los trminos tcnicos no reconocidos universalmente tambin requieren de definiciones operacionales. Recuerde, que un trmino puede ser definido de diferentes maneras en varios proyectos dependiendo del contexto.
C A R E
E l
S a l v a d o r
46
Por ejemplo, el personal tcnico de un proyecto de agua y saneamiento sostenible defini que los criterios operacionales para el objetivo especfico #1 (meta de efecto) Incrementada la cantidad de familias con prcticas adecuadas de saneamiento bsico reduciendo los riesgos de transmisin de enfermedades hdricas en el hogar eran los siguientes: Que las prcticas de saneamiento son las siguientes: n Higiene personal n Higiene del hogar n Control de excreta n Manejo adecuado del agua. Lo anterior permite delimitar lo que se entender tcnicamente como prcticas de saneamiento bsico y orientara al personal del proyecto a promocionar estrategias que permitan su adopcin. Tambin estas prcticas orientan la seleccin y definicin de los indicadores para medir para el cumplimiento del objetivo o meta. INDICADORES (2) - Son simplemente las variables, medidas o criterios usados para verificar si un cambio prop uesto ha ocurrido y por lo tanto, si una meta u objetivo ha sido alcanzada. Los indicadores por s solos no representan valores meta; ste trabajo se logra en la definicin de la meta u objetivo. Son tambin enumerados para ayudar a documentar a que metas u objetivos corresponden. La informacin ingresada en esta columna debe ser trasladada (uno a uno) de los indicadores objetivamente verificables (OVI) correspondientes a cada meta u objetivo del marco lgico. Siguiendo el ejemplo anterior, los indicadores definidos por los tcnicos del proyecto para medir el cumplimiento de la adopcin de las prcticas de saneamiento: n Higiene personal n Higiene del hogar n Control de excreta n Manejo adecuado del agua. Son los siguientes: 1.1 1.2 1.3 1.4 Incrementado el porcentaje de familias con prcticas adecuadas de higiene personal Incrementado el porcentaje de familias con prcticas adecuadas de higiene del hogar Incrementado el porcentaje de familias con manejo adecuado de letrinas Incrementado el porcentaje de familias con manejo adecuado del agua de beber
CRITERIOS (3) - Es el proceso que el equipo de diseo sigue para seleccionar y definir las variables apropiadas en la construccin e interpretacin del indicador del producto. Generalmente las metas u objetivos tienen ms de un indicador y estos corresponden a:
n
Indicadores de Impacto (para las metas de impacto/objetivo general o final) miden el cambio real en las condiciones del problema de base identificado, incluyendo cambios en la situacin de medios de vida, salud, riqueza, etc. Indicadores de Efectos (para las metas de efecto/objetivos especficos o intermedios) describen cambios en condiciones o comportamientos resultantes de haber alcanzado la meta de efecto.
C A R E
E l
S a l v a d o r
47
Los criterios operacionales para el indicador: 1.4 Incrementado el porcentaje de familias con prcticas adecuadas de control de excretas.
Son los siguientes: El uso de la letrina cumple con todas las condiciones siguientes: n Tiene tapadera si es letrina de fosa simple. n Tiene papelera. n Tiene limpieza interna. n Tiene limpieza externa. FUENTE DE INFORMACION (4) Se determina que personas se les consultara o brindaran la informacin (informantes claves), describe dnde y cmo los datos son recolectados. Una fuente de datos puede ser secundaria (por ejemplo, reportes anuales de servicios de salud, datos de censo, datos de rendimiento de los proyectos agrcolas o servicios), pero es frecuentemente el resultado del muestreo original (por ejemplo, encuestas cuantitativas, medidas antropomtricas, entrevistas u observaciones) conducido por personal externo. La fuente de informacin son las familias encuestadas en sus hogares y en estas, el jefe o jefa de hogar ser el informante clave FRECUENCIA DE RECOLECCIN (6) La planificacin define intervalos aproximados entre los eventos de recoleccin de datos. En algunos casos, por ejemplo cuando fuentes secundarias son publicadas o diseminadas de acuerdo con un horario planificado, estos intervalos pueden ser determinados externamente. En otros, la frecuencia de recoleccin nivela las restricciones financieras y de tiempo con la necesidad de precisin, la cual puede ser mejorada recolectando datos ms frecuentemente. Es tambin importante crear un sistema donde grupos de tipos de datos puedan ser recolectados simultneamente, de ese modo reducir los costos de transporte y el tiempo del personal. La recoleccin de datos para el indicador se har 3 veces en la vida del proyecto
n n n
Lnea de base Evaluacin Media o de medio termino Evaluacin Final
Se realizara un monitoreo anual de proyecto, por su duracin de 5 aos. DATOS NECESARIOS (6) - Un indicador (de impacto o efecto) seleccionado debe ser una variable especfica y medible. Sin embargo, para la construccin e interpretacin del indicador se requiere ms de una variable. Por ejemplo, el indicador Incrementado el porcentaje de familias con manejo adecuado de letrinas requiere que los siguientes datos (variables) sean recolectados:
n n n n n n
# familias en l a comunidad # familias segn tipo de letrina (fosa simple, lavable e inodoro) # de familias con letrina fosa simple que tiene tapadera # familias que tienen papelera en su letrina # familias que realizan limpieza interna a la letrina # familias que realizan limpieza externa a la letrina
C A R E
E l
S a l v a d o r
48
Fases Bsicas para Iniciar las Actividades de Evaluacin Las fases bsicas que se sugieren para iniciar las actividades de evaluacin de un proyecto son:
FASE 1. ANALISIS DEL DISEO DEL PROYECTO.
En esta fase se revisa las metas u objetivos, los resultados, las actividades y los insumos que sern monitoreados y evaluados de acuerdo al marco lgico y el plan de monitoreo & evaluacin; y es en este momento cuando se pueden replantear o ampliar las ideas originales. Para ello, los equipos tcnicos del proyecto, en consulta constante con el cooperante, amplan, explicitan o concretizan indicadores formulados de manera ambigua en el diseo o incorporan indicadores claves no considerados antes en los instrumentos de planificacin. En esta fase el Marco Lgico (ML) es validado en sus detalles resultando comprensible para cualquier persona que lo consulte (los criterios son los mismos para todas las personas que lo consultan o sea, que el marco lgico por si solo es comprensible, no necesita que lo explique el equipo que lo diseo). Esta herramienta es clave para orientar todas las actividades de monitoreo y evaluacin; s el ML es comprensible y suficiente se contina el proceso. Cuando un proyecto desde su formulacin considera los aspectos mencionados, le ahorra tiempo al equipo responsable del monitoreo y evaluacin.
FASE 2. DISEO DEL PLAN DE EVALUACION
Para elaborar el plan de evaluacin el equipo retoma los indicadores operacionales, tambin llamados indicadores objetivamente verificables, de las metas de impacto y efecto y decide sobre los datos necesarios para medirlos, la fuente y el mtodo de los datos, la frecuencia de recoleccin y el responsable de cada dato. (VER PLAN DE EVALUACION)
FASE 3. ELABORACION DE INSTRUMENTOS DE EVALUACION
Una vez realizados los planes, en donde se determinan los datos necesarios para la construccin de indicadores en los diferentes niveles de la jerarqua, el equipo elabora los instrumentos. En esta fase se definen las tcnicas ms adecuadas de medicin de indicadores de las metas u objetivos, de acuerdo a las caractersticas o naturaleza del indicador; por ejemplo: si ser a travs de encuesta a hogares, entrevista grupal, registros de organizaciones comunales u otras. Este paso es clave porque permitir disear instrumentos especficos para medir los indicadores de acuerdo a las tcnicas de investigacin seleccionadas. Ejemplo para indicadores de evaluacin
C A R E
E l
S a l v a d o r
49
Una vez se ha decidido sobre las tcnicas, se inicia la elaboracin de instrumentos - para medir los indicadores - a utilizar en cada tcnica. Los instrumentos se elaboran de acuerdo a la tcnica de estudio seleccionada, decidiendo sobre el tipo de informacin que se requiere para construir o formular el indicador. Este aspecto es clave ya que dependiendo de la naturaleza del indicador, se determina la informacin que se necesita recolectar para poder construirlo o medirlo. Algunos indicadores slo requieren un dato, otros ms complejos, requieren ms de una variable. La siguiente tabla es un ejemplo de lo anterior.
Elaboracin de la boleta de lnea de base Un momento clave en este proceso es la elaboracin de la boleta de lnea base. Las preguntas, incluidas en la boleta, debern aportar los datos suficientes para la prueba de las hiptesis de impacto planteadas por el proyecto. Por lo que, previo a la elaboracin de la boleta, se deber identificar claramente la posible influencia de las intervenciones en los indicadores de salud o de otro tipo. Esto permitir contar con datos para comparar con evaluaciones posteriores. Para la evaluacin se elabora una gua o formulario de encuesta que ser aplicada antes de que un proyecto inicie sus actividades, este estudio es conocido como lnea de base. Se recomienda que la misma gua de lnea base sea utilizada en evaluaciones posteriores (medio termino, final o de impacto). Tambin, se puede monitorear los efectos (el avance en los cambios ocurridos en la conducta humana), si un proyecto trabaja en la promocin de stas, para ello pueden utilizarse partes de la misma gua utilizada para levantar la lnea base.
C A R E
E l
S a l v a d o r
50
Ejemplo:
Plan de evaluacin
HIGIENE DEL HOGAR

38. Existen focos de contaminacin cerca del hogar?
Cdigo
Apreciacin visual (38 -43) 38.A Si es S, que tipo de contaminacin existe?

Foco de contaminacin Agua estancada Basura destapada Excretas al aire libre Animales muertos Corrales, gallineros, chiqueros, sucios a la par de la casa Otros, especfique Existe 1=Si 2= No
1 = Si
Cdigo
2= No
39. Tienen resumideros construidos? 1 = Si 39.A

Cdigo
2= No
Si es S, cuantos?
Le dan mantenimiento al resumidero? 1 = Si 2= No
40. Cmo es la limpieza de la casa?

Cdigo
Paredes Piso
41. Tiene la casa baranda?

Cdigo
1 = Sucia
2= Limpia
1= Si
2= No
42. Andan animales sueltos dentro de la casa?

Cdigo
43. Cmo controlan los animales domsticos?

Cdigo
1= Si
2= No
3= No tienen animales 1= Chiqueros 2= Gallineros 3= Chiqueros/ Gallineros

4= No tienencontrol/Libres 5= No aplica 6= Otros Especifique: ____________
51
FASE 4: EJECUCION DEL PROCESO DE EVALUACION
A) ESTUDIO DE LNEA BASE El Sistema de evaluacin inicia con el levantamiento del estudio de lnea base, donde se recoge la informacin necesaria para construir los indicadores de impacto y efecto previo a cualquier intervencin del proyecto. A continuacin se describen los pasos principales para realizar este estudio. Estos no tienen que realizarse necesariamente en el orden en que se encuentran ya que algunos pueden realizarse de manera paralela. ORGANIZACIN Y PREPARACIN Definir cronograma de las etapas del proceso Aqu se elaborar la calendarizacin de las etapas del proceso que se consideren necesarias y que garanticen la finalizacin exitosa de la investigacin:

n
Preparacin de la investigacin, Elaboracin o revisin de formularios, Impresin de formularios, Contratacin personal de campo y oficina, Compra de materiales, Alquiler de vehculos, Capacitacin de encuestadores, Preparacin de material de campo, Organizacin del trabajo de campo, Validacin de campo de los instrumentos y su manejo por el personal encuestador, Revisin y codificacin de boletas, Programa de captura y depuracin, Digitacin de base de datos, Depuracin de base de datos, Elaboracin de tablas de salida, Determinar presupuesto
Para elaborar el presupuesto debe considerarse las diferentes etapas del proceso descritas en el cronograma. Es decir, se elabora tomando en cuenta los recursos necesarios para realizar cada actividad.
n
Material cartogrfico
Es necesario recolectar cualquier material cartogrfico, que se considere necesario para la seleccin de las unidades de muestreo. Casi siempre existen mapas o croquis de las zonas a estudiar. DEFINICIN DE METODOLOGA
n
Muestra o censo?
En este paso se decide si para el estudio de lnea base se tomar una muestra si se har un censo, esto ltimo implica que se visitarn todos los hogares que viven en el rea de influencia del proyecto.
C A R E
E l
S a l v a d o r
52
La decisin se toma de acuerdo al nivel de representatividad requerido: s un proyecto atiende diez comunidades y desea saber el impacto en cada una de ellas debe tomar una muestra o censo suficiente para generalizar los resultados al nivel de cada comunidad ya que la comunidad X sera el universo. Pero si el proyecto considera a las comunidades como un todo - o universo - debe tomar una muestra representativa de dicho universo, pero no podr particularizar los resultados en cada comunidad, y no podr establecer el impacto en una comunidad especfica sino solo de manera global o rea de influencia del proyecto El tamao de muestra se determinar de acuerdo a estndares usuales. Expertos en el tema indican que seleccionando el error deseado se puede decidir sobre un tamao de muestra sin conocer el tamao de poblacin. En el apndice ? Se puede observar 2 tablas: una que considera el tamao de poblacin y otra slo el error deseado.
n
Definir mtodo de seleccin.
Este paso consiste en decidir y realizar la toma de muestra. Este depende de la informacin o insumos disponibles y magnitud del estudio. En los libros de estadstica existe suficiente literatura que describen los distintos mtodos para la toma de muestra: aleatorio simple, estratificado, sistemtico, etc... SOBRE LA HERRAMIENTA DE INVESTIGACIN
n
Validacin del instrumento de investigacin
En la fase 4, descrita anteriormente, se describe el proceso a seguir para elaborar la herramienta o gua que se utilizar para recolectar la informacin. Despus de elaborada la gua deber realizarse el proceso de validacin. Es decir, la realizacin de una prueba piloto de aplicacin para determinar si realmente recoge la informacin deseada o presenta inconsistencias. Despus de la validacin se proceder a corregir las observaciones y a elaborar, imprimir y reproducir la versin final.
n
Elaboracin de manuales (cartografa, supervisor, entrevistador, codificacin etc.)
Otras herramientas claves para realizar el estudio, son los manuales que se consideran necesarios para el buen desarrollo de la investigacin: Manual de cartografa, manual del supervisor, del entrevistador y codificador. SELECCIN, ADIESTRAMIENTO Y CONTRATACIN DE PERSONAL DE CAMPO
n
Definicin de roles dentro de la encuesta.
Los responsables del estudio tendrn la tarea de seleccionar el personal de campo, lo mismo que designar quines desarrollen las funcione de jefe de campo y supervisin, as mismo definir los roles que dentro de la encuesta desempearn el jefe de campo, supervisores, entrevistadores, codificadores, digitadores, o cualquier otro recurso necesario para el buen desarrollo de la investigacin. Adems decidirn sobre cualquier diferencia entre los mismos.
n
Capacitacin
La capacitacin se puede realizar a travs de talleres, donde se discute cada pregunta o tem del instrumento. Se recomienda realizar sociodramas de aplicacin del instrumento donde cada persona del equipo juegue los roles de informante y entrevistador/a. Tambin, se recomienda una etapa prctica de la capacitacin, para ello se lleva al personal a una comunidad donde no se realizar el estudio a fin de aplicar un nmero reducido de instrumentos y posteriormente se discute la experiencia obtenida.
53
Los encargados capacitarn a los codificadores y digitadores de la informacin recolectada en campo. Conjuntamente con personal tcnico del proyecto, tendrn la responsabilidad de adiestrar al personal de campo en la comprensin y manejo de los instrumentos de investigacin. RECOLECCION Y CODIFICACION DE LA INFORMACION Para la recoleccin de la informacin se selecciona, del personal, a un(a) Jefe de Campo quien coordinar todo el proceso y a un(a) Supervisor(a) por cada cuatro Investigadores. El(la) Supervisor(a) ser responsable de revisar las boletas o instrumentos y buscar inconsistencias.
n
Revisin de boletas diligenciadas en campo.
La primera revisin de las boletas diligenciadas en campo, corresponde al entrevistador, quien las traslada al supervisor para su revisin. En caso de alguna observacin este se las devuelve al entrevistador para su correccin. El jefe de campo deber tomar una muestra de las boletas entregadas por el supervisor para revisarlas, si encuentra alguna inconsistencia proceder a su correccin, este proceso se lleva a cabo en campo, posteriormente trasladarn las boletas a los codificadores.
n
Codificacin de boletas diligenciadas en campo
Las boletas que llegan de campo pasan por un proceso de codificacin geogrfica, incluso las diferentes respuestas que aparecen en la alternativa otros, especifique de la mayora de las boletas. Posteriormente se digitan en el programa de captura y se depura la base de datos. Los codificadores antes de proceder a codificar las boletas, las revisarn y de encontrarse todava algn error la devolvern a campo para su correccin. Finalmente procedern a codificarla y pasarlas a los digitadores. PROCESAMIENTO DE DATOS Programa de captura de datos Este paso es de gabinete: Bsicamente consiste en disear o decidir sobre el programa donde sern procesadas las boletas, entre los ms comunes tenemos SPSS, EPI INFO, IMPS y ACCES. Algunas organizaciones, como CARE El Salvador, utiliza como herramienta el Sistema MER para organizar y presentar la informacin; para medir los resultados obtenidos con las acciones del proyecto y al mismo tiempo, para desarrollar una planificacin del monitoreo y la evaluacin. Una vez digitadas las boletas se procede a la limpieza de la informacin. Frecuentemente se realiza doble digitacin y se comparan las bases para corregir errores en el digitado de la informacin. CONSTRUCCION DE INDICADORES Y ELABORACION DE INFORMES.
n
Elaborar reporte de indicadores
Para elaborar o construir los indicadores buscados se procede a producir las tablas de salida con la informacin necesaria. Se realizan los cruces de variables requeridos. Posteriormente se comparan los resultados obtenidos, con los encontrados por otras fuentes dignas de crdito o resultados obtenidos por instituciones estatales o privadas, para validar la consistencia de los mismos. En todo caso si se observaran discrepancias que no se puedan atribuir a lo errores propios del muestreo, se mantendrn los resultados obtenidos en el estudio.
54
B) ESTUDIO DE EVALUACION El estudio de evaluacin consiste en la aplicacin de la misma boleta utilizada para realizar el estudio de lnea base. Dos criterios utilizados para determinar si un indicador de lnea base se puede comparar con un indicador de evaluacin son:
n n
Que las preguntas que intervienen en la construccin sean exactamente las mismas. Que algunas condiciones sean las mismas si se considera que por la naturaleza del indicador pueden afectar o dificultar la comparacin. Por ejemplo, el indicador relacionado con la prevalencia de diarrea los resultados slo pueden ser comparados si el estudio de lnea base y el estudio de evaluacin se realiza en la misma poca del ao, ya sea invierno o verano.
C A R E
E l
S a l v a d o r
55
BIBLIOGRAFIA
n
Barton, Tom (1997) How Are We Doing? M&E Guidelines for CARE Uganda. CARE-USA. Atlanta, GA. Caldwell, Richard (1999) Project Design Training Guidelines. CARE-USA. Caldwell, Richard (2002), Project Desing Handbook, Tango Internacional para CARE-USA, Atlanta. CARE El Salvador, Plan Estratgico CES 2003 2007. CARE International (1999) CARE Impact Guidelines. CARE Internacional (1999) Gua de Capacitacin MER: Planificacin de Proyectos y Programas. CARE Internacional (2001) Los Estndares de los Proyectos en si Mismos. Comisin de las Comunidades Europeas, Serie de Mtodos para la Gestin del Ciclo de un Proyecto. N1 febrero de 1993. Curso electrnico de marco lgico del Banco Interamericano de Desarrollo, 2004
n n
n n n n n
C A R E
E l
S a l v a d o r

Guía para el diseño, monitoreo y evaluación de proyectos CARE El Salvador

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Guía para el diseño, monitoreo y evaluación de proyectos CARE El Salvador

Cargado por

Copyright:

Formatos disponibles

Gua para el Diseo, Monitoreo y Evaluacin CARE EL Salvador

Oswaldo Fajardo Consultor Monitoreo y Evaluacin

Ligia Alvarenga Directora a.i. CARE El Salvador

Gua para el Diseo, Monitoreo y Evaluacin

Martn Segovia Care El Salvador

Gua para el Diseo, Monitoreo y Evaluacin

HABLEMOS SOBRE CARE

Gua para el Diseo, Monitoreo y Evaluacin

5. Nos Oponemos a la Violencia: Promovemos

Gua para el Diseo, Monitoreo y Evaluacin

Gua para el Diseo, Monitoreo y Evaluacin

Gua para el Diseo, Monitoreo y Evaluacin

Gua para el Diseo, Monitoreo y Evaluacin

Cul es la probabilidad de que ocurra? No es probable Probable (=supuesto)

Muy probable (no incluir)

Puede ser rediseado el proyecto? S (redisear el proyecto)

No (supuesto fatal Pare!)

La Lgica del Marco Lgico

Gua para el Diseo, Monitoreo y Evaluacin

Estructura representativa de un Marco Lgico

Gua para el Diseo, Monitoreo y Evaluacin

Matriz del Marco Lgico

Gua para el Diseo, Monitoreo y Evaluacin

Comparacin de la Terminologa de Proyectos entre Importantes Organizaciones de Desarrollo

Gua para el Diseo, Monitoreo y Evaluacin

Estndares de los Proyectos

10. 11. 12. 13.

Gua para el Diseo, Monitoreo y Evaluacin

Pasos para el Diseo de Proyecto

Estratgia para la intervencin

Anlisis del problema

Ambiente operativo Diagnsticos Evaluacin de necesidades Identificacin de Proyecto

Gua para el Diseo, Monitoreo y Evaluacin

Gua para el Diseo, Monitoreo y Evaluacin

Menor nmero de pasajeros utilizan el SAU

Servicio de Autobuses Urbano Arbol de Problemas

El servicio del SAU es inadecuado

Muchos pasajeros heridos

Los choferes son descorteces

Los choferes conducen mal

Autobuses en mal estado

Mantenimiento inadecuado de vehculos

Caminos en mal estado

Topografa en mal estado

Gua para el Diseo, Monitoreo y Evaluacin

El rbol de problemas y la jerarqua de objetivos del marco lgico

Gua para el Diseo, Monitoreo y Evaluacin

Gua para el Diseo, Monitoreo y Evaluacin

Explicacin de los Elementos Importantes de las Hiptesis

Gua para el Diseo, Monitoreo y Evaluacin

Gua para el Diseo, Monitoreo y Evaluacin

Paso 7: Metas /Objetivos e Indicadores

Gua para el Diseo, Monitoreo y Evaluacin

alcanzado la meta de efecto.

Gua para el Diseo, Monitoreo y Evaluacin

Ejemplos Correctos e Incorrectos de Indicadores para las Metas Objetivos Propsitos.

Gua para el Diseo, Monitoreo y Evaluacin

Paso 8: Productos y actividades

Gua para el Diseo, Monitoreo y Evaluacin

Gua para el Diseo, Monitoreo y Evaluacin

Paso 9: Plan de Monitoreo & Evaluacion

Gua para el Diseo, Monitoreo y Evaluacin

Preparacin de planes operativos