Prlogo

En el periodo 2005-2008, la Cooperacin Espaola ha realizado un importante esfuerzo para mejorar la calidad de la ayuda ocial al desarrollo. Con este n se est dotando de una serie de elementos de planicacin, seguimiento y evaluacin que le permiten avanzar en el objetivo de aumentar la ecacia de ayuda en la lucha contra la pobreza. La evaluacin, junto con el seguimiento, constituyen elementos clave en el ciclo de la poltica de cooperacin al desarrollo, ya que permiten establecer un sistema de mejora continua retroalimentando los ejercicios de planicacin y gestin de las intervenciones de desarrollo. Para ello es necesario contar con un sistema de evaluacin slido en el que los actores puedan llevar a cabo evaluaciones tiles y de calidad. La Divisin de Evaluacin de la Direccin General de Planicacin y Evaluacin de Polticas para el Desarrollo de la Secretara de Estado de Cooperacin Internacional del Ministerio de Asuntos Exteriores y Cooperacin tiene como una de sus responsabilidades fortalecer el sistema de evaluacin de la Cooperacin Espaola y para ello pone a disposicin de los actores de la misma el Manual de Gestin de Evaluaciones de la Cooperacin Espaola. Este instrumento permite disear, coordinar el desarrollo del estudio y comunicar e incorporar las lecciones aprendidas de una evaluacin a un proceso de planicacin y gestin de intervenciones de desarrollo. El Manual de Gestin de Evaluaciones de la Cooperacin Espaola es fruto de la colaboracin entre la Direccin General de Planicacin y Evaluacin de Polticas para el Desarrollo y el Instituto de Desarrollo Regional de la Universidad de Sevilla, as como de los comentarios y la participacin activa de una estructura de apoyo en la que han intervenido, profesionales del sector de la cooperacin e instituciones pblicas y privadas que han agregado un gran valor aadido al documento, a todos ellos gracias. Aprender para Mejorar no es slo el ttulo de este Manual de Gestin de Evaluaciones de la Cooperacin Espaola. Es tambin la expresin de un compromiso que hemos adquirido los actores de la Cooperacin Espaola para conseguir que la ayuda ocial al desarrollo sea de mayor calidad y ms ecaz. De forma que esto contribuya al n para el que la ayuda al desarrollo fue creada, la erradicacin de la pobreza.

Jos Antonio Gonzlez Mancebo Subdirector General de Planicacin y Evaluacin de Polticas de Desarrollo Abril de 2007

ndice
Presentacin Introduccin al Manual 7 9

PARTE I
La evaluacin de la Poltica de Cooperacin al Desarrollo 1. Introduccin: marco institucional 1.1. Contexto: la Agenda Internacional de Desarrollo 1.2. Marco normativo y niveles de planicacin estratgica 1.3. Instrumentos operativos 1.4. Actores 2. Cuestiones previas al ciclo de la evaluacin 2.1. Qu es la evaluacin de la Poltica de Cooperacin para el Desarrollo? 2.2. Cul es la losofa que sustenta la evaluacin de la Cooperacin Espaola? 2.3. Qu es el seguimiento y en qu se diferencia de la evaluacin? 2.4. Qu diferencias hay entre promover, gestionar y realizar una evaluacin? 2.5. Quines promueven la evaluacin de la Cooperacin Espaola y por qu lo hacen? 2.6. Se puede realizar la evaluacin?: evaluacin o anlisis de la evaluabilidad 2.7. Qu tipos de evaluaciones se pueden gestionar y realizar? 11 11 11 12 14 17 17 19 21 23 24 26 27

PARTE II
El ciclo de la evaluacin: un itinerario a recorrer 35 39 40

Fase I: Diseando la evaluacin

Etapa 1. Motivacin para evaluar: por qu y para qu evaluamos? Etapa 2. Seleccionar y acotar el objeto de la evaluacin: qu se va a evaluar?, denir sus objetivos y analizar la evaluabilidad 2.1 Seleccin del objeto: qu va a ser evaluado? 2.2. Identicar a los actores implicados en la intervencin 2.3. Constituir el Comit de Seguimiento de la evaluacin 2.4 Denicin de los objetivos de la evaluacin: para qu se evala? 2.5 Acotar el objeto de la evaluacin: qu dimensiones del objeto van a ser evaluadas? 2.6 Anlisis de evaluabilidad: es posible realizar la evaluacin? Etapa 3. Denir las preguntas de evaluacin: Qu desea saber de su intervencin? Etapa 4. Eleccin del tipo de evaluacin que va a poner en marcha y presupuesto 4.1 Eleccin del tipo de evaluacin 4.2 Estimacin del presupuesto y plazos de la evaluacin Etapa 5. Cmo preparar la realizacin de la evaluacin? Redaccin de los TdR Etapa 6. Seleccin del equipo evaluador 6.1 Comit de Seleccin 6.2 Parmetros de baremacin de las propuestas

43 43 44 46 48 49 51

56

64 64 66

68 74 74 74

2 3

Fase II: Desarrollando el estudio de evaluacin Fomento de la participacin, garanta de los ujos de comunicacin y supervisin de la calidad del proceso Etapa 7. Establecer el Plan de Trabajo denitivo Etapa 8. Gestionar el desarrollo del Plan de Trabajo 8.1. Estudio de gabinete 8.2. Trabajo de campo 8.3. Informe de evaluacin

79

80 82 85 85 87 88

Fase III: Comunicando resultados e incorporando lecciones de la experiencia Etapa 9. Comunicando los resultados de la evaluacin 9.1. Identicacin de la utilidad esperada por los diferentes actores 9.2. Soportes y canales de comunicacin a emplear Etapa 10. Incorporacin de lecciones de la experiencia Consideraciones nales Glosario de trminos Bibliografa Anexos Anexo I. Criterios para valorar la calidad del informe de evaluacin Anexo II. Modelo de TdR de la DGPOLDE

93 95 95 96 101 105 107 121

127 134

ndice de guras
Figura 1. Figura 2. Figura 3. Figura 4. Figura 5. Figura 6. Figura 7. Figura 8. Figura 9. Figura 10. Figura 11. Figura 12. Figura 13. Figura 14. Figura 15. Figura 16. Figura 17. Figura 18. Figura 19. Figura 20. Figura 21. Figura 22. Figura 23. Figura 24. Figura 25. Figura 26. Figura 27. Figura 28. Figura 29. Figura 30. Figura 31. Figura 32. Figura 33. Figura 34. Figura 35. Figura 36. Figura 37. Figura 38.
6

El ciclo o itinerario de la evaluacin .......................................................................................................... 9 Niveles de planicacin de la Poltica de Cooperacin Espaola ............................................................. 12 Enfoque integral de la evaluacin de la Cooperacin Espaola ............................................................... 17 El ciclo de planicacin, seguimiento y evaluacin .................................................................................. 18 Principios de evaluacin de la Cooperacin Espaola ............................................................................ 19 Utilidad del seguimiento ......................................................................................................................... 21 Diferencias entre seguimiento y evaluacin ............................................................................................. 22 Funciones de la Divisin de Evaluacion de la DGPOLDE ........................................................................ 24 Promotores de evaluaciones en el sistema de cooperacin espaol ....................................................... 25 Tipos de evaluacin ............................................................................................................................... 27 Evaluaciones individuales frente a evaluaciones conjuntas ...................................................................... 32 Fases y etapas del itinerario de la evaluacin ......................................................................................... 35 Itinerario completo de la evaluacin ........................................................................................................ 36 Ejemplo de cronograma para una evaluacin de gran escala ................................................................. 38 Qu necesito saber antes de realizar el estudio de evaluacin? ............................................................ 39 Propsitos generales de la evaluacin .................................................................................................... 40 Marco normativo de las evaluaciones de la Cooperacin Espaola ........................................................ 41 Identicacin de actores implicados ....................................................................................................... 45 Matriz de documentacin sobre la intervencin a evaluar ....................................................................... 50 Elementos que condicionan la evaluabilidad ........................................................................................... 51 Criterios para valorar la calidad de la planicacin en el anlisis de evaluabilidad .................................... 52 Criterios para valorar la calidad de la informacin ................................................................................... 53 Criterios para valorar la implicacin potencial de los actores y el contexto sociopoltico .......................... 54 Evaluabilidad y calidad de la planicacin de la intervencin a evaluar ..................................................... 55 Criterios y cuestiones de evaluacin ....................................................................................................... 58 Matriz de priorizacin de cuestiones de evaluacin ................................................................................ 61 Elementos a valorar para seleccionar cada tipo de evaluacin ................................................................ 64 Etapas y resultados del diseo de la evaluacin ..................................................................................... 68 Lista de control de contenidos y propuesta de estructuracin de los TdR .............................................. 70 Ficha de comprobacin de los TdR ........................................................................................................ 73 Cuadro de control (tabla de comprobacin) sobre la idoneidad de la metodologa propuesta y su adecuacin al objeto ....................................................................................................................... 75 Desarrollando el estudio de evaluacin ................................................................................................... 79 Propuesta de Cronograma para el Plan de trabajo ................................................................................. 83 Niveles de resultados de la evaluacin ................................................................................................... 89 Calidad del Informe nal de evaluacin ................................................................................................... 91 Ejemplos de mecanismos de comunicacin ........................................................................................... 98 Lista de comprobacin ........................................................................................................................... 99 Ficha del Plan de mejora para la incorporacin de recomendaciones ................................................... 100

Presentacin
Este Manual ha sido realizado por la Divisin de Evaluacin de la Direccin General de Planicacin y Evaluacin de Polticas para el Desarrollo (en adelante, DGPOLDE) y el Instituto de Desarrollo Regional (IDR), en el marco del Convenio de Colaboracin suscrito entre ambos para fortalecer el sistema de seguimiento y evaluacin de la Poltica de Cooperacin Espaola. Desde que en la Ley de Cooperacin Internacional para el Desarrollo de 1998 (LCID) se estableciera en el artculo 19.4 las competencias de la Secretara de Estado para la Cooperacin Internacional y para Iberoamrica, sealando que sta evaluar la Poltica de Cooperacin para el desarrollo, los programas y proyectos nanciados con fondos del Estado en curso de ejecucin y los nalizados, desde su concepcin y denicin hasta sus resultados; son muchos los avances que se han producido en el sistema de cooperacin al desarrollo y, en concreto, en evaluacin. Recientemente, en el Plan Director de la Cooperacin Espaola 2005-2008 (en adelante, PD 2005-2008) se incluye la evaluacin en el captulo 8 Calidad de la Ayuda como un mecanismo que, junto con la planicacin y el seguimiento, contribuye a mejorar la calidad de la ayuda, reforzando su importancia en el sistema espaol de cooperacin al desarrollo. Para garantizar una gestin adecuada del proceso de evaluacin, en el PD 2005-2008 se insta a los actores de la Cooperacin Espaola a utilizar la Metodologa de Evaluacin de la Cooperacin Espaola, que ser revisada y complementada con manuales prcticos para la implementacin de las evaluaciones. (MAEC, 2005: 116). En respuesta a este reto, la DGPOLDE lidera un proceso dirigido a consolidar la institucionalizacin de la evaluacin y sentar las bases para que, junto al seguimiento y la planicacin, conforme un sistema integrado, articulado y coordinado, que mejore la gestin de las intervenciones y enriquezca con la propia experiencia la planicacin de la Poltica de Cooperacin. Los resultados de este esfuerzo se han plasmado en un conjunto de herramientas tericas y prcticas que son complementarias. Por un lado, la Metodologa de Evaluacin de la Cooperacin Espaola, que est siendo actualizada de acuerdo a este enfoque integral, incorpora las lecciones de la experiencia y los avances recientes en evaluacin, aplicada a los instrumentos y caractersticas de la Cooperacin Espaola, y sirve de marco terico para las evaluaciones. Por otro lado, los protocolos de seguimiento de la Cooperacin Espaola, un conjunto de pautas de carcter procedimental que apoyan el seguimiento de las estrategias e instrumentos operativos de la Cooperacin Espaola, asegurando su integracin y articulacin en el conjunto del sistema. Por ltimo, el Manual de Gestin de Evaluaciones de la Cooperacin Espaola, herramienta que aqu se presenta. Estas herramientas se han elaborado siguiendo un proceso participativo a travs de la constitucin de una red de profesionales de la evaluacin y la cooperacin al desarrollo que han aportado insumos para enriquecer los trabajos. El Manual de Gestin de Evaluaciones tiene como objetivo servir de gua para facilitar la gestin de las evaluaciones, identicndose las etapas que deben seguirse para acometer y liderar con xito un proceso de evaluacin de una intervencin de cooperacin al desarrollo. Lejos de presentar un marco rgido de actuacin, con la publicacin de este Manual se pretende que los mltiples actores de la cooperacin puedan gestionar sus evaluaciones con el apoyo de una herramienta exible,
7

Manual de Gestin de Evaluaciones de la Cooperacin Espaola

que responda a sus diferentes necesidades, intereses y contextos de intervencin, aunque de acuerdo a unas necesarias directrices metodolgicas compartidas. Para la elaboracin de este Manual se constituy un equipo de trabajo formado por tcnicos de la Divisin de Evaluacin de la DGPOLDE (Miriam Arredondo, Adn Ruiz y Beln Sanz) y del IDR (Juan Murciano, Juan Carlos Sanz y Carmen Vlez), dirigido por Jos Antonio Gonzlez Mancebo (DGPOLDE) y Jos Luis Osuna (Universidad de Sevilla). Adems del anlisis de los principales documentos programticos y normativos en materia de planicacin y evaluacin de la Cooperacin Espaola y de las guas y publicaciones de los principales organismos internacionales, se ha contado con las aportaciones que expertos y expertas en evaluacin y cooperacin para el desarrollo han realizado en entrevistas y en las dos mesas tcnicas organizadas. Tambin han realizado sus contribuciones los representantes de la cooperacin descentralizada que asistieron a la actividad formativa impulsada por el Grupo de Trabajo de Evaluacin de la Comisin Interterritorial de Cooperacin al Desarrollo. Estas aportaciones han servido para mejorar y validar los contenidos del Manual y a todos ellos queremos agradecer su implicacin en este proceso: Ana Alcalde, Ana Cirera, Ana Cristina Garca, Ana de Lara, ngeles Revilla, Antonio Fuentes, Antonio

Olivenza, Ascensin Romero, Auxiliadora Manrique, Carlos Asenjo, Carlos Bueno, Carlos Matais, Carlos Mediano, Carlos Romn, Carmen Marl, Carmen Rodrguez, Enrique del Olmo, Esther Grvalos, Eugenia Martnez, Eva Garzn, Eva Jimnez, Florencio Gudio, Gabriel Ferrero y de Loma Osorio, Hctor Sainz, Isabel lvarez, Ivn Touza, J. Manuel Puras, Javier Corts, Javier Moya, Joaquina Snchez, Jos Luis Jimnez, Jos Mara Larr, Puricacin Lpez, Jos Ramn Gonzlez Parada, Juan Andrs Ligero, Juan Manuel Toledano, Laura Gonzlez, Laura Porrini, Luca Trillo, Luis Criado, Manuel Cadarso, Manuel Snchez, Mara Jess Calvo, Mara Jos Guerrero, Mara Soledad Saenz, Marisa Merino Cuesta, Miguel ngel del Blanco, Miguel ngel Herreros, Osvaldo Nstor Feinstein, Pablo Gonzlez, Paula Rodrguez, Rafael Cascante, Roco Ferrndez, Rosa Castizo, Rubn Cano, Silvia Padrn, Susana de Funes y Susana Velzquez. En el futuro, los puntos tratados en el Manual debern mejorarse y enriquecerse a partir de la experiencia adquirida por los profesionales de la cooperacin. En la medida en que se mantenga la implicacin y el espritu participativo con que ha contado su elaboracin, se imprimir a este documento un carcter de herramienta viva al servicio del proceso de mejora continua de la calidad y ecacia de la Poltica de Cooperacin Espaola.

Introduccin al Manual

Introduccin al Manual
El Manual de Gestin de Evaluaciones de la Cooperacin Espaola constituye una herramienta de carcter prctico para facilitar el trabajo de los profesionales que gestionan las evaluaciones de la cooperacin. Con l se pretende reforzar los mecanismos para la realizacin de evaluaciones de calidad, sistemticas, participativas y orientadas a la incorporacin de sus resultados en el ciclo de planicacin. Se trata de una propuesta general que pretende ser de utilidad para el mximo nmero de actores y actuaciones de la Cooperacin Espaola, para lo que se ofrecen indicaciones concretas que facilitan su adaptacin a cada contexto, y se establecen las semejanzas entre los diversos formatos y niveles de planicacin del Sistema Espaol de Cooperacin. Es un manual dirigido a gestores de evaluaciones y no a evaluadores, por lo que se tratan cuestiones relacionadas con la organizacin del trabajo de evaluacin y no con tcnicas y metodologas para su elaboracin. El Manual se ha estructurado en dos partes: En la Parte I: La evaluacin de la Poltica de Cooperacin para el Desarrollo, se presenta brevemente el marco institucional de la evaluacin de la Poltica de Cooperacin y se denen algunos conceptos y cuestiones previas relacionadas con la evaluacin de la ayuda al desarrollo, entendida sta como un proceso que sigue una secuencia temporal que comienza con la aparicin de la motivacin de evaluar y el diseo de la evaluacin, continua con su realizacin y naliza con la difusin de sus resultados y la integracin de las lecciones de la experiencia y las recomendaciones,
Fuente: Adaptado de DGPOLDE

cerrando, as, el crculo del aprendizaje y la mejora continua de la Poltica de Cooperacin Espaola (Ver Figura 1). Figura 1. El ciclo o itinerario de la evaluacin Plan de Evaluacin Trminos de Referencia
I. Diseo

Plan de Mejora

III. Comunicacin e Incorporacin

II. Desarrollo

Plan de Comunicacin

Informe de Evaluacin

La Parte II del Manual, destinada a presentar el ciclo de la evaluacin, se ha organizado en tres fases. Se abre con la Fase I: Diseando la evaluacin, en la que se revisan los aspectos ms relevantes que se deben considerar para poner en marcha una evaluacin. Adems, se seala la importancia de la creacin de un espacio de participacin de los diferentes actores (Comit de Seguimiento) para que apoye y facilite el proceso evaluativo.

Manual de Gestin de Evaluaciones de la Cooperacin Espaola

Las principales funciones que debe asumir el gestor de una evaluacin de la Cooperacin Espaola durante su realizacin se abordan en la Fase II: Desarrollando el estudio de evaluacin, en la que se presta atencin especial a la supervisin de la calidad de los trabajos y a la dinamizacin del espacio de participacin constituido - Comit de Seguimiento -. En la Fase III del ciclo de la evaluacin, Comunicando resultados e integrando lecciones de la experiencia, se exponen los factores que determinan la utilidad de las evaluaciones, se hace referencia a la importancia de identicar a las audiencias de la evaluacin, sus diferentes intereses y los canales e instrumentos ms adecuados para comunicar los resultados a cada una de ellas. El enfoque que se adopta a lo largo de este Manual es el de acompaamiento de un proceso de evaluacin realizado por equipos externos a la gestin de la intervencin evaluada (evaluacin externa) o por personal vinculado a dicha intervencin, con o sin asistencia tcnica externa (evaluacin mixta o autoevaluacin, respectivamente), haciendo referencia a su internalizacin o a la contratacin de servicios especializados que orienten el trabajo del personal de la organizacin encargado de la evaluacin. En esta segunda Parte, el lector se encontrar con un estilo de redaccin diferente, con un tono ms personal, con la pretensin de que los usuarios del Manual puedan percibir que se trata de una herramienta prctica que le acompaar durante todo el itinerario de la evaluacin. Adems, se ha puesto especial nfasis en claricar conceptos y en su presentacin didctica y secuencial, con el empeo de que se propongan evaluaciones posibles que adems de ser tiles y utilizadas, puedan ser fcilmente integradas en la gestin de la Cooperacin Espaola .

La vocacin prctica de este Manual hace que se conciba como una propuesta abierta, en el sentido de que deben ser sus usuarios y usuarias, profesionales de la Cooperacin Espaola, quienes orienten su actualizacin y mejora sobre la base de sus experiencias reales de aplicacin a intervenciones y actuaciones concretas y en respuesta a los principios que inspiran la nueva losofa de evaluacin de la Cooperacin Espaola 1. Por ltimo, hay que dejar constancia de que este Manual forma parte de un conjunto de herramientas ms amplio, de las que ya se han presentado aquellas que se han desarrollado de forma paralela: la Metodologa de Evaluacin de la Cooperacin Espaola y los Protocolos de Seguimiento.

Con este conjunto de herramientas adaptadas a los diferentes perles profesionales y roles y a las intervenciones que pueden ser evaluadas se persigue dotar a los profesionales de la Cooperacin Espaola de una mochila en la que puedan ir incorporando aquellas que se ajusten a sus demandas y que en denitiva apoyen las funciones y tareas necesarias de la evaluacin de la Poltica de Cooperacin.

10

1. Con este objetivo, a lo largo del documento se ha utilizado el trmino intervencin para hacer referencia de forma genrica a cualquiera de los niveles de planicacin estratgica, instrumentos operativos o cualquier otro tipo de actuaciones o grupos de actuaciones de la cooperacin susceptibles de ser evaluadas.

1. Introduccin: marco institucional

1.1. Contexto: la Agenda Internacional de Desarrollo
La Poltica de Cooperacin Espaola se inserta en un importante consenso a nivel internacional sobre cmo reducir la pobreza en el mundo, en el que participan un creciente nmero de pases y organizaciones de la sociedad civil, tanto del Norte como del Sur. Este consenso se concreta en una Agenda Internacional de Desarrollo, basada fundamentalmente en la denicin de los objetivos necesarios para alcanzar el desarrollo sostenible (Objetivos de Desarrollo del Milenio, en adelante ODM). El seguimiento y la evaluacin se conguran en este contexto como herramientas fundamentales para la mejora de la calidad de la ayuda y la consecucin de los ODM. Los ODM sintetizan un compromiso por parte de los pases desarrollados y los pases pobres para unir sus fuerzas y lograr que, para el ao 2015 o antes, se cumplan los 8 objetivos y 18 metas establecidas para el avance del desarrollo y la reduccin de la pobreza en el mundo. La consecucin de los ODM se ha convertido en el principal referente orientador de la Poltica de Cooperacin de los pases desarrollados, y por lo tanto tambin debe serlo para su evaluacin. La agenda comn basada en los ODM se complementa con un acuerdo generalizado sobre cmo puede avanzarse para su logro, la Estrategia de Asociacin para el Desarrollo, que se basa en los principios de apropiacin, enfoque de resultados y coordinacin. Estos principios son objeto de constantes revisiones que los pases ponen en comn a travs de la celebracin de Cumbres Internacionales. La referencia ms reciente fue marcada en la Declaracin de Pars (2005)2, en la que se establecieron cinco principios renovados sobre los que debe basarse el proceso de aumento de ecacia de la ayuda: apropiacin, alineamiento, armonizacin, gestin orientada a resultados y rendicin mutua de cuentas. La correcta observacin y aplicacin de estos principios en la planicacin, ejecucin y evaluacin de las actuaciones permitir a la Poltica de Cooperacin Espaola acompaar al resto de pases en el proceso iniciado para mejorar la ecacia de la ayuda al desarrollo.

1.2. Marco normativo y niveles de planicacin estratgica

La publicacin de la LCID en 1998 supuso la puesta en marcha de un proceso de reformas para preparar los instrumentos de los que se dota la Cooperacin Espaola (planes directores y planes anuales, estrategias sectoriales y geogrcas), mejorar los mecanismos de gestin de proyectos, construir una metodologa sistemtica de evaluacin y reforzar los rganos consultivos y de coordinacin del Estado. La ley establece dos tipos de prioridades desde el punto de vista geogrco y sectorial con el objeto de concentrar la ayuda en los pases de menor desarrollo econmico y social y, dentro de stos, a los sectores ms desfavorecidos. Estas prioridades tienen su reejo en la estructura de planicacin de la Poltica de Cooperacin Espaola, tal y como se representa en la Figura 2. Los pilares bsicos de planicacin son los Planes Directores. En el vigente PD 2005-2008 se dene la erradicacin de la pobreza como objetivo central y se reeja el compromiso de incrementar los recursos asignados a la ayuda, compatibilizando este crecimiento con la elevacin de los niveles de calidad y ecacia de la cooperacin. Todo ello, en una apuesta por el alineamiento con el consenso internacional existente sobre la ayuda al desarrollo.

2. (http://www.oecd.org/dataoecd/53/56/34580968.pdf).

11

Manual de Gestin de Evaluaciones de la Cooperacin Espaola

Figura 2. Niveles de planicacin de la Poltica de Cooperacin Espaola

de la Cooperacin Espaola y coordinar las intervenciones desarrolladas en las reas y pases prioritarios que se denen en la LCID y en el PD 2005-2008. Por su parte, en los Planes Anuales de Cooperacin Internacional (PACI) se desarrollan anualmente los objetivos, prioridades y recursos de la Poltica de Cooperacin y se dene el marco presupuestario de las actuaciones. Los PACI tienen una estructura de carcter temtico, de forma que cada uno de ellos adopta como objetivo general alguno de los grandes objetivos del Plan Director, planteando respecto al mismo una serie de directrices, metas e indicadores.

PLAN DIRECTOR

DES

DEG

1.3. Instrumentos operativos

Los documentos de planicacin estratgica encuentran su desarrollo operativo en los instrumentos a travs de los que se articula y distribuye la ayuda. A continuacin se denen brevemente estos instrumentos que, junto con los documentos estratgicos de planicacin ya presentados, constituirn el objeto de las evaluaciones de la Cooperacin Espaola3: El proyecto

PACI

Instrumentos y Modalidades
Fuente: DGPOLDE

Las prioridades sectoriales se desarrollan a su vez a travs de estrategias especcas que se recogen en los Documentos de Estrategia Sectorial (DES), elaborados con el objetivo de facilitar su integracin coherente y coordinada en los planes de intervencin de los diferentes actores de la Cooperacin Espaola, mejorando la coherencia y complementariedad de sus actuaciones. Los Documentos de Estrategias Geogrcas (DEP) se elaboran para seleccionar las prioridades estratgicas

Un proyecto es un conjunto autnomo de inversiones, actividades, polticas y/o medidas institucionales o de otra ndole, diseado para lograr un objetivo especco de desarrollo en un periodo determinado, en una regin geogrca delimitada y para un grupo predenido de beneciarios, que contina produciendo bienes y/o prestando servicios tras la retirada del apoyo externo, y cuyos efectos perduran una vez nalizada su ejecucin. (Metodologa de Gestin de Proyectos de la Cooperacin Espaola - MAE, 2001:11 -) La cooperacin tcnica para el desarrollo En el artculo 10 de la LCID se dene este instrumento como cualquier modalidad de asistencia dirigida a la formacin de recursos humanos del pas receptor, mejo-

12

3. Para su denicin se han tomado como referencia diferentes documentos del MAEC (1998, 2001, 2005).

PARTE I: La evaluacin de la Poltica de Cooperacin al Desarrollo

rando sus niveles de instruccin, adiestramiento, cualicacin y capacidades tcnicas y productivas en los mbitos institucional, administrativo, econmico, sanitario, social, cultural, educativo, cientco o tecnolgico. El Fondo de Concesin de Microcrditos En el PD 2005-2008 se dene como un instrumento en la dotacin de servicios micronancieros en los pases en desarrollo que tiene por nalidad la lucha contra la pobreza. El Fondo de Ayuda al Desarrollo En el PD 2005-2008 se dene a los crditos concedidos por el Fondo de Ayuda al Desarrollo como un instrumento a travs del cual Espaa ofrece a los Gobiernos, instituciones o empresas de pases en desarrollo condiciones de nanciacin concesionales, que se vinculan, parcialmente, a la adquisicin de bienes y servicios producidos por empresas espaolas. Las actuaciones en materia de deuda externa Consisten principalmente en actuaciones orientadas a aliviar la deuda que los pases en vas de desarrollo mantienen con Espaa. Las operaciones de deuda deben realizarse en coordinacin con los organismos internacionales nancieros e ir acompaadas de polticas que ataquen las causas del exceso de endeudamiento de los pases receptores. La ayuda alimentaria La ayuda alimentaria es una transferencia de recursos a determinados pases o sectores en forma de alimentos, bien donados o bien vendidos con al menos un 25% de concesionalidad (esto es, de subsidio), as como en forma de donaciones monetarias o crditos (con un plazo de reembolso de tres aos o ms) ligados a compras alimentarias (Shaw y Clay, 1993:1).

La accin humanitaria La accin humanitaria se dene como un conjunto diverso de acciones de ayuda a las vctimas de desastres (desencadenados por catstrofes naturales o por conictos armados), orientadas a aliviar su sufrimiento, garantizar su subsistencia, proteger sus derechos fundamentales y defender su dignidad, as como, a veces, a frenar el proceso de desestructuracin socioeconmica de la comunidad y prepararlos ante desastres naturales (Prez de Armio, 2000). La educacin para el desarrollo y sensibilizacin social En el artculo 13 de la LCID se dene la educacin para el desarrollo y sensibilizacin social como un proceso educativo constante que favorece la comprensin de las interrelaciones econmicas, polticas, sociales y culturales entre el Norte y el Sur; promueve valores y actitudes relacionados con la solidaridad y la justicia social y busca vas de accin para lograr un desarrollo humano y sostenible. El apoyo presupuestario Segn el PD 2005-2008 se denomina apoyo presupuestario a cualquier forma de apoyo nanciero al presupuesto pblico del pas receptor, aunque en sentido estricto debera apoyar la gestin de su Gobierno a travs de su estrategia nacional de reduccin de la pobreza u otro plan de desarrollo. El enfoque sectorial Segn lo establecido en el PD 2005-2008, el enfoque sectorial (o Sector- wide Approaches, SWAP) es el proceso orientado a lograr que los recursos nancieros que el Gobierno o la cooperacin externa dedican a un sector, respondan a una poltica, un plan de actuacin y un plan de gasto nicos, ya que han sido elaborados por el Gobierno del pas receptor, que es quien los gestiona.
13

Manual de Gestin de Evaluaciones de la Cooperacin Espaola

1.4. Actores
En la Poltica de Cooperacin Espaola participan mltiples agentes pblicos y privados que, a su vez, deben coordinar sus actuaciones con las de otros pases donantes, los Organismos Internacionales (OO.II.) y con el Gobierno y la sociedad civil de los pases socios. Todos ellos jugarn un rol fundamental en los procesos de evaluacin y, como se ver ms adelante, deben identicarse desde el inicio de una evaluacin. En el Estado espaol4 las lneas generales y directrices bsicas de la Poltica de Cooperacin las propone el Gobierno, aunque estas deben ser aprobadas y sometidas a control por el Congreso, que cuenta para ello con una Comisin de Cooperacin Internacional para el Desarrollo, y que lleva a cabo esta tarea mediante el debate y dictamen del Plan Director, de los PACI y de la solicitud de comparecencias o la formulacin de preguntas parlamentarias. A la Administracin General del Estado (AGE) le corresponde dirigir, de conformidad con estas directrices, la poltica exterior y de cooperacin internacional. Desembolsa la mayor parte de la Ayuda Ocial al Desarrollo (en adelante, AOD), fundamentalmente a travs de tres Ministerios: M de Asuntos Exteriores y de Cooperacin, M de Economa y Hacienda, y M de Industria, Turismo y Comercio. De ellos, el Ministerio de Asuntos Exteriores y de Cooperacin (MAEC), a travs de la Secretara de Estado de Cooperacin Internacional (SECI), es el responsable de la direccin de la Poltica de Cooperacin Internacional para el Desarrollo y de la coordinacin de los rganos de la AGE para que realicen actuaciones en esta materia. La SECI planica, ejecuta y evala la Poltica de Cooperacin a travs de los siguientes rganos:

La Direccin General de Planicacin y Evaluacin de Polticas para el Desarrollo (DGPOLDE) Perteneciente a la SECI, es el rgano responsable de garantizar la coherencia del sistema de seguimiento y evaluacin de la Cooperacin Espaola. Como tal, se encarga del diseo y fortalecimiento de un sistema integral de evaluacin y del fomento del conocimiento y la cultura de evaluacin entre los distintos actores. Para ello debe elaborar las herramientas metodolgicas necesarias, programar anualmente las evaluaciones a realizar y coordinar y dar seguimiento a las evaluaciones realizadas en cada uno de los niveles del sistema de ayuda y en colaboracin con los distintos actores. Adems, debe asegurar la difusin de los resultados de las evaluaciones y emitir recomendaciones para mejorar la planicacin de intervenciones futuras y los procesos desarrollados por los diferentes actores. En el ejercicio de estas funciones, la DGPOLDE promueve de forma directa tres grupos de iniciativas de seguimiento y evaluacin: las evaluaciones estratgicas comprendidas en el Plan Anual de Evaluaciones, el seguimiento de los PACI, y la evaluacin de proyectos y convenios ejecutados por organizaciones no gubernamentales de desarrollo (ONGD). La Agencia Espaola de Cooperacin Internacional (AECI) Tambin dependiente de la SECI, es el principal organismo ejecutor de la Poltica de Cooperacin Espaola. Es responsable del diseo, la ejecucin y la gestin de los proyectos y programas de cooperacin para el desarrollo, ya sea directamente con el pas receptor (cooperacin bilateral) o a travs de los OO.II. y la UE (cooperacin multilateral). En el mbito de la cooperacin bilateral, recurre a la nanciacin directa de programas y proyectos, o bien trabaja de forma indirecta a travs de la concesin de subvenciones a ONGD para prestar ayuda humanitaria y de emergencia. Adems, gestio-

14

4. Una explicacin detallada de los actores de la Poltica de Cooperacin Espaola aparece en la Ley 23/1998 de Cooperacin Internacional para el Desarrollo y en el Plan Director de la Cooperacin Espaola 2005-2008. La elaboracin de este epgrafe se ha basado en los contenidos de ambos documentos.

PARTE I: La evaluacin de la Poltica de Cooperacin al Desarrollo

na el Fondo para la Concesin de Microcrditos y los Programas de Becas. Est representada en el extranjero mediante una amplia estructura que actualmente est formada por 37 Ocinas Tcnicas de Cooperacin (OTC), 12 Centros Culturales y 3 Centros de Formacin, situados en los pases donde la Cooperacin Espaola desarrolla sus principales proyectos. Por otra parte, las Comunidades Autnomas (CCAA) y las Entidades Locales (EELL) conforman la cooperacin descentralizada, uno de elementos ms representativos de la Cooperacin Espaola. Constituyen una importante fuente de nanciacin que canaliza su ayuda apoyando programas y proyectos de otros agentes, pero en ocasiones ejecutan de forma directa actuaciones en sectores sobre los que tienen experiencia propia. Adems de estos, otros actores de la Cooperacin Espaola son los siguientes: Las Organizaciones no Gubernamentales de Desarrollo (ONGD) Como ONGD son denidas aquellas entidades de derecho privado, legalmente constituidas y sin nes de lucro que tengan entre sus nes o como objeto expreso, segn sus propios estatutos, la realizacin de actividades relacionadas con los principios y objetivos de cooperacin internacional para el desarrollo. Su cercana a la sociedad les permite, adems de trabajar directamente con las poblaciones de los pases en desarrollo y sus organizaciones sociales, realizar una importante labor de movilizacin y articulacin de la sociedad civil orientada a promover la accin solidaria de los ciudadanos y su participacin en la Poltica de Cooperacin5. La Universidad Como institucin dotada de recursos tcnicos y humanos de alta cualicacin y como espacio para la sensibilizacin y educacin al desarrollo de la sociedad

espaola, es un actor que juega un papel importante en la Poltica de Cooperacin, tanto a travs de la ejecucin de proyectos propios, como mediante frmulas de asociacin para apoyar tcnicamente a otros actores en mbitos relacionados con la investigacin, la asesora especializada o la formacin de profesionales, entre otros. Las empresas y organizaciones empresariales Reconocidas como actores de la cooperacin al desarrollo en el artculo 31 de la LCID, ocupan una posicin privilegiada para fortalecer el sector privado en los pases en vas de desarrollo y desarrollar su tejido econmico y empresarial, generando empleo y riqueza con el objeto de promover un crecimiento econmico sostenible y una justa distribucin de la riqueza. Para ello, desarrollan un amplio conjunto de actuaciones que van, desde la formacin de capital humano y transferencia de tecnologa, hasta la creacin y desarrollo de infraestructuras y servicios sociales e impulso del asociacionismo empresarial. Los sindicatos Como defensores y promotores de los derechos laborales como condicin bsica para la realizacin de los derechos econmicos, sociales y culturales de la poblacin, pueden jugar un papel importante en los procesos de consolidacin democrtica de los PVD. Sus actuaciones de cooperacin para el desarrollo se traducen principalmente en iniciativas en el campo de la economa social como alternativa al desempleo, de formacin profesional o programas para reforzar la vinculacin creciente de la mujer en el mercado de trabajo. Adems, ocupan una posicin privilegiada para la sensibilizacin sobre los problemas de desarrollo de los pases del sur entre los trabajadores espaoles. Todos estos actores se encuentran representados en los siguientes rganos Consultivos y de Coordinacin de la Cooperacin Espaola:

5. El Programa de las Naciones Unidas para el Desarrollo (PNUD) otorga a las ONGD una triple funcin de cara a la consecucin de los ODM: participar en el diseo de estrategias de lucha contra la pobreza y polticas de cooperacin, tanto en los pases de origen como en los pases de destino de la ayuda; prestar servicios de ayuda humanitaria y lucha contra la pobreza como gestoras de la AOD; y promover el cumplimiento de los compromisos adquiridos para el logro de los ODM.

15

Manual de Gestin de Evaluaciones de la Cooperacin Espaola

Consejo de Cooperacin al Desarrollo El es el rgano consultivo de la AGE y de participacin en la denicin de la Poltica de Cooperacin Internacional para el Desarrollo. En el mismo participan representantes de la sociedad civil y agentes sociales de la cooperacin junto con representantes de la AGE6. La Comisin Interterritorial de Cooperacin Internacional Se trata de un rgano consultivo y de coordinacin, concertacin y colaboracin entre las Administraciones Pblicas (AGE, CCAA y EELL) que llevan a cabo acciones de cooperacin para el desarrollo7. La Comisin Interministerial de Cooperacin Internacional La LCID, establece que la Comisin Interministerial de Cooperacin Internacional es el rgano de coordinacin tcnica interdepartamental de la AGE en materia de cooperacin para el desarrollo. En el sistema espaol, en el que las competencias de gestin de los distintos instrumentos de cooperacin corresponden a diferentes departamentos ministeriales, esta coordinacin resulta fundamental para maximizar la ecacia de la ayuda. Adems de los actores sealados, para coordinar las actuaciones de cooperacin tambin deben tenerse en cuenta los agentes de otros pases. Entre ellos: Los Organismos Internacionales (OOII) Canalizan la ayuda multilateral espaola, que resulta esencial en la apuesta global por el logro de los Objetivos de Desarrollo del Milenio. Los organismos internacionales pueden ser nancieros y no nancieros. Entre los primeros, guran instituciones como el Banco Mundial (BM), el Fondo Monetario Internacional (FMI) y

el Banco Interamericano de Desarrollo (BID), mientras que los principales organismos no nancieros son la Unin Europea (UE), las Naciones Unidas (NNUU) y el Comit de Ayuda al Desarrollo (CAD) de la Organizacin para la Cooperacin y el Desarrollo Econmico (OCDE). Los actores de los pases receptores de la ayuda A travs de la participacin de los actores de los PVD en la planicacin, ejecucin, seguimiento y evaluacin de la poltica de desarrollo, el sistema de ayuda espaol busca un compromiso activo de los Estados, las empresas, las organizaciones y la sociedad civil de los pases receptores con el propsito de lograr la desvinculacin progresiva de la ayuda y la cesin de responsabilidad hacia estos actores sobre las decisiones nancieras y de gestin de la cooperacin. Este proceso requiere de un esfuerzo para incrementar las capacidades institucionales, sociales y humanas de los pases receptores. Como se ver ms adelante, de todos estos actores puede surgir la iniciativa de poner en marcha un proceso de evaluacin.

16

6. El Consejo est adscrito al MAEC a travs de la SECI y regulado por el artculo 22 de la Ley 23/1998, de 7 de julio, de Cooperacin Internacional para el Desarrollo y el Real Decreto 2217/2004, de 26 de noviembre, sobre competencias, funciones, composicin y organizacin del Consejo de Cooperacin al Desarrollo. 7. Est regulada por el artculo 23 de la Ley de Cooperacin Internacional para el Desarrollo y el Real Decreto 22/2000, de 14 de enero.

2. Cuestiones previas al ciclo de la evaluacin

2.1. Qu es la evaluacin de la Poltica de Cooperacin para el Desarrollo?
Como toda accin pblica, la Poltica de Cooperacin para el Desarrollo pretende incidir en la sociedad actuando sobre las necesidades y problemas detectados con el objetivo de provocar un impacto o cambio de esa realidad. Para ello, se dene y articula un conjunto de objetivos y se ponen en marcha los instrumentos que deben facilitar su logro. A travs de la evaluacin se analizan todas las etapas de la poltica, desde que se decide intervenir hasta que se maniestan sus impactos, tal y como se representa en la Figura 3.

Figura 3. Enfoque integral de la evaluacin de la cooperacin espaola

Sociedad receptora AOD

NECESIDADES

IMPACTOS

Poltica de cooperacin

OBJETIVOS

INSTRUMENTOS

RESULTADOS

Evaluacin coherencia pertinencia EVALUABILIDAD

ecacia

eciencia
GESTIN VIABILIDAD IMPACTOS

METAEVALUACIN

SNTESIS DE EVALUACIONES

Fuente: Adaptado de IDR (2000).

17

Manual de Gestin de Evaluaciones de la Cooperacin Espaola

uimiento y Evalua

Esta denicin lleva a entender la evaluacin como un proceso que constituye una parte fundamental del ciclo integrado de la poltica pblica de desarrollo (recogido en la Figura 4) donde, junto al seguimiento, retroalimenta el proceso de planicacin, permitiendo el incremento progresivo y continuo de la calidad de la AOD. Por eso, una labor fundamental asociada a la evaluacin consiste en la efectiva utilizacin y aplicacin de sus conclusiones y recomendaciones, para que sea un verdadero instrumento de aprendizaje que permita mejorar la actividad evaluada o actividades similares, aspecto fundamental para la gestin y planicacin de la ayuda al desarrollo en sus actuaciones presentes y orientaciones futuras. (MAE, 2005: 115).

Fuente: Elaboracin propia

La evaluacin ya no es el ltimo paso a realizar una vez nalizadas las intervenciones, sino que se integra desde el primer momento en que stas se conciben y disean. Para ello es necesario que se establezca un sistema de seguimiento adecuado que permita conocer peridicamente cmo se estn desarrollando las actuaciones y qu efectos estn causando.

18

ie guim Se

n ti

nto y Evalua ci n

Ap l eje ica c

De esta denicin se desprende que el objetivo general de la evaluacin es el incremento de la calidad de la ayuda, mediante el enjuiciamiento del diseo, la aplicacin, los resultados y los efectos de la Poltica de Cooperacin. Adems, la evaluacin se concibe en la Cooperacin Espaola como una herramienta orientada a mejorar la planicacin, fortalecer las capacidades de las entidades involucradas en la gestin de las intervenciones y facilitar la participacin y concertacin entre todos los actores implicados.

ny ci in uc

El Plan Director toma como punto de referencia la denicin de evaluacin del CAD, la ms extendida y comnmente aceptada en el mbito de la cooperacin al desarrollo, en la que se entiende la evaluacin como una apreciacin, tan sistemtica y objetiva como sea posible, sobre un proyecto en curso o acabado, un programa o un conjunto de lneas de accin, su concepcin, su realizacin y sus resultados. Se trata de determinar la pertinencia de los objetivos y su grado de realizacin, la eciencia en cuanto al desarrollo, la ecacia, el impacto y la viabilidad. Una evaluacin debe proporcionar unas informaciones crebles y tiles, que permitan integrar las enseanzas sacadas en los mecanismos de elaboracin de las decisiones, tanto de los pases de acogida como de los donantes (CAD, 1995a, p. 178).

Figura 4. El ciclo de planicacin, seguimiento y evaluacin

Se g

uimiento y Evalua

ci n

Re e Im sult p

os ad tos ac

Dis e
o

ci n

gu Se
to imien

Planicacin

y Evalua ci

Ge s

Se g

PARTE I: La evaluacin de la Poltica de Cooperacin al Desarrollo

2.2. Cul es la losofa que sustenta la evaluacin de la cooperacin espaola?

Ahora bien, para que la evaluacin se integre de forma efectiva en el ciclo de planicacin de la Poltica de Cooperacin y genere los procesos de aprendizaje necesarios para mejorar la calidad de la ayuda, deben observarse cuatro principios que constituyen lo que se denomina la losofa de evaluacin de la cooperacin espaola. Estos principios son: participacin, aprendizaje e incorporacin de lecciones de la experiencia, utilidad, y transparencia (Figura 5), que en ltima instancia determinarn la calidad de la ayuda. Figura 5. Principios de evaluacin de la Cooperacin Espaola

Aprendizaje e incorporacin de las lecciones de la experiencia La evaluacin no tiene como nalidad la penalizacin sino el aprendizaje, de forma que se puedan incorporar a la gestin y a la planicacin aquellos elementos que hayan mostrado mayores y mejores logros, cerrando as el ciclo de la transferencia efectiva de las mejores prcticas. Utilidad El proceso y los resultados de la evaluacin deben ser tiles a gestores, planicadores, decisores y a la sociedad en general. Para garantizar la utilidad de la evaluacin, el sistema de seguimiento y evaluacin de la Cooperacin Espaola debe contar con las pautas y controles necesarios para promover su calidad y sistematizacin. Transparencia

Calidad Aprendizaje Participacin

Fuente: Elaboracin propia

Utilidad Transparencia

La evaluacin debe garantizar la transparencia del proceso de planicacin, gestin y ejecucin de la Poltica de Cooperacin y salvaguardar la del propio proceso de evaluacin, favoreciendo la rendicin de cuentas y ofreciendo respuestas a las necesidades de informacin de todos los actores involucrados en las intervenciones. Para ello, los interesados deben tener acceso a informacin referente a los procedimientos aplicados, la asignacin de recursos y los resultados de las intervenciones. En denitiva, y de acuerdo con la denicin y los principios establecidos, el objetivo general de incremento de la calidad de la ayuda a travs de la mejora de los niveles de ecacia que debe perseguir la evaluacin, se lograr en la medida en que sta sea participativa, imparcial, transparente, se oriente al aprendizaje y genere resultados tiles para mejorar la gestin y la planicacin de las intervenciones.

Participacin La evaluacin debe procurar cauces para la participacin, de modo que todos los actores puedan valorar el diseo, la aplicacin y los resultados de la Poltica de Cooperacin (planicadores, gestores, representantes polticos, organizaciones, contrapartes evaluadas, beneciarios etc.). De esta forma se prepara el terreno para la concertacin y el consenso en los procesos de decisin pblica sobre la cooperacin al desarrollo.

19

Manual de Gestin de Evaluaciones de la Cooperacin Espaola

En respuesta a los principios de evaluacin expuestos, y considerando las peculiaridades de la cooperacin internacional como objeto de evaluacin, los condicionantes metodolgicos que stas conllevan y el marco normativo establecido, se considera que se debe aplicar un enfoque de evaluacin caracterizado por la aplicacin de: Una aproximacin integral orientada a resultados Frente a la concepcin tradicional de la evaluacin como ltima etapa del proceso de planicacin, se deende la incorporacin de una visin integral e integradora. La evaluacin, con independencia del momento en el que se realice, contempla todas las etapas de la intervencin, desde que se disea hasta que se maniestan sus resultados e impactos, referentes ltimos de la evaluacin. Y todo ello sin obviar el contexto sociopoltico en el que se desarrolla la intervencin y su evaluacin. Un enfoque pluralista y participativo Se entiende la evaluacin de la poltica pblica de cooperacin al desarrollo como un proceso de dilogo, que debe promover la participacin activa de los agentes implicados, pblicos y del tercer sector, tanto en los pases donantes como en los receptores, determinando qu informacin necesitan, cundo, cmo y para qu. Una orientacin analtica, formativa y conclusiva El seguimiento y la evaluacin deben vincular los aspectos de la cooperacin internacional relacio-

nados con la gestin, la realizacin y los resultados para, revelando las relaciones causales e interrelaciones que existen entre ellos, calicar la ecacia y eciencia de la ayuda al desarrollo. Una estrategia basada en la utilizacin de los resultados La evaluacin de los diferentes niveles de la planicacin de la Cooperacin Espaola al desarrollo se realiza para que sus resultados sean utilizados. Por tanto, debe producir informacin til a todos los implicados y fundamentalmente a sus destinatarios, fortaleciendo el proceso de aprendizaje y la incorporacin de las lecciones de la experiencia al diseo y ejecucin de la poltica. Desde esta aproximacin integral, la evaluacin se concibe como una metodologa de anlisis sistemtico que se aplica para determinar el mrito o valor de la formulacin y diseo, aplicacin y gestin, as como de los resultados e impactos generados por las intervenciones de la Cooperacin Espaola. De esta manera, la evaluacin se convierte en una herramienta orientada a la planicacin y a la gestin puesto que entre sus propsitos se encuentran: mejorar los procesos de toma de decisiones a travs de mecanismos de retroalimentacin; rendir cuentas ante los ciudadanos de las acciones emprendidas, reforzando el sentido de responsabilidad como parte del proceso de democratizacin y participacin en la toma de decisiones; y contribuir a la formacin, aprendizaje y capacitacin de las organizaciones e instituciones que participan en el proceso de evaluacin, permitiendo la incorporacin a la Poltica de Cooperacin Espaola de las mejores prcticas y las lecciones de la experiencia.

20

PARTE I: La evaluacin de la Poltica de Cooperacin al Desarrollo

2.3. Qu es el seguimiento y en qu se diferencia de la evaluacin?

El seguimiento consiste en la recopilacin sistemtica de informacin sobre el desarrollo y aplicacin de una intervencin. Un buen sistema de seguimiento debe permitir: Obtener la informacin con la calidad, agregacin, organizacin y estructuracin necesaria para que, al inicio, a medio camino y una vez nalizada la intervencin, facilite su evaluacin. Identicar los puntos crticos en la aplicacin de las intervenciones, permitiendo detectar problemas y alertar a los responsables, facilitando la toma de decisiones sobre las acciones correctoras a emprender. Conocer quin hace qu y cmo, y determinar los procedimientos que se han institucionalizado para la gestin, aplicacin y adecuacin de las intervenciones, Figura 6. Utilidad del seguimiento

as como para la coordinacin de actuaciones a todos los niveles en el caso de instrumentos estratgicos. Junto a la planicacin y la evaluacin, el seguimiento forma parte del ciclo integrado de la Poltica de Cooperacin. Vincula a ambos, puesto que genera la informacin que se necesita para los procesos de retroalimentacin y aprendizaje desarrollados en la evaluacin y que mejoran la planicacin y gestin de las intervenciones. El seguimiento est, pues, al servicio de la gestin y de la evaluacin. Toda aquella informacin relevante sobre la intervencin que no se vaya recabando y sistematizando durante su diseo y aplicacin dicultar la toma de decisiones y encarecer, en tiempo y en dinero, la evaluacin, puesto que deber recopilarse a posteriori. Tal y como se reeja en la Figura 6, el seguimiento debe ser til para aquellos actores del sistema de cooperacin responsables de la gestin, la planicacin y la evaluacin de las actuaciones. Pero la generacin de informacin estructurada tambin permite informar

Se construye el sistema de indicadores Produce la informacin deseada

Se mantiene la vigilancia sobre los efectos no deseado Los gestores toman mejores decisiones La informacin se usa para mejorar la planicacin y aplicacin de la poltica de cooperacin
Fuente: Adaptado de European Comision, 1999. Vol. 2.

La informacin es difundida

Todos los actores tienen mayor conocimiento de lo realizado y sus resultados

21

Manual de Gestin de Evaluaciones de la Cooperacin Espaola

a otros actores (especialmente a los beneciarios, a las organizaciones y los Gobiernos de los pases receptores, as como a los representantes polticos y a la sociedad civil de los pases donantes) sobre lo que se est haciendo, cmo y con qu resultados, lo que abre espacios de participacin, legitima y da transparencia a la Poltica de Cooperacin. En la Figura 7 se han recogido algunas de las diferencias fundamentales entre el seguimiento y la evaluacin. Frente a la evaluacin, cuya nalidad es emitir un juicio crtico acerca de la validez de la intervencin, el seguimiento se limita a informar de manera aislada de cada uno de sus elementos, mostrando el ritmo de aplicacin respecto a lo previsto o en relacin con estndares aceptados y proyectando la viabilidad de la actuacin en tiempo, calidad y coste. Otra de las diferencias radica en la estrecha vinculacin entre el seguimiento y la gestin de las intervenciones, lo que hace que sea una tarea que necesariamente debe llevarse a cabo de manera interna por el personal de la organizacin que aplica la intervencin, frente a la evaluacin, que puede realizarse externamente. Para que el sistema de seguimiento est integrado en la gestin cotidiana debe ser gil, oportuno y ecaz. Ello hace que, adems, sea menos costoso. Aunque no hay un modelo de sistema de seguimiento nico y universal para todo tipo de intervencin, existen

una serie de caractersticas que cualquier sistema de informacin debe cumplir. Entre ellas se encuentran las siguientes: Debe ser able y ecaz, de manera que contribuya a mejorar la aplicacin de las intervenciones. Debe considerar las necesidades de informacin de todos los actores participantes y abarcar todos los mbitos y niveles de planicacin. Debe estar integrado coherentemente en las estructuras organizativas de los diferentes rganos implicados en las intervenciones. Debe contar con los recursos necesarios, tanto nancieros y materiales como humanos, para que pueda llevarse a cabo en tiempo y con calidad. Junto a este Manual, la DGPOLDE y el IDR han elaborado unos Protocolos de Seguimiento donde se detalla el procedimiento a seguir para recopilar y sistematizar la informacin necesaria para mejorar la gestin y facilitar la evaluacin. En ellos encontrar un conjunto de pautas de carcter procedimental que apoyan el seguimiento de las estrategias (sectoriales y geogrcas) e instrumentos operativos de la Cooperacin Espaola (proyectos), asegurando su integracin y articulacin en el conjunto del sistema de seguimiento y evaluacin.

Figura 7. Diferencias entre seguimiento y evaluacin Evaluacin Se realiza en un momento concreto. Emite juicios crticos sobre la validez, bondad y utilidad de la intervencin. Se puede realizar tanto internamente como por evaluadores externos.
Fuente: Adaptado de IDR (2000). 22

Seguimiento Continuo. Informacin aislada sobre el progreso de los elementos de la intervencin. En principio, se debe realizar internamente por los gestores de la intervencin.

PARTE I: La evaluacin de la Poltica de Cooperacin al Desarrollo

2.4. Qu diferencias hay entre promover, gestionar y realizar una evaluacin?

En el desarrollo de un proceso evaluativo se pueden identicar diferentes roles que pueden ser desempeados por los distintos actores de la cooperacin al desarrollo. El papel de cada actor puede variar de una evaluacin a otra o, incluso, a lo largo de un mismo proceso evaluativo. Promotores de la evaluacin Aquellos que generan la motivacin para evaluar o que deben dar cumplimiento a un mandato de evaluacin. Normalmente son los responsables de su nanciacin. Sin embargo, y como se ver ms adelante, quien promueve la evaluacin no tiene que ser necesariamente quien gestiona o nancia la intervencin. Gestores de la evaluacin Aquellos que se encargan de que el proceso evaluativo se realice segn lo establecido, impulsando y liderando

el diseo de la evaluacin; coordinando y supervisando el avance y desarrollo del estudio de evaluacin y la calidad del proceso; y son los responsables de comunicar sus resultados, conclusiones y recomendaciones. Para ello deben tener las competencias y destrezas necesarias para participar en el diseo y gestin de actividades en materia de evaluacin. Evaluadores Aquellos encargados de realizar el estudio de evaluacin, que pueden ser internos (estar implicados en el diseo, aplicacin o gestin de la intervencin), o ser externos y ajenos a ella. Informantes clave Personas o entidades que poseen informacin relevante para la evaluacin y que, al igual que el resto de actores, tienen necesidades informativas en torno al proceso como potenciales usuarios o interesados. La participacin de estos agentes en el proceso evaluativo es clave para garantizar la apropiacin de los resultados y la satisfaccin de sus necesidades.

En la prctica Los gestores de la evaluacin pueden ser, adems, los gestores de la intervencin evaluada. Es el caso, por ejemplo, de las evaluaciones que las ONGD deben realizar de los proyectos subvencionados por la AECI. Tambin cabe la posibilidad de que una entidad sea gestora de la evaluacin que ella misma promueve, como ocurre con las evaluaciones que la DGPOLDE realiza anualmente en el marco de su Plan de Evaluaciones.

23

Manual de Gestin de Evaluaciones de la Cooperacin Espaola

2.5. Quines promueven la evaluacin de la Cooperacin Espaola y por qu lo hacen?

La DGPOLDE es la unidad encargada de fortalecer y coordinar el sistema de seguimiento y evaluacin de la Cooperacin Espaola. Las funciones relacionadas con la evaluacin que asume la DGPOLDE se presentan en la Figura 8. Figura 8. Funciones de la Divisin de Evaluacion de la DGPOLDE Programacin de las evaluaciones a realizar (Plan de Evaluaciones). Estas Evaluaciones, denominadas estratgicas, son seleccionadas en funcin de su relevancia y de las prioridades de planicacin, pudiendo ser temticas, geogrcas o sectoriales, e incluyen la valoracin de instrumentos, programas y proyectos. Coordinacin y seguimiento de las evaluaciones, en colaboracin con los actores de las intervenciones evaluadas. Emisin de recomendaciones para la mejora de las intervenciones a sus responsables. Difusin y devolucin de los resultados de las evaluaciones, publicacin de informes de evaluacin y organizacin de seminarios de intercambio de las enseanzas obtenidas. Elaboracin de herramientas metodolgicas para la evaluacin de la Cooperacin Espaola. Participacin en la red de evaluacin del CAD de la OCDE y otras redes internacionales. Coordinacin e intercambio de informacin sobre evaluacin de la cooperacin internacional con los organismos de la Cooperacin Espaola, especialmente con Comunidades Autnomas y Entidades Locales. Fortalecimiento del sistema de evaluacin de la Cooperacin Espaola y fomento del conocimiento y la cultura de evaluacin entre los actores de la cooperacin espaola a travs de cursos, seminarios, talleres y otros mecanismos de difusin y formacin. Velar por la calidad y coherencia del sistema de seguimiento y evaluacin de las intervenciones en materia de cooperacin al desarrollo.

Fuentes: Artculo 16.1, Real Decreto 755/2005, de 24 de junio y www.mae.es.

24

PARTE I: La evaluacin de la Poltica de Cooperacin al Desarrollo

El resto de actores de la cooperacin al desarrollo son tambin promotores de evaluaciones. En la Figura 9 se presentan algunos ejemplos: Figura 9. Promotores de evaluaciones en el sistema de cooperacin espaol De acuerdo con el Plan Director, la AECI debe incluir un plan de evaluaciones en la programacin de sus intervenciones: proyectos, programas sectoriales y regionales. Pueden poner en marcha y gestionar sus propios procesos de evaluacin de los instrumentos que gestionan. Las leyes autonmicas, rdenes reguladoras u ordenanzas especcas de su Poltica de Cooperacin suelen establecer la obligacin de realizar evaluaciones y presentar informes peridicos de seguimiento y evaluacin. Por lo general, tienen la obligacin de presentar a la Administracin informes de seguimiento y evaluacin de las actuaciones para las que hayan recibido subvencin pblica. Aunque no es una prctica usual, los acuerdos sobre apropiacin, alineamiento y mutua rendicin de cuentas que se han adoptado en los foros internacionales reclaman para los beneciarios y las organizaciones del Sur el derecho a demandar evaluaciones orientadas a mejorar la calidad de la ayuda y su efectivo impacto sobre la pobreza, utilizando para ello las Comisiones Mixtas u otro mecanismo. La realizacin de evaluaciones conjuntas es cada vez ms demandada, por sus ventajas en trminos de armonizacin de procedimientos, legitimidad de la evaluacin y reduccin de costes.

AECI Otros Ministerios

CC.AA. y EE.LL.

ONGD

Contrapartes de los pases socios y beneciarios

Otros donantes internacionales

Fuente: MAEC, 2005.

La iniciativa puede provenir de otros actores no incluidos en la Figura 9, tales como el Consejo de Cooperacin o el Parlamento, que remitiran sus propuestas directamente a la SECI. Es decir, como ya se coment, de cualquiera de los actores del sistema de cooperacin puede surgir la iniciativa de poner en marcha un proceso de evaluacin. Ahora bien, teniendo en cuenta las distintas necesidades de informacin de cada grupo, es previsible que las evaluaciones de instrumentos operativos surjan, por ejemplo, de la AECI y de las ONGD, mientras que las de carcter sectorial, geogrco, temtico y de programas tenga su origen en la DGPOLDE o en los responsables de pas.

25

Manual de Gestin de Evaluaciones de la Cooperacin Espaola

2.6. Se puede realizar la evaluacin?: evaluacin o anlisis de la evaluabilidad

Antes de tomar la decisin sobre evaluar o no una determinada intervencin es conveniente que se realice o encargue una evaluacin de la evaluabilidad con el objetivo de determinar hasta qu punto es evaluable y si existen las condiciones para realizar la evaluacin. Esta cualidad debe contrastarse como paso previo a toda evaluacin, puesto que condiciona su alcance, calidad y utilidad. Pero la valoracin de la evaluabilidad no slo debe concluir con la respuesta positiva o negativa sobre la posibilidad de evaluar la intervencin. En caso de llegar a la conclusin de que la intervencin no sea evaluable, las recomendaciones del anlisis de evaluabilidad deben permitir preparar a la intervencin para ser evaluada. Independientemente del momento en que se vaya a realizar la evaluacin, el alcance y los resultados de la misma se encuentran limitados por los siguientes factores: La calidad de la planicacin Durante el proceso de evaluacin, la lgica de razonamiento de arriba abajo que orienta la tarea de planicacin se invierte, transformndose en una lgica de abajo a arriba que remonta desde las acciones concretas a los objetivos especcos y generales que se persiguen. Por ello, cuanto ms imperfecta sea la planicacin (objetivos decientemente denidos, relaciones de causalidad entre actuaciones y objetivos mal establecidas, etc.), ms dicultades se encontrarn para realizar la evaluacin.

La existencia y disponibilidad de informacin La falta de informacin en cantidad y calidad suciente, y ms an, la ausencia de sistematizacin, homogeneizacin y abilidad de los datos sobre la intervencin, se convierten, habitualmente, en los principales obstculos a los que se enfrenta el equipo evaluador. Debe asumirse que la ausencia de un sistema de seguimiento ptimo conlleva un mayor coste en tiempo y dinero para la evaluacin y, en ocasiones, llega incluso a imposibilitarla. Por ello, es fundamental analizar las caractersticas y funcionamiento del sistema de seguimiento que se haya diseado para recoger informacin durante el proceso de aplicacin de las intervenciones. La implicacin de los actores y el contexto sociopoltico La implicacin de los polticos, gestores y tcnicos en el proceso de evaluacin, y la participacin de las contrapartes y beneciarios son condiciones indispensables para poder evaluar una intervencin. Es importante saber si existir un clima favorable de cooperacin y entendimiento entre evaluados y evaluadores que facilite el desarrollo posterior de la evaluacin y asegure su utilidad, al igual que una efectiva implicacin de las contrapartes, algo que vendr indudablemente condicionado por el contexto sociopoltico en el que se desarrolle la intervencin y su evaluacin. La valoracin de estos elementos le permitir saber hasta qu punto una estrategia o instrumento de cooperacin es evaluable, y le servir de base para preparar la intervencin para ser evaluada, puesto que le ofrece insumos sobre cmo corregir aquellos elementos que puedan condicionar el alcance de la evaluacin que quiere poner en marcha. Los pasos a seguir para realizar un anlisis de evaluabilidad se explican en el apartado del Manual dedicado a presentar el ciclo de la evaluacin.

26

PARTE I: La evaluacin de la Poltica de Cooperacin al Desarrollo

2.7. Qu tipos de evaluaciones se pueden gestionar y realizar?

En el mbito de la Cooperacin Espaola se pueden desarrollar distintos tipos de evaluacin segn la variable que se considere para su clasicacin. Entre las ms comunes se encuentran las siguientes: contenido prioritario de la evaluacin, momento temporal en el que se efecte; agente que la realice, actor que la promueva; y en funcin de la temtica y objeto a evaluar. Estas son las que se han recogido, a modo orientativo, en la Figura 108. TIPOS DE EVALUACIN Contenido Diseo Proceso Resultados Impactos Metaevaluacin Agente Internas Gestor/aEvaluador/a Externas Mixtas Promotor/a Individuales Conjuntas Ex-ante Intermedia Final y Ex-post Evaluabilidad Momento temporal

Temtica y objeto Geogrcas Estrategias Sectoriales Prioridades horizontales Plan Director Instrumentos operativos Proyectos Convenios Crditos FAD Microcrditos Ayuda humanitaria Otros...
Fuente: Elaboracin propia
8. Otra tipologa de evaluacin que tradicionalmente se considera en el mbito de la evaluacin es aquella que distingue entre evaluacin sumativa y formativa apelando a la nalidad ltima de la evaluacin. Desde esta ptica, las evaluaciones que se concentran en enjuiciar la intervencin para tomar decisiones sobre su continuidad o expansin se calican como sumativas (Scriven en IDR, 2000: 14) mientras que aquellas que se preocupan fundamentalmente por el aprendizaje para la mejora de la intervencin se denominan formativas (Scriven en IDR, 2000: 15). Es esta segunda opcin la que sustenta el enfoque de evaluacin de la Cooperacin Espaola.

27

Manual de Gestin de Evaluaciones de la Cooperacin Espaola

A. Evaluaciones segn su contenido

Segn el contenido de las evaluaciones o las etapas de la intervencin que se analizan se pueden gestionar los siguientes tipos de evaluaciones: Evaluacin de diseo Tienen como objetivo analizar la racionalidad y la coherencia de la intervencin, vericar la calidad y realidad del diagnstico realizado, constatar la existencia de objetivos claramente denidos, analizar su correspondencia con los problemas y examinar la lgica del modelo de intervencin diseado. El anlisis de coherencia se puede realizar tanto de forma interna, como en relacin con otras polticas y actuaciones que inciden en los mismos territorios o sobre los mismos colectivos y sectores, as como con los marcos superiores de planicacin en los que se enmarca la intervencin. Evaluacin de proceso o de gestin Su objetivo es valorar la forma en que se gestiona y aplica la AOD en sus diferentes formatos y niveles de planicacin. Se trata de analizar la capacidad de los centros de planicacin y gestin de la intervencin en relacin con su diseo, aplicacin, seguimiento y evaluacin, y de examinar la implicacin y coordinacin de los centros gestores, de donantes y receptores, en dichas tareas, determinando el rol de cada uno, la idoneidad de la organizacin y la suciencia en la dotacin de recursos. Evaluacin de resultados El objetivo principal es analizar y valorar hasta qu punto se pueden conseguir, se estn consiguiendo o se han conseguido, los objetivos ms inmediatos y directos establecidos (ecacia), y examinar a qu coste se alcanzan en trminos de tiempo y recursos humanos, materiales y monetarios (eciencia).

Evaluacin de impactos El objetivo es valorar los efectos ms generales y menos inmediatos de la intervencin sobre las necesidades de sus beneciarios. Es un anlisis complejo, pues debe indagar en las relaciones de causalidad entre la intervencin y los cambios habidos (efecto neto), deslindndolos de los efectos producidos por intervenciones distintas a la evaluada o por la propia evolucin del contexto. Frente a la concepcin tradicional de la evaluacin como ltima etapa del proceso de planicacin, centrada, principalmente en la valoracin de resultados, el enfoque integral de la evaluacin que se adopta en la Cooperacin Espaola la sita desde el primer momento de la formulacin y diseo de las actuaciones, con la particularidad de no limitarse exclusivamente a valorar sus efectos una vez nalizadas. As entendida la evaluacin, el diseo, el proceso y los resultados e impactos son contenidos que pueden evaluarse en cualquier momento: antes de la puesta en marcha de la intervencin, durante la ejecucin o una vez nalizadas las actuaciones.

B. Evaluaciones segn el momento en que se realizan

Segn el momento temporal en el que se realizan las evaluaciones en relacin con el ciclo de vida de la intervencin evaluada se distingue entre: evaluacin exante, intermedia, y ex-post. Evaluacin ex-ante Se realiza antes de poner en marcha la intervencin, siendo el objetivo principal analizar su adecuacin a las necesidades que la motivan y sus posibilidades de xito. Tambin se pronuncia sobre la coherencia interna de la lgica de planicacin, la funcionalidad de los mecanismos de gestin y aplicacin que se pretenden

28

PARTE I: La evaluacin de la Poltica de Cooperacin al Desarrollo

articular, sobre la idoneidad del sistema de seguimiento diseado para recoger la informacin, y sobre los resultados e impactos previsibles del programa. Es en denitiva, una evaluacin prospectiva. Evaluacin intermedia Se lleva a cabo a medio camino en el desarrollo de la intervencin. Consiste en la valoracin crtica de la informacin producida sobre el comportamiento de las actuaciones para determinar la pertinencia de los objetivos considerados, la calidad del sistema de gestin y seguimiento que se est aplicando, la forma en la que los objetivos perseguidos se estn consiguiendo y, en denitiva, pronunciarse sobre la validez de la intervencin en curso, explicando las diferencias respecto a lo esperado, y estimando anticipadamente los resultados nales de la intervencin. No debe confundirse a la evaluacin intermedia con el seguimiento. La diferencia entre ambos radica, como ya se ha comentado, en que el seguimiento permite informar, de manera aislada, de los elementos de la intervencin (coherencia con otras intervenciones, ejecucin y aplicacin de las actuaciones, grado de participacin de la poblacin objetivo, y evolucin del contexto socioeconmico, entre otros), mientras que con la evaluacin se relacionan todas las variables para emitir un juicio crtico sobre sus mritos y logros. Evaluacin ex-post Se realiza una vez nalizada la intervencin. Su objetivo es emitir un juicio sobre el xito o fracaso de la intervencin desarrollada, el acierto de la estrategia diseada, su grado de exibilidad y capacidad de adaptacin a una realidad siempre cambiante, su ecacia y eciencia, la adecuacin de los mecanismos de gestin y seguimiento aplicados, y los resultados e impactos logrados. Puesto que es necesario dejar transcurrir un tiempo desde la nalizacin de la intervencin para que se maniesten los impactos y efectos ms indirectos, suele distinguirse entre evaluacin nal (realizada

nada ms terminar la intervencin) y evaluacin expost (realizada en un momento posterior). Son evaluaciones retrospectivas. Realmente, las evaluaciones ex ante, intermedia y ex post no constituyen una tipologa de evaluaciones sino una manera de clasicarlas en funcin de cuando se realizan. Sin embargo, es frecuente relacionar el momento en que se desarrolla la evaluacin con la etapa de la intervencin, y caer en el error de considerar que en las evaluaciones ex-ante nicamente se valora el diseo de la intervencin, en las intermedias el proceso y los resultados que se estn alcanzando, y en las ex post los resultados e impactos nales. Es cierto que las evaluaciones realizadas ex ante suelen centrar su atencin en la valoracin de la pertinencia del diagnstico y la coherencia interna y externa de la estrategia. Pero tambin pueden valorarse en este momento aspectos relacionados con la gestin o los resultados esperados de la intervencin, aunque sta no se haya iniciado. Siguiendo esta misma lgica, en una evaluacin intermedia se podr evaluar, adems del proceso de gestin de la intervencin, la calidad de su diseo, o revisar los resultados y objetivos previstos tras realizar una valoracin crtica de lo realizado hasta el momento y analizar la evolucin del contexto. Consecuentemente, cuando concluyan las actividades programadas, puede plantearse una evaluacin ex-ante en la que, junto a los resultados obtenidos, se analicen el diseo y el desarrollo de la intervencin. Por tanto, los criterios que clasican a las evaluaciones segn el momento en que se realicen y segn su contenido no son excluyentes. Las evaluaciones ex-ante, intermedia y ex-post pueden englobar todos los tipos de evaluacin contemplados en la clasicacin segn su contenido (diseo, proceso, resultados e impactos). De este modo, la perspectiva que clasica la evaluacin segn su contenido ampla la interpretacin de la evaluacin como una fase independiente de la intervencin, para denirla como una losofa o cultura
29

Manual de Gestin de Evaluaciones de la Cooperacin Espaola

que debe imbuir todas y cada una de las etapas de su ciclo de vida. En resumen, el diseo y planicacin de la evaluacin deben gestarse desde el inicio de las intervenciones para que pueda contribuir a mejorar los procesos de aprendizaje y capacitacin institucional. Es decir, se debe planicar pensando en evaluar (al igual que se debe evaluar pensando en planicar). As, planicacin y evaluacin se convierten en procesos interrelacionados que caminan a la par.

La realizacin de una evaluacin externa contribuye a aumentar la independencia y la credibilidad de la evaluacin, debido a la objetividad que se le presupone al equipo externo, frente a la evaluacin interna, en la que la implicacin de los evaluadores en la planicacin y/o gestin de la intervencin se entiende como un sesgo hacia la valoracin favorable de lo evaluado. Sin embargo, esta dicotoma entre objetividad y subjetividad, y entre independencia y credibilidad, se ha venido limando en los ltimos aos, pues la evidencia emprica ha puesto de maniesto los benecios de contar en la evaluacin con personal tcnico de la organizacin que conozca los elementos culturales y organizativos principales y estn familiarizados con el objeto de evaluacin y su contexto, garantizando as una mayor adecuacin del proceso evaluativo a la realidad a evaluar. Adems, cuando la unidad de evaluacin es independiente de la planicacin y gestin de las intervenciones, la credibilidad del proceso aumenta. De hecho, la tendencia internacional en materia de cooperacin al desarrollo as lo corrobora. Consecuentemente, en el Plan Director se apuesta por la consolidacin de un sistema basado en evaluaciones mixtas, respetando en todo momento los principios de imparcialidad e independencia (MAE 2005: 116), lo que contribuir, sin duda, al fortalecimiento del sistema de seguimiento y evaluacin de la Cooperacin Espaola y a la institucionalizacin y generalizacin de la cultura de la evaluacin en la planicacin y administracin de la AOD. Otra de las ventajas a considerar si se decide realizar una evaluacin interna o mixta es la dedicacin a tiempo completo del equipo y la apropiacin del aprendizaje durante el proceso (experiencia que queda en la organizacin), lo que permite aumentar las posibilidades de uso de los resultados de la evaluacin, fomentando la introduccin de mejoras en las intervenciones.

C. Evaluaciones segn quien las realiza

Segn la relacin existente entre las entidades que gestionan la intervencin y quienes realizan la evaluacin se distingue entre evaluaciones internas o autoevaluaciones, evaluaciones externas y evaluaciones mixtas (internas asistidas). Internas o autoevaluaciones Realizadas por personal adscrito a la entidad gestora de la intervencin evaluada, organizado o no en una unidad de evaluacin, sin la contratacin de especialistas externos. Externas Realizadas por personal ajeno a la entidad gestora o responsable de la intervencin, alternativa que es obligatoria para muchas de las evaluaciones reglamentarias9. Mixtas (o internas asistidas) Realizadas por personal vinculado organizativamente a la intervencin evaluada con una asistencia tcnica externa, para que oriente el proceso o desarrolle el trabajo de evaluacin sobre el terreno.

30

9. Una evaluacin externa puede estar gestionada por la entidad responsable de la intervencin o por la unidad de evaluacin de la organizacin. Sin embargo, como se apunta en el manual de evaluacin de la Agencia de Cooperacin Sueca, una evaluacin externa independiente en sentido estricto sera aquella en la que la denicin de las cuestiones de evaluacin y la contratacin del equipo de evaluacin se realiza por tcnicos ajenos a la intervencin, lo que reducira los sesgos a favor de algn grupo de actores implicados (SIDA 2004: 18).

PARTE I: La evaluacin de la Poltica de Cooperacin al Desarrollo

D. Evaluaciones segn las entidades que las promueven

Atendiendo al nmero de entidades que promueven la evaluacin se distingue entre: Individuales Aquellas que son promovidas por una nica entidad. Conjuntas Aquellas promovidas por un grupo de entidades que coparticipan durante todo o parte del ciclo de la evaluacin. Las tendencias marcadas en los foros internacionales sobre la ayuda al desarrollo giran hacia la colaboracin y armonizacin de esfuerzos entre donantes y hacia el alineamiento con los procesos de desarrollo de los pases receptores. En este contexto, en el que los objetivos de desarrollo slo pueden conseguirse a travs del partenariado, es donde entra en juego la realizacin de evaluaciones conjuntas. Las evaluaciones conjuntas son aquellas realizadas en el marco de un partenariado, es decir, son aquellas conducidas por ms de un organismo vinculado con la cooperacin, ya sea donante o receptor. El diseo de la evaluacin, la coordinacin de los trabajos y la comunicacin e incorporacin de las recomendaciones se hace de manera compartida10. El diseo y desarrollo de una evaluacin conjunta puede ser ms complejo, lento y costoso que el de una individual. En primer lugar, porque puede que la creacin del partenariado no sea fcil debido a la dicultad de encontrar a otro donante interesado en

su evaluacin. En segundo lugar, los miembros del partenariado pueden tener procedimientos y objetivos polticos diferentes, con lo que los aspectos relacionados con la denicin de las cuestiones de evaluacin, la redaccin de los trminos de referencia, la seleccin de un equipo de evaluacin que sea aceptado por todos los miembros del partenariado, los acuerdos sobre el reparto de costes y responsabilidades, la revisin del informe de evaluacin, etc. hacen que el proceso de negociacin entre las partes y la organizacin del trabajo de evaluacin conlleven ms tiempo y sean ms complejos, sobre todo cuando el nmero de participantes es elevado. Lo normal en estos casos es asignar a una institucin o a un reducido nmero de socios la responsabilidad de gestionar la evaluacin. Sin embargo, como se seala en la Red de Evaluacin del CAD, sus benecios tambin pueden ser mayores de cara al aprendizaje y mejora de la Poltica de Cooperacin y a la apropiacin de sus resultados ya que: Ofrecen la oportunidad para la armonizacin y el alineamiento de los procesos de evaluacin, favoreciendo el aprendizaje de modelos de evaluacin y buenas prcticas de otros actores. Reducen el nmero de evaluaciones llevadas a cabo, lo que supone una disminucin de los costes de transaccin (al compartir gastos) y de las demandas de informacin en los pases receptores de la AOD (evitando la duplicidad de esfuerzos). Fomentan la participacin, la construccin mutua de capacidades y favorecen el entendimiento entre los socios que conforman el partenariado para gestionar la evaluacin. Incrementan la aceptacin y legitimidad de los resultados y recomendaciones.

10. Puede darse el caso de que una entidad promueva una evaluacin de forma individual y reciba apoyos concretos de otra u otras en alguna de sus fases. En ese caso se podra hablar de evaluaciones colaborativas. Adems, no se debe confundir la evaluacin conjunta, gestionada por ms de un donante o por donantes y por instituciones del pas receptor de la ayuda, con la evaluacin participativa, en la que se fomenta la implicacin de todos los actores en el proceso de evaluacin. De hecho, metodolgicamente, una evaluacin conjunta puede no ser participativa.

31

Manual de Gestin de Evaluaciones de la Cooperacin Espaola

Las siguientes indicaciones pueden ayudar a decidir sobre la oportunidad y pertinencia de poner en marcha un proceso de evaluacin conjunta: Cuando existe un inters compartido por el objeto de evaluacin, por ejemplo cuando se trata de evaluar una intervencin conanciada por ms de un donante, o se quiere realizar una evaluacin temtica. Cuando se quiera incrementar la armonizacin y alineamiento del programa de trabajo con otros donantes o con el pas socio11. Cuando existen acciones similares o complementarias sobre un mismo territorio, colectivo o sector de actuacin.

Cuando el objetivo de la evaluacin es valorar la consecucin de objetivos globales de desarrollo (sectoriales o temticos en un pas concreto) y no determinar exclusivamente los objetivos atribuibles a una intervencin determinada. Cuando es necesario generar una masa crtica suciente y pertinente de pequeas intervenciones para que su evaluacin sea viable. En la Figura 11 se presentan algunos de los elementos a considerar para elegir entre una evaluacin individual o conjunta.

Figura 11. Evaluaciones individuales frente a evaluaciones conjuntas12 Evaluacin individual Intervencin nanciada por una entidad El objetivo de la evaluacin es valorar los objetivos atribuibles a una intervencin determinada Se necesitan los resultados de la evaluacin en poco tiempo No existen otros organismos interesados en la evaluacin No existen organismos con la misma losofa de desarrollo, cultura organizacional y procedimientos de evaluacin. No existen organismos donantes prximos en trminos geogrcos
Fuente: CAD, 2000: 7 y 8 y http://www.oecd.org/dac/evaluationnetwork

Evaluacin conjunta Intervencin nanciada por ms de una entidad El objetivo de la evaluacin es valorar la consecucin de objetivos globales de desarrollo (sectoriales o temticos en un pas concreto) Se dispone de ms tiempo para realizar la evaluacin Existen otros organismos que comparten intereses en la evaluacin Existen organismos con la misma losofa de desarrollo, cultura organizacional y procedimientos de evaluacin Existen organismos donantes prximos en trminos geogrcos

32

11. En este sentido se manifestaron los representantes de la cooperacin descentralizada que asistieron al Seminario de evaluacin de proyectos de cooperacin que, promovido por la Comisin Interterritorial, se celebr en Cceres (16/06/06). 12. El CAD ha elaborado una gua sobre cmo gestionar este tipo de evaluaciones que est en proceso de traduccin por parte de la SECI para su distribucin entre los agentes de la Cooperacin Espaola.

PARTE I: La evaluacin de la Poltica de Cooperacin al Desarrollo

E. Evaluaciones segn su temtica y objeto

Segn el nivel de planicacin que es objeto de evaluacin se distingue entre: De estrategias Tienen por objeto una poltica, plan o estrategia general de actuacin, entendida sta como un conjunto de directrices y principios que orientan la aplicacin, en determinado territorio, sector o periodo de tiempo, de un conjunto de intervenciones de carcter ms operativo. Centran su atencin sobre mbitos relacionados con la coherencia estratgica de la intervencin en el sistema de ayuda: su pertinencia, armonizacin con otros donantes, alineamiento con las estrategias de desarrollo de los pases receptores, apropiacin de los procesos de desarrollo y contribucin al logro de los ODM. Se pueden realizar tomando como insumos los resultados de las evaluaciones de las intervenciones de carcter ms operativo integradas en la estrategia. Sus aprendizajes son de carcter general y son susceptibles de ser extrapolados a otros contextos y transferidos a polticas generales. De instrumentos operativos Tienen por objeto las intervenciones de carcter ms operativo a travs de las que se canaliza la AOD espaola. Atienden a aspectos relacionados con la ejecucin de la propia intervencin (ecacia, eciencia, pertinencia, etc.), aunque tambin se analiza la coherencia externa con los marcos ms amplios de planicacin.

Sus aprendizajes son de carcter ms concreto, y pueden retroalimentar la gestin de la propia intervencin o transformarse en buenas prcticas transferibles a otras intervenciones o a la planicacin de intervenciones futuras.

F. Evaluaciones de la evaluacin: metaevaluacin

Adems de los tipos de evaluacin mencionados, tambin es necesario considerar que la propia evaluacin puede ser evaluada, lo que se conoce con el nombre de metaevaluacin. Las metaevaluaciones se centran en analizar la calidad tcnica y metodolgica del proceso evaluativo, ofreciendo indicaciones sobre las estrategias de evaluacin seguidas, su idoneidad en relacin con el objeto evaluado y los propsitos e intereses a los que sirve. Por tanto, la metaevaluacin cumple dos funciones: una normativa (describir cmo debe ser la evaluacin), y otra positiva (describir cmo son las evaluaciones). Los principales elementos que se deben tener en cuenta para valorar la calidad de la evaluacin se presentan con mayor detalle en el apartado de este Manual dedicado al Ciclo de la evaluacin (Fase II).

33

PARTE II: El ciclo de la evaluacin: un itinerario a recorrer

PARTE II

El ciclo de la evaluacin: un itinerario a recorrer

Como se ha indicado, en la Cooperacin Espaola se concibe la evaluacin como un componente del ciclo integrado de planicacin, seguimiento y evaluacin de la Poltica de Cooperacin. Esto signica que la informacin recogida durante el seguimiento de las actuaciones en ejecucin sirve de base para realizar la evaluacin, cuyos resultados, a su vez, deben orientar la planicacin de nuevas intervenciones. Como se aprecia en la Figura 12, la evaluacin constituye un proceso que comienza en el mismo momento en que surge la motivacin para evaluar una intervencin de desarrollo, y termina con la diseminacin de sus resultados entre los actores implicados y la incorporacin de las recomendaciones y lecciones aprendidas. Los resultados del trabajo de cada una de las fases se concretarn en documentos que orientarn el desarrollo del proceso evaluativo y su aplicacin nal Trminos de Referencia (TdR), Plan de Trabajo, Informe de Evaluacin, Plan de Comunicacin y Plan de Mejora. En esta parte del Manual se presentan las distintas fases de este proceso y, dentro de cada una, las etapas que se deben cubrir para recorrer el itinerario de la gestin de una evaluacin de la Cooperacin Espaola. A partir de aqu, el estilo narrativo directo que se emplea viene justicado por la vocacin prctica de este Manual y por su propsito de servirle de gua y acompaamiento en la gestin de una evaluacin. Cuando gestione una evaluacin, debe considerar que, si bien este esquema general se ajusta a la mayor parte de las evaluaciones de las intervenciones de la Cooperacin Espaola, es probable que su caso concreto presente especicidades que requieran un diseo especco de su proceso de evaluacin, adaptado a sus necesidades, al contexto en el que se desarrolle su trabajo y a la intervencin a evaluar. Por ello, la secuencia presentada, aunque en trminos generales sigue una lgica temporal, debe considerarse exible. Es decir:

Figura 12. Fases y etapas del itinerario de la evaluacin

Diseando la evaluacin Desarrollando el estudio de evaluacin Comunicando los resultados de la evaluacin e incorporando las lecciones de experiencia
Fuente: DGPOLDE 35

Elementos a considerar para poner en marcha el proceso evaluativo

PLAN DE EVALUACIN - TdR

Condicionantes de la evaluacin durante su desarrollo

PLAN DE TRABAJO e INFORME DE EVALUACIN

Indicaciones sobre la difusin de los resultados de la evaluacin

PLAN DE COMUNICACIN

Indicaciones para incorporar las lecciones de la experiencia

PLAN DE MEJORA

Manual de Gestin de Evaluaciones de la Cooperacin Espaola

Algunas etapas pueden realizarse simultneamente. Puede ser necesario retroceder para redenir algunos elementos. En funcin de la posicin de la entidad gestora de la evaluacin en el sistema de cooperacin, y de la intervencin a evaluar, la secuencia puede ser distinta.

En las tres prximas secciones de esta Parte II se relacionan las actividades que se deben realizar en cada una de las etapas que conforman las tres fases de la gestin de una evaluacin, diferenciadas por color para que las identique ms fcilmente. Adems, se incorporan herramientas prcticas y se ofrecen las indicaciones necesarias para el desarrollo de los productos que se deben generar en cada fase.

Figura 13. Itinerario completo de la evaluacin

FASE

Diseando la evaluacin
Identicar la motivacin para evaluar Seleccionar el objeto Denir las preguntas de evaluacin Elegir el tipo de evaluacin y estimar el presupuesto Redacctar los TdR Seleccionar al equipo evaluador

FASE I:

ETAPAS

2
Evaluabilidad Acotar el objeto Denir los objetivos Constituir el Comit de Seguimiento Identicar actores Seleccionar el objeto

4
Elegir el tipo de evaluacin

6
Seleccionar al equipo evaluador Constituir el Comit de Seleccin

Estimar presupuesto y plazo

36

PASOS

PARTE II: El ciclo de la evaluacin: un itinerario a recorrer

Se comienza con la descripcin de la primera fase, en la que se proponen las actividades que debe poner en marcha para la preparacin y diseo de la evaluacin. A continuacin, se exponen los principales elementos que debe contemplar durante la realizacin del estudio de evaluacin, segunda fase del itinerario de evaluacin. Se naliza con una presentacin de las variables ms relevantes en el proceso de comunicacin de los resultados de la evaluacin y la posterior incorporacin de las

recomendaciones y lecciones aprendidas para mejorar la intervencin evaluada, tercera y ltima fase. Al nalizar cada etapa se le ofrece una lista de control para que verique si ha conseguido los objetivos de las actividades propuestas. En la Figura 13 se presenta el recorrido del itinerario completo, con una breve referencia a las actividades ms relevantes de cada una de las Etapas.

Desarrollando el estudio de evaluacin Establecer el Plan de Trabajo denitivo Gestionar el desarrollo del Plan de Trabajo

FASE II:

Comunicando resultados e incorporando lecciones Comunicar los resultados de la evaluacin Incorporar las lecciones de la experiencia

FASE III:

8
Informe Final Trabajo de Campo Estudio de Gabinete

9
Analizar soportes y canales de comunicacin Detectar la utilidad de los actores

10

37

Manual de Gestin de Evaluaciones de la Cooperacin Espaola

Es importante que tenga en cuenta que la propuesta para realizar la evaluacin de una intervencin de desarrollo que contiene este Manual constituye un proceso secuencial estructurado que podr aplicar con cierta exibilidad de acuerdo con las caractersticas del objeto de evaluacin o las necesidades de los actores implicados. Sin embargo, no debe olvidar que el proceso evaluativo est integrado en el ciclo ms amplio de la Poltica de Cooperacin Espaola y que, por lo tanto, la utilidad de los aprendizajes que se deriven de la evaluacin de-

pende de que sta responda en tiempo y forma a los requerimientos de los actores implicados en ella. Por ello, adems de la adecuacin de los resultados de la evaluacin a las expectativas de estos actores, deber asegurarse de que el proceso se desarrolla conforme a un cronograma que se ajuste a sus necesidades. En la Figura 14 le proponemos un ejemplo que puede servirle de referencia para disear el cronograma de su evaluacin.

Figura 14. Ejemplo de cronograma para una evaluacin de gran escala

AO 1
E F M A M J J A S O N D E F M A

AO 2
M J J A S O

1 2 3 4 5 6 7 8 9

Motivacin para evaluar Objeto, CS y objetivos de la evaluacin Denicin de preguntas Eleccin del tipo de evaluacin Redaccin de los TdR Seleccin del equipo evaluador Plan de Trabajo denitivo Desarrollo del Plan de Trabajo Comunicacin de resultados

10 Incorporacin de lecciones

Fuente: Adaptado de DFID (2005).

38

FASE I: Diseando la evaluacin

La evaluacin debe planicarse cuidadosamente. Antes de ponerla en marcha, ha de identicar las motivaciones que generan esa decisin, delimitar el objeto que va a ser evaluado, analizar los diferentes intereses que se vern involucrados y crear una estructura organizativa de apoyo que d seguimiento al proceso evaluativo. Una vez aclarados estos puntos, deber trasladarlos a un documento, los Trminos de Referencia (TdR) o documento de prescripciones tcnicas, que servir de referente para la seleccin del equipo que nalmente desarrollar el estudio de evaluacin. En esta seccin encontrar una relacin detallada de todos estos pasos y explicaciones sobre los aspectos ms relevantes que deber considerar para disear una evaluacin participativa con rigor metodolgico, sistematicidad y garantas de calidad. Se responder a cuestiones como las que aparecen en la Figura 15.

Figura 15. Qu necesito saber antes de realizar el estudio de evaluacin?

Por qu evaluar? Qu tcnicas se aplican?

Qu va a ser evaluado?

Qu se desea saber? Quin participa en la evaluacin?

Cundo se evala?

Para quen se evala?

Si no sabes lo que buscas no entenders lo que encuentras

Con qu recursos se cuenta? Quin va a evaluar? Qu ambitos van a ser evaluados?

Cmo evaluar?

Fuente: Elaboracin propia

Esta primera fase se divide en seis etapas, cada una de ellas correspondiente a los pasos que debe seguir para disear su evaluacin. Para ayudarle a afrontar cada una, se plantea la pregunta central que debe hacerse

en cada momento. Despus se denen algunos conceptos bsicos y se proponen herramientas o consejos prcticos que pueden orientarle en la bsqueda de respuestas.
39

PARTE II: El ciclo de la evaluacin: un itinerario a recorrer

10

Etapa 1. Motivacin para evaluar: por qu y para qu evaluamos?

En el diseo de la evaluacin se debe comenzar por identicar quines y por qu impulsan su puesta en marcha, es decir quines denen los propsitos de la evaluacin, puesto que ello condicionar la determinacin de las cuestiones a las que el proceso evaluativo debe dar respuesta. En la Figura 16 se presentan algunas de las motivaciones que suscitan la necesidad de poner en marcha una evaluacin entre los actores de la Cooperacin Espaola. Muchas de ellas pueden ser compartidas por varios actores aunque cada uno la circunscriba a su responsabilidad y nivel de planicacin. Estas motivaciones determinan los propsitos generales de la evaluacin, y normalmente harn referencia a cuestiones estratgicas relacionadas con la intervencin a evaluar y con su idoneidad como accin de cooperacin internacional, bien con el objetivo de fomentar el aprendizaje o para la rendicin de cuentas. Figura 16. Propsitos generales de la evaluacin
Apoyar la toma de decisiones Aumentar la calidad de la ayuda Facilitar la transferencia de buenas prcticas Ampliar el aprendizaje Mejorar la gestin Promover la participacin
Fuente: Elaboracin propia 40

La iniciativa de evaluar puede provenir de su propia institucin o de otros grupos de actores vinculados a la intervencin, cada uno con sus propias motivaciones. Si le han trasladado a su organizacin el encargo de gestionar el proceso de evaluacin o se ha ofrecido a ello voluntariamente, deber reexionar sobre los aspectos clave que han originado la decisin de evaluar. Cuando la iniciativa para evaluar tiene su origen en un mandato reglamentario, los factores que la motivan suelen estar especicados en la propia normativa. En la Figura 17 se ofrece un esquema del marco normativo que regula las evaluaciones de carcter obligatorio para los diferentes niveles de planicacin e intervencin de la Cooperacin Espaola. Los principales actores que promueven este tipo de evaluaciones son la DGPOLDE, como unidad responsable de garantizar y coordinar el seguimiento y evaluacin de la Cooperacin Espaola, y

Fomentar el alineamiento Desarrollar capacidades Favorecer la coordinacin y la armonizacin Legitimar la intervencin Incrementar la transparecia Orientar la planicacin Corregir desviaciones

FASE I: Diseando la evaluacin

los organismos e instituciones pblicas que nancian o conancian las actividades de cooperacin (en la primera Parte se ofreci una lista de todos ellos). Debe tener en cuenta que, incluso en el caso de las evaluaciones que respondan a una exigencia reglamentaria, adems de dar cumplimiento a los requerimientos normativos, la evaluacin debe satisfacer las necesidades de informacin de otros grupos de actores e implicarlos en un proceso de valoracin conjunta de la intervencin, aprovechando las sinergias del inicio del proceso evaluativo. Para ello, es recomendable que ponga ya en marcha actuaciones tendentes a fomentar la participacin de los actores clave, puesto que es el momento de denir

los propsitos de la evaluacin. Sin embargo, tambin puede optar por abrir la participacin en una etapa posterior en la que se revisarn los objetivos de la evaluacin y se concretarn las cuestiones de evaluacin (Etapa 2 propuesta en este Manual)14. En denitiva, los propsitos se reeren a por qu se est efectuando la evaluacin, qu la desencadena y de qu manera ser utilizada (UNEG, 2005: 11) y estn estrechamente relacionados con sus usos y utilidad esperada por los actores implicados en la intervencin, que son los potenciales usuarios de los resultados que se extraigan. As, una vez identicadas las motivaciones para poner en marcha el proceso de evaluacin, debe

Figura 17. Marco normativo de las evaluaciones de la Cooperacin Espaola Entidad Nivel de planicacin Plan Director Estrategias sectoriales Estrategias geogrcas Planes operativos Planes anuales (PACI) Proyectos bilaterales Convenios y Fondos Multilaterales Entidad Nivel de planicacin Proyectos ONGD CCAA EELL Marco normativo Ley 38/2003, de 17 de noviembre, General de Subvenciones, y RD 887/2006, de 21 de julio Orden AEC/1303/2005, de 27 de abril (subvenciones a ONGD) Orden AEC/1304/2005, de 27 de abril (subvenciones de la convocatoria abierta y permanente) Ordenanzas municipales para la concesin de subvenciones a ONGD Leyes y rdenes autonmicas
41

DGPOLDE

AECI / OTC

Otro Ministerio (AGE) Marco normativo

Ley 23/1998, de 7 de julio, de Cooperacin Internacional para el Desarrollo Real Decreto 755/2005 de 24 de junio (artculo 16.1)

ONGD

Convenios ONGD

Intervenciones y proyectos
Fuentes: Elaboracin propia (DGPOLDE / IDR)

14. Donde se presenta el Comit de Seguimiento, plataforma participativa por excelencia.

PARTE II: El ciclo de la evaluacin: un itinerario a recorrer

10

En la prctica Como ejemplo, los propsitos generales que la DGPOLDE reej en el Pliego de Prescripciones Tcnicas para la Evaluacin del Fondo de Concesin de Microcrditos (FCM) fueron los siguientes: Conocer la coherencia del instrumento con el objetivo y prioridad de la Poltica Espaola de Cooperacin Internacional de lucha contra la pobreza. Se trata de saber si el FCM est adecuadamente diseado y ejecutado para cumplir el objetivo de la Cooperacin Espaola en materia de microcrditos, dentro de una actuacin de promocin del desarrollo del tejido productivo y de proteccin de grupos vulnerables as como dentro de las prioridades horizontales apuntadas en el Plan Director 2005-2008, con referencia especial a la equidad de gnero. Conocer la adecuacin del instrumento a las necesidades y condiciones de los pases destinatarios de la Cooperacin Espaola, y su contribucin a los diferentes grados de desarrollo del sector micronanciero de cada pas en su objetivo de atender a la poblacin pobre. Conocer la ecacia del instrumento en relacin al fomento de servicios micronancieros que apoyen el desarrollo microempresarial, y los efectos que genera en las condiciones de vida de los clientes nales en la reduccin de la pobreza. Conocer la eciencia del instrumento en la gestin y ejecucin de los recursos a partir del anlisis de los procedimientos y los mecanismos institucionales que permita revelar los factores de xito y las limitaciones del FCM como herramienta de cooperacin, particularmente observando el grado de coordinacin entre los gestores y la complementariedad entre el instrumento y otras actuaciones de la Cooperacin Espaola.

plantear los propsitos generales de la misma, es decir, lo que se desea saber y las expectativas sobre las conclusiones y recomendaciones. Los propsitos deben ser denidos de manera clara y precisa, teniendo presentes las principales necesidaAl nalizar la Etapa, debe haber identicado: El origen de la iniciativa para evaluar. Los propsitos generales de la evaluacin. Los potenciales usos y usuarios de la evaluacin.

des de informacin de los usuarios previstos. En esta etapa se deben explicitar los propsitos generales, pero estos se deben concretar en los objetivos especcos de la evaluacin, como se ver con mayor detalle en la etapa siguiente.

42

FASE I: Diseando la evaluacin

10

Etapa 2. Seleccionar y acotar el objeto de la evaluacin: qu se va a evaluar?, denir sus objetivos y analizar la evaluabilidad
Tras la identicacin de la motivacin para evaluar y el establecimiento de los propsitos generales de la evaluacin debe decidir qu intervencin o grupo de intervenciones va a evaluar (objeto de la evaluacin). Adems, tendr que identicar a los principales actores o grupos de actores implicados en la evaluacin y crear un espacio que facilite su participacin en el proceso (Comit de Seguimiento) para, a partir de sus necesidades y utilidad esperada, determinar los objetivos de la evaluacin. Una vez que identique los objetivos de la evaluacin, podr delimitar su alcance determinando las dimensiones concretas de la intervencin o intervenciones que quiere evaluar (acotar el objeto) y valorar la oportunidad y viabilidad de su evaluacin (anlisis de la evaluabilidad). Tambin puede seleccionar el objeto de evaluacin teniendo en cuenta que, en ocasiones, la reducida dimensin presupuestaria y el limitado alcance de algunas intervenciones hace aconsejable la realizacin de la evaluacin de un grupo de ellas, que compartan objetivos, territorio, colectivo o sector. Lo ms recomendable es establecer un Plan de Evaluaciones en el que se indiquen, entre otros elementos, los siguientes: Los propsitos generales que se persiguen con el Plan de Evaluaciones. Los criterios que va a utilizar para seleccionar las intervenciones que se incluirn en el Plan de Evaluacin: el territorio de intervencin, el sector de actuacin o el instrumento aplicado, entre otros. El procedimiento de seleccin, que puede realizar de manera interna, en el seno de su entidad o unidad, o contando con la participacin de otros actores. El presupuesto disponible para realizar las evaluaciones. La periodicidad del Plan de Evaluacin, que puede ser anual o plurianual. Una propuesta tentativa de evaluaciones a realizar (por ejemplo, puede establecer un nmero mnimo o una horquilla) y el cronograma de actuacin, que deber determinar en funcin de los ciclos de planicacin de las intervenciones y de la magnitud y nmero de las intervenciones a evaluar.

2.1 Seleccin del objeto qu va a ser evaluado?

El objeto de la evaluacin es la intervencin o conjunto de intervenciones que van a ser evaluadas. Por lo tanto, su seleccin consiste en decidir qu se va a evaluar: una estrategia, un plan, un programa, un instrumento o proyecto determinado15, o bien se puede decidir que se evalen todas las intervenciones que cumplan determinados requisitos y/o sean especialmente signicativas, por ejemplo, por su carcter innovador o por su potencial para extrapolar aprendizajes a otros contextos, sectores o territorios.

15. Recuerde que en el Captulo 2 de este Manual ya se expusieron las principales referencias estratgicas y los instrumentos operativos de la Poltica de Cooperacin Espaola. Las primeras se deben entender como un conjunto de directrices y principios que orientan la aplicacin de los segundos, que son intervenciones de carcter ms operativo.

43

PARTE II: El ciclo de la evaluacin: un itinerario a recorrer

10

El procedimiento previsto para dar seguimiento al Plan de Evaluaciones. La asignacin de responsabilidades en relacin con la ejecucin, validacin y control de calidad de las evaluaciones a realizar. Finalmente, tenga en cuenta que es posible que la seleccin del objeto a evaluar sea un paso que no deba acometer como gestor de la evaluacin porque ya venga predeterminado.

evaluacin sern fundamentales para garantizar que la evaluacin es til y que su conocimiento del contexto de la intervencin alimenta el proceso evaluativo. Beneciarios o principales afectados por la intervencin La importancia de la participacin de este grupo de actores en el proceso de evaluacin recomienda que trate de que se involucren en ella desde el primer momento, incluso aunque considere que la evaluacin no va a responder completamente a sus demandas de informacin. Entidad/es nanciadoras y/o gestoras Se han de identicar todas las instituciones responsables de la nanciacin y/o ejecucin de la/s intervencin/es objeto de evaluacin, involucrndolas en el proceso de evaluacin. Estas entidades sern fundamentales tanto en la denicin de los objetivos, como en la facilitacin del acceso a la documentacin necesaria para llevar a cabo el estudio. La identicacin de sus necesidades de informacin ser un elemento clave para la utilidad de la evaluacin. Otras agencias donantes Especialmente en aquellos casos en que la intervencin se realiza de forma conjunta o en coordinacin con otros donantes, debe tener en cuenta qu es lo que estas entidades esperan de la evaluacin. Si les consulta podr, adems, analizar las posibilidades de colaboracin de estos agentes en la evaluacin y evitar la duplicacin de esfuerzos innecesarios. Otras partes interesadas Aunque no participen de forma activa en la evaluacin y no pertenezcan a ninguno de los grupos anteriores, puede que algunos grupos se vean afectados por el

2.2 Identicar a los actores implicados en la intervencin

Las motivaciones y propsitos generales de la evaluacin establecidas durante la Etapa 1 deben ser ms claramente delimitadas hasta llegar a denir los objetivos de su evaluacin. Para ello, deber comenzar por identicar a los actores implicados en la intervencin y realizar un anlisis previo de sus principales intereses y posibilidades de participacin en el proceso de evaluacin. Adems de las unidades gestoras y de planicacin de la intervencin, hay otros grupos de actores implicados en la intervencin que deben participar en el proceso evaluativo. La siguiente clasicacin intenta esquematizar los principales grupos de actores segn el papel que juegan en las intervenciones, junto a algunas claves que debe considerar al establecer cul debe ser la participacin de cada uno en el proceso de evaluacin: Contrapartes del pas socio De acuerdo con la responsabilidad que deben jugar para la promocin de su propio desarrollo las instituciones de los pases socios, ste es el primer grupo de actores a tener en cuenta. Las consultas a los socios locales para determinar sus necesidades de informacin y la forma en la que participarn en el proceso de
44

FASE I: Diseando la evaluacin

desarrollo de la evaluacin, por lo que se recomienda que tambin sean informados sobre la evaluacin y tengan la oportunidad de manifestar sus intereses. Sin embargo, la participacin de muchos actores en el proceso de evaluacin puede ocasionarle problemas de coste y tiempo, e incluso es posible que termine diseando su evaluacin con ms expectativas de las que sus recursos le van a permitir cubrir, corriendo el riesgo de reducir la calidad de los resultados obtenidos. Por eso, es importante que durante este primer anlisis, dena las prioridades de participacin en funcin de criterios relacionados, por ejemplo, con la relevancia de cada uno de ellos para los nes de la evaluacin, su predisposicin a participar, los recursos que requiere su inclusin en el proceso de evaluacin o los que puedan aportar, entre otros.

Se propone que utilice la siguiente cha (Figura 18) que le ayudar a realizar esta identicacin previa de los actores involucrados en la intervencin. En la primera columna de la cha debe identicar a la entidad o entidades que representan a cada grupo de actores en la intervencin a evaluar, mientras que en la segunda columna tendr que indicar cmo o en qu medida esperan participar en la evaluacin. Las dos ltimas columnas le servirn para describir la relevancia de cada actor en el proceso, de acuerdo con los criterios que le hemos propuesto o con otros que estime oportunos para su evaluacin, y para identicar la prioridad de cada uno de cara a su participacin en el proceso.

Figura 18. Identicacin de actores implicados ACTORES Contrapartes del pas socio Beneciarios de la intervencin Otras agencias donantes Otras partes interesadas Decisores, tcnicos y gestores Entidad nanciadora y/o gestora de la intervencin
Fuente: Elaboracin propia a partir de Stuffelbeam (1987) 45

Actor y entidad

Expectativas de participacin

Relevancia en el proceso

Prioridad (de 1 a 4)

PARTE II: El ciclo de la evaluacin: un itinerario a recorrer

10

2.3 Constituir el Comit de Seguimiento de la evaluacin

Como ya se ha sealado, es necesario abrir un espacio para que los beneciarios, los socios locales u otros actores puedan participar en el diseo de la evaluacin de forma que sus necesidades tambin queden reejadas en los objetivos de la misma. Para ello se propone la creacin de un grupo de trabajo o Comit de Seguimiento en el que se vean representados los grupos de actores ms relevantes para la evaluacin. Comprobar que la participacin activa de estos actores en la fase de diseo de la evaluacin, adems de una mayor exactitud y profundidad de la informacin que requiera el proceso, proporcionar ms credibilidad y aceptacin de los resultados que se generen, que es un elemento clave para asegurar la aplicacin efectiva de las recomendaciones de la evaluacin para mejorar la calidad del conjunto de la poltica de ayuda. Adems, ms adelante ver cmo la ecacia de la evaluacin mejora si la participacin se mantiene durante el desarrollo de la evaluacin. Siempre que asegure una coordinacin mnima entre su unidad como gestora de la evaluacin, el equipo evaluador y los informantes clave, quedar garantizado en gran medida el desarrollo de una evaluacin participativa, sin necesidad de crear un rgano formal y especco para ello. Sin embargo, en este epgrafe se presenta una propuesta de mximos. Es decir, se describen la naturaleza y funciones de una estructura formal de apoyo a la gestin del proceso evaluativo, el Comit de Seguimiento, capaz de dar respuesta a las evaluaciones ms complejas que requieren de espacios de participacin amplios. El Comit de Seguimiento le proporcionar un canal de coordinacin y comunicacin para facilitar y propiciar la participacin de los actores clave durante todo el proceso de evaluacin. Recuerde que el objetivo ltimo de la participacin es el de mejorar la calidad y utilidad
46

de la evaluacin gracias a la apropiacin de sus resultados por parte de todos los actores involucrados en la intervencin. Las funciones del Comit de Seguimiento se extienden a todas las fases de la evaluacin, y no slo a la de diseo, en la que se encuentra ahora. A continuacin se presenta un listado con algunas de las ms importantes: Facilitar la participacin de los actores implicados en el diseo de la evaluacin: identicacin de necesidades de informacin, denicin de objetivos y delimitacin del alcance de la evaluacin. Aprobar los documentos de planicacin de la evaluacin: Plan de Evaluacin, Plan de Trabajo y Plan de Comunicacin. Aportar insumos y participar en la redaccin de los Trminos de Referencia para la contratacin de los servicios de asistencia tcnica para la evaluacin. Facilitar al equipo de evaluacin el acceso a toda la informacin y documentacin relevante de la intervencin, y a los agentes e informantes clave que deban participar en entrevistas, grupos de discusin o cualquier otra tcnica de recopilacin de informacin. Supervisar la calidad del proceso y los documentos e informes que se vayan generando para enriquecerlos con sus aportaciones y asegurar que se da respuesta a sus intereses y demandas de informacin sobre la intervencin. Difundir los resultados de la evaluacin, especialmente entre las organizaciones y entidades de su grupo de inters. De estas funciones se deriva un perl de los integrantes del Comit de Seguimiento eminentemente tcnico que, adems de una implicacin directa en la intervencin, requiere un compromiso y dedicacin importantes con la evaluacin.

FASE I: Diseando la evaluacin

Aunque como responsable de la gestin de la evaluacin deber coordinar la actividad del Comit de Seguimiento, su funcionamiento se debe basar en una serie de compromisos y acuerdos entre sus integrantes. Cuando establezca las bases sobre las que se denan estos acuerdos, tenga presente que en todo momento deber velar porque el funcionamiento del Comit permita la participacin igualitaria de todos los agentes clave que ha seleccionado. Para ello, es aconsejable que se dena un mecanismo de funcionamiento (nmero de reuniones a mantener, dinmica de las reuniones, revisin de informes intermedios, etc.) acordado entre todos los miembros que lo compongan. Sin embargo, esto no impide que se puedan establecer roles diferentes para cada actor. As, adems de la suya, otras entidades pueden ser nombradas como responsables de la organizacin y funcionamiento del Comit de Seguimiento.

Para asegurar el correcto cumplimiento de las funciones del Comit de Seguimiento, es preciso que programe la celebracin de, al menos, cuatro reuniones: Inicial. Durante esta primera sesin se deber constituir formalmente el Comit de Seguimiento y llegar a un acuerdo sobre sus normas de funcionamiento. Pero el objetivo principal es discutir y analizar las demandas de informacin de cada integrante para alcanzar un acuerdo sobre las preguntas clave a las que debera dar respuesta la evaluacin. De comienzo del estudio. En esta sesin se presenta el equipo evaluador ante el Comit de Seguimiento y se revisa el Plan de Trabajo y la propuesta metodolgica para llevar a cabo la evaluacin. Intermedia/s. Durante la fase de desarrollo del estudio de evaluacin, ser necesaria una segunda sesin (o las que se estimen oportunas) para supervisar el informe borrador de la evaluacin u otros productos

En la prctica Existe un consenso generalizado sobre la importancia de incorporar progresivamente las demandas informativas de los socios locales y los beneciarios de la ayuda para asegurar el xito y la calidad de los procesos de evaluacin. Sin embargo, es frecuente observar cmo las evaluaciones desatienden estas demandas para volcarse preferentemente en las de los agentes que generan la motivacin para evaluar, principalmente los organismos donantes. Por ello, resulta esencial que al denir la composicin y normas de funcionamiento del Comit de Seguimiento, incorpore frmulas que eviten sesgos en la participacin de estos actores en la evaluacin y refuercen su papel como demandantes de resultados especcos, y no solo como informantes clave. Algunas de estas frmulas pueden ser, por ejemplo, apoyar econmicamente los gastos que se deriven de la participacin de estos grupos en el Comit de Seguimiento, programar la celebracin de las sesiones del Comit en los lugares de ejecucin de las intervenciones, o crear canales de comunicacin y mecanismos de toma de decisiones no presenciales, especcamente diseados para facilitar la participacin de estos actores

47

PARTE II: El ciclo de la evaluacin: un itinerario a recorrer

10

preliminares, de forma que los miembros del Comit tengan acceso a un avance de los resultados y la posibilidad de realizar las observaciones y aportes que estimen oportunos de acuerdo a sus expectativas. Final. Esta ltima sesin servir para la presentacin del Informe Final de evaluacin y el lanzamiento del Plan de Comunicacin y la preparacin de la incorporacin de las recomendaciones correspondientes. Recuerde que, aunque se hayan avanzado algunas de las responsabilidades que el Comit de Seguimiento asumir durante el resto del proceso de evaluacin, su papel central durante la etapa en la que se encuentra es la de asegurar que las necesidades de los agentes clave se ven correctamente reejadas en los objetivos de la evaluacin que debe denir. En la prctica

2.4 Denicin de los objetivos de la evaluacin para qu se evala?

Adems de las demandas de informacin provenientes del agente o de la naturaleza normativa que motiva la evaluacin y de las suyas propias como gestor de la evaluacin, puede y debe denir los objetivos de la evaluacin teniendo en cuenta las necesidades informativas de otros agentes involucrados en la intervencin. Si se ha conformado de acuerdo a las indicaciones anteriores, el Comit de Seguimiento le proporcionar el espacio para canalizar todas las demandas de informacin y discutir con los actores involucrados cmo se trasladan esas demandas a la evaluacin mediante la denicin de los objetivos.

A modo de ejemplo, la evaluacin del Programa de Alfabetizacin y Educacin Bsica de Adultos (PAEBA) en Honduras y Nicaragua, se realiz con los siguientes objetivos especcos: Establecer la pertinencia del diseo. Estimar la cobertura. Determinar si el Programa ha resultado efectivo para facilitar el acceso a la educacin bsica y a la alfabetizacin. Acreditar el grado de mejora de la calidad del sistema educativo atribuible al Programa. Vericar los grados de participacin e implicacin de las instituciones contraparte y el nivel de cumplimiento de los compromisos de reformas y nanciacin asumidos. Determinar la idoneidad de la administracin realizada de los recursos. Estimar los impactos del Programa en la poblacin beneciaria. Analizar la coherencia del Programa con relacin a los objetivos establecidos por la LCID, el PD 20012004, la Estrategia de la Cooperacin Espaola en Educacin y el Programa de Cooperacin Regional con Centroamrica.
Fuente: Informe de Evaluacin del Programa de Alfabetizacin y Educacin Bsica de Adultos en Honduras y Nicaragua. (MAEC, 2005). 48

FASE I: Diseando la evaluacin

Denir de forma clara los objetivos de la evaluacin es uno de los pasos ms importantes que debe resolver durante estas primeras etapas para disear la evaluacin. Un objetivo bien denido ayudar a la posterior formulacin de las preguntas de evaluacin y facilitar a los evaluadores externos el desarrollo de un estudio que responda a sus necesidades y a las del resto de actores involucrados en la intervencin (SIDA, 2005: 59). Por otro lado, tenga en cuenta que, en la medida en que los objetivos reejen de forma correcta las demandas de los actores involucrados, estar asegurando la utilizacin efectiva de los resultados que genere la evaluacin. Por eso, se le recomienda redactar los objetivos haciendo referencia a cmo va a ser utilizada la informacin producida por la evaluacin. Por ejemplo, puede utilizar frmulas de especicacin cmo para determinar la ecacia e impactos de la intervencin evaluada, o para determinar la ecacia de la intervencin (SIDA, 2005: 60).

el mbito sectorial, el rea geogrca y el periodo de tiempo que quiere que sean evaluados y los grupos beneciarios que quiere considerar en la evaluacin. Dimensin institucional y reglamentaria Organizaciones implicadas (internacionales, del pas donante o receptor), marco normativo y niveles de planicacin que debern ser considerados en la evaluacin. Dimensin sectorial Sectores en los que incide la intervencin, reas temticas priorizadas y sus vinculaciones con las de la poltica del pas receptor o de otros organismos donantes. Dimensin geogrca Territorio de intervencin, teniendo en cuenta las variables de su contexto de desarrollo. Dimensin temporal Espacio temporal bajo el que la intervencin va a ser analizada y valorada. Debe tener en cuenta que las fechas de inicio y nalizacin de la intervencin pueden no coincidir con el inters prioritario de la evaluacin, que puede centrarse en un periodo o fase que revista especial inters. Poblacin beneciaria Colectivos que se benecian directa o indirectamente de la intervencin. Tambin se deben tener en cuenta aquellos grupos que, aunque no hayan sido sealados como beneciarios de la intervencin, se ven afectados positiva o negativamente por ella. Es importante establecer prioridades y delimitar claramente el alcance de la evaluacin, puesto que con ello contribuir a concentrar los recursos y esfuerzos de la
49

2.5 Acotar el objeto de la evaluacin qu dimensiones del objeto van a ser evaluadas?
Ahora que ya conoce exactamente qu intervencin o conjunto de intervenciones van a ser evaluadas y que ha denido los objetivos de la evaluacin, debe delimitar cul va a ser su alcance, es decir, acotar qu dimensiones del objeto quiere que sean consideradas. Dado que acaba de poner en marcha el Comit de Seguimiento para fomentar la participacin de los actores clave, debe acotar el objeto de evaluacin de forma consensuada, teniendo en cuenta los intereses de los grupos ms representativos. Las dimensiones ms importantes de la intervencin que debe acotar estn relacionadas con la institucin o instituciones que se ocupan de su gestin y aplicacin,

PARTE II: El ciclo de la evaluacin: un itinerario a recorrer

10

evaluacin en los aspectos de inters prioritario para todos los actores. Para ello, es preciso que revise cuidadosamente los principales documentos de referencia de la intervencin: programticos, de gestin, de seguimiento, presupuestarios o de cualquier otro tipo. Dado que estos documentos van a tener que ser consultados por los

evaluadores y por los miembros del Comit de Seguimiento a lo largo de todo el proceso de evaluacin, es aconsejable que desde un primer momento elabore una matriz de documentacin en la que, junto a una relacin o listado de documentos, incluya indicaciones sobre los principales contenidos de cada uno de ellos y una referencia para su localizacin (por ejemplo, direccin web o entidad a la que deben ser solicitados).

Figura 19. Matriz de documentacin sobre la intervencin a evaluar Documento Documento de formulacin de la intervencin Estudios de diagnstico o de viabilidad relacionados con la intervencin Normativa reguladora (rdenes, resoluciones, etc.) Marcos presupuestarios Planes anuales operativos de la intervencin Documentos de estrategia de lucha contra la pobreza del pas socio (DELP) Plan Director de la Cooperacin Espaola Documentos de estrategias sectoriales o geogrcas (DES, DEP) Planes Anuales de Cooperacin Internacional (PACI) Documentos de Comisiones Mixtas con el pas socio Memorias Estudios especcos Informes de seguimiento Informes de evaluacin anteriores Otras evaluaciones sobre el sector o temtica similar Estudios sobre el sector, territorio o colectivo de intervencin
Fuente: Elaboracin propia 50

Principales contenidos

Localizacin

FASE I: Diseando la evaluacin

En la Figura 19 se presenta un modelo para esta matriz y algunos ejemplos que pueden serle de utilidad para documentar la evaluacin de una intervencin de desarrollo. Este proceso le servir para conocer mejor y con ms profundidad la intervencin cuya evaluacin est gestionando y disponer de una fotografa o descripcin del objeto de la evaluacin a realizar y de los elementos que delimitan su alcance. Es recomendable que se trate de una sucinta descripcin del conjunto de la intervencin en la que incluya: el marco de planicacin superior en el que se encuadra (DES, DEP, PACI, etc.), una breve referencia al contexto social, poltico y econmico en el que se desarrolla la intervencin, la fecha de inicio y nalizacin, el presupuesto global, y un esquema de la lgica de planicacin interna de la intervencin (objetivos, actividades, resultados y fases). Esta informacin le servir para redactar los TdR en los que debe incorporar una breve historia de la intervencin a evaluar y sus antecedentes.

2.6 Anlisis de evaluabilidad es posible realizar la evaluacin?

Una vez que ha identicado las necesidades de informacin y denido los objetivos de la evaluacin, debe plantearse hasta qu punto es evaluable el objeto de la evaluacin. Para saberlo deber analizar los factores que, como se explic en la primera Parte de este Manual, pueden convertirse en catalizadores de la evaluacin, neutralizando o dinamizando el proceso: la calidad de la planicacin, la existencia y disponibilidad de informacin y la implicacin de los actores y el contexto sociopoltico. Dependiendo de la intervencin que vaya a evaluar, el anlisis de evaluabilidad puede ser ms o menos complejo, por lo que una primera valoracin de estos factores le ayudar a decidir si lo puede llevar a cabo de manera interna o si requerir la contratacin de un dictamen experto. Lgicamente, la disponibilidad de tiempo y recursos tambin determinarn la profundidad del anlisis de evaluabilidad que podr realizar. En la Figura 20 se proponen los elementos que debe revisar.

Figura 20. Elementos que condicionan la evaluabilidad Anlisis de evaluabilidad

Calidad de la planicacin: diagnstico, objetivos y estrategias Relevancia del diagnstico: valoracin de la denicin de los problemas y su articulacin Denicin de los objetivos Coherencia interna de la estrategia propuesta
Fuente: Adaptado de IDR (2000).

Existencia y disponibilidad de informacin Disponibilidad de informacin Existencia de un sistema de seguimiento Denicin de indicadores

Implicacin de actores y contexto sociopoltico Implicacin y actitud de los actores ante la evaluacin Dotacin de recursos para la evaluacin (humanos, nancieros y de tiempo) Contexto sociopoltico

51

PARTE II: El ciclo de la evaluacin: un itinerario a recorrer

10

El anlisis de evaluabilidad se inicia con una valoracin del diagnstico realizado. Adems, se debe constatar la existencia de objetivos claramente denidos y medibles, analizar su correspondencia con los problemas detectados y examinar la lgica del modelo de intervencin diseado. Para valorar estos elementos puede tomar como referencia la propuesta de criterios que aparece en la Figura 21. Figura 21. Criterios para valorar la calidad de la planicacin en el anlisis de evaluabilidad Valoracin S No Mejorable

Calidad de la planicacin Denicin de Problemas Son explcitos, claros, rigurosos y medibles? Se ha delimitado a quines afectan (poblacin objetivo)? Son las relaciones causa-efecto lgicas? Denicin de objetivos Estn claramente formulados los objetivos? Estn cuanticados o son medibles? Responden los objetivos a las necesidades y problemas detectados? Coherencia interna de la estrategia Son las relaciones nes-medios lgicas? En qu medida contribuye cada nivel de objetivos a la consecucin de los del nivel superior? Se corresponden las cadenas nes-medios con las de causa-efecto?

En segundo lugar, se debe analizar la adecuacin de los sistemas de seguimiento diseados para recopilar la informacin relacionada con la aplicacin de las intervenciones, prestando especial atencin a la asignacin de responsabilidades para la recogida de la informacin, al sistema propuesto para su sistematizacin y a los indicadores denidos. Alguna de las variables para valorar estos aspectos se exponen en la Figura 22.

52

FASE I: Diseando la evaluacin

Figura 22. Criterios para valorar la calidad de la informacin Valoracin S No Mejorable

Existencia y disponibilidad de informacin Disponibilidad de informacin Se ha generado informacin suciente sobre la intervencin y su contexto para la evaluacin? Est localizada y es fcilmente accesible? Su recopilacin es costosa en tiempo y dinero? Sistema de seguimiento e indicadores Se han previsto mecanismos para recopilarla y sistematizarla? (sistema de seguimiento) Se ha establecido la periodicidad de la recopilacin de informacin? Se ha determinado quines son los responsables de recopilar la informacin? Se han denido indicadores relativos a los principales mbitos de la intervencin? Son relevantes, tiles, ables, accesibles, fciles de interpretar y comparables? Se han denido indicadores de lnea de base? Se han especicado las fuentes de informacin?

Finalmente, debe conocerse el grado de aceptacin de la evaluacin por los principales actores, su actitud hacia la misma y potencial implicacin en el proceso, considerando las limitaciones que la dotacin de recursos o el contexto socio-poltico e institucional pueda imponer. Para ello puede utilizar las cuestiones que se presentan en la Figura 23.

53

PARTE II: El ciclo de la evaluacin: un itinerario a recorrer

10

Figura 23. Criterios para valorar la implicacin potencial de los actores y el contexto sociopoltico Implicacin de actores y contexto sociopoltico Implicacin de los actores Perciben los actores la utilidad de la evaluacin? Existe una actitud favorable hacia la evaluacin en los tcnicos y contrapartes locales? Es uida la comunicacin entre los principales actores de la intervencin? Dotacin de recursos Es el presupuesto disponible un factor que puede limitar la evaluacin? Es el tiempo disponible un factor que puede limitar la evaluacin? Se dispone de los medios tcnicos adecuados? Contexto sociopoltico Existe una cultura de evaluacin? La situacin socio-poltica en la contraparte local puede condicionar la evaluacin? Existen grupos de presin que puedan interferir en la independencia de la evaluacin? No debe obviar que la evaluacin se desenvuelve en un contexto poltico que inuye desde que se genera la motivacin para evaluar hasta que se comunican sus resultados y se incorporan las recomendaciones. En la prctica Siempre que se considere necesario y disponga de los recursos para ello, puede realizar el anlisis de evaluabilidad antes de seguir con el proceso de evaluacin de la intervencin, contratando para ello la asistencia de un equipo externo. Una solucin intermedia es incluir el anlisis de evaluabilidad en los TdR para que se encargue de realizarla el equipo que se har cargo de desarrollar el estudio de evaluacin Valoracin No Mejorable

54

FASE I: Diseando la evaluacin

En el mbito de la cooperacin al desarrollo este aspecto cobra especial trascendencia ya que pueden entrar en juego entornos sociopolticos complejos, cambiantes y potencialmente inestables. Como apoyo para el anlisis, en la Figura 24 se presenta una caracterizacin de intervenciones con alto y bajo potencial de evaluabilidad en funcin, principalmente, de la calidad de su planicacin. Figura 24. Evaluabilidad y calidad de la planicacin de la intervencin a evaluar Intervenciones con alto potencial de evaluabilidad Diseados segn un modelo terico de planicacin (p.e. Enfoque del Marco Lgico) Con objetivos claros y especcos Con un plan de ejecucin detallado En los que se dene la poblacin objetivo Que cuentan con un sistema de gestin e informacin operativo Que tienen una nica fuente nanciera
Fuente: Adaptado de IDR (2000).

Intervenciones con bajo potencial de evaluabilidad Que no responden a ningn modelo de planicacin Con objetivos ambiguos y generales Que no cuentan con un plan de ejecucin detallado En las que no se dene la poblacin objetivo Que no cuentan con un sistema de gestin e informacin adecuado Que tienen ms de una fuente nanciera

Al nalizar la etapa, debe haber delimitado: El objeto de su evaluacin, es decir, la intervencin o grupo de intervenciones que pretende evaluar. Un listado de los actores implicados en la intervencin y sus principales expectativas y posibilidades de participacin en el proceso evaluativo. Un Comit de Seguimiento u otro tipo de estructura de apoyo que facilite y dinamice la participacin de los actores en el proceso de evaluacin. Los objetivos de evaluacin, denidos de acuerdo con las necesidades informativas de los agentes implicados en la intervencin a evaluar. El alcance de su evaluacin, entendida como las dimensiones del objeto que van a ser evaluadas: institucional, sectorial, geogrca, temporal y poblacin beneciaria. Si el objeto de su evaluacin es evaluable y, en cualquier caso, cmo preparar a la intervencin para ser evaluada.

55

PARTE II: El ciclo de la evaluacin: un itinerario a recorrer

10

Etapa 3. Denir las preguntas de evaluacin: Qu desea saber de su intervencin?

Hasta este momento, ha establecido el objeto de la evaluacin que va a llevar a cabo y, tras un proceso de consultas con los principales actores involucrados en la intervencin, ha trasladado sus intereses a la denicin de los objetivos de la misma y ha delimitado su alcance. Ahora deber transformar estos objetivos en las cuestiones a las que los evaluadores debern dar respuesta. Debe ser muy cuidadoso al plantear las cuestiones a las que quiere que responda su evaluacin puesto que, si bien en principio no necesita plantear ms cuestiones que las necesarias para responder a los objetivos que ha denido, no olvide que si limita demasiado las preguntas de su evaluacin le costar atender a las necesidades informativas de todos los actores. Tenga en cuenta que difcilmente se obtendrn respuestas para cuestiones que no hayan sido inicialmente formuladas de forma expresa. Los criterios de pertinencia, eciencia, ecacia, impacto y viabilidad, le proporcionarn un buen punto de partida para denir las cuestiones de evaluacin. Estos criterios, recomendados por el CAD y adoptados por la mayora de los actores del sistema internacional de ayuda, son parmetros que permiten enjuiciar los xitos o fracasos de la intervencin. Agrupndolas segn estos criterios, le resultar ms sencillo transformar los objetivos de la evaluacin en cuestiones a las que los evaluadores debern responder. A continuacin se presentan estos criterios (MAE; 45 a 54). Pertinencia La evaluacin de la pertinencia consiste en valorar la adecuacin de los resultados y los objetivos de la intervencin al contexto en el que se realiza. Con su anlisis
56

se estudia la calidad del diagnstico que sustenta la intervencin, juzgando su correspondencia con las necesidades observadas en la poblacin beneciaria. Eciencia El anlisis de la eciencia de los proyectos y acciones de cooperacin al desarrollo hace referencia al estudio y valoracin de los resultados alcanzados en comparacin con los recursos empleados. Ecacia La evaluacin de la ecacia de la ayuda al desarrollo trata de medir y valorar el grado de consecucin de los objetivos inicialmente previstos, es decir, persigue juzgar la intervencin en funcin de su orientacin a resultados. Impacto La evaluacin del impacto trata de identicar los efectos generados por la intervencin, positivos o negativos, esperados o no, directos e indirectos, colaterales e inducidos. El anlisis de los impactos se centra en la determinacin de los efectos netos atribuibles a la actuacin. Viabilidad El enjuiciamiento de la viabilidad se centra en la valoracin de la continuidad en el tiempo de los efectos positivos generados con la intervencin una vez retirada la ayuda. En el mbito de la cooperacin este concepto est muy ligado a la potenciacin de los factores clave

FASE I: Diseando la evaluacin

de desarrollo, a la apropiacin del proceso por parte de los receptores de la ayuda y se puede decir que est directamente relacionada con evaluaciones favorables de los anteriores criterios. Aunque a partir de estos cinco criterios seguramente se puedan cubrir la mayor parte de las necesidades de informacin de todos los actores, es posible que, en un determinado contexto evaluativo, necesite recurrir a criterios complementarios para incluir en su evaluacin. Entre ellos los ms importantes son16: Coherencia Se realiza a dos niveles. Uno interno, que valora la articulacin de los objetivos de la intervencin con los instrumentos propuestos para lograrlos y su adecuacin a los problemas. Otro externo, que analiza la compatibilidad de la intervencin con otras estrategias y programas con los que pueda tener sinergias o complementariedad. Apropiacin Valora hasta qu punto las instituciones de los pases socios ejercen un liderazgo efectivo sobre sus polticas y estrategias de desarrollo, lo que implica la coordinacin de las actuaciones de los donantes. Alineamiento Su anlisis debe reejar el compromiso de los donantes para prestar su ayuda teniendo en cuenta y participando en las estrategias de desarrollo, los sistemas de gestin y los procedimientos establecidos en los pases receptores. Armonizacin Valora la coordinacin entre los donantes internacionales para evitar la dispersin de sus actuaciones, aprovechar las ventajas comparativas de cada uno y

construir un programa de ayuda ms estable y predecible para el pas socio, armonizando y simplicando los procedimientos all donde fuera posible. Participacin El anlisis de la participacin se centra en la determinacin de los agentes que han sido implicados en las diferentes etapas de la planicacin y la evaluacin, valorando su incidencia en la toma de decisiones. Cobertura La evaluacin de la cobertura se centra en el anlisis de los colectivos beneciarios y en la valoracin de su adecuacin a los destinatarios, indagando en los factores causales de los posibles sesgos hacia determinados colectivos o en las barreras de acceso. Tenga en cuenta que todos los criterios no son aplicables a todas las evaluaciones, sino que se trata de categoras generales de anlisis con las que podr estructurar sus cuestiones de evaluacin y cuya denicin podr adquirir connotaciones especcas segn cada intervencin y evaluacin a realizar. La ventaja de disponer de un conjunto de criterios preestablecidos para agrupar las cuestiones es que facilita la transferencia, comparacin y agregacin de los resultados de las distintas evaluaciones, mejorando la operatividad global del sistema de seguimiento y evaluacin de la Cooperacin Espaola. Sin embargo recuerde que, para el caso de que las preguntas de su evaluacin no se adapten completamente a los criterios propuestos, se debe tener abierta la posibilidad de incorporar otros nuevos para su evaluacin. En la Figura 25 se presentan, a modo de orientacin, las cuestiones ms usuales que suelen plantearse en una evaluacin y su correspondencia con cada uno de los criterios:
57

16. Herramienta para elaboracin de estrategias geogrcas, DGPOLDE. Gua de evaluacin de polticas pblicas, IDR

PARTE II: El ciclo de la evaluacin: un itinerario a recorrer

10

Figura 25. Criterios y cuestiones de evaluacin PERTINENCIA: Preguntas referidas a la adecuacin de la intervencin al contexto. Se corresponde la intervencin con las prioridades y necesidades de la poblacin beneciaria? Han cambiado las prioridades de los beneciarios desde la denicin de la intervencin? En caso armativo se ha adaptado la intervencin a dichos cambios? Han cambiado las prioridades de desarrollo del pas receptor o del rea de inuencia? Han cambiado las prioridades de la Cooperacin Espaola para el desarrollo? EFICIENCIA: Preguntas referidas a la asignacin ptima de los recursos del proyecto. Se han respetado los presupuestos establecidos inicialmente en el documento? Se han respetado los cronogramas y tiempos previstos? Ha sido eciente la transformacin de los recursos en los resultados? En qu medida la colaboracin institucional y los mecanismos de gestin articulados han contribuido a alcanzar los resultados de la intervencin? EFICACIA: Preguntas referidas al grado de consecucin de los objetivos. Se han alcanzado todos los resultados previstos de la intervencin? Se ha alcanzado el objetivo especco de la intervencin? Se han logrado otros efectos no previstos? Han encontrado dicultades los destinatarios para acceder a las actividades de la intervencin? IMPACTO: Preguntas referidas a los efectos globales de la intervencin. Ha contribuido la intervencin a alcanzar el objetivo global propuesto? Se ha logrado un impacto positivo sobre los beneciarios directos considerados? Se han producido impactos positivos no previstos sobre los beneciarios? Se han producido impactos negativos no previstos sobre los beneciarios? Se han realizado actividades dirigidas a la sensibilizacin sobre el objeto de intervencin en Espaa y en el pas receptor?

58

FASE I: Diseando la evaluacin

VIABILIDAD: Preguntas referidas a la sostenibilidad futura de la intervencin. Se mantienen los benecios de la intervencin una vez retirada la ayuda externa? Se siguen generando los recursos necesarios para el mantenimiento de las actividades? Se ha inuido positivamente sobre la capacidad institucional? Cmo se han contemplado las prioridades horizontales? Se ha beneciado a los colectivos ms vulnerables? Se ha actuado sobre la desigualdad de gnero? Se ha promovido un progreso tecnolgicamente apropiado? Se ha velado por la proteccin del medio ambiente? COHERENCIA: Preguntas referidas a la idoneidad de la estructura interna de la intervencin y a su complementariedad con otras intervenciones Se corresponden los problemas identicados con los objetivos propuestos? Se ha denido correctamente la estructura de objetivos, resultados y actividades de la intervencin? Son adecuadas las actividades programadas para lograr los objetivos de la intervencin? Complementa la intervencin a otras estrategias o programas aplicados en el mismo territorio, sector o poblacin objetivo por la accin exterior del Estado espaol, la Cooperacin Espaola, otros donantes y el pas socio? Se aprovechan las posibles sinergias que se puedan establecer entre estos programas y la intervencin? APROPIACIN: Preguntas referidas al liderazgo de los socios locales. En qu medida han participado las instituciones locales en el diseo de la intervencin? En qu medida participan las instituciones locales en la aplicacin y gestin de la intervencin? En qu medida participan las instituciones locales en el seguimiento de la intervencin? En qu medida participan las instituciones locales en la evaluacin de la intervencin? En qu medida han participado los beneciarios en todo el proceso? ALINEAMIENTO: Preguntas referidas a la asimilacin de estrategias y procedimientos locales. Se adaptan los procedimientos presupuestarios y administrativos de la intervencin a los de las instituciones locales? Se han tenido en cuenta las estrategias y programas de desarrollo del pas socio? La intervencin incluye medidas especcas para fortalecer las capacidades de las instituciones locales? Se ha logrado? En qu medida las entidades ejecutora y donante de la intervencin han sido transparentes con las instituciones y los socios locales?
59

PARTE II: El ciclo de la evaluacin: un itinerario a recorrer

10

ARMONIZACIN: Preguntas referidas a la coordinacin entre actores donantes. Existen otras entidades gestoras y organismos donantes que operen en el mismo territorio, sector o poblacin objetivo? Se han establecido mecanismos de coordinacin con estas entidades?, de qu tipo?, a qu mbitos alcanzan? Qu resultados ha tenido esta coordinacin? PARTICIPACIN: Preguntas referidas al papel asignado a los beneciarios. Se ha delimitado claramente quines van a participar en el proyecto, y cmo? Qu actores han participado en cada fase de la intervencin?, en qu medida? Han sido ecaces los canales de participacin establecidos? La intervencin incluye medidas especcas orientadas al empoderamiento de las personas beneciarias y las organizaciones locales? Se ha logrado este empoderamiento? COBERTURA: Preguntas referidas a los colectivos atendidos. Las actuaciones desarrolladas en la intervencin han alcanzado a todos los colectivos destinatarios? Se han establecido mecanismos para facilitar a los beneciarios el acceso a los servicios de la intervencin? Son diferentes los colectivos atendidos respecto a los identicados durante el diseo de la intervencin? ASPECTOS METODOLGICOS: Otras preguntas relacionadas con la intervencin. Ha sido correcta la formulacin de la intervencin segn el EML? Ha sido til el sistema de indicadores predenido? Han sido bien identicadas las fuentes de vericacin? Han sido apropiados los mtodos de recopilacin y anlisis de los datos? Han sido tiles las conclusiones de los trabajos de evaluacin previa? Han sido correctamente identicados los factores externos? Han evolucionado dichos factores conforme a lo previsto? Se ha producido informacin suciente para la evaluacin?
Fuente: Adaptado de Tabla de valoracin del desempeo de la intervencin, Metodologa de Evaluacin de la Cooperacin Espaola (1998), pg. 253 a 256, MAE (1998) y Manual de evaluacin de proyectos de Cruz Roja Espaola (2000).

60

FASE I: Diseando la evaluacin

Cuando tenga el listado de todas las cuestiones que reejan sus intereses y los del resto de actores implicados, y una vez clasicadas por criterios, deber priorizar aquellas que se abordarn en la evaluacin, siendo importante que realice esta seleccin a travs de un proceso de negociacin en el Comit de Seguimiento o en la estructura de participacin que haya puesto en marcha. Para priorizar las cuestiones de evaluacin deber tener en cuenta la incertidumbre que exista

acerca de su respuesta, su inuencia en el proceso de toma de decisiones, el coste de su investigacin y la informacin disponible al respecto, entre otras variables (Cronbach en Stufebeam y Shinkeld, 1987: 155). En la Figura 26 se propone una matriz con algunos de los criterios que le pueden ayudar a priorizar las cuestiones de evaluacin.

Figura 26. Matriz de priorizacin de cuestiones de evaluacin Criterios para priorizar las cuestiones de evaluacin Cuestiones de evaluacin Grado de incertidumbre Alto/Medio/Bajo Alto/Medio/Bajo Alto/Medio/Bajo Inuencia Alta/Media/Baja Alta/Media/Baja Alta/Media/Baja Recursos necesarios Altos/Medios/ Bajos Altos/Medios/ Bajos Altos/Medios/ Bajos Informacin disponible Alta/Media/Baja Alta/Media/Baja Alta/Media/Baja

Cuestin 1 Cuestin 2 Cuestin n

Fuente: Cronbach en Stufebeam y Shinkeld, 1987: 155

Si ya ha tenido alguna experiencia en la gestin de evaluaciones, es posible que algunas de estas cuestiones las pueda denir de antemano, sobre la base de la experiencia acumulada, que hace que se puedan reconocer los intereses ms adecuados o recurrentes para cada contexto evaluativo: por ejemplo el momento en que se vaya a realizar la evaluacin, el tipo de intervencin o los grupos de actores involucrados.

61

PARTE II: El ciclo de la evaluacin: un itinerario a recorrer

10

En la prctica Para recoger las demandas de informacin de los actores y determinar los objetivos y las preguntas de la evaluacin, puede organizar un taller en el que cada actor tenga la posibilidad de expresar sus intereses con libertad. La utilizacin de tcnicas de participacin (lluvia de ideas, tarjetas, etc.) le ser de gran utilidad. Tambin puede remitir a los actores clave que ha identicado en su evaluacin una cha en la que les solicite sus motivaciones y necesidades informativas, especialmente til si no puede acceder a los actores locales mediante visitas previas a terreno
FICHA DE MOTIVACIONES Y NECESIDADES INFORMATIVAS DE LA EVALUACIN El proceso de la evaluacin comienza con alguien que se hace preguntas que necesitan respuestas. Esta necesidad est determinada por la manera en que la persona que demanda la evaluacin [motivadores] percibe la realidad y por sus intereses en hacer un buen trabajo para la organizacin. Uno de los criterios que determinan una buena evaluacin es entonces si el usuario obtiene la informacin que le permitir tomar una decisin correcta. Carlsson, J; Khlin, G; y Ekbom, A, 1994, en MAE (1998:95). Les invitamos a participar para planear la evaluacin del proyecto __________________________ Rellenen por favor esta breve cha y devulvanla antes del xx de xx. Les sugerimos que cuenten para ello con todas las personas que estn legitimadas a participar en esta consulta al estar afectadas de alguna manera por la evaluacin o tener la intencin, ms adelante, de implicarlas en la devolucin de resultados y en la aplicacin y uso de las recomendaciones nales. Cualquier consulta o duda puede dirigirla a xx. Muchas gracias por su colaboracin. A. Resumen de la lgica de intervencin del proyecto: Ttulo del Proyecto; Programa / Servicio del que forma parte; Objetivo a lograr; Indicadores previstos para la valoracin del alcance de dicho Objetivo; Resultados o logros intermedios necesarios para alcanzar el Objetivo. B. Motivaciones y necesidades informativas de la evaluacin: Qu inters o necesidades de informacin cree que le podra aportar la evaluacin? Cules seran esos intereses, preocupaciones o preguntas que planteara sobre el proyecto para tratar de ser respondidas con la evaluacin? Indique al menos 1, y colquelas por orden de importancia.

62

FASE I: Diseando la evaluacin

FICHA DE MOTIVACIONES Y NECESIDADES INFORMATIVAS DE LA EVALUACIN (cont.) C. Enfoque general de la evaluacin y la forma de llevarla a la prctica: Tienen sugerencias sobre cmo deberamos considerar este proceso de evaluacin? Por ejemplo, con quin realizarla, quin/es deben supervisarla o participar en ella, enfoque ms adecuado, etc. D. Consultas y contactos para el seguimiento del proceso: Quin y qu departamentos han participado y deliberado en la elaboracin de esta cha? Quin y qu departamentos fueron, al menos, consultados? Quin ha sido la persona y departamento que ha redactado y contesta a esta cha? Quin ser la persona de contacto para tratar con nosotros los temas futuros relativos a la evaluacin de los proyectos?

Fuente: Touza, I. (2006). Procedimiento de Evaluacin de Entreculturas.

Finalmente, tenga en cuenta que, aunque se recomienda denir de forma expresa y concisa las cuestiones de evaluacin, es frecuente que en el momento de su encargo no las tenga totalmente identicadas. En este caso deber instar al equipo evaluador a que contribuya a detectar, explicitar y priorizar aquellas que mayor inters despiertan entre los agentes implicados.

Al nalizar la etapa, debe haber delimitado: Las cuestiones a las que deber responder la evaluacin, denidas tras un proceso de consulta con los principales actores relacionados con la intervencin y una seleccin y priorizacin de las mismas. Una matriz en la que se clasiquen estas cuestiones en funcin de los criterios de evaluacin.

63

PARTE II: El ciclo de la evaluacin: un itinerario a recorrer

10

Etapa 4. Eleccin del tipo de evaluacin que va a poner en marcha y presupuesto

Durante esta primera Fase de diseo tambin debe elegir el tipo de evaluacin que va a poner en marcha y estimar el presupuesto que destinar a la misma, as como los plazos que regirn el proceso evaluativo. En este epgrafe se ofrecen algunas indicaciones para que tome las decisiones ms adecuadas. se encuentre el objeto evaluado) o vendr predeterminada por alguna normativa o por los mismos promotores de la evaluacin (por ejemplo, las evaluaciones que la AECI requiere a las ONGD para sus proyectos conanciados deben ser externas). En otros casos, especialmente cuando decida el tipo de evaluacin segn su contenido, la eleccin requerir de una reexin ms profunda. Las cuestiones de evaluacin que acaba de priorizar en la etapa anterior son un buen punto de referencia para determinar, en este caso, el tipo de evaluacin que debe realizar, ya que deber optar por el modelo de evaluacin que mejor pueda responderlas. Para orientarle, en la Figura 27 se presentan de forma resumida los principales elementos que tendr que considerar para decidir que tipo de evaluacin poner en marcha en funcin de cada uno de los parmetros de clasicacin.

4.1 Eleccin del tipo de evaluacin

Como se present en la Parte I del Manual, en la Cooperacin Espaola puede ponerse en macha una variada tipologa de evaluaciones que le ofrecen diferentes posibilidades para enjuiciar una intervencin. Para elegir el tipo de evaluacin que mejor se ajusta a sus necesidades, deber considerar la situacin de su contexto evaluativo teniendo en cuenta cada uno de los criterios de clasicacin. En algunos casos la alternativa a elegir estar muy clara (por ejemplo, la eleccin entre una evaluacin ex ante, intermedia o ex post, depender del momento en que

Figura 27. Elementos a valorar para seleccionar cada tipo de evaluacin Segn el contenido de la evaluacin: De diseo De proceso o gestin De resultados De impactos El enfoque integral que se recomienda adoptar en las evaluaciones sugiere abordar cuestiones referidas al diseo, al proceso y a los resultados, aunque la primaca de una tipologa u otra ser consecuencia de las preguntas de evaluacin priorizadas. Este tipo de evaluacin suele precisar de experiencias previas de evaluacin por parte de su entidad. Su aplicacin puede permitir conocer las estrategias evaluativas que se estn aplicando y mejorar la calidad de las evaluaciones, por lo que resulta til para consolidar una poltica de evaluacin cuando la evaluacin es una cultura incipiente.

Metaevaluacin

64

FASE I: Diseando la evaluacin

Segn el agente que promueve la evaluacin: Le resultar ms sencillo poner en marcha una evaluacin conjunta cuando se den las siguientes circunstancias: Inters compartido por el objeto de evaluacin. Existencia de partenariados de actores o donantes en la intervencin a evaluar. Coincidencia de territorio, colectivo o sector de incidencia con otras intervenciones. Necesidad de generar una masa crtica suciente y pertinente de intervenciones. Propsito de mejorar la armonizacin y el alineamiento de su programa de trabajo.

Individual Conjunta

Segn quien realiza la evaluacin: La evaluacin interna se recomienda en la medida en que conuyan las siguientes situaciones: Evidencias sobre la necesidad de contar con equipos internos. Propsito de aprendizaje o de rendicin de cuentas. Formacin y experiencia previas en evaluacin. Disponibilidad de tiempo para la evaluacin del personal de la organizacin. Si opta por una evaluacin externa, deber considerar primero la posibilidad de realizar una evaluacin de calidad en tiempo y coste oportunos.

Interna (autoevaluacin) Externa Mixta (interna asistida)

Segn el momento en que se realiza la evaluacin: Ex ante Intermedia Ex post Esta tipologa, que queda determinada por el momento en el que se encuentre el objeto de evaluacin, puede estar condicionada por algn requerimiento normativo. Dado que uno de los objetivos de este anlisis es mejorar la evaluabilidad del objeto seleccionado, se hace especialmente recomendable cuando existan dudas sobre: Cantidad y calidad de la informacin disponible. Calidad de la planicacin. Colaboracin de los actores implicados.

Anlisis de evaluabilidad

Segn la temtica y objeto de la evaluacin: De estrategias De instrumentos operativos

Fuente: Elaboracin propia 65

Esta tipologa queda determinada por el objeto de evaluacin seleccionado (Etapa 2). Si ha considerado un Plan de Evaluaciones depender de los criterios que haya establecido para seleccionar las intervenciones a evaluar.

PARTE II: El ciclo de la evaluacin: un itinerario a recorrer

10

Dentro de cada una de las cinco variables clasicatorias empleadas, debe seleccionar la opcin que mejor se ajuste a su intervencin y al contexto evaluativo en el que se desenvuelve, mediante la valoracin de los elementos que se presentan en la columna de la derecha y teniendo en cuenta las consideraciones al respecto que se realizaron en la primera Parte del Manual. Recuerde que la clasicacin no es excluyente y puede, por ejemplo, solicitar una evaluacin individual y mixta, en un momento intermedio del desarrollo de la intervencin, y centrada en el proceso.

En general, es conveniente que establezca algunas categoras bsicas para que los evaluadores desglosen el presupuesto de sus propuestas. Por ejemplo, el presupuesto asignado a la recopilacin de informacin, al Trabajo de campo o a la redaccin y presentacin del informe de evaluacin. Tenga en cuenta que dos de los epgrafes ms importantes del presupuesto de la evaluacin son los relacionados con el Trabajo de campo y con los honorarios de los evaluadores (precio/hora).

4.2 Estimacin del presupuesto y plazos de la evaluacin

Si va a realizar la evaluacin internamente requerir de un presupuesto estimado de la misma. En el caso de evaluaciones externas, el diseo de su evaluacin ser ms completo si elabora un presupuesto orientativo que sirva de referencia a los evaluadores a la hora de presentar sus propuestas. Hay tres elementos que justican la mayor o menor cuanta del desembolso presupuestario que debe asignar a las tareas evaluativas: la naturaleza y alcance del trabajo requerido, las caractersticas de la intervencin a evaluar y el propsito de la evaluacin puesta en marcha. Tenga en cuenta que una buena evaluacin necesita evaluadores cualicados y la aplicacin de tcnicas adecuadas de recopilacin y anlisis de la informacin. En ningn caso las restricciones presupuestarias deben ser un factor que limite la calidad de su evaluacin. Si tiene recursos limitados, la mejor alternativa es restringir el alcance de la evaluacin. Lo normal es destinar entre un 1 y un 5% del presupuesto de la intervencin a la evaluacin, en funcin de su carcter rutinario o innovador o de su potencial para el aprendizaje.

En la prctica Cuando estime el presupuesto y plazos del proceso de evaluacin deber hacer un balance de las ventajas que presenta cada una de las decisiones que ha tomado hasta ahora para disear su evaluacin y reconsiderarlas en relacin a su coste. Por ejemplo, comprobar como los procesos participativos, que ofrecen grandes ventajas en trminos de calidad y utilidad de la evaluacin, requerirn de un esfuerzo importante en tiempo y recursos.

Para establecer a priori los plazos de la evaluacin deber realizar una estimacin teniendo en cuenta que las Fases I (diseo) y III (comunicacin de resultados e incorporacin de lecciones) estarn condicionadas en buena medida por los procedimientos administrativos y por los requerimientos de participacin de otros actores. Para estimar los plazos de la Fase II (desarrollo del estudio de evaluacin) deber basarse en experiencias similares previas o consultar a expertos si no las hubiera tenido, pudiendo optar tambin por dejar esta opcin abierta a que los evaluadores presenten sus propuestas. En cualquier caso, tenga presente que los plazos de la evaluacin han de ser coherentes con su nalidad l-

66

FASE I: Diseando la evaluacin

tima: aportar insumos para el proceso de planicacin, por lo que las conclusiones, recomendaciones y lecciones aprendidas deben estar disponibles con la suciente antelacin para que le permitan comunicarlas y difundirlas entre los actores implicados. Al nalizar la etapa, debe haber delimitado: El tipo de evaluacin que va a poner en marcha. Un presupuesto estimado de la evaluacin. Los plazos en los que se va a desarrollar el proceso evaluativo

67

PARTE II: El ciclo de la evaluacin: un itinerario a recorrer

10

Etapa 5. Cmo preparar la realizacin de la evaluacin? Redaccin de los TdR

Las decisiones que ha tomado en cada una de las etapas anteriores le han proporcionado la informacin suciente para disear la evaluacin que va a realizar. En esta etapa debe recoger esa informacin en un documento marco de planicacin, los Trminos de Referencia (TdR)17, que le servirn como Plan de Trabajo si va a realizar la evaluacin de forma interna o, en su caso, para contratar a un equipo externo de evaluadores. Unos buenos TdR evitan malentendidos y favorecen el trabajo de los evaluadores puesto que, para ellos, son la principal referencia que les indica cmo es la evaluacin que solicita. Dada su importancia, todos los actores implicados en el proceso de evaluacin deben estar de acuerdo con los contenidos de los TdR. Por ello, antes de su publicacin, deber trasladarlos al Comit de Seguimiento, o grupo de referencia que haya creado, para que sean revisados, consensuados y aprobados. La redaccin de los TdR consiste bsicamente en ordenar y sistematizar la informacin referida a las decisiones que ha tomado hasta el momento para disear su evaluacin. En la Figura 28 se le recuerdan cules son estos elementos:

Figura 28. Etapas y resultados del diseo de la evaluacin Etapa 1. Motivacin de la evaluacin. Por qu y para qu evaluamos? 2. Seleccionar el objeto de la evaluacin, denir sus objetivos y analizar la evaluabilidad. Qu va a ser evaluado? Qu actores estn implicados en la evaluacin? Para qu se evala? Es posible realizar la evaluacin? 3. Denicin de las preguntas de evaluacin. Qu se desea saber de su intervencin? 4. Tipologa de evaluacin, presupuesto y plazos. Qu tipo de evaluacin se pondr en marcha? Cul ser su presupuesto? En qu plazos se desarrollar?
68 Fuente: Elaboracin propia

Elementos establecidos Motivaciones para evaluar. Propsitos generales de la evaluacin. Seleccin del objeto a evaluar. Identicacin de actores implicados. Comit de Seguimiento de la evaluacin. Objetivos de la evaluacin. Alcance de la evaluacin. Evaluabilidad del objeto. Cuestiones de evaluacin. Criterios de evaluacin. Tipo de evaluacin a realizar. Presupuesto y plazos de la evaluacin.

FASE I: Diseando la evaluacin

Cuando traslade esta informacin a los TdR deber hacerlo de acuerdo a una estructura lgica, clara y precisa, que facilite a los equipos de evaluacin la preparacin de sus propuestas de trabajo. Tenga en cuenta que no existe un modelo nico de TdR sino que, para cada intervencin, evaluacin a realizar y unidad gestora de la evaluacin, se podra elaborar uno diferente. En la Figura 29 se presenta una propuesta para estructurar los TdR que le puede orientar en la elaboracin del modelo que mejor se ajuste a sus necesidades18. Figura 29. Lista de control de contenidos y propuesta de estructuracin de los TdR Estructura de los TdR: Ttulo Control de contenidos: Nombre de la evaluacin a realizar: nombre de la intervencin a evaluar y tipo de evaluacin. Por qu y para qu se evala (motivacin, objetivos o propsitos generales, usuarios, usos y expectativas de la evaluacin, recomendaciones esperadas), breve referencia al objeto de evaluacin y tipologa de evaluacin solicitada. Marco de planicacin en el que se encuadra la intervencin, fecha de inicio y nalizacin, presupuesto y lgica de intervencin (objetivos, actividades, resultados y fases), colectivo beneciario, contrapartes y breve referencia al contexto institucional y socio-econmico de la intervencin. Dimensiones de la intervencin a evaluar: geogrcas, institucionales, temporales, sociales y temticas o sectoriales. mbito de la evaluacin y actores implicados Listado de actores implicados, miembros del Comit de Seguimiento y unidad gestora de la evaluacin (estableciendo su participacin en el proceso evaluativo). Matriz de documentacin: documentos e informacin disponibles. Preguntas, criterios y tipo de evaluacin Objetivos especcos de la evaluacin (preguntas de evaluacin). Criterios de evaluacin: denicin, priorizacin y complementariedad. Tipo de evaluacin que se solicita.

Introduccin

Antecedentes de la intervencin

17. A este documento tambin se le suele denominar, cuando se decide su contratacin externa, pliego de prescripciones tcnicas. En el Manual se utilizar el trmino TdR para denominar genricamente al documento sobre el que se planica el estudio de evaluacin. 18. En el ANEXO I se presenta, a modo de ejemplo, el modelo de TdR empleado por la DGPOLDE (2006).

69

PARTE II: El ciclo de la evaluacin: un itinerario a recorrer

10

Figura 29. Lista de control de contenidos y propuesta de estructuracin de los TdR (cont.) Estructura de los TdR: Control de contenidos: Metodologa y tcnicas requeridas (de recopilacin y anlisis de la informacin y para la presentacin y difusin de resultados). Metodologa, Plan de Trabajo y estructura del informe Solicitud del Plan de Trabajo: fases, plazos y productos que desea recibir. Se suelen agrupar en Estudio de Gabinete y Trabajo de campo, indicando si se deben programar reuniones de devolucin de resultados preliminares, y herramientas requeridas. Estructura orientativa del informe de evaluacin, formato, n de copias, extensin aproximada. Perl solicitado del equipo de evaluacin Premisas de la evaluacin y autora Plazo para la realizacin de la evaluacin Presupuesto estimado Presentacin de la propuesta tcnica y criterios de baremacin
Fuente: Adaptado de DGPOLDE.

Cualicaciones profesionales, capacitacin y experiencia profesional (temtica, en evaluacin y en cooperacin). Autora del informe. Comportamiento tico y profesional de los evaluadores: anonimato y condencialidad; responsabilidad; integridad; independencia; incidencias; convalidacin, informes. Fecha de inicio y nalizacin. Calendario de entrega de productos. Devolucin de resultados. Presupuesto disponible para la realizacin de la evaluacin. Caractersticas, estructura y requisitos que debe cumplir la propuesta tcnica. Plazos para su presentacin. Criterios de valoracin de la propuesta.

70

FASE I: Diseando la evaluacin

Buena parte de los contenidos propuestos en la Figura 29 para los TdR han quedado sucientemente explicados en las etapas anteriores. Sin embargo, conviene tener en cuenta las siguientes matizaciones y aclaraciones complementarias: Los propsitos u objetivos generales que persigue con la evaluacin, indicando, en su caso, el marco regulatorio donde se establezca la necesidad de llevarla a cabo o las motivaciones que le impulsan a poner en marcha el proceso evaluativo. Esta justicacin de por qu se evala permitir que los equipos de evaluacin contextualicen el proceso y su marco de referencia. En la introduccin, cuando redacte el apartado correspondiente a los usos de la evaluacin, conviene que indique quines son los principales usuarios, sealando su grado de implicacin y participacin en la evaluacin. Si ha constituido un Comit de Seguimiento, es conveniente que lo seale en los TdR. Adems, debe describir el papel y funciones que va asumir en el proceso como gestor de la evaluacin. En los antecedentes de la intervencin, debe aparecer una breve historia de la intervencin a evaluar, indicando su marco legal y nivel de planicacin superior en el que se encuadra, la fecha de inicio y nalizacin, el presupuesto asignado a la intervencin y, de manera escueta, la lgica de planicacin (objetivos, actividades y resultados esperados, fases previstas y realizadas, fechas de inicio y nalizacin y presupuesto de cada una, indicando el momento en el que se encuentra la intervencin). Tambin debe recoger una breve referencia al contexto socio-econmico de la intervencin y las caractersticas del colectivo beneciario.

En el apartado de mbito de la evaluacin, deben establecerse las dimensiones geogrca, institucional, temporal, social y temtica o sectorial de la intervencin que deben afrontarse en la evaluacin. En los TdR debe quedar claramente establecida la cobertura del objeto de evaluacin a considerar, es decir, debe quedar acotado el alcance de la evaluacin tal como se deni en la Etapa 2. Adems, en el apartado de mbito de la evaluacin, debe aparecer una relacin de los documentos e informacin disponibles (matriz de documentacin): documentos programticos, informes disponibles, evaluaciones previas, indicadores sobre la intervencin, bases de datos existentes, etc. Este inventario es relevante para que el equipo de evaluacin pueda ajustar la metodologa y Plan de Trabajo. No olvide que en el apartado preguntas, criterios y tipo de evaluacin es importante establecer las cuestiones y preguntas a las que la evaluacin debe dar respuesta, pero que debe limitar su nmero para focalizar la evaluacin en aquellas ms relevantes, asegurando as una mayor calidad, tanto en el proceso como en los resultados del trabajo. Aunque lo ms recomendable es dejar que el equipo de evaluadores tome sus propias decisiones en funcin de la evaluacin solicitada y las incluya en su propuesta, puede proponer en los TdR una aproximacin metodolgica concreta o que se utilicen determinadas tcnicas de recogida y anlisis de la informacin (por ejemplo, si desea hacer una encuesta a beneciarios). En cualquier caso, es recomendable que se asegure de que la metodologa aplicada incida en los aspectos de gnero y permita la participacin en la evaluacin de los grupos de actores o colectivos beneciarios subrepresentados o de difcil acceso.
71

PARTE II: El ciclo de la evaluacin: un itinerario a recorrer

10

Los TdR deben incluir especicaciones sobre la duracin prevista de la evaluacin y sobre los productos que espera recibir. Debe solicitar que el equipo de evaluacin presente un Plan de Trabajo con un cronograma detallado de las fases sugeridas para el desarrollo del estudio de evaluacin y el resto de productos a entregar. Por otra parte, es aconsejable que incluya algunas consideraciones referidas a la entrega del Informe nal (estructura de contenidos, formato, nmero de copias, estilo, soporte grco que quiera que se incluya, idioma y extensin aproximada que espera). Adems, puede solicitar la entrega de un informe preliminar que pueda ser revisado y complementado por los miembros del Comit de Seguimiento. Finalmente, debe solicitar un plan de devolucin, comunicacin y difusin de resultados de la evaluacin, en el que se especiquen los medios que se utilizarn para ello (presentaciones multimedia, talleres, seminarios o grupos de trabajo, entre otros). Cuando dena el perl del equipo evaluador, tendr que determinar la experiencia profesional y capacitacin que considere necesarios, para lo que ser til solicitar una relacin de trabajos anteriores similares. Tambin debe especicar si quiere contar con consultores del pas receptor, asegurar un equilibrio de gnero en la composicin del equipo y establecer el idioma de trabajo. Adems, debe solicitar que se nombre a una persona que sea la responsable nal del trabajo e interlocutor del equipo evaluador. Estas consideraciones son igualmente vlidas si se ha propuesto una evaluacin interna. Si ha optado por una evaluacin mixta, en este apartado debe establecer con claridad cmo se prev que funcione la estructura del equipo de evaluacin interno y externo. Cuando establezca las premisas de la evaluacin, debe quedar claramente establecido de quin/es
72

son los derechos de propiedad y autora de la evaluacin y del informe que se genere. Tambin debe incorporar una referencia a los requerimientos sobre la independencia y comportamiento tico de los evaluadores, para que no exista ningn conicto de inters cuando deban acceder a los actores e informantes clave que necesitarn para llevar a cabo el trabajo de evaluacin. Si solicita un desglose de las principales partidas del presupuesto de la evaluacin, podr valorar por separado las alternativas presentadas para cada una de ellas. A este respecto, ser clave la desagregacin de la inversin prevista en el Trabajo de campo ya que le dar pistas sobre el potencial de la propuesta para aplicar un enfoque participativo a su evaluacin. Cuando establezca el plazo para la recepcin de propuestas debe considerar que el tiempo de que dispondrn los equipos de evaluacin es muy importante para que stos puedan elaborar propuestas de calidad, y est directamente relacionado con la complejidad de la evaluacin a realizar. Los parmetros de baremacin de propuestas ms comunes son la calidad tcnica de la metodologa propuesta, la cualicacin y experiencia del equipo evaluador, y la propuesta econmica solicitada para realizar la evaluacin. Estos, y cualquier otro que considere, deben quedar claramente establecidos en los TdR para orientar las propuestas que elaboren los evaluadores y para garantizar la transparencia de todo el proceso evaluativo. Para denirlos puede consultar el epgrafe siguiente, dedicado a presentar la ltima etapa del diseo de la evaluacin, y en el que encontrar algunas pautas referidas a la aplicacin de los criterios para seleccionar al equipo evaluador.

FASE I: Diseando la evaluacin

Los criterios de calidad con los que se juzgar el trabajo de evaluacin (el proceso y los resultados) tambin deben venir recogidos en los TdR. Cuando haya concluido la redaccin de los TdR, deber asegurarse de que, como mnimo, reejen el propsito y describan el proceso y productos de la evaluacin que ha diseado. Para apoyar esta revisin, a continuacin se presenta una cha que le ayudar a realizar una comprobacin de contenidos de los TdR (Figura 30).

Figura 30. Ficha de comprobacin de los TdR S Podra cualquiera que lea los TdR identicar el objeto, objetivos, mbito, alcance, tipo de evaluacin, usuarios y forma del/ de los informe/s que solicitan? Estn claramente recogidas las preguntas y criterios de evaluacin? Ha especicado los productos que deben elaborarse y los plazos de entrega? Quedan bien delimitados los requerimientos mnimos exigidos al equipo de evaluacin? El documento de TdR debe ser remitido a los miembros del Comit de Seguimiento (o cualquier otra estructura de participacin que se haya constituido para la evaluacin) para solicitar sus comentarios y garantizar que responden a las necesidades de informacin identicadas con anterioridad. Una vez consensuado, se puede dar por nalizado el documento. Mejorable No

Al nalizar la etapa, debe tener: Un documento en el que se especiquen de forma clara y precisa la naturaleza y contenidos de la evaluacin que quiere realizar, validado por los participantes en el proceso de evaluacin. Si su organizacin va a realizar la evaluacin de forma interna, este documento le servir como Plan de Trabajo de su evaluacin. Si va a contratar una evaluacin externa o mixta, este documento son los Trminos de Referencia que orientarn a los equipos evaluadores para presentar sus propuestas.

73

PARTE II: El ciclo de la evaluacin: un itinerario a recorrer

10

Etapa 6. Seleccin del equipo evaluador

Durante esta ltima etapa va a seleccionar al equipo ms adecuado para realizar el estudio de evaluacin que acaba de disear. Los pasos que se presentan se ajustan a un modelo de evaluacin externo o mixto, es decir, en el que debe contratar a un equipo de evaluadores externo para realizar todo o parte del trabajo. No obstante, si ha decidido realizar una evaluacin interna, el contenido de este epgrafe le orientar igualmente para seleccionar a los tcnicos que conformarn el equipo de evaluacin que constituya dentro de su organizacin. Pero adems necesitar aplicar correctamente los criterios que le permitirn seleccionar la propuesta ms adecuada y que ya deni para elaborar sus TdR. En este epgrafe encontrar algunas pautas que le ayudarn a aplicar estos criterios. Adems le proponemos la creacin de un Comit de Seleccin para que se encargue de valorar, conforme a estos criterios, cada una de las propuestas recibidas. en marcha debe garantizar la legitimidad y credibilidad del equipo que contrate para realizar la evaluacin, y la creacin de un Comit de Seleccin participativo, junto a la transparencia en la definicin de los criterios de valoracin de las propuestas, son los elementos clave que asegurarn este objetivo.

6.2 Parmetros de baremacin de las propuestas

En los TdR se establecen los criterios que debe aplicar para seleccionar la propuesta de evaluacin que ms se adecua a sus necesidades. A continuacin se ofrecen algunas sugerencias para que pueda aplicar correctamente los criterios ms comunes: calidad tcnica de la metodologa propuesta, cualicacin y experiencia del equipo de la evaluacin, y propuesta econmica. Calidad tcnica de la metodologa propuesta El examen de la calidad y fiabilidad de las propuestas metodolgicas debe ser un elemento central para que tome la decisin sobre el equipo evaluador que va a contratar. Para hacer su valoracin debe tener en cuenta la capacidad de cada propuesta para contestar a las preguntas de evaluacin planteadas en los Trminos de Referencia. Dada la complejidad que puede revestir la emisin de un juicio de valor sobre la calidad de una propuesta metodolgica puede considerar la posibilidad de consultar o incorporar en el Comit de Seleccin a expertos en la materia. Cuando valore las tcnicas para el trabajo de campo que van a utilizar los evaluadores, debe velar porque

6.1 Comit de Seleccin

La funcin del Comit de Seleccin es la de analizar y valorar las diferentes propuestas que reciba para realizar su evaluacin. Para ello deber aplicar correctamente los criterios de seleccin definidos y decidir la propuesta que mejor se adecue al proceso de evaluacin que ha diseado. Para conformar el Comit de Seleccin puede recurrir a los miembros del Comit de Seguimiento de su evaluacin, pero adems puede ser especialmente til la incorporacin de expertos independientes en evaluacin o de otro grupo de actores que no est representado en el Comit de Seguimiento. Tenga en cuenta que el proceso de seleccin que ponga

74

FASE I: Diseando la evaluacin

Figura 31. Cuadro de control (tabla de comprobacin) sobre la idoneidad de la metodologa propuesta y su adecuacin al objeto. Si El equipo evaluador posee, o tiene previsto desarrollar, la capacidad tcnica y organizativa para aplicar la metodologa propuesta? Garantizan una respuesta suciente de las preguntas de la evaluacin? Poseen la capacidad de satisfacer sus expectativas sobre las recomendaciones que espera de la evaluacin? Se dispone del tiempo y la nanciacin que precisan la metodologa y tcnicas propuestas? (si se dej abierto el plazo y presupuesto para la evaluacin) Existen otras alternativas que con menos recursos ofrezcan informacin en cantidad y calidad similares o superiores? la aplicacin de tcnicas, herramientas e instrumentos minimicen la carga de trabajo que supone la colaboracin de los beneciarios e informantes clave. Tambin es importante que valore la oportunidad temporal con que se aplicarn estos instrumentos en relacin con la disponibilidad de las personas, unidades y entidades que deben colaborar. La tabla de comprobacin de la Figura 31 le ayudar a valorar la calidad tcnica de la metodologa propuesta por cada equipo evaluador. Experiencia y cualicacin del equipo evaluador Cada vez hay ms organizaciones que se dedican a la evaluacin (entidades consultoras, universidades, centros de investigacin o expertos independientes) y optar por una u otra entidad o equipo tendr implicaciones en trminos de los resultados del trabajo. La consideracin de los siguientes factores le ayudar a tomar la decisin ptima para su evaluacin: Composicin de los equipos. La composicin de los equipos de evaluacin de intervenciones de cooperacin ha estado tradicionalmente polarizada por la eleccin de especialistas en polticas de cooperacin al desarrollo o especialistas en metodologa y tcnicas de evaluacin. Debe tener presente que, siempre que se posean el suciente conocimiento y destrezas de evaluacin, es muy importante que el equipo evaluador sea capaz de comprender y acercarse a la problemtica de la cooperacin internacional, y a la especca de su intervencin. Personal local. Los promotores y gestores de las evaluaciones apuestan cada vez ms por la contratacin de entidades locales o la integracin en los equipos de evaluacin de profesionales de los pases que reciben la ayuda. Esta tendencia responde a los principios de apropiacin, empoderamiento y desarrollo de las capacidades locales promovidas en los foros internacionales de cooperacin. En cualquier caso, no cabe duda de que su mayor conocimiento del contexto y los
75

No

Mejorable

PARTE II: El ciclo de la evaluacin: un itinerario a recorrer

10

problemas abordados con la intervencin, unido a una mejor adaptacin y comprensin de la realidad evaluada, otorga a estos profesionales una gran ventaja sobre los evaluadores de los pases donantes. La implicacin del equipo evaluador en el trabajo propuesto es un elemento ms que le permitir valorar su idoneidad. Podr conocerla viendo el nmero de integrantes, as como el perl (junior o senior), funciones y dedicacin de cada uno de ellos. En la prctica

Propuesta econmica Si bien la consideracin de la propuesta econmica solicitada por los evaluadores no debe alcanzar la misma importancia que los otros dos criterios, s toma mayor sentido cuando se hace desde un punto de vista relativo, en comparacin con el conjunto de ofertas econmicas.

El CAD de la OCDE hace las siguientes consideraciones respecto a las condiciones que deben reunir los componentes de un equipo evaluador: Ser sensibles a las creencias, usos y costumbres locales, prcticas religiosas, roles de gnero, discapacidad, edad y etnicidad, y deben considerar las implicaciones de estas caractersticas durante el desarrollo de la evaluacin. Garantizar la honestidad e integridad de todo el proceso de evaluacin; y tienen la responsabilidad de asegurar que las actividades de evaluacin sean independientes, imparciales y exactas. Respetar el derecho de las personas a proporcionar informacin de manera condencial, protegiendo su anonimato si as viene recogido por ley o as lo solicita el informante. (CAD 2006: 6 y 7) El Grupo de Evaluacin de Naciones Unidas ha incluido en sus estndares de evaluacin las competencias que deben tener los evaluadores. Entre ellas: Deben demostrar su experiencia y nivel de conocimiento en el diseo y gestin del proceso de evaluacin, incluyendo aquellos que involucren a mltiples actores; el diseo y conduccin de encuestas; la investigacin cientca social; y en planicacin, seguimiento y gestin de proyectos, programas y/o polticas.

76

FASE I: Diseando la evaluacin

Al nalizar la etapa, debe tener: Nombrado un Comit de Seleccin que se haga cargo de valorar las propuestas de los equipos evaluadores externos. Seleccionado al equipo que se encargar de realizar la evaluacin.

77

FASE II: Desarrollando el estudio de evaluacin

FASE II: Desarrollando el estudio de evaluacin

Una vez concluida la Fase I, ya tiene decidido y planicado el proceso de evaluacin que va realizar y, despus de la Etapa anterior, seleccionado al equipo y la propuesta ms adecuados para la evaluacin que ha diseado. Ahora puede poner en marcha esta Fase II, en la que debe coordinar con el equipo evaluador el desarrollo del estudio de evaluacin. Las tareas que debe realizar como gestor de la evaluacin se pueden dividir en dos etapas: establecer el Plan de Trabajo denitivo y supervisar su puesta en prctica. Pero adems, deber tener presente en todo momento su responsabilidad ante dos factores clave que deterFigura 32. Desarrollando el estudio de evaluacin Etapa 7: Establecer el Plan de Trabajo denitivo minarn el xito o fracaso de la evaluacin: asegurar la participacin de todos los actores implicados garantizando la uidez de los mecanismos de comunicacin, y supervisar la calidad del trabajo. En la Figura 32 se muestra de forma grca esta segunda Fase del proceso de evaluacin. Como puede observar, se han representado tambin los distintos pasos que conforman cada Etapa y los productos que sern generados. El fomento de la participacin y la supervisin de la calidad se han representado como funciones transversales que debe asumir de forma continua.

Reunin inicial Supervisar la calidad del proceso y de sus productos

Plan de Trabajo denitivo Fomentar la participacin y garantizar los ujos de informacin

Etapa 8: Gestionar el desarrollo del Plan de Trabajo

Estudio de gabinete Trabajo de campo Anlisis y conclusiones

Fuente: Elaboracin propia

Informe preliminar Memoria de campo Informe nal

79

PARTE II: El ciclo de la evaluacin: un itinerario a recorrer

Fomento de la participacin, garanta de los ujos de comunicacin y supervisin de la calidad del proceso
Debido a la importancia que tienen para garantizar el xito de la evaluacin, estos dos elementos transversales requerirn de su atencin durante todo el desarrollo del estudio de evaluacin y le exigirn el desempeo de las siguientes tareas: participacin y garantizar los ujos de comunicacin, que aparecern destacadas con el smbolo (C). Algunos ejemplos son los siguientes: Informar al Comit de Seguimiento de cualquier hecho relevante que surja durante el desarrollo del estudio de evaluacin. Trasladar al resto de actores implicados la informacin que se vaya generando. Siempre que sea viable, facilitar la participacin a travs de las nuevas tecnologas de la informacin y comunicacin. Programar, en la medida de lo posible, reuniones informativas en el rea en que se desarrolla la intervencin. Facilitar la disponibilidad de la informacin necesaria para realizar la evaluacin. Poner a disposicin del equipo de evaluacin toda aquella informacin relacionada con la gestin directa del proyecto y con su ejecucin. Asegurar que los evaluadores suministren informacin suciente sobre los principales hitos en el proceso de evaluacin, como por ejemplo problemas que puedan causar retardos en la realizacin de lo previsto. Coordinar los ujos de informacin con el Comit de Seguimiento.

Fomentar la participacin y garantizar los ujos de comunicacin

Durante esta segunda Fase es muy importante que la participacin sea efectiva e igualitaria. Tenga en cuenta que es ahora cuando se va a recoger la mayor parte de la informacin y se elaborarn los principales productos de la evaluacin, por lo que todos los actores involucrados en la intervencin deben poder opinar y conocer lo que se est haciendo durante el desarrollo de la evaluacin, velando en todo caso por la independencia del proceso. Deber prestar especial atencin a las contrapartes e instituciones locales y al colectivo de beneciarios y, dentro de este ltimo, a los grupos subrepresentados. Normalmente, estos actores encuentran ms dicultades para implicarse y acceder a los resultados de la evaluacin pese a que su participacin y opiniones son de gran importancia. En las sucesivas etapas se relacionarn las actuaciones que tendr que poner en marcha para asegurar la

80

FASE II: Desarrollando el estudio de evaluacin

Supervisar la calidad del proceso y de sus productos

A partir de las condiciones estipuladas en los TdR y posteriormente acordadas en el Plan de Trabajo denitivo, que se trata a continuacin, deber supervisar de forma continua la calidad del trabajo de los evaluadores, comprobando que el estudio se realiza conforme a lo establecido y que los productos le son entregados en el plazo y formas pactados. Este control de calidad se debe llevar a cabo durante todo el itinerario de la evaluacin. En las siguientes Etapas se presentan las actuaciones que debe realizar para vericar la calidad de esta Fase, que se marcarn con el smbolo (Q). Para poner en marcha este control de calidad deber vericar: Que el trabajo desarrollado por el equipo de evaluacin responde efectivamente a las expectativas, necesidades y requerimientos de los agentes clave. La calidad de la propuesta metodolgica y su adecuacin al tipo de evaluacin y criterios establecidos en los documentos de referencia (prescripciones tcnicas y administrativas, en su caso). Que el desarrollo del contrato de consultora (si se trata de una evaluacin externa) se ajusta al calendario, requerimientos de personal y calidad tcnica descrita en el documento de prescripciones tcnicas y pliegos administrativos si tuviera este carcter o a los trminos del contrato en todo caso. La exactitud y veracidad de la informacin, el adecuado acceso a las fuentes de informacin y documentacin relevantes, as como la abilidad y pertinencia de los instrumentos y metodologas utilizadas

para su tratamiento y anlisis. Para facilitar el control de la calidad y validez de la evaluacin puede solicitar al equipo de evaluacin las fuentes de informacin utilizadas, especialmente las primarias, o las herramientas e instrumentos aplicados (cuestionarios o guiones de entrevistas, entre otras). De esta forma podr contrastar la validez de la informacin que se ha generado y su capacidad para dar respuestas a las preguntas de la evaluacin. Que el desempeo de los evaluadores se ajusta a lo establecido y que su interaccin con los actores se desarrolla en un clima de trabajo correcto, respetando la cultura, creencias e intereses locales. Que los informes y el resto de productos de la evaluacin sean rigurosos, claros y de fcil interpretacin, evitando juicios de valor en los que no se establezca una relacin causal clara y sistemtica entre el objeto de anlisis, la informacin recogida, y las conclusiones y recomendaciones. La ecacia y uidez de los mecanismos de comunicacin y coordinacin de todo el personal implicado (reuniones de trabajo, revisiones y aprobacin de los diferentes documentos, as como la disponibilidad de la informacin necesaria). En la siguiente Etapa, que da inicio a esta Fase II del ciclo de la evaluacin, deber establecer el Plan de Trabajo denitivo de forma compartida con el equipo evaluador seleccionado.

81

PARTE II: El ciclo de la evaluacin: un itinerario a recorrer

10

Etapa 7. Establecer el Plan de Trabajo denitivo

Una vez que conoce las funciones transversales que debe asumir durante toda esta segunda Fase, puede iniciar esta Etapa, cuyo objetivo central es establecer el Plan de Trabajo con el equipo evaluador que ha sido seleccionado. El primer paso que debe dar es organizar con este equipo una reunin, en la que discutirn las bases del trabajo a realizar a partir del contenido de los TdR y de la propuesta de evaluacin seleccionada. El objetivo de la reunin es comparar ambos documentos para alcanzar un marco de entendimiento compartido entre lo que desea saber con la evaluacin y lo que se puede alcanzar. El resultado nal debe ser un acuerdo mutuo sobre el proceso de evaluacin que se va a desarrollar y se recoger en el Plan de Trabajo denitivo19. En esta sesin es importante contar con la participacin de los miembros del Comit de Seguimiento. A continuacin se proponen algunos de los puntos que deberan ser tratados en esta primera sesin, junto a las pautas que debe seguir para que el Plan de Trabajo que elaboren se ajuste a sus requerimientos. Informar formalmente del inicio de la evaluacin Es el momento de informar al conjunto de actores involucrados en la intervencin del inicio del estudio, sentando las bases as para su participacin e implicacin en el resto del proceso. Revisar modicaciones sustanciales que requieran su inclusin en el Plan de Trabajo Es posible que desde que dise la evaluacin y redact los TdR se hayan producido modicaciones sustanciales que afecten a los requerimientos de su evaluacin y que, por lo tanto, deben ser consideradas para elaborar el Plan de Trabajo denitivo. Tenga en cuenta que las variaciones sobre la propuesta del equipo evaluador (basada en los TdR) tendrn que ser negociadas considerando sus posibles repercusiones, tanto en lo que se reere al contenido de la evaluacin (objetivos, criterios, preguntas, metodologa) como en trminos de recursos humanos, temporales o econmicos. Discutir y ajustar la metodologa y tcnicas propuestas Tanto si estableci especicaciones sobre la metodologa y tcnicas a utilizar, como si dej abierta esta opcin a los evaluadores, ahora tiene la oportunidad de discutir con ellos la idoneidad de la alternativa elegida para garantizar una evaluacin rigurosa, justa y libre de sesgos, que se ajuste a sus expectativas. Debe valorar la adecuacin de las tcnicas de recopilacin y anlisis de la informacin para garantizar la exactitud, validez y abilidad de los resultados, en funcin de las preguntas y criterios de evaluacin establecidos, y que ahora puede reconsiderar junto con el equipo evaluador, priorizando aquellos ms relevantes y descartando los no alcanzables. Adems, es importante que aproveche este momento para llegar a acuerdos sobre su participacin directa en las tareas de recopilacin y anlisis de la informacin, por ejemplo, presentando al equipo durante las entrevistas, coparticipando en ellas, formando parte de grupos de trabajo, etc.

82

19. Debe considerar en este momento que para las evaluaciones que cuenten con asistencia tcnica externa, aunque administrativamente el marco regulador sean los trminos de referencia, la opcin que ha seleccionado como vlida debera circunscribirse a la propuesta tcnica y econmica elegida.

FASE II: Desarrollando el estudio de evaluacin

Revisar el cronograma de trabajo y el calendario de entregas Durante esta primera reunin tambin debe ajustar el cronograma de trabajo con el equipo evaluador, detallando las etapas en las que desarrollar el estudio de evaluacin, su duracin estimada y las fechas de entrega de los productos acordados. Normalmente, los trabajos a realizar harn referencia al anlisis de los documentos disponibles sobre la inter-

vencin, recopilacin de datos, recogida de informacin en terreno, anlisis de la informacin, redaccin de los informes de evaluacin y presentacin de resultados. En este Manual, siguiendo el procedimiento establecido por la DGPOLDE, se clasican estos trabajos en tres grupos: estudio de gabinete, trabajo de campo y elaboracin del informe de evaluacin20 . En la Figura 33 se propone un ejemplo en el que se han sealado las etapas, tareas y productos ms comunes en las que suele desarrollarse el estudio de evaluacin.

Figura 33. Propuesta de Cronograma para el Plan de Trabajo Etapas Tareas Anlisis documental Diseo de herramientas Estudio de gabinete Redaccin Informe/s preliminar/es Discusin en C. de Seguimiento Entrega de Informe preliminar denitivo Visitas a terreno Entrevistas con actores Trabajo de campo Grupos de discusin Redaccin Memoria de campo Revisin Memoria de campo Redaccin de Informe borrador Informe de evaluacin Discusin en C. de Seguimiento Entrega de Informe nal Presentacin de resultados
Fuente: Elaboracin propia
20. Estos grupos o categoras constituyen, en realidad, las tres etapas bsicas que el equipo evaluador debe cubrir para desarrollar el estudio de evaluacin. No deben confundirse con las etapas en las que este Manual ha organizado las tareas que debe realizar un gestor de evaluaciones de la cooperacin espaola durante todo el proceso evaluativo.

Plazos

Entregables

Informe/s preliminar/es

Memoria de campo

Informe borrador e Informe nal

83

PARTE II: El ciclo de la evaluacin: un itinerario a recorrer

10

Hay que tener en cuenta durante el diseo y revisin del Plan de Trabajo y el cronograma que la entrega de cada producto conllevar una serie de tareas para las que deber establecer el tiempo necesario. Entre ellas, merecen especial atencin la revisin por parte del gestor o equipo gestor de la evaluacin; su remisin a los integrantes del Comit de Seguimiento; la recopilacin de aportes que deber realizar el equipo evaluador y, en su caso, su integracin en el documento denitivo. Denir los mecanismos de difusin de resultados Aunque el procedimiento a seguir para difundir e incorporar los resultados de la evaluacin se desarrollar durante la Fase siguiente, es conveniente que aproveche esta primera reunin para acordar con los miembros del equipo de evaluacin la forma de hacer llegar a todos los agentes los aprendizajes generados durante el proceso y los mecanismos que se pondrn en marcha para garantizar su retroalimentacin hacia los mbitos de la planicacin y gestin. De esta forma, los evaluadores conocern ms detalles sobre la aplicacin de su trabajo y podrn ajustarlo mejor a sus necesidades.

Establecer los mecanismos de coordinacin y comunicacin con el equipo evaluador Por ltimo, no debe olvidar que su relacin con los evaluadores tiene que caracterizarse por el respeto y la conanza mutua (UNEG, 2005: 15), y que esto se consigue estableciendo los mecanismos de coordinacin y comunicacin adecuados. Para ello, debe denir los roles de cada agente en el desarrollo del estudio de evaluacin, y determinar los canales de comunicacin a utilizar y las personas de contacto para la resolucin de posibles eventualidades. Cuando lo haga, tenga presente que durante el desarrollo de la evaluacin van a tener que adaptarse y renegociar elementos no previstos en un inicio, por lo que es fundamental que ambos equipos mantengan una actitud abierta y exible. El resultado de todos estos acuerdos debe quedar recogido en el Plan de Trabajo denitivo, redactado a partir de la propuesta inicial presentada por el equipo evaluador y elaborado, a su vez, siguiendo los TdR en que se plasm el diseo de su evaluacin. Este documento debe ser trasladado y consensuado en ltima instancia en el seno del Comit de Seguimiento, razn por la cual es recomendable que sus miembros o una representacin de stos participen en esta reunin inicial con el equipo evaluador.

Al nalizar la etapa, debe vericar que: Se ha llegado a un acuerdo con el equipo evaluador sobre las condiciones y trminos en los que se desarrollar la evaluacin. Este acuerdo debe haber quedado plasmado en el Plan de Trabajo denitivo, consensuado entre los miembros del Comit de Seguimiento de la evaluacin, y que recoge los siguientes contenidos mnimos: Las preguntas y criterios de evaluacin. La metodologa de evaluacin y tcnicas a aplicar. Los productos a entregar. El cronograma de trabajo. Los canales de comunicacin y coordinacin con el equipo de evaluacin.
84

FASE II: Desarrollando el estudio de evaluacin

10

Etapa 8. Gestionar el desarrollo del Plan de Trabajo

Durante esta Etapa se pondr en marcha el Plan de Trabajo para desarrollar el estudio de evaluacin, tarea que corresponde bsicamente a los evaluadores. Tal y como se indica al inicio de esta Fase, se deber velar en todo momento por asegurar la participacin de todos los actores implicados en la evaluacin y la calidad del proceso. Adems, como gestor de la evaluacin tendr que jugar un papel fundamental para asegurar que los evaluadores tengan acceso a la informacin que necesiten para realizar su trabajo. A continuacin, encontrar una descripcin de las tareas que debe realizar el equipo de evaluacin a lo largo del proceso y algunos consejos orientados a facilitarle el cumplimiento de sus funciones como gestor de la evaluacin. Tareas del equipo evaluador Examinar la documentacin existente sobre la intervencin: documentos programticos, bases de datos, informes de seguimiento, estudios previos, evaluaciones anteriores, etc. Formular indicadores para valorar las principales variables y aspectos que denen a cada pregunta de la evaluacin. Identicar a los informantes clave de la evaluacin. Determinar la informacin primaria o documentacin que se solicitar a las entidades y actores implicados en la intervencin objeto de evaluacin. Disear las herramientas e instrumentos necesarios para facilitar la recopilacin sistematizada de la informacin, su tratamiento y anlisis (muestreo, cuestionarios, guiones de entrevistas, seleccin de los estudios de caso, etc.). Presentar solicitudes de apoyo o acompaamiento para determinados hitos del proceso: cartas de presentacin, credenciales, etc. Esta informacin podr ser remitida desde el rgano gestor de la evaluacin para facilitar el acceso al equipo evaluador.

8.1. Estudio de gabinete

El estudio de gabinete consiste en un anlisis pormenorizado, por parte del equipo evaluador, de toda la informacin disponible sobre la intervencin con carcter preliminar. A medida que vayan revisando esta documentacin, los evaluadores comenzarn a planicar y desarrollar las herramientas y tcnicas que utilizarn posteriormente para recoger informacin adicional sobre el terreno. Las principales tareas del equipo de evaluacin son las siguientes:

85

PARTE II: El ciclo de la evaluacin: un itinerario a recorrer

10

Siempre que lo haya establecido en los TdR o acordado posteriormente en el Plan de Trabajo, el equipo evaluador deber entregarle un documento, el Informe preliminar (o intermedio) de evaluacin, en el que se recojan los resultados de este anlisis inicial y las herramientas metodolgicas e indicadores que va utilizar para recabar y analizar el resto de la informacin. Este informe tendr el carcter de borrador hasta que sea presentado, consensuado y aprobado, en su caso, por el Comit de Seguimiento y se hayan realizado los aportes pertinentes y aclaraciones oportunas. Por su parte, como gestor de la evaluacin, tendr que realizar las siguientes tareas: TAREAS DE LA UNIDAD GESTORA DE LA EVALUACIN (C) Conrmar que las autoridades del pas socio y las entidades correspondientes han sido informadas, a travs de los canales adecuados, del inicio y alcance de la evaluacin; de los futuros trabajos sobre el terreno del equipo evaluador; de los plazos en los que se desarrollar; y de las fechas en las que debern presentarse sus resultados nales. (EuropeAid Co-operation Ofce, Fase de terreno. Preparacin. http://ec.europa.eu/europeaid/index_es.htm). (C) Realizar, si se estima necesario, una visita prospectiva por parte del gestor o equipo gestor de la evaluacin, con la nalidad de vericar el desarrollo de la futura misin de trabajo de campo de los evaluadores, en la que podr contactar e informar sobre el terreno del objetivo y alcance de la evaluacin, disear con carcter preliminar la futura agenda de trabajo, valorar la concurrencia de factores externos que pudieran afectar a su desarrollo, entre otros cometidos. Esta visita se podr documentar en una gua de orientaciones prcticas al equipo evaluador
86

para informar de aspectos relevantes a tener en cuenta durante el desarrollo del trabajo de campo. (C) Facilitar al equipo de evaluacin el acceso a la informacin disponible sobre la intervencin a evaluar. Para ello, le resultar til recurrir a la Matriz de documentacin que elabor para el diseo de la evaluacin. (C) Celebrar una reunin con el equipo evaluador en la que le presentarn el modelo al que debe de ajustarse el Informe preliminar que deben entregar al nalizar el trabajo de gabinete. (Q) Supervisar el Informe preliminar de evaluacin, comprobando que contiene, al menos: una relacin de informantes clave y el modo en que se articular su participacin o consulta as como los requerimientos de informacin adicional que el equipo de evaluacin precisar a lo largo del estudio de evaluacin. Entre estos ltimos se pueden encontrar los siguientes: datos de contacto de las entidades y actores implicados, datos bsicos de otros proyectos o intervenciones de cooperacin ya evaluadas, agenda de entrevistas y reuniones con los informantes clave, entre otros. (Q) Asegurar la participacin de los integrantes del Comit de Seguimiento mediante su convocatoria, previa remisin del borrador de Informe preliminar. La presentacin de este borrador, por parte de los evaluadores, facilita la recogida de insumos y la organizacin del trabajo de campo. Resulta especialmente importante tomar acta del contenido y desarrollo de la reunin, recogiendo los temas debatidos y los acuerdos alcanzados, as como hacer llegar al equipo de evaluacin cualquier aporte recibido.

FASE II: Desarrollando el estudio de evaluacin

En la prctica... La falta de tiempo, capacidad o recursos para preparar y disear la evaluacin hace que algunos de los pasos de la primera Fase del ciclo de la evaluacin, como la revisin de la intervencin o el anlisis de evaluabilidad, se contraten externamente o se incluyan como una etapa inicial del desarrollo del estudio de evaluacin. De ser as, el Informe preliminar debera incluir el trabajo desarrollado por los evaluadores en relacin con estas cuestiones (SIDA, 2005: 72). En cualquier caso, y aunque sea a travs de un examen supercial, es recomendable que estos anlisis sean realizados en su debido momento durante la Fase de diseo de la evaluacin.

8.2. Trabajo de campo

Durante el desarrollo del trabajo de campo, que puede ser posterior al estudio de gabinete o realizarse paralelamente, el equipo evaluador se desplaza al rea de la intervencin para recabar informacin sobre el terreno. Es el momento en el que los evaluadores contactan con los informantes clave y recogen su percepcin y valoraciones sobre la intervencin de forma directa. Esta informacin complementa al anlisis documental, y servir de base para el enjuiciamiento y valoracin de la intervencin. Es importante que, al concluir el trabajo de campo y antes de regresar del terreno, los evaluadores programen una reunin nal con los beneciarios, los socios locales y los representantes de los grupos de informantes clave, para hacerles partcipes y discutir con ellos los primeros resultados y conclusiones extradas tras su visita. En este trabajo de campo resulta esencial contemplar actividades participativas con contrapartes, representantes institucionales y colectivos beneciarios. Tratndose de evaluacin de intervenciones de cooperacin al desarrollo cuyo objetivo ltimo es impactar en la reduccin de la pobreza y el cumplimiento de los ODM, resulta especialmente relevante medir el grado de satisfaccin de los beneciarios a travs de tcnicas y herramientas participativas.

Las tareas ms comunes que suele desarrollar un equipo de evaluacin durante el trabajo de campo son las siguientes: Tareas del equipo evaluador: Realizar consultas y entrevistas a informantes clave y, en su caso, encuestas o grupos de discusin. Analizar los resultados de la informacin recabada. Devolver el producto de sus reexiones tras el anlisis de la informacin recopilada a los beneciarios, los socios locales y los informantes clave. De nuevo, y si lo indic as en los TdR o en la posterior reunin de negociacin con los evaluadores, stos debern redactar y entregarle una Memoria del Trabajo de campo que contenga informacin sobre los objetivos de las visitas, las instituciones y personas contactadas, los principales datos recopilados y una primera valoracin de la informacin recabada. Por su parte, y como gestor de la evaluacin, tendr que realizar las siguientes tareas:
87

PARTE II: El ciclo de la evaluacin: un itinerario a recorrer

10

TAREAS DE LA UNIDAD GESTORA DE LA EVALUACIN (C) Durante los das previos a la llegada del equipo de evaluacin, podr realizar visitas de prospeccin al rea geogrca de la intervencin con el objeto de preparar y concretar la agenda de reuniones y entrevistas del equipo de evaluacin. (C) Velar porque estas salidas de prospeccin no se conviertan en una sobrecarga de trabajo para los agentes del terreno. Por ello, es importante que seleccione las entidades y personas que sern visitadas. Es conveniente no interferir en el desarrollo de las metodologas participativas para no confundir los roles del gestor y el evaluador y facilitar la objetividad de las opiniones vertidas. (C) Presentar al equipo de evaluacin ante los actores implicados en la evaluacin, especialmente los integrantes del Comit de Seguimiento y aquellos que vayan a ser consultados durante el proceso. Puede hacerlo personalmente, mediante cartas de presentacin, concertando entrevistas u organizando las visitas a terreno. (Q) Revisar y remitir al Comit de Seguimiento la memoria que le entregar el equipo de evaluacin una vez terminado el trabajo de campo. (C) Requerir y recopilar, en caso necesario, la informacin que los evaluadores no hayan podido obtener a travs del trabajo de campo. (C) Garantizar que, mientras se desarrolla el trabajo de campo, sean apoyados en su tarea de recopi-

lacin de informacin. Para ello se le recomienda que: Tenga presente que, en ocasiones, ser necesaria su interlocucin directa con algn actor para que ste facilite a los evaluadores la informacin que requieren. Compruebe que las tcnicas, herramientas e instrumentos que van a utilizar se adaptan a la cultura, costumbres y capacidades de los informantes que van a ser consultados. Valore la oportunidad del momento que los evaluadores tienen previsto recopilar la informacin en relacin con la disponibilidad de los informantes clave. Procure que el trabajo de los evaluadores interera lo menos posible en las tareas y actividades de los informantes clave, de forma que la recopilacin de informacin no les exija un gran esfuerzo. Garantice que los evaluadores respetan el derecho de las personas a proporcionar informacin de manera condencial.

8.3. Informe de evaluacin

El equipo evaluador debe recoger en un informe nal de evaluacin los hallazgos, conclusiones, recomendaciones y lecciones aprendidas durante el desarrollo de esta Etapa. En la Figura 34 se presenta la denicin que realiza el CAD de estos cuatro niveles de resultados de la evaluacin.

88

FASE II: Desarrollando el estudio de evaluacin

Figura 34. Niveles de resultados de la evaluacin Hallazgos / evidencias Conclusiones Armaciones basadas en hechos registrados sobre la intervencin evaluada. Factores de xito y fracaso de la intervencin evaluada apoyados en los datos recopilados y en su anlisis e interpretacin mediante una cadena transparente de enunciados. Propuestas que hayan suscitado las conclusiones de la evaluacin con la nalidad de mejorar la calidad de la intervencin evaluada mediante la consolidacin de sus fortalezas y la reduccin de las debilidades. Generalizaciones basadas en la experiencia concreta de evaluacin aplicables a situaciones ms amplias, destacando puntos fuertes o dbiles en la preparacin, el diseo y la puesta en prctica que afectan al desempeo, los resultados y el impacto de la intervencin, y que identiquen buenas o malas prcticas.

Recomendaciones

Lecciones aprendidas

Fuente: Adaptado de CAD (2002).

Como indican las echas, cada uno de los niveles de resultados presentados en la Figura 34 conlleva un grado de reexin ms profundo y basado en el nivel anterior, congurando una secuencia de razonamiento y enjuiciamiento sistemtico de la evaluacin. Con los resultados de este anlisis, e identicando de forma clara y diferenciada los hallazgos, conclusiones, recomendaciones y lecciones aprendidas, el equipo evaluador debe redactar un Borrador de Informe nal segn las indicaciones de estructura y contenidos que se hayan acordado en los TdR y en el Plan de Trabajo denitivo. A modo de orientacin, se le indican a continuacin los contenidos mnimos que debe contener un Informe de evaluacin: Resumen ejecutivo de la evaluacin, que incorpore la esencia de la informacin contenida en el informe con nfasis particular en los principales resultados, conclusiones, recomendaciones y lecciones aprendidas. Introduccin, en la que se presente el propsito de la evaluacin, las preguntas y los resultados principales.

Descripcin de la intervencin evaluada, en la que se indiquen sus objetivos y su estructura lgica de planicacin, breve historia y antecedentes, organizacin y gestin, actores implicados y contexto social, econmico, poltico e institucional en el que se desarrolla la intervencin. Anlisis de la informacin recopilada, dando respuesta a las cuestiones y criterios de evaluacin establecidos previamente, organizada de acuerdo con el enfoque integral de la evaluacin propuesto en este Manual: evaluacin de diseo, de procesos, de resultados y de impactos. Resultados de la evaluacin, presentando las evidencias reveladas en relacin con las preguntas de evaluacin enunciadas y las interpretaciones formuladas sobre dicha evidencia. Conclusiones de la evaluacin, en relacin con los criterios de evaluacin establecidos y estndares de calidad. Las lecciones aprendidas que se desprendan
89

PARTE II: El ciclo de la evaluacin: un itinerario a recorrer

10

de las conclusiones generales, identiquen buenas prcticas y que puedan ser extrapoladas a otros contextos ms amplios, facilitando su lectura en clave de Poltica de Cooperacin. Recomendaciones derivadas de la evaluacin que se orienten a la mejora de la intervencin evaluada a travs de indicaciones especcas que mejoren el diseo, aplicacin, procedimientos de gestin y/o resultados e impactos de las actuaciones. Anexos, en los que se deben incluir los TdR, el detalle de la metodologa propuesta, las herramientas de recopilacin de informacin aplicadas, entre otros elementos que puedan facilitar la comprensin del proceso evaluativo. La elaboracin del borrador, como paso previo a la redaccin del Informe nal, tiene como objetivo permitir su aportacin de insumos y la de los integrantes del Comit de Seguimiento, garantizando que los evaluadores tengan la libertad y la independencia necesarias para enjuiciar la intervencin a la luz de los hechos y datos vericables, llevando a cabo el trabajo sin repercusiones para su evolucin profesional (UNEG, 2006: 6). La posibilidad de contar con este borrador permite adems: Preparar a los actores en caso de que los resultados encontrados no sean muy alentadores (DFID, 2005: 30). Favorecer la aceptacin de las recomendaciones y, por tanto, su incorporacin efectiva. Agilizar la apropiacin de los aprendizajes entre la poblacin destinataria, sus entidades e instituciones. A partir de este borrador, y una vez que los evaluadores hayan recibido sus insumos y observaciones y los de los miembros del Comit de Seguimiento, debern redactar el Informe nal de evaluacin y entregarlo
90

en la forma y plazos preestablecidos en los TdR o en el Plan de Trabajo nalmente acordado. En resumen, las principales tareas que debe realizar el equipo evaluador para la elaboracin del Informe nal son las que se presentan a continuacin: Tareas del equipo evaluador: Redaccin y entrega del Informe borrador de evaluacin segn especicaciones previas de estructura y contenidos. Presentacin y debate del Informe borrador de evaluacin con actores implicados. Incorporacin de los insumos que se consideren pertinentes Elaboracin y edicin del Informe nal de evaluacin. Por su parte, como gestor de la evaluacin, sus principales funciones sern las siguientes: TAREAS DE LA UNIDAD GESTORA DE LA EVALUACIN (C) Recibir el Borrador del Informe nal y trasladarlo a los actores implicados para su socializacin. (C) Organizar una reunin, si lo estima oportuno, entre los miembros del equipo evaluador y los del Comit de Seguimiento, en la que se presenten, revisen y/o discutan sus contenidos. (C) Canalizar las aportaciones e insumos de los actores y trasladarlos al equipo evaluador. (Q) Recibir el Informe nal y vericar su calidad: comprobar que se adecua a la estructura y contenidos

FASE II: Desarrollando el estudio de evaluacin

pactados, que se dan respuestas a las necesidades de informacin y que las recomendaciones se ajustan a las orientaciones establecidas en los TdR. (C) Presentar el Informe nal ante el Comit de Seguimiento para su aprobacin. (C) Trasladar el Informe nal al rgano que solicit la evaluacin (promotor de la evaluacin). Figura 35. Calidad del Informe nal de evaluacin

Criterios para vericar la calidad tcnica del Borrador de Informe nal Para comprobar la calidad del Informe nal de evaluacin puede revisar si ste cumple los nueve criterios de evaluacin que propone la DGPOLDE (Figura 35, y con mayor detalle en el Anexo I), basados en los de la Comisin Europea y que adems recogen los estndares de evaluacin del CAD.

1. Cumplimiento de los requisitos - respuesta a las preguntas de evaluacin: Trata la evaluacin de forma adecuada las preguntas formuladas en los TdR? 2. Anlisis del contexto: Son estudiados los objetivos ltimos de la intervencin, sus logros, resultados e impactos en su totalidad, incluyendo sus interacciones con otras polticas y sus consecuencias imprevistas? 3. Justicacin de la metodologa utilizada: Es adecuada la metodologa de la evaluacin? Est adaptada de manera que d la informacin necesaria (con sus lmites de validez) para responder a las principales cuestiones de la evaluacin? 4. Fiabilidad de los datos: Se han recogido o seleccionado los datos primarios y secundarios de forma adecuada? Ofrecen un grado suciente de abilidad? 5. Solidez del anlisis: Se explicitan las relaciones de causa - efecto entre la intervencin y sus consecuencias? Existe una coherencia y secuencia lgica entre evidencia y valoracin; valoracin y conclusiones; conclusiones y recomendaciones? Estn explcitos los pasos del anlisis y se especica su lmite de validez? 6. Credibilidad de los hallazgos: Los resultados estn justicados por el anlisis de los datos? Son los hallazgos producidos por el anlisis ables y equilibrados? Reejan de manera aceptable, por un lado, la realidad descrita por los datos y los elementos de prueba registrados, y por el otro, la realidad de la intervencin tal como la perciben los actores y beneciarios?
91

No apto

Bueno

Respecto al siguiente criterio, el informe se considera:

Insuciente

Muy bueno

Excelente

PARTE II: El ciclo de la evaluacin: un itinerario a recorrer

8
Muy bueno Excelente

10
Insuciente

7. Validez de las conclusiones: Las conclusiones derivan del anlisis, estn argumentadas por hechos y anlisis fcilmente identicables en el resto del informe y evitan sesgos o consideraciones personales? Se indican los lmites y el contexto de la validez de las conclusiones? 8. Utilidad de las recomendaciones: Las recomendaciones son formuladas de manera clara y concisa? Derivan de las conclusiones y estn basadas en el anlisis realizado? Son equitativas y sin sesgos? Son lo sucientemente detalladas como para ser aplicables concretamente? 9. Claridad del informe: Es el informe de fcil lectura y su estructura lgica? Hay un breve resumen reejo del informe? Se presentan en anexo tanto los conceptos especializados como las demostraciones tcnicas, con referencias claras a lo largo del desarrollo del texto? Teniendo en cuenta las limitaciones contextuales especcas que han tenido lugar en esta evaluacin, el presente informe se considera:
Fuente: DGPOLDE. Adaptado de EuropeAid Co-operation Ofce ( http://ec.europa.eu/europeaid/index_es.htm) y del CAD (www.oecd.org/dac/evaluationnetwork)

Finalmente, es importante que no espere a recibir el Informe nal de evaluacin para valorar, en el ltimo momento, su calidad. Recuerde que, durante esta Etapa, ha recibido ya algunos productos preliminares de los evaluadores, especialmente el Informe preliminar de evaluacin, la Memoria del trabajo de campo y el Borrador del Informe nal que pueden ser revisados de acuerdo con estos criterios de calidad de forma que los evaluadores puedan realizar las oportunas correcciones a lo largo de todo el proceso de desarrollo del estudio de evaluacin. As, vericando de forma continua la calidad del proceso y sus productos, minimizar las posibilidades de que se genere informacin incorrecta, insuciente o parcial que no satisfaga sus expectativas y le evitar poner en marcha un plan de contingencia para solventar las diferencias con el equipo evaluador.
92

Como se le indic durante la Fase de diseo de la evaluacin los criterios que vaya a aplicar para valorar el trabajo de los evaluadores debieron especicarse en los TdR. Esto permite al equipo evaluador realizar una primera valoracin de su trabajo y resultados pudiendo ajustarlos mejor a sus necesidades y requerimientos. Al nalizar esta etapa debe disponer de: Informe preliminar de evaluacin (estudio de gabinete). Memoria del trabajo de campo. Informe borrador de evaluacin. Informe nal de evaluacin

No apto

Bueno

Respecto al siguiente criterio, el Informe se considera:

FASE III: Comunicando resultados e incorporando lecciones de la experiencia

Tras nalizar la Fase II, dedicada al desarrollo del estudio de evaluacin, el equipo evaluador ha presentado los resultados de su anlisis en un Informe nal, que ya ha recibido y ha sido aprobado por el Comit de Seguimiento. A partir de este momento, el objetivo es que los resultados de la evaluacin se utilicen correctamente, algo que constituye uno de los desafos ms importantes que debe afrontar como gestor de la evaluacin de una intervencin de cooperacin. La Fase III, Comunicando resultados e incorporando lecciones de la experiencia, cierra el itinerario de la evaluacin con una serie de actividades encaminadas a asegurar que los resultados llegan a todos los actores, satisfaciendo las necesidades y demandas que manifestaron en la Fase de diseo de la evaluacin, y que posibilitarn una mejora efectiva de la intervencin. Antes de presentar los aspectos clave de esta Fase es preciso insistir en que la comunicacin y difusin de los resultados de la evaluacin no comienzan en este momento, sino que deben estar planicados desde un principio y haber sido promovidos a lo largo del proceso mediante la retroalimentacin continua con los principales actores implicados, presentndoles los avances y facilitando la incorporacin de sus insumos. Los aspectos que debe considerar para asegurar que los resultados de la evaluacin son utilizados con xito son los siguientes: su correspondencia con las demandas de informacin planteadas por los actores, la calidad de la estrategia de comunicacin que emplee y la utilidad de las recomendaciones de la evaluacin para inducir acciones que supongan mejoras en la Poltica de Cooperacin. Correspondencia con las demandas planteadas Una evaluacin til debe al menos responder a las cuestiones que le dieron origen, satisfaciendo las motivaciones y propsitos de quines la encargaron y atendiendo a las necesidades de informacin de cuantos participaron en el proceso. Por lo tanto, el xito de la evaluacin estar condicionado por la calidad de su diseo, y por la medida en que, durante su desarrollo, haya sido capaz de promover la participacin de los actores y de alcanzar resultados que satisfagan sus demandas de informacin. Bondad de la estrategia de comunicacin y del mensaje Una condicin necesaria para que se utilicen los resultados de una evaluacin es que sean accesibles y de fcil comprensin para los actores interesados, por lo que deber poner en marcha una estrategia de comunicacin de resultados que tenga en cuenta a sus diferentes destinatarios que, adems de tener demandas especcas de informacin, requieren mensajes y canales de comunicacin diferenciados. Oportunidad de las recomendaciones de la evaluacin La principal va con la que cuenta una evaluacin para promover mejoras en la Poltica de Cooperacin es el
93

PARTE II: El ciclo de la evaluacin: un itinerario a recorrer

establecimiento de recomendaciones que permitan ser incorporadas a la planicacin y generen procesos de mejora continua. Como gestor de la evaluacin podr facilitar la incorporacin de las recomendaciones en la medida en que logre que stas se propongan en el momento adecuado, de forma concreta y de manera que su aplicacin sea viable. Para ello, deber establecer un plan de accin orientado a transformar las lecciones de la evaluacin en un proceso de aprendizaje que genere mejoras en la planicacin y gestin de las intervenciones.

En los epgrafes anteriores, dedicados a las Fases I y II, se ofrecen las indicaciones oportunas para que la evaluacin sea capaz de responder a las cuestiones de inters que formularon los actores implicados. Durante esta Fase se abordan las claves para que disee y ponga en prctica una estrategia de comunicacin ptima (Etapa 9), y se proponen medidas para asegurar que el aprendizaje generado con la evaluacin tenga una aplicacin efectiva en la mejora de la planicacin y gestin de futuras intervenciones de cooperacin (Etapa 10).

94

FASE III: Comunicando resultados e incorporando lecciones de la experiencia

10

Etapa 9. Comunicando los resultados de la evaluacin

Una vez que ha concluido el desarrollo del estudio de evaluacin, debe asegurar que sus productos y resultados llegan a todos los actores de forma adecuada y que stos los interpretan correctamente, de acuerdo con sus necesidades e intereses. Recuerde que el objetivo nal es que sean aplicados en sus respectivos mbitos de actuacin de manera que se optimicen los usos de la evaluacin y los benecios derivados de ella. Si durante la Fase de diseo de la evaluacin ya clasic a los distintos grupos de actores segn el papel que juegan en las intervenciones (Figura 17), recab sus demandas de informacin y los hizo partcipes de la denicin de los objetivos de la evaluacin, en este momento tendr mayores garantas de que los resultados de la evaluacin les sean de utilidad. Adems, se le propuso que identicara sus expectativas frente a la evaluacin, informacin que le servir de base, durante esta Etapa 9, para disear una estrategia de difusin de sus resultados, o Plan de Comunicacin, en el que se sealarn las expectativas de cada uno de los actores frente a la evaluacin (utilidad esperada), especicando cules son los canales de comunicacin ms adecuados para su mejor comprensin y apropiacin. A continuacin se presentan los elementos que debe considerar para elaborar el Plan de comunicacin y los pasos que tiene que dar para ponerlo en marcha de manera ptima. El xito nal de la estrategia de difusin de los resultados de la evaluacin va a depender, no solo de cmo disee y aplique el Plan de Comunicacin durante esta Etapa, sino tambin de los esfuerzos por socializar los resultados parciales o avances de la evaluacin que haya realizado con anterioridad a esta Fase21. Para disear el Plan de Comunicacin debe tener en cuenta dos elementos clave: la correcta identicacin de la utilidad esperada de la evaluacin por cada grupo de actores, y una buena denicin y uso de los soportes y canales de comunicacin ms adecuados para hacerles llegar estos resultados de forma idnea.

9.1. Identicacin de la utilidad esperada por los diferentes actores

Si identic correctamente los usos de la evaluacin esperados por cada grupo de actores durante el diseo de la evaluacin, es muy posible que ahora no necesite ms que vericar que la informacin recogida entonces sigue siendo vlida, a la vista de los resultados de la evaluacin y tras los contactos que ha mantenido durante el desarrollo de las Fases I y II. En este epgrafe se presentan algunas consideraciones generales sobre las expectativas de cada grupo que le podrn servir para vericar o concretar el anlisis de la utilidad esperada: Los decisores polticos Suelen estar interesados en informacin relacionada con los resultados de la intervencin que les ayude a tomar decisiones sobre su reformulacin, a conrmar o

21. Recuerde, por ejemplo, que se propuso realizar actividades de devolucin de resultados al concluir el trabajo de campo del equipo de evaluacin o la presentacin del Borrador del informe de evaluacin a los integrantes del Comit de Seguimiento. Uno de los objetivos de estas actividades (cuyo origen es el enfoque participativo que caracteriza a los procesos de evaluacin propuestos) es preparar a los diferentes grupos de actores para recibir y asimilar los resultados de la evaluacin.

95

PARTE II: El ciclo de la evaluacin: un itinerario a recorrer

10

modicar las orientaciones estratgicas de nuevas intervenciones o alterar la asignacin de recursos. Los planicadores Requieren normalmente consideraciones generales sobre las fortalezas y debilidades del diseo, aplicacin y resultados de cada intervencin para corregir y mejorar la planicacin de nuevas intervenciones. Adems, es importante facilitarles informacin sobre lecciones aprendidas, buenas prcticas y experiencias de xito que puedan transferir a contextos similares. Los gestores de la intervencin evaluada Suelen esperar que los resultados de la evaluacin les permitan introducir mejoras en la gestin, la coordinacin con otros actores o en sus interacciones con los beneciarios y los grupos objetivo. Esperan informacin detallada y estn capacitados para interpretar mensajes tcnicos complejos. Las entidades nanciadoras Esperan normalmente una rendicin de cuentas de la evaluacin, es decir, una valoracin global concluyente de la intervencin, especialmente en lo que se reere al uso eciente de los recursos. Las contrapartes y socios locales Suelen centrar su inters en el potencial de la evaluacin y sus resultados para promover su participacin en la toma de decisiones, desarrollar sus capacidades y coordinar la ayuda exterior. El resto de agencias donantes Normalmente estn interesadas en desarrollar experiencias similares o complementarias sobre el mismo territorio, colectivo y sector o extrapolarlas a otros contextos,

por lo que suelen centrar su inters en conocer los aprendizajes y buenas prcticas derivadas de la evaluacin. Los beneciarios de la intervencin Esperan normalmente que la evaluacin incremente la transparencia de la gestin y aumente la ecacia de la intervencin. Se debe hacer un esfuerzo especial por establecer mecanismos especcos dirigidos a comunicar los resultados de la evaluacin a los beneciarios de la intervencin puesto que raramente reciben la devolucin de su participacin en el proceso de evaluacin (DFID, 2005: 45) o algn producto especco adaptado a sus intereses y problemas. La sociedad civil espaola Espera que la evaluacin conera transparencia a la gestin de los recursos de la cooperacin y les informe de las principales actividades y resultados conseguidos.

9.2. Soportes y canales de comunicacin a emplear

Una vez que ha vericado la utilidad esperada por cada grupo de actores, y a la vista de los productos y resultados que ha obtenido de la evaluacin, tendr que reexionar sobre el segundo elemento clave de su Plan de Comunicacin: los mecanismos de comunicacin (soportes y canales) ms adecuados. El objetivo no debe ser la produccin de mltiples informes a la carta, puesto que esto incrementara los costes de la evaluacin, sino la identicacin de los canales y mensajes ms adecuados para cada uno de los grupos de agentes hacia los que se quiere dirigir la informacin. Adems, tenga en cuenta que el hecho de que utilice mecanismos de comunicacin especcos para deter-

96

FASE III: Comunicando resultados e incorporando lecciones de la experiencia

minados grupos de actores no debe provocar que alguno de ellos sea privado de una presentacin global de los hallazgos de la evaluacin y tenga una visin parcelada de la realidad. Estos mecanismos nicamente tienen como objetivo ltrar la informacin que se ofrece a determinados agentes, para evitar una difusin masiva que pueda dicultar la interpretacin, uso y accesibilidad de los resultados de la evaluacin. Los soportes y canales de comunicacin que se emplean normalmente para difundir los resultados de las evaluaciones de intervenciones de cooperacin se presentan a continuacin y, de entre ellos y otros que estime oportunos, debe elegir los que mejor se adapten a las caractersticas de los actores a los que quiere hacerlos llegar. PUBLICACIONES E INFORMES ESCRITOS Informe de evaluacin Cada vez es ms comn que las agencias donantes y otros actores publiquen sus informes de evaluacin22. Es el producto ms tangible de la evaluacin, as que debe asegurarse de que haya sido redactado con un lenguaje claro y accesible para sus destinatarios, huyendo de tecnicismos y apoyado en elementos grcos que faciliten su lectura y la rpida identicacin y comprensin de las conclusiones, recomendaciones y lecciones aprendidas. Resumen ejecutivo El resumen ejecutivo puede serle de gran utilidad, puesto que ofrece la oportunidad de adaptar sus contenidos a los intereses y necesidades de informacin de cada actor clave (CAD, 2001:11)23. Debe ser corto y de fcil comprensin, pero sin privar a sus destinatarios de una presentacin global de los resultados de la evaluacin. Tambin le ser muy til publicar el resumen ejecutivo por separado y traducirlo, al menos, a la lengua del pas socio.

Folleto divulgativo Para ampliar la cobertura de la difusin de los resultados de su evaluacin puede editar y distribuir dpticos o trpticos en los que se recojan los principales aspectos de la evaluacin (tipologa, conclusiones, recomendaciones). Dado el carcter discrecional que suele tener su distribucin, no olvide indicar en estos folletos cmo se puede acceder a una informacin ms amplia. Boletines de noticias Muchas agencias publican sus propios boletines de noticias y, si es su caso, stos le proporcionan una buena alternativa para la difusin de los resultados de la evaluacin. Adems, es recomendable que incluya los productos publicados en registros de catlogos de publicaciones o centros de informacin sobre desarrollo. Revistas especializadas La ltima opcin que se propone es publicar un artculo sobre la experiencia y resultados de su evaluacin en alguna revista especializada. Esta alternativa supone un medio ecaz y econmico para alcanzar a la comunidad de expertos, acadmicos y otros agentes especializados. PRESENTACIONES ORALES: SEMINARIOS, JORNADAS, REUNIONES O TALLERES En muchos casos, los informes orales representan la mejor opcin para presentar los resultados de una evaluacin. Son especialmente tiles para dirigirse a determinados grupos objetivo en cualquier momento de la evaluacin: durante su desarrollo, para mantener informados sobre los progresos a los socios locales; a la nalizacin de las visitas de campo, para facilitar la devolucin de resultados a los beneciarios y al personal de las contrapartes; y a la nalizacin del estudio, para discutir los resultados y recomendaciones o transferir las lecciones de la experiencia. Adems, nor-

22. En la actualidad, todas las evaluaciones del Banco Mundial son pblicas y publicadas, la agencia sueca (SIDA) posee una serie de publicaciones de informes de evaluacin y, en el caso espaol, ocurre lo mismo con las que comisiona la DGPOLDE. 23. Evaluation Feedback for Effective Learning and Accountability, Evaluation and Aid Effectiveness N5. OECD. Paris. Citado en seminario OPE.

97

PARTE II: El ciclo de la evaluacin: un itinerario a recorrer

10

malmente son ecaces para transmitir los resultados a actores que disponen de poco tiempo para leer un informe extenso. NUEVAS TECNOLOGAS DE LA INFORMACIN Y LA COMUNICACIN (NTIC) Internet, Intranet, el correo electrnico, los foros virtuales de debate, o el soporte digital, son canales y soportes de informacin de bajo coste y gran capacidad de difusin que le pueden ser especialmente tiles para difundir los resultados de la evaluacin. Un mecanismo muy utilizado es abrir el acceso al contenido de su Informe de evaluacin en una pgina web. Tambin resulta muy til que comunique a todos los usuarios potenciales la publicacin de cualquier producto de la evaluacin a travs de un mensaje informativo va correo electrnico. La publicacin de la informacin referida a la evaluacin en una base de datos digital y accesible va Internet es un mecanismo de gran potencial para difundir su experiencia y resultados, que adems facilita enormemente todo tipo de consultas. Numerosas agencias y organismos cuentan con bases especializadas en las que podr incorporar esta informacin, entre ellas las del CAD (http://www.dac-evaluations-cad.org/abstracts_e.htm) Adems, la utilizacin de mecanismos audiovisuales (vdeos documentales, presentaciones multimedia, etc.) le permitir acceder ms fcilmente a determinados grupos de inters, puesto que suponen un formato

ameno a travs del cual el pblico podr captar determinados aspectos que son difciles de registrar en un informe escrito. Son especialmente tiles para que los actores de los pases donantes puedan conocer el contexto en que se desarroll la evaluacin, as como para facilitar a los beneciarios una comprensin global de sus objetivos, desarrollo y resultados. OTROS MEDIOS Finalmente, existen otros mecanismos de presentacin de resultados de evaluacin que, aunque no sean de uso generalizado, le pueden resultar muy tiles en determinados contextos. Por ejemplo, la publicacin de resmenes bilinges de las reuniones del Comit de Seguimiento pueden ayudar a muchos actores especializados a conocer en detalle algunos aspectos concretos relacionados con la participacin y la toma de decisiones en su evaluacin. Por otro lado, su experiencia de evaluacin puede tener una gran repercusin si tiene la posibilidad de participar y presentarlo, o que sea usado como estudio de caso durante algn seminario o foro internacional. Algunos organismos, como UNICEF y EuropeAid, utilizan los estudios de caso para la capacitacin de sus equipos de trabajo. Finalmente, y a modo de ejemplo, en la Figura 36 se presenta una propuesta que le ayudar a asignar los mecanismos de comunicacin que mejor se adaptan a cada grupo de actores y a las expectativas de evaluacin que haya identicado para cada uno de ellos.

98

FASE III: Comunicando resultados e incorporando lecciones de la experiencia

Figura 36. Ejemplos de mecanismos de comunicacin GRUPO DE ACTORES DECISORES POLTICOS UTILIDAD DE LA EVALUACIN Facilita la toma de decisiones. Legitima las intervenciones. Mejoras en la planicacin. Identicacin de buenas prcticas. Desarrolla capacidades. GESTORES Facilita la toma de decisiones de gestin. Permite corregir desviaciones. Mejora la coordinacin y la participacin. ENTIDADES FINANCIADORAS Transparencia. Facilita la toma de decisiones sobre asignacin de recursos. Promocin de su participacin. SOCIOS LOCALES Desarrollo de capacidades. Coordinacin de la ayuda. OTRAS AGENCIAS DONANTES Transferencia de experiencias. Complementariedad de actuaciones. MECANISMOS DE COMUNICACIN Resmenes ejecutivos. Presentaciones. Informe de evaluacin. Presentaciones. Bases de datos. Presentaciones internas. Informe de evaluacin. Talleres participativos. Resmenes ejecutivos. Materiales audiovisuales. Presentaciones. Informe de evaluacin. Presentaciones. Resumen ejecutivo del informe. Presentaciones. Internet y bases de datos. Folletos divulgativos. Presentaciones (talleres). Materiales audiovisuales. Materiales audiovisuales. Presentaciones pblicas. Folletos divulgativos.

PLANIFICADORES

BENEFICIARIOS

Promocin de su participacin. Desarrollo de capacidades. Transparencia. Conocimiento de resultados de la poltica de desarrollo.

SOCIEDAD CIVIL ESPAOLA

Fuente: Elaboracin propia

99

PARTE II: El ciclo de la evaluacin: un itinerario a recorrer

10

Tenga en cuenta que el contenido de esta tabla es nicamente una propuesta basada en la experiencia y las caractersticas de cada grupo de actores. Cuando disee el Plan de Comunicacin, tendr que hacerlo de acuerdo con el contexto especco de la evaluacin, los recursos disponibles, y la naturaleza y requerimientos de cada actor implicado. Figura 37. Lista de comprobacin

En cualquier caso, la lista de comprobacin que se propone en la Figura 37 le permitir revisar si ha diseado y puesto en marcha de forma correcta la estrategia de difusin de los resultados de la evaluacin:

S Ha reexionado sobre a qu actores, cundo y cmo difundir los resultados de la evaluacin Ha considerado un abanico de soportes y canales de comunicacin adaptados a las necesidades e intereses de cada audiencia El mensaje que se transmite es claro, responde a las preguntas realizadas por los actores, lo comprenden y lo encuentran creble
Fuente: Stufellbeam (1987) y SIDA (2004)

Mejorable

No

Al nalizar esta etapa debe disponer de: Determinada la estrategia o Plan de comunicacin, lo que implica haber identicado: Las audiencias a las que quiere hacer llegar los resultados, conclusiones y lecciones de la experiencia extradas de la evaluacin. El mensaje o mensajes que quiere transmitir. Los canales de comunicacin ms adecuados para cada grupo de receptores. Los momentos en los que va a realizar la comunicacin. Realizada la difusin de los resultados de su evaluacin segn la estrategia diseada.

100

FASE III: Comunicando resultados e incorporando lecciones de la experiencia

10

Etapa 10. Incorporacin de lecciones de la experiencia

Al mismo tiempo que se disea el Plan de Comunicacin para hacer llegar las conclusiones y resultados de la evaluacin a cada actor implicado en el proceso, debe vericar que stas se traducen en actuaciones de mejora de la planicacin y gestin de futuras intervenciones. De esta forma, se cerrar el ciclo integrado de la Poltica de Cooperacin. En sta ltima Etapa del proceso de evaluacin, tendr una doble responsabilidad: asistir a los actores que recibieron los resultados de la evaluacin, para que los interpreten correctamente y los trasladen a actuaciones concretas de mejora, y hacer llegar esa informacin a la unidad responsable de vericar que estas actuaciones se utilizan para mejorar la Poltica de Cooperacin. Para apoyarle en este proceso, en la Figura 38 se presenta una cha (Ficha de mejora), en la que podr ir registrando las recomendaciones de la evaluacin que tienen implicaciones operativas, su propuesta de actuacin como gestor de la evaluacin, los actores que deben hacerse cargo de ponerlas en prctica, un programa de mejoras pactado con estos actores y el seguimiento correspondiente a la aplicacin efectiva de estas mejoras.

Figura 38. Ficha del Plan de mejora para la incorporacin de recomendaciones Plan de mejora: incorporacin de lecciones de la experiencia Recomendacin de la evaluacin Recomendacin administrativa Diseo Proceso Resultados e Impactos Otras Unidad destinataria Respuesta de la unidad destinataria Accin de mejora

101

PARTE II: El ciclo de la evaluacin: un itinerario a recorrer

10

Plazo Seguimiento Satisfactoria Fecha: Evaluador/a: Observaciones: Deniciones Recomendacin de la evaluacin. En este apartado se debe exponer, de forma resumida, la recomendacin del informe nal de evaluacin que se propone aplicar. Recomendacin administrativa. En este apartado se presenta la traduccin o adaptacin de la recomendacin que hace la unidad gestora de la evaluacin para su traslado al rgano de gestin correspondiente que la debe aplicar. Estas recomendaciones administrativas pueden hacer referencia a las siguientes categoras (quedando abierta la posibilidad de introducir otras cuando la naturaleza de la evaluacin lo requiera). Unidad destinataria. Hace referencia al rgano de gestin destinatario de la recomendacin administrativa y que ser el que deba aplicarla. Respuesta de la Unidad destinataria. En este apartado se incluir la respuesta de la unidad destinataria a la recomendacin administrativa, en la que se debe abordar, de forma resumida, hasta donde, dadas las circunstancias, pueden asumir las recomendaciones dentro de su ciclo de gestin o en futuros ciclos de gestin que desarrollen. Es importante que se establezcan objetivos realistas que permitan construir indicadores vericables para dar seguimiento a su aplicacin y medir en cierta forma los resultados o mejoras logradas. Esta seccin deber dar respuesta a la pregunta: Qu deseo y puedo alcanzar? Plan de mejora. En este apartado los rganos de gestin describiran, de forma sinttica, cmo prevn alcanzar los objetivos propuestos. En denitiva, se debe dar respuesta a la pregunta: cmo puedo llegar de la situacin actual a la situacin objetivo? Seguimiento. En este apartado la unidad responsable ltima de la evaluacin y los rganos de gestin deben elaborar conjuntamente los indicadores que facilitarn el seguimiento del proceso hacia los objetivos denidos. En denitiva, se debe dar respuesta a las preguntas: lo estamos haciendo (o hemos hecho) correctamente? y las recomendaciones aplicadas han generado las mejoras esperadas?. Como ejemplo de indicador el nmero de recomendaciones asumidas por la entidad ejecutora de la intervencin evaluada. Mejorable Insuciente

Fuente: DGPOLDE

102

FASE III: Comunicando resultados e incorporando lecciones de la experiencia

Durante el desarrollo de esta Etapa 10 deber dar los siguientes pasos que le permitirn completar las Fichas correspondientes a cada uno de los actores que se pueden beneciar de las recomendaciones de la evaluacin: Primero, es conveniente que analice aquellas recomendaciones del informe que requieren de una respuesta operativa (Recomendacin de la evaluacin), que reexione sobre qu actuaciones concretas implica esta respuesta (Recomendaciones administrativas) y, nalmente, que identique a qu actor o grupo de actores le corresponde realizarlas (Unidad destinataria). A continuacin, despus de vericar que los actores identicados han recibido el informe de evaluacin y lo han interpretado adecuadamente, debe hacer llegar a cada uno la Ficha de mejora, con la recomendacin que le corresponde y su propuesta operativa. En la propuesta deber indicar si sta se reere a la fase de diseo de la intervencin, a su proceso de aplicacin y gestin o a la fase nal de resultados.

La cha deber contar con un campo abierto en el que la unidad destinataria de la accin de mejora pueda aportar su opinin, rebatiendo, matizando o complementando su propuesta operativa (Respuesta de la unidad destinataria). A partir de su propuesta inicial, basada en la recomendacin de los evaluadores, y la respuesta de la unidad destinataria, deber invitar y apoyar a sta ltima en el diseo de actuaciones concretas para poner en prctica estas recomendaciones (Accin de mejora). La unidad destinataria deber jar, adems, un periodo de tiempo para realizar cada accin (Plazo). Cuando las unidades destinatarias de las recomendaciones de la evaluacin hayan denido su compromiso de mejora y lo tengan reejado en la Ficha de mejora, deber remitirlas a la unidad responsable de coordinar, dar seguimiento y vericar que los compromisos pactados con cada actor se cumplen realmente y se traducen en mejoras efectivas de la Poltica de Cooperacin. Para ello, la Ficha de mejora debe contar con un campo destinado al Seguimiento de cada accin propuesta.

En la prctica... Para asegurar que las recomendaciones de la evaluacin se traducen en acciones concretas de las unidades destinatarias se recomienda disear una estructura de incentivos, que motive a cada actor a llevarlas a cabo. El seguimiento de las Fichas de mejora puede ser, en s mismo, un incentivo, pues permite poner en evidencia a aquellos actores que no han puesto en prctica las mejoras que les corresponden, transcurrido el periodo al que se comprometieron para ello. Adems, hay otras alternativas para incentivar la aplicacin de las mejoras, como que las entidades nanciadoras valoren positivamente a aquellas entidades que cumplieron con las recomendaciones de evaluaciones que les fueran realizadas anteriormente, o establecer, dentro del presupuesto de la intervencin, una reserva de ecacia, que quede liberada nicamente cuando la entidad haya asumido todos sus compromisos. (Seminario en torno a la retroalimentacin. Organizado por la OPE. 30/03/04)

103

PARTE II: El ciclo de la evaluacin: un itinerario a recorrer

10

En algunos casos, especialmente cuando las recomendaciones derivadas de la evaluacin dan lugar a mltiples actuaciones de mejora, la informacin contenida en las chas dirigidas a cada actor puede ser trasladada por ste a un documento de planicacin ms detallado que se denomina Plan de mejora.

Al nalizar la etapa, debe haber: Identicadas las recomendaciones de la evaluacin que requieren la denicin y puesta en prctica de actuaciones de mejora. Establecidos los actores que deben asumir cada una de estas recomendaciones y denido con ellos las actuaciones de mejora correspondientes. Registrada la informacin correspondiente a cada actor en Fichas de mejora, para facilitar el desarrollo del proceso. Trasladada la informacin contenida en las Fichas de mejora a la unidad responsable de dar seguimiento al desarrollo de las actuaciones establecidas para cada actor.

104

Consideraciones nales
En la Fase I se han recorrido los principales hitos del diseo de la evaluacin con el propsito de denir las cuestiones y criterios relevantes junto al resto de actores implicados y establecer los Trminos de Referencia que orientarn las tareas evaluativas. Durante el desarrollo del estudio de evaluacin (Fase II) se ha hecho hincapi en el fomento de la participacin de los actores implicados y la supervisin continua de la calidad como las principales funciones que han de acometerse para denir y gestionar el Plan de trabajo. Finalmente, en la tercera Fase se insiste en la importancia de adaptar los soportes y canales de comunicacin a los diferentes actores segn sus necesidades informativas y expectativas, y se seala la incorporacin de lecciones de la experiencia como un elemento crucial que debe promover el gestor de la evaluacin. Una vez nalizadas todas las etapas propuestas, habr concluido su evaluacin, de acuerdo con el modelo del ciclo integrado de la Poltica de Cooperacin Espaola, segn el cual, la evaluacin es un instrumento al servicio de la planicacin y la gestin que permite incrementar la calidad de la ayuda a partir del aprendizaje de la propia experiencia. Es posible que las condiciones particulares de su evaluacin le hayan obligado a seguir los pasos y etapas indicados con mayor o menor grado de exibilidad pero, si su evaluacin se ha diseado, desarrollado y utilizado de acuerdo con las pautas generales que se le han propuesto, habr contribuido a la mejora de la calidad de las intervenciones de cooperacin al desarrollo. La mejora de los impactos de la cooperacin al desarrollo en la reduccin de la pobreza pasa por tomar nota de lo realizado, enfrentndose a la tozudez de los hechos y desarrollando la capacidad de aprender para mejorar. En este proceso todos los actores deben asumir su responsabilidad para incrementar la calidad de la ayuda, entendida como la ecacia en la consecucin de los compromisos y metas establecidos en los ODM, en la Declaracin de Pars y en otros compromisos internacionales. As, el conocimiento de la aplicacin de la Poltica de Cooperacin sobre el terreno y su enjuiciamiento sistemtico con un enfoque participativo y pluralista debe iluminar procesos de reexin conjunta que permitan que los esfuerzos y recursos que se destinan a la cooperacin converjan hacia la satisfaccin de las necesidades reales de la poblacin de los pases socios, en las que encuentran su razn de ser. Dada la riqueza y diversidad de contextos y actores que convergen en la Poltica de Cooperacin, estamos convencidos de que de cada proceso de evaluacin que oriente este documento se podr extraer una leccin aprendida o una prctica de inters para futuras evaluaciones. Por lo tanto, tal y como se adelantaba en el prlogo, le invitamos a que sea su propia experiencia la que permita retroalimentar y mejorar los contenidos del Manual, utilizando para ello los mecanismos de coordinacin y comunicacin que promueva la DGPOLDE.

105

Glosario de trminos
Para facilitar la comprensin del Manual se ha elaborado este Glosario donde se han incluido los trminos comnmente utilizados en el seguimiento y evaluacin. Con el objetivo de promover un lenguaje comn se ha partido del Glosario del Comit de Ayuda al Desarrollo (CAD, 2002), ampliado con otras referencias (recogidas en la Bibliografa) y adaptado al contexto de la Cooperacin Espaola y a los contenidos de este Manual. Para algunos trminos se contempla ms de una denicin.

ACTIVIDAD: Acciones emprendidas o labor realizada mediante las cuales se movilizan insumos para generar productos determinados. ALINEAMIENTO: Uno de los cinco principios para aumentar la ecacia de la ayuda que los pases de la OCDE rmaron en la Declaracin de Pars (2005), que reeja un compromiso de los donantes para prestar su ayuda consideraando y participando en las estrategias de desarrollo, los sistemas de gestin y los procedimientos establecidos en los pases receptores. ANLISIS COSTE-BENEFICIO. Procedimiento para evaluar la conveniencia de una intervencin sopesando costes y benecios, incluyendo aquellos para los cuales el mercado no existe o para los que no provee un medida satisfactoria de valor econmico. Puede ser llevado a cabo tanto antes como despus de la ejecucin de la intervencin. ANLISIS COSTE-EFECTIVIDAD. Estudio de las relaciones entre el coste de la intervencin y sus resultados, expresndolos como coste por unidad de resultado logrado. Se usa cuando no puede drsele fcilmente un valor monetario a los resultados. ANLISIS DE RIESGOS. Anlisis o evaluacin de factores (llamados supuestos en el marco lgico) que afectan o que pueden afectar al logro de los objetivos de una intervencin. Examen detallado de las consecuencias indeseables y negativas que podra tener una intervencin para el desarrollo en la vida humana, la salud, la propiedad o el medio ambiente; proceso sistemtico que proporciona informacin sobre esas consecuencias indeseables; proceso de cuanticacin de las probabilidades de que aparezcan los riesgos identicados y sus repercusiones previstas. ANTECEDENTES DE LA INTERVENCIN. Breve resumen de la intervencin que debe incluirse en los TdR de la evaluacin. Incluye el marco legal y nivel de planicacin superior en el que se encuadra la intervencin, su fecha de inicio y nalizacin, el momento de ejecucin en que se encuentra, el presupuesto asignado y, de manera escueta, la estructura interna de planicacin (objetivos, actividades y resultados esperados y fases previstas). Tambin debe recoger una breve referencia al contexto socio-econmico de la intervencin y las caractersticas del colectivo beneciario.
107

Manual de Gestin de Evaluaciones de la Cooperacin Espaola

APRENDIZAJE E INCORPORACIN DE LAS LECCIONES DE LA EXPERIENCIA. Conocimiento adquirido por medio del estudio o la experiencia. Funcin principal de la evaluacin con la nalidad de incorporar a la gestin y a la planicacin aquellos elementos que hayan mostrado mayores y mejores logros, cerrando as el ciclo de la transferencia efectiva de las mejores prcticas. APROPIACIN. Uno de los cinco principios para aumentar la ecacia de la ayuda que los pases de la OCDE rmaron en la Declaracin de Pars (2005), segn el cual los pases socios deben ejercer una autoridad efectiva sobre sus polticas y estrategias de desarrollo, lo que implica la coordinacin de las actuaciones de los pases donantes. RBOL DE OBJETIVOS: Representaciones descriptivas de las relaciones medios-nes de la estrategia propuesta en una intervencin. RBOL DE PROBLEMAS: Representaciones descriptivas de las relaciones causa-efecto de los problemas. ARMONIZACIN. Uno de los cinco principios para aumentar la ecacia de la ayuda que los pases de la OCDE rmaron en la Declaracin de Pars (2005), que supone un compromiso de coordinacin entre las agencias donantes para evitar la dispersin de sus actuaciones, aprovechar las ventajas comparativas de cada uno y construir un programa de ayuda ms estable y predecible para el pas socio. ACTORES IMPLICADOS. Gobiernos, agencias, instituciones, entidades de la sociedad civil, organizaciones no gubernamentales, universidades, asociaciones profesionales y empresariales o empresas privadas, entre otros, que participan, directa o indirectamente, en la planicacin, ejecucin, seguimiento y evaluacin de la poltica de desarrollo. Trminos conexos: contrapartes del pas socio; asociados. ATRIBUCIN. Imputacin de un vnculo causal entre cambios observados (o que se espera observar) y una intervencin especca. Nota: La atribucin se reere a la accin que explica los cambios observados o los resultados obtenidos. Representa la medida en que los efectos de desarrollo observados pueden imputarse (o atribuirse) a una intervencin especca o a la actuacin de una o ms partes teniendo en cuenta otras intervenciones, factores exgenos (previstos o imprevistos) o choques externos. AUDITORA. Actividad de control centrada en la valoracin del cumplimiento de la normativa y regulaciones vigentes aplicables.

BENEFICIOS: Es el valor o la utilidad de los resultados de una intervencin. Estos sern generalmente los objetivos nales del programa, pero puede tambin hablarse de aquellos benecios que no pertenezcan al programa en s. BENEFICIARIOS. Individuos, grupos u organismos que se benecian, directa o indirectamente, de una intervencin para el desarrollo, hayan sido o no los destinatarios de la misma. Trminos conexos: destinatarios, grupo meta, poblacin objetivo.

108

CADENA DE RESULTADOS. La secuencia causal de una intervencin para el desarrollo que estipula los pasos o etapas necesarias para lograr los objetivos deseados, comenzando con los insumos, pasando por las actividades y los productos, y culminando en el efecto directo, el impacto y la retroalimentacin. En algunos organismos, los destinatarios (o el alcance) forman parte de la cadena de resultados. Trminos conexos: supuestos, marco de resultados. CALIDAD. La evaluacin tiene como objetivo general el incremento de la calidad de la ayuda. Se lograr en la medida en que sta sea participativa, imparcial, transparente, conera legitimidad a la Poltica de Cooperacin, se oriente al aprendizaje y genere resultados tiles para mejorar la gestin y la planicacin de las intervenciones. CAPACIDAD INSTITUCIONAL. Posibilidad de una organizacin para dirigir y gobernar su propio desarrollo. CICLO DE VIDA DE LA INTERVENCIN. Perodo temporal que abarca desde que se concibe y disea la intervencin hasta que se maniestan sus impactos. COBERTURA. Medida de la proporcin de destinatarios o destinatarias de una intervencin que han sido efectivamente beneciados con ella. La evaluacin de la cobertura se centra en el anlisis de los colectivos beneciarios reales de una intervencin y en la valoracin de su adecuacin con los destinatarios previstos, indagando en los factores causales de los posibles sesgos hacia determinados colectivos o en las barreras de acceso que hayan podido existir. COHERENCIA. Se realiza a dos niveles, interno y externo. La coherencia interna valora la articulacin de los objetivos de la intervencin con los instrumentos propuestos para lograrlos y su adecuacin a los problemas. La coherencia externa analiza la compatibilidad de la intervencin con otras estrategias y programas con los que pueda tener sinergias o complementariedad. COMIT DE SEGUIMIENTO DE LA EVALUACIN. Estructura formal de apoyo a la gestin del proceso evaluativo que facilita y propicia la participacin de los actores clave. Su naturaleza puede ser ms o menos formal pero, como mnimo, debe contar con representacin de la entidad gestora de la evaluacin y el equipo evaluador. COMIT DE SELECCIN. Grupo responsable de analizar y valorar las diferentes propuestas que presenten los evaluadores durante la fase de concurso. Debe seleccionar la propuesta que mejor se adecue a la evaluacin diseada aplicando los criterios de baremacin previamente establecidos. CONCLUSIONES. Indican los factores de xito y fracaso de la intervencin evaluada apoyndose en los datos recopilados y en su anlisis e interpretacin mediante una cadena transparente de enunciados. En las conclusiones se presta atencin especial a los resultados y repercusiones intencionales o no y, de manera ms general, a otras fortalezas y debilidades. CONTEXTO DE LA INTERVENCIN. Elementos del entorno (econmicos, polticos, legales, institucionales, etc.) de la intervencin y que pueden afectarla de forma directa e indirecta. Es decir, es la parte de la realidad que conforma las condiciones externas de la intervencin sobre las cuales los planicadores y gestores no tienen un control directo.
109

Manual de Gestin de Evaluaciones de la Cooperacin Espaola

CONTRAFACTUAL. Situacin o condicin que podra presentarse hipotticamente para las personas, las organizaciones o los grupos si no hubiera una intervencin para el desarrollo como la evaluada. La construccin de esta situacin hipottica tiene como objetivo facilitar la evaluacin de una intervencin, determinando su ecacia, sus impactos directos y atribuibles. CONTRAPARTE. Gobiernos, agencias, instituciones, entidades de la sociedad civil, universidades, asociaciones profesionales y empresariales o empresas privadas del pas receptor de la ayuda. CREDIBILIDAD. Principio que sustenta la evaluacin de la Poltica de Cooperacin tendente a lograr la mayor objetividad, imparcialidad y rigor posible del proceso y de sus resultados de forma que se garantice su aceptacin. CRITERIOS DE BAREMACIN. Parmetros de valoracin de las propuestas de evaluacin recibidas por la unidad gestora durante la fase de concurso. Deben estar claramente denidos y aplicarse con rigurosidad para asegurar la transparencia del proceso. Los ms comunes son la calidad tcnica de la metodologa propuesta, la cualicacin y experiencia del equipo evaluador, y la propuesta econmica solicitada para realizar la evaluacin. CRITERIOS DE EVALUACIN. Categoras generales de anlisis para enjuiciar el mrito o valor de una intervencin, que sirven de referencia para estructurar las cuestiones a las que la evaluacin debe dar respuesta. Los cinco criterios de evaluacin recomendados por el CAD son: pertinencia, eciencia, ecacia, impacto y viabilidad. Estos criterios pueden completarse con otros tales como coherencia, apropiacin, alineamiento, armonizacin, participacin y cobertura. CUESTIONES DE EVALUACIN. Preguntas a las que la evaluacin debe dar respuesta. Se derivan directamente de los objetivos de la evaluacin, que a su vez han sido denidos a partir de las necesidades informativas de los actores implicados.

DESARROLLO PARTICIPATIVO. El desarrollo slo se entiende con la participacin de la sociedad civil en la toma de decisiones y en la gestin de los recursos locales y ajenos. DESEMPEO. Medida en que una intervencin para el desarrollo o una entidad que se ocupa de promoverlo acta conforme a criterios/normas/directrices especcos u obtiene resultados de conformidad con metas o planes establecidos. DESTINATARIOS. Poblacin objetivo (meta o diana) de una intervencin. Nota: los destinatarios de una intervencin pueden coincidir o no con aquellos que realmente se benecian de ella, beneciarios y otras partes interesadas. Trmino conexo: beneciarios. DIMENSIN GEOGRFICA DE LA INTERVENCIN. Territorio en el que tiene lugar la intervencin y variables que determinan su contexto de desarrollo.

110

DIMENSIN INSTITUCIONAL DE LA INTERVENCIN. Organizaciones implicadas (internacionales, del pas donante o receptor) y niveles de planicacin que debern ser considerados en la evaluacin. DIMENSIN SECTORIAL DE LA INTERVENCIN. Sectores en los que incide la intervencin, reas temticas priorizadas y sus vinculaciones con las de la poltica del pas receptor o de otros organismos donantes. DIMENSIN TEMPORAL DE LA INTERVENCIN. Espacio temporal bajo el que la intervencin va a ser analizada y valorada. Las fechas de inicio y nalizacin de la intervencin pueden no coincidir con el inters prioritario de la evaluacin, que puede centrarse en un periodo o fase que revista especial inters. DIFUSIN DE LA EVALUACIN. Dar a conocer el proceso y los resultados de la evaluacin.

ECONOMA. Ausencia de desperdicio en la obtencin de un resultado determinado mediante la asignacin de recursos escasos susceptibles de usos alternativos. Nota: Se dice que una actividad o intervencin es econmica cuando los costos de los recursos escasos utilizados se aproximan al mnimo necesario para lograr los objetivos planeados. EFECTO. Cambio, intencionado o no, debido directa o indirectamente a una intervencin. EFICACIA. Grado de consecucin de los objetivos (implcitos o explcitos) de una intervencin en funcin de su orientacin a resultados. EFICIENCIA. Valoracin de los resultados alcanzados en comparacin con los recursos empleados para ello. Se tratar de determinar si se ha empleado el mnimo de recursos para alcanzar los resultados obtenidos o si con los recursos empleados se podran alcanzar mayores y mejores resultados. ESTNDARES DE EVALUACIN. Conjunto de normas y parmetros de referencia que sirven para enjuiciar la calidad del proceso evaluativo y de sus productos. ESTRATEGIA. Conjunto de directrices y principios que orientan la aplicacin, en determinado territorio, sector o periodo de tiempo, de un conjunto de intervenciones de carcter ms operativo. Tambin se denomina estrategia de intervencin a las relaciones causales entre los recursos, actividades, resultados y objetivos. ESTUDIO DE BASE. Anlisis que describe la situacin previa a una intervencin para el desarrollo, en relacin con la cual puede medirse el avance o pueden efectuarse comparaciones. Asociado a este trmino se encuentra la Lnea de base que supone la valoracin, cuantitativa o cualitativa, de la batera de indicadores que caracteriza a la situacin de partida de una intervencin. EVALUABILIDAD. Medida en que puede evaluarse una intervencin o determinacin de su alcance, es decir, hasta qu punto es evaluable. La evaluabilidad debera ser un paso previo a la puesta en marcha de cualquier evaluacin ya que permite preparar la intervencin para ser evaluada.

111

Manual de Gestin de Evaluaciones de la Cooperacin Espaola

EVALUACIN. Apreciacin sistemtica y objetiva del diseo, puesta en prctica, resultados e impactos de una intervencin a travs de la aplicacin de un conjunto de tcnicas propias de las ciencias sociales. EVALUACIN CONJUNTA. Evaluacin promovida, gestionada o conanciada por un grupo de entidades (donantes, asociados o actores de la cooperacin) que coparticipan durante todo o parte del ciclo de la evaluacin. EVALUACIN DE CONJUNTO -CLUSTERS O AGREGADOS-. Evaluacin de un conjunto de intervenciones relacionadas entre s que no sustituye a la evaluacin de las intervenciones aisladas sino que las complementa con una visin de conjunto, identicando elementos comunes y buenas prcticas. EVALUACIN DE DISEO. Tiene como objetivo analizar la bondad del diagnstico realizado, constatar la existencia de objetivos claramente denidos, analizar su correspondencia con los problemas, examinar la lgica del modelo de intervencin programado, tanto de forma interna, como en relacin con otras polticas e intervenciones, y valorar la idoneidad del sistema de seguimiento propuesto. EVALUACIN DE ESTRATEGIAS. Tiene por objeto una poltica, plan o estrategia general de actuacin. Centra su atencin en la coherencia estratgica de la intervencin en el sistema de ayuda: su pertinencia, armonizacin con otros donantes, alineamiento con las estrategias locales de desarrollo de los pases receptores, apropiacin de los procesos de desarrollo y contribucin al logro de los Objetivos de Desarrollo del Milenio (ODM). EVALUACIN DE IMPACTOS. Evaluacin de los efectos ms generales y menos inmediatos de la intervencin, que debe indagar en las relaciones de causalidad entre la intervencin y los cambios habidos (efecto neto), deslindndolos de los efectos producidos por intervenciones distintas a la evaluada o por la propia evolucin del contexto. EVALUACIN DE INSTRUMENTOS OPERATIVOS. Tiene por objeto uno de los instrumentos a travs de los que se canaliza la AOD. Atiende aspectos relacionados con la ejecucin de la propia intervencin (ecacia, eciencia, pertinencia, etc.), aunque tambin se analiza la coherencia externa con los marcos ms amplios de planicacin. EVALUACIN DE PROCESO, APLICACIN O DE GESTIN. Su objetivo es valorar la forma en que se gestiona y aplica una intervencin. Se trata de analizar la capacidad de los centros de planicacin y gestin de la intervencin en relacin con su diseo, aplicacin, seguimiento y evaluacin, y de examinar la implicacin y coordinacin de los centros gestores, de donantes y receptores, en dichas tareas, determinando el rol de cada uno, la idoneidad de la organizacin y la suciencia en la dotacin de recursos. EVALUACIN EX ANTE. Evaluacin que se efecta antes de poner en marcha una intervencin para el desarrollo. EVALUACIN EX POST. Se realiza una vez nalizada la intervencin. EVALUACIN EXTERNA. Evaluacin realizada por entidades y/o personal ajeno a los organismos donantes, ejecutores y gestores de la intervencin.

112

EVALUACIN FORMATIVA. Evaluacin cuyo objetivo es mejorar la intervencin y aumentar el conocimiento de los implicados en su diseo, gestin y ejecucin. EVALUACIN INDEPENDIENTE. Evaluacin que no est sujeta a ninguna inuencia poltica ni a presiones de ninguna organizacin, cuenta con autonoma para llevar a cabo las investigaciones y noticar lo que se haya determinado. EVALUACION INDIVIDUAL. Aquella evaluacin que es promovida por una nica entidad, organismo o agencia de desarrollo. EVALUACIN INTERMEDIA. Evaluacin que se efecta a medio camino en el desarrollo de la intervencin. EVALUACIN INTERNA O AUTOEVALUACIN. Aquella realizada por personal adscrito a la entidad gestora de la intervencin evaluada, organizado o no en una unidad de evaluacin. EVALUACIN MIXTA (O INTERNA ASISTIDA). Aquella realizada por personal de la entidad que gestiona la intervencin apoyados por un equipo externo o asistencia tcnica, que orienta el proceso y/o desarrolla el trabajo de evaluacin sobre el terreno. EVALUACIN PARTICIPATIVA. Evaluacin en la que los representantes de entidades y partes interesadas (incluidos los beneciarios) trabajan conjuntamente en su diseo, implementacin e interpretacin. EVALUACIN SUMATIVA. Su objetivo es proporcionar informacin sobre el valor de la intervencin con un propsito muy vinculado a la toma de decisiones especcas como pueden ser su reformulacin o continuidad, entre otras. EVALUACIN TEMTICA. Evaluacin de un conjunto determinado de intervenciones para el desarrollo, referidas a una prioridad especca de desarrollo (horizontal o transversal).

FIABILIDAD. Medida en que se puede conar en los datos, en el procedimiento utilizado para su recopilacin y en los resultados de la evaluacin.

GARANTA DE CALIDAD. Abarca toda actividad que tenga por objeto evaluar y mejorar el mrito o el valor de una intervencin para el desarrollo o su cumplimiento con normas establecidas. Tambin puede referirse a la evaluacin de la calidad de un conjunto de intervenciones y de su ecacia en trminos del desarrollo.

113

Manual de Gestin de Evaluaciones de la Cooperacin Espaola

GESTIN BASADA EN RESULTADOS (GESTIN ORIENTADA A RESULTADOS). Enfoque para valorar el xito o fracaso de las polticas de desarrollo en funcin de los resultados obtenidos en los pases receptores. Sustituye al enfoque tradicional que mide la ecacia de la ayuda basndose en el nmero de proyectos y en el nivel de gasto realizado. GESTIN DEL CICLO DEL PROYECTO. Gestin de todas las etapas del ciclo de vida de un proyecto, desde su diseo hasta que se maniestan sus impactos. GESTORES DE LA EVALUACIN. Encargados de liderar el diseo de la evaluacin, coordinar el avance y desarrollo del estudio de evaluacin, supervisar la calidad del proceso, comunicar sus resultados, conclusiones y recomendaciones. Son responsables de que el proceso evaluativo se realice segn lo establecido. GRUPO OBJETIVO O GRUPO META. Individuos, colectivos, grupos de poblacin u organismos especcos en cuyo benecio se lleva a cabo la intervencin. Tambin se le denomina poblacin objetivo.

HALLAZGO (EVIDENCIA). Constatacin o armacin basada en datos y hechos registrados sobre la intervencin o intervenciones evaluadas. HERRAMIENTAS ANALTICAS. Mtodos empleados para procesar e interpretar informacin durante una evaluacin. HERRAMIENTAS DE RECOLECCIN DE DATOS. Metodologas, tcnicas e instrumentos empleados para identicar fuentes de informacin y recopilar datos durante una evaluacin.

IMPACTO. Efectos de largo plazo, positivos y negativos, primarios y secundarios, producidos directa, colateral o inducidamente por una intervencin, intencionalmente o no. La evaluacin del impacto trata de identicar todos estos efectos y centrarse en la determinacin de los efectos netos atribuibles a la intervencin. IMPACTO EN EL DESARROLLO INSTITUCIONAL. Medida en que una intervencin mejora o debilita la capacidad de un pas, regin o institucin para hacer un uso ms eciente, equitativo y sostenible de sus recursos humanos, nancieros y naturales INDICADOR. Expresin cuantitativa o cualitativa de una variable que permite describir algn aspecto de la intervencin y ayuda a valorar lo alcanzado en relacin con un parmetro de referencia. INFORMANTES CLAVE. Personas o entidades que poseen informacin relevante para la evaluacin y, al igual que el resto de actores, poseen necesidades informativas en torno al proceso como potenciales usuarios o interesados de la evaluacin.

114

INFORME DE EVALUACIN. Producto en el que se recogen las tcnicas y mtodos usados para la recopilacin y anlisis de la informacin, los resultados de la evaluacin, las conclusiones y recomendaciones. Puede tener soporte escrito o no (presentacin oral o multimedia, por ejemplo). INSTRUMENTOS OPERATIVOS. Intervenciones a travs de las que se canaliza la Ayuda Ocial al Desarrollo. INSUMOS. Recursos nancieros, humanos y materiales empleados en una intervencin para el desarrollo. INTERVENCIN PARA EL DESARROLLO. Conjunto de actuaciones, actividades, medidas, programas, planes y polticas diseado para lograr un objetivo especco de desarrollo en un periodo de tiempo determinado y en una regin geogrca o sector delimitados. En este Manual se ha utilizado el trmino intervencin de forma genrica para referirse tanto a los documentos de planicacin estratgica, como a los instrumentos operativos de la Poltica de Cooperacin.

JUICIO (ENJUICIAMIENTO). Armacin sobre el mrito o valor de una intervencin basada en unos criterios o parmetros previamente denidos, relacionados con las preguntas de evaluacin.

LECCIONES APRENDIDAS. Generalizaciones basadas en la experiencia de evaluacin aplicables a situaciones ms amplias, destacando puntos fuertes o dbiles en la preparacin, el diseo y la puesta en prctica que afectan al desempeo, los resultados y el impacto de la intervencin, y que identiquen buenas o malas prcticas. LGICA DE LA INTERVENCIN. Secuencia que explica la forma en que debern lograrse los objetivos, identicando las relaciones causales y supuestos subyacentes.

MARCO LGICO. Herramienta que se utiliza para disear las intervenciones. Comprende la identicacin de insumos, productos, efectos, impacto y sus relaciones causales, indicadores y los supuestos o riesgos que pueden inuir en el xito o el fracaso. MATRIZ DE DOCUMENTACIN. Herramienta para organizar y presentar de forma estructurada los documentos sobre la intervencin que deben ser revisados por el gestor de la evaluacin y entregados al equipo de evaluacin.

115

Manual de Gestin de Evaluaciones de la Cooperacin Espaola

MEDICIN DE LOS RESULTADOS. Sistema para evaluar los resultados de las intervenciones en funcin de los objetivos declarados. METAEVALUACIN. Consiste en la evaluacin de una o varias evaluaciones. Las metaevaluaciones se centran en analizar la calidad tcnica y metodolgica del proceso evaluativo y la valoracin del desempeo profesional de los evaluadores. MUTUA RESPONSABILIDAD. Reeja un compromiso entre receptores y donantes para incrementar la responsabilidad en la utilizacin de los recursos de la ayuda: los pases socios se comprometen a reforzar el papel del Parlamento y fomentar los enfoques participativos en la planicacin y evaluacin de las estrategias de desarrollo; los pases donantes se comprometen a proporcionar informacin transparente y completa sobre la ayuda y realizar evaluaciones conjuntas sobre su ecacia.

NORMA DE REFERENCIA. Base de comparacin, parmetro o standard en relacin con el que pueden medirse los resultados o los logros obtenidos.

OBJETIVO DE DESARROLLO. Impacto intencional esperado que contribuye a generar benecios fsicos, nancieros, institucionales, sociales, ambientales o de otra ndole a una sociedad, una comunidad o un grupo de personas mediante una o ms intervenciones para el desarrollo. OBJETIVO DEL PROYECTO O PROGRAMA. Resultados fsicos, nancieros, institucionales, sociales, ambientales o de otra ndole que se espera que el proyecto o programa contribuya a lograr. OBJETIVOS ESPECFICOS DE LA EVALUACIN. Metas que se pretenden conseguir con la evaluacin. Se denen teniendo en cuenta las necesidades informativas de todos los actores implicados en la evaluacin. OBJETO DE EVALUACIN. Intervencin o intervenciones que son evaluadas. Puede ser una estrategia, un instrumento operativo o un grupo de intervenciones que cumplan determinados requisitos o sean especialmente signicativas por su carcter innovador o su potencial para generar aprendizajes.

PARTENARIADO. Grupo de entidades que se asocian para alcanzar objetivos compartidos en la planicacin de una intervencin o en su evaluacin.

116

PARTES INTERESADAS. Entidades, organizaciones, grupos o particulares que tienen un inters directo o indirecto en la intervencin o en su evaluacin. PARTICIPACIN. Proceso que permite que los actores interesados puedan intervenir en el diseo, aplicacin y ejecucin de la intervencin y en su evaluacin. PERTINENCIA. Medida en que los objetivos de una intervencin son congruentes con las necesidades de los beneciarios y del pas socio, las prioridades globales y polticas de los asociados y donantes y el contexto socio-poltico en el que se desarrolla la intervencin. PLANIFICACIN. Proceso para identicar las necesidades y problemas de un territorio, colectivo o sector, establecer los objetivos a conseguir y determinar las actuaciones a emprender para provocar los cambios deseados. En algunos contextos se denomina planeamiento. PLAN DE COMUNICACIN. Documento de planicacin para la difusin de los resultados de la evaluacin entre los actores implicados. PLAN DE MEJORA. Documento de planicacin de las acciones de mejora a emprender derivadas de la evaluacin. Debe registrar las recomendaciones de la evaluacin que tienen implicaciones operativas, la propuestas de actuacin que realiza la unidad gestora de la evaluacin, los actores que deben hacerse cargo de ponerlas en prctica y el programa de mejoras nalmente pactado con estos actores. Las propuestas debern incluir plazos previstos y recursos necesarios. PLAN DE TRABAJO. Programacin de las actividades a llevar a cabo durante la fase de desarrollo del estudio de evaluacin, en la que se recogen las etapas a seguir, sus plazos y los productos a entregar como resultado de cada una de ellas. El Plan de trabajo surge del acuerdo entre los gestores de la evaluacin y los evaluadores sobre la base de los TdR y la propuesta tcnica. PROMOTORES DE LA EVALUACIN. Aquellos que generan la motivacin para evaluar o que deben dar cumplimiento a un mandato de evaluacin. Normalmente son los responsables de su nanciacin, aunque quien promueve la evaluacin no tiene que ser necesariamente quien gestiona o nancia la intervencin. PROPSITO (purpose / but). Objetivos declarados pblicamente de la intervencin de desarrollo. PROPSITOS DE LA EVALUACIN. (MOTIVACIONES PARA EVALUAR). Razn o razones que motivan a los promotores de la evaluacin para impulsar su puesta en marcha. Pueden tener su origen en un mandato reglamentario o en otro tipo de motivaciones. A partir de ellos se dene el objetivo general de la evaluacin.

RECOMENDACIN ADMINISTRATIVA. Traduccin de las recomendaciones de la evaluacin que realizan los gestores de la intervencin con el propsito de operativizarlas e incorporarlas, en su caso, en los procedimientos administrativos. La denicin de las recomendaciones administrativas supone un paso previo para la denicin de las acciones de mejora a emprender como consecuencia de la evaluacin, o el diseo de un Plan de mejora.
117

Manual de Gestin de Evaluaciones de la Cooperacin Espaola

RECOMENDACIONES. Propuestas derivadas de las conclusiones de la evaluacin con la nalidad de mejorar la intervencin evaluada mediante la consolidacin de sus fortalezas y la reduccin de las debilidades. RENDICIN DE CUENTAS. Obligacin de demostrar que se ha aplicado la intervencin cumpliendo con las reglas y normas acordadas declarando los resultados obtenidos. Para los evaluadores, denota la responsabilidad de proporcionar informes de seguimiento y evaluaciones de resultados precisos, imparciales y crebles. RESULTADOS. Producto o efecto directo (intencional o no, positivo y/o negativo) de una intervencin. RETROALIMENTACIN. Transmisin de las constataciones (hallazgos) a las que lleg el proceso de evaluacin a aquellas partes para quienes son pertinentes y tiles con objeto de facilitar el aprendizaje. Puede abarcar la recopilacin y divulgacin de observaciones, conclusiones, recomendaciones y lecciones de la experiencia.

SEGUIMIENTO. Proceso continuo y sistemtico de recoleccin de datos para vericar lo realizado y sus resultados, tanto en trminos fsicos como nancieros. Ofrece informacin necesaria para mejorar la gestin y aplicacin de la intervencin e imprescindible para su evaluacin. SOSTENIBILIDAD. Continuacin de los benecios de una intervencin despus de concluida. Situacin en la que las ventajas netas son susceptibles de resistir los riesgos con el paso del tiempo. SUPUESTOS. Hiptesis sobre los factores o riesgos que pueden afectar el avance o xito de una intervencin. Tambin hacen referencia a las hiptesis sobre las que se emiten juicios en la evaluacin.

TRMINOS DE REFERENCIA. Documento en el que se recogen las decisiones tomadas en el diseo de la evaluacin: propsito, alcance y objetivos, criterios, cuestiones y metodologa recomendada para realizar el estudio de evaluacin, perl solicitado al equipo de evaluacin, recursos y tiempo asignado, y requisitos de presentacin de informes, entre otros. Constituyen la principal referencia para el equipo evaluador sobre la evaluacin que se pretende realizar. TRANSPARENCIA. La evaluacin debe garantizar la transparencia del proceso de planicacin, gestin y ejecucin de la intervencin y salvaguardar la del propio proceso de evaluacin, ofreciendo respuestas a las necesidades de informacin de todos los actores involucrados en las intervenciones.

118

UNIDAD DE SEGUIMIENTO Y EVALUACIN. Departamento o clula encargada de coordinar, gestionar y/o realizar el seguimiento y evaluacin en el seno de una institucin. UTILIDAD. Validez de los resultados de la evaluacin para que puedan ser aplicados por gestores, planicadores, decisores y la sociedad en general. Para garantizar la utilidad de la evaluacin es necesario que sta responda a las demandas planteadas por los actores implicados, que se despliegue una adecuada estrategia de comunicacin y que sus recomendaciones sean viables.

VIABILIDAD. Capacidad de una intervencin de poder ser llevada a cabo. Tambin, en materia de cooperacin, se asimila al concepto de sostenibilidad, continuidad en el tiempo de los efectos positivos generados con la intervencin una vez retirada la ayuda. Est ligada a la potenciacin de los factores clave de desarrollo, a la apropiacin del proceso por parte de los receptores de la ayuda.

119

Bibliografa

African Development Bank Group, ADBG (1996). Operations Evaluation Department. Guidelines and methodologies of evaluation. Agencia Noruega de Cooperacin, NORAD (1997). Evaluacin de proyectos de ayuda al desarrollo. Manual para evaluadores y gestores. IUDC/UCM/CEDEAL. Madrid. Espaa Alonso, J.A. (2004). El desarrollo como proceso abierto al aprendizaje. The European Journal of Development Research, Vol.16, No.4, pg.845867. American Evaluation Association, AEA (2002). Impact evaluations when time and money are limited: Lessons from International Development on the design of rapid and economical, but methodologically sound, impact evaluations. AEA Professional Development Session: November, 5, 2002. Banco Interamericano de Desarrollo, BID (2003). Ocina de Evaluacin y Supervisin, OVE. Protocolo para la realizacin de las evaluaciones de programas de pas. Washington, D.C. EEUU. Banco Interamericano de Desarrollo, BID (2005). Ofce of Evaluation and Oversight, OVE. Report on the Evaluability of Bank Country Strategie. Washington, D.C. EEUU. Banco Mundial, BM (1994). Departamento de Evaluacin de Operaciones, OED. Building Evaluation Capacity. En estudio n 4 de la serie de publicaciones Lecciones y Prcticas. Washington, D.C. EEUU. Banco Mundial, BM (1994). Departamento de Evaluacin de Operaciones, OED. Diseo del sistema de seguimiento y evaluacin de los proyectos. En estudio n 8 de la serie de publicaciones Lecciones y Prcticas. Washington, D.C. EEUU. Banco Mundial, BM (1999). Banco Internacional de Reconstruccin y Fomento. Evaluacin del impacto de los proyectos de desarrollo en la pobreza. Manual para profesionales. Directivas de desarrollo. Washington, D.C. EEUU. Banco Mundial, BM (1999). Departamento de Evaluacin de Operaciones, OED. Fortalecimiento de la capacidad de evaluacin. En documento n 6 de la serie de documentos de trabajo sobre fortalecimiento de la capacidad de evaluacin. Washington, D.C. EEUU. Banco Mundial, BM (2004). Departamento de Evaluacin de Operaciones, OED. Evaluaciones inuyentes: evaluaciones que mejoraron el desempeo y los efectos de los programas de desarrollo. Washington, D.C. EEUU. Banco Mundial, BM (2004). Departamento de Evaluacin de Operaciones, OED. Seguimiento y Evaluacin: instrumentos, mtodos y enfoques. Washington, D.C. EEUU. Banco Mundial, BM (2006). Departamento de Evaluacin de Operaciones, OED. Conducting quality impact evaluations under budget, time and data constraints. Washington, D.C. EEUU.
121

Manual de Gestin de Evaluaciones de la Cooperacin Espaola

Bustelo, M. (1999). Diferencias entre evaluacin e investigacin: una distincin necesaria para la identidad de la evaluacin de programas. En Revista Espaola de Desarrollo y Cooperacin n 4, pginas 9 a 29. Madrid. Espaa. Canadian International Development Agency, CIDA (2004). Evaluation Division Performance. Review Branch. Evaluation Guide. Ottawa. Canad. Canadian International Development Agency. CIDA (varios aos). How to perform evaluations: (2000a). Getting Started. (2000b). Evaluation Workplans. (2000c) Model TdR. (2001a) Information Collection and Analysis. (2001b) Participatory Evaluations. (2001c) Gender Equality. (2002a) Evaluation Reports. (2002b) Model abstracts. (2002c) Sharing-results. Carlsson, J.; Khlin, G. y Ekbom, A. (1994). The political economy of evaluation: international aid agencies and the effectiveness of aid. New York. EEUU. Comisin Econmica para Amrica Latina y el Caribe, CEPAL. Instituto Latinoamericano y del Caribe de Planicacin Econmica y Social, ILPES (2005). Manual para la evaluacin de impacto de proyectos y programas de lucha contra la pobreza. Santiago de Chile. Chile. Comisin Europea (1999). Evaluating socio-economic programmes. En MEANS Collection. Lyon. Francia. Comisin Europea. EuropeAid Co-operation Ofce (2003). Guideliness for dissemination and feedback of evaluations. Bruselas. Blgica. Comisin Europea. EuropeAid Co-operation Ofce (2005). Metodologa de evaluacin de EuropeAid. En lnea http://ec.europa.eu/comm/europeaid/evaluation/index.htm Coordinadora Espaola de ONGD, CONGDE (2003). Anlisis de la Cooperacin Ocial Descentralizada en el Estado espaol en el perodo 1999-2002. Madrid. Espaa. Cruz Roja Espaola (2000). La evaluacin de proyectos de cooperacin internacional de Cruz Roja. Manual del Delegado/a. Madrid. Espaa. Danish International Development Agency, DANIDA (1999). Evaluation Guidelines. Copenhague. Dinamarca. Direccin General de Planicacin y Evaluacin de Polticas de Desarrollo, DGPOLDE (2005). Herramienta para la elaboracin de los Documentos de Estrategia Pas de la Cooperacin Espaola. Madrid. Espaa. Direccin General de Planicacin y Evaluacin de Polticas de Desarrollo, DGPOLDE (2005). Herramienta para la elaboracin de los Documentos de Estrategia Sectorial de la Cooperacin Espaola. Madrid. Espaa. Direccin General de Planicacin y Evaluacin de Polticas de Desarrollo, DGPOLDE (2006). Herramienta para la elaboracin de los Planes de Actuacin Especial de la Cooperacin Espaola. Madrid. Espaa.

122

Europeaid. AidCo Evaluation Unit H/6 D (2001). Evaluation in the European Commission. A Guide to the Evaluation Procedures and Structures currently operational in the Commissions External Co-operation Programmes. Bruselas. Blgica. Feinstein, O. & Ingram, G. (2003) Lessons Learned from World Bank Experiences in Joint Evaluation. Presentacin en el Development Assistance Committee Working Party on Aid Evaluation workshop Partners in Development Evaluation: Learning and Accountability, Paris, France, March 25-26, 2003. Fida. Ocina de Evaluacin y Estudios (2003). Gua para el seguimiento y evaluacin de proyectos. Gestin orientada al impacto en el desarrollo rural. Roma. Italia Freeman, T. (2005). La evaluacin de los programas de cooperacin en un mundo cambiante. Documento de trabajo sobre evaluacin. Ocina de evaluacin. UNICEF. Nueva York. EE.UU. Fundacin W.K. KELLOGG (1998). Manual de evaluacin. Battle Creek, MI. USA. Gonzlez Parada, J.R. y GARCA CEBOLLA, J.C. (2004). Manual de Evaluacin para la Cooperacin Descentralizada. Dykinson y FEMP. Madrid. Espaa. Gudio, F. (1999). El Sistema de Evaluacin y Cooperacin Espaola frente al reto de su consolidacin. En Revista Espaola de Desarrollo y Cooperacin n 4, pginas 31 a 49. Madrid. Espaa. Hidalgo, S. y Espada, F. (2004). Hacia una nueva Cooperacin Espaola. En Informe n 2 de FRIDE y DARA. Madrid. Espaa. Larr, J.M. (2002) Razones para implantar un sistema de evaluacin en las ONGD y sus consecuencias. En Revista de Fomento Social 57 (228), 683-710. Larr, J.M. (2004). Memoria sobre el I Seminario en torno a la retroalimentacin. U. San Pablo CEU. Madrid. Espaa. Larr, J.M. (2005). La Declaracin de Pars 2005: principios para una ayuda ecaz y aplicaciones para las ONGD. En Revista de fomento social vol. 60 n 238, pg. 243-281. Crdoba. Espaa. Ley 23/1998, de 7 de julio, de Cooperacin Internacional para el Desarrollo. Ministre des Affaires trangres de Francia. Bureau de lvaluation (2005). Guide de lvaluation. Direction gnrale de la coopration internationale et du dveloppement. Service de la stratgie, des moyens et de lvaluation. Francia. Ministerio de Asuntos Exteriores y de Cooperacin, MAEC. Secretara de Estado de Cooperacin Internacional, SECI (2005). Evaluacin del Programa de alfabetizacin y educacin bsica de adultos en Honduras y Nicaragua. Madrid. Espaa. Ministerio de Asuntos Exteriores y de Cooperacin, MAEC. Secretara de Estado de Cooperacin Internacional, SECI (2005). Plan Anual de Cooperacin Internacional. Madrid. Espaa. Ministerio de Asuntos Exteriores y de Cooperacin, MAEC. Secretara de Estado de Cooperacin Internacional, SECI (2005). Plan Director de la Cooperacin Espaola 2005-2008. Madrid. Espaa. Ministerio de Asuntos Exteriores y de Cooperacin, MAEC. Secretara de Estado de Cooperacin Internacional, SECI (2006). Plan Anual de Cooperacin Internacional. Madrid. Espaa.
123

Manual de Gestin de Evaluaciones de la Cooperacin Espaola

Ministerio de Asuntos Exteriores, MAE. Secretara de Estado para la Cooperacin Internacional y para Iberoamrica, SECI (1998). Metodologa de evaluacin de la Cooperacin Espaola. Secretara de Estado para la Cooperacin Internacional y para Iberoamrica. Madrid. Espaa. Ministerio de Asuntos Exteriores, MAE. Secretara de Estado para la Cooperacin Internacional y para Iberoamrica, SECI (2000). El Comit de Ayuda al Desarrollo de la Organizacin para la Cooperacin y el Desarrollo Econmicos (OCDE): Doctrina y Actividades. Madrid. Espaa. Ministerio de Asuntos Exteriores, MAE. Secretara de Estado para la Cooperacin Internacional y para Iberoamrica, SECI (2001). Metodologa de evaluacin de la Cooperacin Espaola II. Madrid. Espaa. Ministerio de Asuntos Exteriores, MAE. Secretara de Estado para la Cooperacin Internacional y para Iberoamrica, SECI (2001). Metodologa de gestin de proyectos de la cooperacin espaola. Madrid. Espaa. Ministerio de Asuntos Exteriores, MAE. Secretara de Estado para la Cooperacin Internacional y para Iberoamrica, SECI (2002). Examen de la Cooperacin Espaola 1999-2001. Recomendaciones e informe de la Secretara del CAD. Madrid. Espaa. Murciano, J. (2004). La metaevaluacin de proyectos de empleo. Memoria de Grado del Magster en Evaluacin de Programas y Polticas Pblicas de la Universidad Complutense de Madrid. MIMEO. Murciano, J. (2006). La evaluacin de partenariados y en partenariados. En n 3 de Revista E-valuacin. Sociedad Espaola de Evaluacin de Polticas Pblicas. Pginas: 18-31. Sevilla. Espaa. Naciones Unidas (2005). Normas de evaluacin en el sistema de las Naciones Unidas. UNEG. Naciones Unidas, NU (2000). Declaracin del Milenio. Resolucin aprobada por la Asamblea General 55/2. Nueva York. USA. Naciones Unidas, NU (2000). UNDP Programming Manual. New York. EE.UU. Naciones Unidas, NU (2002). Consenso de Monterrey. Resolucin aprobada por la Asamblea General A/ AC.257/L.13. Monterrey. Mxico. Naciones Unidas, NU (2005). Alternative Development: A Global Thematic Evaluation. Final Synthesis Report. Ofce on Drugs and Crime of Viena. Nueva York. EE.UU. Naciones Unidas, NU (2005). Estndares de evaluacin en el Sistema de las Naciones Unidas. UNEG. Orden AEC/1303/2005, de 27 de abril, por la que se regulan las bases para la concesin de subvenciones a organizaciones no gubernamentales de desarrollo, para la realizacin de intervenciones en materia de cooperacin internacional para el desarrollo. Orden AEC/1304/2005, de 27 de abril, por la que se establecen las bases reguladoras de la concesin de subvenciones de la convocatoria abierta y permanente para actividades de cooperacin y ayuda al desarrollo. Organizacin para la Cooperacin y el Desarrollo Econmico, OCDE. Comit de Ayuda al Desarrollo, CAD (1995). Participatory Development and Good Governace. Development Co-operation Guidelines Series. Pars. Francia.

124

Organizacin para la Cooperacin y el Desarrollo Econmico, OCDE. Comit de Ayuda al Desarrollo, CAD (2001). Evaluation Feedback for effective learning and accountability. DAC working party on aid evaluation. Pars, Francia. Organizacin para la Cooperacin y el Desarrollo Econmico, OCDE. Comit de Ayuda al Desarrollo, CAD (varios aos). Principles for evaluation of development assistance: (1999). Evaluation and aid effectiveness 1: Guidance for Evaluating Humanitarian Assitance in Complex Emergencies. OCDE. Pars. Francia. (2000). Evaluation and aid effectiveness 4: Effective practices in conducting a multi-donor evaluation. OCDE. (2002). Glossary of Key Terms in Evaluation and Results Based Management. Evaluation and Aid Effectiveness N 6. OECD. Paris. Francia. (2003). Harmonizing Donor Practices for Effective Aid Delivery. DAC Guidelines and Reference Series. OECDDAC. Paris. (2004a). Joint Evaluations: Recent Experiences, Lessons Learned and Options for the Future. OCDE. Pars. Francia (2004b). Review of the quality of evaluations. Room document 2, preparado por Australia para la reunin del 15-16 de enero. OCDE. Pars. Francia. (2005a). Declaracin de Pars sobre la Ecacia de la Ayuda al Desarrollo. Apropiacin, Armonizacin, Alineacin & Resultados y Mutua Responsabilidad. Foro de Alto Nivel. Pars. Francia. (2005b). Joint Evaluations: Recent Experiences, Lessons Learned and Options for the Future. CAD Evaluation Network Working Paper. OCDE. Pars. Francia. (2006). Evaluation Quality Standards (for test phase application). OCDE. Pars. Francia. Organizacin para la Cooperacin y el Desarrollo Econmico, OCDE. Comit de Ayuda al Desarrollo, CAD (2003). Evaluation Guidelines. Evaluation Division. Pars, Francia. Osuna, J.L. (2006). La evaluacin de las polticas de empleo: hacer de la necesidad virtud. En n 1 de Revista E-valuacin. Sociedad Espaola de Evaluacin de Poltica Pblicas. Pginas 26-38. Sevilla. Espaa. Osuna, J.L. y C. Vlez (2004). Gua de planicacin y evaluacin para agentes de desarrollo local. Sevilla Siglo XXI, S.A. e Instituto de Desarrollo Regional. Sevilla. Espaa. Osuna, J.L., C. Vlez, A. Cirera y J. Murciano. (2006). Programacin y evaluacin pblica: un tringulo complejo. En n 60 de Revista Vasca de Ekonomiaz. Pginas: 76-97. San Sebastin, Espaa. Osuna, J.L. y C. Mrquez (dir.) y A. Cirera y C. Vlez (red.). (2000). Gua para la evaluacin de polticas pblicas. Instituto de Desarrollo Regional. Sevilla. Espaa. Patton, M.Q. (1997). Utilization-focused evaluation: The new century text (tercera edicin). Thousand Oaks, CA: Sage. Prez de Armio, C. (2000). Diccionario de Accin Humanitaria y Cooperacin al Desarrollo. Edicin on line. http://dicc.hegoa.efaber.net/ Perrin, B. (2006). Moving from outputs to outcomes. Practical advice from Governments around the World. Management for performance and results series. IEG: BM. Washington, DC. EE.UU.

125

Manual de Gestin de Evaluaciones de la Cooperacin Espaola

Plataforma 2015 Y MS (2004). La palabra empeada. Los objetivos 2015 y la lucha contra la pobreza. Segundo informe anual. Catarata, Madrid. Espaa. Real Decreto 755/2005, de 24 de junio, por el que se modica el Real Decreto 1416/2004, de 11 de junio, por el que se modica y desarrolla la estructura orgnica bsica del Ministerio de Asuntos Exteriores y de Cooperacin. Santoyo, H., Ramrez, P., Suvedi, M. (2002). Manual para la evaluacin de programas de desarrollo rural. MundiPrensa. Chapingo, Mxico. Sanz, B. (2006). Memoria de Grado del Magster en Evaluacin de Programas y Polticas Pblicas de la Universidad Complutense de Madrid. MIMEO. Shaw, J. Y E. Clay (1993). World Food Aid. Experiences of Recipients and Donors. James Currey & Heinemann. Portsmouth. EE.UU. Stufebeam, D.L y Shinkeld, A.J. (1987) Evaluacin Sistemtica. Gua terica y prctica. Ed. Paids. Barcelona, Espaa. Swedish International Development Agency, SIDA (2004). Looking Back,Moving Forward. Sida Evaluation Manual. Estocolmo. Suecia. The Australians Government Overseas Aid Program, AUSAID (2003). Quality Assurance Group. Program Evaluation Section Ofce of Review and Evaluation. Reviewing project quality. Camberra. Australia. Tiana, A. (1997). Tratamiento y usos de la informacin en evaluacin. UNED. Madrid. Espaa. UK Department for International Development, DFID. Evaluation Department (2005). Guidance on Evaluation and Review for DFID Staff. Londres. Reino Unido. UK Department for International Development, DFID. Evaluation Department (2005). Evaluation of DFID Country Programmes: Mozambique, 2000-2005. Londres. Reino Unido. Unin Europea (2006). Evaluation of socioeconomic development. The Guide. En lnea www.evalsed.com. Unin Europea, UE (2003). Guidelines for European Support to Sector Programmes. Bruselas. Blgica. Valadez, J y M. BAMBERGER (1994). Monitoring and Evaluating Social Programs in Developing Countries: A Handbook for Policymakers, Managers and Researchers. EDI- WORLD BANK. Washington DC. EE.UU. Vedung, E. (1997). Evaluacin de polticas pblicas y programas. Ministerio de Trabajo y Asuntos Sociales. Instituto Nacional de Servicios Sociales. Madrid. Espaa. Vlez, C. (2006). La evaluacin: un nuevo yacimiento de empleo. En n 3 de Revista E-valuacin. Sociedad Espaola de Evaluacin de Polticas Pblicas. Pginas: 4-17. Sevilla. Espaa. Vias, E.V. y A. OCAMPO. (2006). Conceptos clave de seguimiento y evaluacin de programas y proyectos. Breve gua. PREVAL y FIDA. Per. Zall Kusek, J. y R. C. Rist (2005). Diez pasos hacia un sistema de seguimiento y evaluacin basado en resultados. Banco Mundial y Mayol Ediciones, S.A. Bogot. Colombia.

126

Anexo I. Criterios para valorar la calidad del informe de evaluacin

Divisin de Evaluacin. DGPOLDE
VALORACIN DE LA CALIDAD DEL INFORME FINAL24: Para validar un informe de evaluacin es necesario valorar su calidad. Se debe utilizar la siguiente estructura y criterios de valoracin, de modo que sea posible aportar una visin crtica, sistemtica y lo ms objetiva posible de la calidad y utilidad de la informacin presentada. En qu consiste? La evaluacin de la calidad del Informe nal verica que la evaluacin haya respetado las pautas de elaboracin del informe (en forma y contenido) y que satisfaga las necesidades de informacin de los usuarios a los que est dirigida. Qu hay que procurar?

Vericar si el equipo de evaluacin externo ha satisfecho adecuadamente las exigencias del servicio comanditario. Distinguir entre las conclusiones y recomendaciones las que son vlidas y estn slidamente aanzadas de aqullas que no lo son tanto y deben ser utilizadas con precaucin. Contrastar la sistematicidad del proceso de forma que la evaluacin resista las crticas que inevitablemente van a suscitar los juicios emitidos sobre los xitos y los fracasos.

Criterios de calidad Los nueve criterios que se describen a continuacin derivan de normas internacionales con las cuales son compatibles y se funden con los criterios que ha venido utilizando la Divisin de Evaluacin de la DGPOLDE para valorar los informes nales de evaluacin. A continuacin se realiza una explicacin detallada de cmo otorgar una calicacin segn los diferentes criterios. La valoracin consta de cinco categoras: excelente, muy bueno, bueno, insuciente y no apto.

24: Estos criterios de valoracin se basan en los que utiliza la Comisin Europea y recogen estndares de evaluacin del CAD as como los criterios que ha venido utilizando la Divisin de Evaluacin de la DGPOLDE.

127

Manual de Gestin de Evaluaciones de la Cooperacin Espaola

Criterio 1: Cumplimiento de los requisitos respuesta a las preguntas de evaluacin

En este criterio se valora el ajuste a los trminos de referencia, es decir, un buen informe sera aquel en el que los requisitos formulados en los trminos de referencia reciben una respuesta de manera adecuada y las preguntas de evaluacin son tratadas satisfactoriamente. Se espera que el informe exponga una buena perspectiva general de cmo se alcanzaron los objetivos anunciados y aclare la lgica de intervencin.
Valoracin Excelente Descripcin Las preguntas abordadas cubren no slo lo exigido por los TdR sino que ubican a la evaluacin en un marco mucho ms general, vinculndola con las bases de la poltica de desarrollo, de cooperacin exterior, as como con toda otra poltica comunitaria o nacional. El informe de evaluacin ha expuesto una buena perspectiva general de cmo se alcanzaron los objetivos anunciados y ha aclarado la lgica de intervencin. El informe de evaluacin ha superado lo exigido por los TdR abordando otros temas de inters. Los requisitos formulados en los TdR recibieron una respuesta de manera adecuada. Las preguntas de evaluacin fueron tratadas satisfactoriamente. Determinadas preguntas de los TdR fueron tratadas de manera inadecuada o bien fueron abordadas parcialmente. Demasiadas preguntas de los TdR no fueron abordadas o slo fueron abordadas parcialmente.

Muy bueno Bueno Insuciente No apto

Criterio 2: Anlisis del contexto

Con este criterio se valora si el informe trata el conjunto de la intervencin en sus dimensiones temporal, geogrca y reglamentaria, si se analiza el contexto en el que se inserta la intervencin a nivel institucional, poltico, econmico y social, y las interacciones previstas e imprevistas con otras polticas relacionadas y sus consecuencias
Valoracin Excelente Muy bueno Bueno Insuciente No apto Descripcin Adems de cumplir con lo requerido para alcanzar el nivel Muy bueno, el informe ha estudiado sistemticamente y en detalle los efectos no esperados. Adems de cumplir con lo establecido anteriormente, la evaluacin se interesa en las interacciones con las otras polticas comunitarias, las intervenciones de otros donantes y las polticas del Estado o Estados asociados. Se trataron los efectos imprevistos. El informe trata el conjunto de la intervencin en sus dimensiones temporal, geogrca y reglamentaria. Se han identicado los principales efectos previstos e imprevistos. Una de las tres dimensiones de la intervencin y/o un efecto importante est insucientemente o mal tratada. Varias dimensiones de la intervencin y/o varios efectos importantes estn insucientemente o mal tratados.

128

Criterio 3: Justicacin de la metodologa utilizada

En este punto se valora que en el informe se expliciten claramente las herramientas y metodologa de evaluacin utilizadas y que, en efecto, stas sean aplicadas a lo largo del proceso. Las elecciones metodolgicas realizadas deben ser las adecuadas, a n de cumplir con los requisitos de los TdR. As mismo se espera que se precisen con claridad los lmites inherentes al mtodo de evaluacin y se deendan las opciones elegidas frente a otras opciones.
Valoracin Excelente Muy bueno Bueno Insuciente No apto Descripcin Supera el nivel Muy bueno; el evaluador presenta una crtica de su mtodo y de sus elecciones metodolgicas. Indica los riesgos que se habran corrido si se hubieran adoptado otras opciones metodolgicas. Se precisaron con claridad los lmites inherentes al mtodo de evaluacin y se debatieron y defendieron las opciones elegidas frente a otras opciones. Se explicita claramente el mtodo de evaluacin. En efecto, ste ha sido aplicado a lo largo del proceso. Las elecciones metodolgicas realizadas fueron las adecuadas, a n de cumplir con los requisitos de los TdR. Al leer el informe de evaluacin, las elecciones metodolgicas parecen haber sido realizadas sin haberlas explicado ni defendido. Ausencia absoluta de mtodo de evaluacin; o bien, las elecciones metodolgicas realizadas no se adecuan a los resultados buscados.

Criterio 4: Fiabilidad de los datos

Este criterio no juzga la validez intrnseca de los datos disponibles sino la manera en la que el equipo de evaluacin ha obtenido los datos y cmo los ha utilizado. Se espera que se identiquen las fuentes de datos cuantitativos y cualitativos y que el equipo de evaluacin explique y justique la abilidad de los datos. Para esto se deben explicitar con claridad las herramientas de recoleccin y las mismas deben estar adaptadas a la informacin buscada.
Valoracin Excelente Muy bueno Descripcin Mediante tcnicas reconocidas, se analizan y corrigen todos los sesgos que derivan de la informacin proporcionada. Se han cruzado sistemticamente los datos a travs de fuentes o herramientas de recoleccin independientes entre s. Se expuso claramente cules eran los lmites de la validez y las herramientas de recoleccin de los datos. Se identican las fuentes de datos cuantitativos y cualitativos. El equipo de evaluacin comprob la abilidad de los datos y luego la debati. Se explicitaron con claridad las herramientas de recoleccin y las mismas estn adaptadas a la informacin buscada. La informacin cuantitativa y cualitativa proporcionada no es muy able con respecto a la pregunta planteada. Las herramientas de recoleccin de datos son discutibles (por ejemplo, muestras insucientes o estudios de casos prcticos mal conducidos). Determinados datos son maniestamente errneos. Las herramientas de recoleccin fueron aplicadas de manera incorrecta o arrojan informacin sesgada o inutilizable.
129

Bueno

Insuciente No apto

Manual de Gestin de Evaluaciones de la Cooperacin Espaola

Criterio 5: Solidez del anlisis

Un anlisis slido de los datos cuantitativos y/o cualitativos debe realizarse siguiendo rigurosamente los pasos reconocidos y pertinentes segn los tipos de datos analizados. Deben explicitarse las relaciones de causa - efecto entre la intervencin y sus consecuencias, y debe existir una coherencia y secuencia lgica entre evidencia y valoracin; valoracin y conclusiones; y entre conclusiones y recomendaciones Es recomendable que se expliciten los pasos del anlisis y se especique su lmite de validez.
Valoracin Excelente Muy bueno Descripcin Se examinaron sistemticamente todos los sesgos (a travs de los 3 elementos) y se presentaron junto con sus consecuencias sobre el lmite de validez del anlisis. Se explicitan los pasos del anlisis y se especica su lmite de validez. Asimismo, se explicitan los supuestos causales subyacentes. Se indican los lmites de validez de las comparaciones efectuadas. El anlisis de los datos cuantitativos y/o cualitativos se realiz siguiendo rigurosamente los pasos reconocidos y pertinentes segn los tipos de datos analizados. Se explicitan las relaciones de causa - efecto entre la intervencin y sus consecuencias. Tambin se explicitan las comparaciones (por ejemplo: antes / despus, beneciarios / no beneciarios, con / sin). Uno de los tres elementos (enfoque del anlisis, relaciones causales, comparaciones) est mal tratado o dos de los elementos no estn lo sucientemente tratados. 2 de los 3 elementos estn mal tratados.

Bueno

Insuciente No apto

Criterio 6: Credibilidad de los hallazgos

Se espera que los hallazgos producidos por el anlisis sean ables y equilibrados. Los hallazgos deben reejar de manera aceptable, por un lado, la realidad descrita por los datos y los elementos de prueba registrados, y por el otro, la realidad de la intervencin tal como la perciben los actores y beneciarios. As mismo deberan aislarse los efectos de la intervencin evaluada de los factores externos y de las restricciones del contexto.
Valoracin Excelente Descripcin Se analizan sistemticamente los desequilibrios entre la validez interna y la validez externa de los hallazgos y se explicitan sus consecuencias sobre la evaluacin. Se aislaron los factores contextuales y se pudo demostrar su inuencia. Se analizan los sesgos aportados en la eleccin de los supuestos interpretativos y en las extrapolaciones realizadas y se explicitan sus consecuencias. Se explicitan y debaten los lmites de los supuestos interpretativos y las extrapolaciones realizadas. Se aslan los efectos de la intervencin evaluada de los factores externos y de las restricciones del contexto. Tanto la validez interna (ausencia de sesgos de anlisis) como la validez externa (carcter generalizable de los hallazgos) son satisfactorias. Los hallazgos producidos por el anlisis parecen ables y equilibrados, en especial, habida cuenta del contexto en el que se evala la intervencin. Los supuestos interpretativos y las extrapolaciones realizadas son aceptables. Los hallazgos reejan de manera aceptable, por un lado, la realidad descrita por los datos y los elementos de prueba registrados, y por el otro, la realidad de la intervencin tal como la perciben los actores y beneciarios. Los anlisis parecen desequilibrados. No se explicita el contexto. Las extrapolaciones realizadas y las generalizaciones del anlisis no son pertinentes. Los anlisis parecen muy poco crebles. El texto contiene armaciones sin ningn sustento. Las extrapolaciones realizadas y las generalizaciones del anlisis no son pertinentes.

Muy bueno

Bueno

Insuciente No apto
130

Criterio 7: Validez de las conclusiones

Este criterio no juzga el valor intrnseco de las conclusiones sino la manera en la que stas fueron obtenidas. Segn este criterio las conclusiones deben derivar del anlisis, deben estar argumentadas por hechos y anlisis fcilmente identicables en el resto del informe y deben evitar sesgos o consideraciones personales. As mismo deben indicarse los lmites y el contexto de la validez de las conclusiones.
Valoracin Excelente Muy bueno Bueno Insuciente No apto Descripcin Se jerarquizan las conclusiones. Estas ltimas guardan relacin con la globalidad de la intervencin evaluada y tienen en cuenta las relaciones de esta intervencin con el contexto en el que se sita, teniendo en consideracin especialmente otros programas o polticas pblicas cercanas. Se debaten las conclusiones respecto del contexto en el que se hizo el anlisis. Se explicitan y argumentan los lmites de la validez de las conclusiones. Las conclusiones derivan del anlisis. Las conclusiones estn argumentadas por hechos y anlisis fcilmente identicables en el resto del informe. Se indican los lmites y el contexto de la validez de las conclusiones Las conclusiones provienen de una generalizacin precipitada de ciertos anlisis realizados. Los lmites de validez de las conclusiones no estn indicados. Las conclusiones no se sustentan en un anlisis pertinente ni riguroso. Estn basadas en datos no comprobados. Son parciales porque reejan los prejuicios del evaluador ms que los anlisis de los hechos.

Criterio 8: Utilidad de las recomendaciones

Las recomendaciones deben formularse de manera clara y concisa, deben derivar de las conclusiones y estar basadas en el anlisis realizado, ser equitativas y sin sesgos. Adems, deben ser lo sucientemente detalladas como para ser aplicables concretamente para los distintos responsables de la intervencin evaluada.
Valoracin Excelente Muy bueno Bueno Insuciente No apto Descripcin Adems de cumplir con los requisitos necesarios para alcanzar el nivel Muy bueno, las recomendaciones son comprobadas y sus lmites de validez estn indicados. Adems de cumplir con lo anteriormente mencionado, las recomendaciones estn jerarquizadas y se las presentan en forma de opciones y de posibles acciones. Las recomendaciones derivan de las conclusiones de manera lgica. Adems, son imparciales. Las recomendaciones son poco claras o son meras pruebas sin valor agregado. Es debatible si son operativas o no. La relacin con las conclusiones no es evidente. Las recomendaciones estn desconectadas de las conclusiones. Son parciales porque reejan de manera preponderante los puntos de vista de ciertos actores o beneciarios, o bien las ideas preconcebidas del equipo de evaluacin.

131

Manual de Gestin de Evaluaciones de la Cooperacin Espaola

Criterio 9: Claridad del informe

Se entiende por informe claro aquel informe que es de fcil lectura y su estructura es lgica. Un breve resumen debe ser reejo del informe. Debe presentarse en anexo tanto los conceptos especializados como las demostraciones tcnicas, con referencias claras a lo largo del desarrollo del texto. Es deseable que el desarrollo del informe sea breve, conciso y su lectura uida, as como que la estructura del informe se pueda memorizar fcilmente. El informe debe describir claramente la intervencin evaluada, su contexto, as como los hallazgos de la evaluacin de modo que la informacin proporcionada sea comprensible con facilidad.
Valoracin Excelente Muy bueno Descripcin El informe se deja leer como una novela y su estructuracin tiene una lgica irrefutable. El resumen es operativo en s mismo. El desarrollo del informe es breve, conciso y su lectura es uida. La estructura del informe se puede memorizar fcilmente. El resumen es claro y presenta las conclusiones y recomendaciones principales de manera equilibrada e imparcial. El informe es de fcil lectura y su estructura es lgica. El breve resumen es un reejo del informe. Se presentan en anexo tanto los conceptos especializados como las demostraciones tcnicas, con referencias claras a lo largo del desarrollo del texto. El informe es difcil de leer y/o su estructura es compleja. Las referencias cruzadas son poco comprensibles o dicultan la lectura. El resumen es demasiado largo o no reeja el desarrollo del informe. Ausencia del resumen. Informe ilegible y/o de estructura desordenada. Ausencia de captulo de conclusiones (y de recomendaciones).

Bueno Insuciente No apto

Recomendaciones para el uso de los criterios

Tener el contexto en consideracin en el momento de utilizar los criterios de valoracin en vez de aplicarlos de manera absoluta y aislada. En una situacin dada, es posible y til precisar los criterios de calidad para tener en cuenta los pedidos y/o restricciones particulares. Escribir una sntesis cualitativa de los nueve criterios a manera de evaluacin general de la calidad del informe. Otra opcin menos adecuada consiste en darle un puntaje y una ponderacin a cada criterio y calcular un puntaje promedio ponderado. No hay que esperar el proyecto de Informe nal para efectuar la garanta de la calidad. El proceso de garanta de calidad debe comenzar desde el inicio. En particular, cabe efectuar controles de calidad sobre otros dos subproductos importantes: los informes preliminares (o intermedios) y en el Informe nal. Adjuntar en anexo los criterios de calidad a los TdR. Hacer vericar la calidad por el responsable de la evaluacin, y luego procurar que una segunda persona efecte una doble vericacin.

132

Cmo se estructura el documento de valoracin? Los tres principales apartados que debe contener un documento de valoracin de un informe de evaluacin son los siguientes: I. Antecedentes Exponer breve y claramente el contexto en el que se enmarca el informe que se est valorando as como cualquier imprevisto o elemento que haya que considerar y tener en cuenta para validar el informe. II. Valoraciones generales por apartado del documento

Explicar la calidad de la presentacin y el formato del documento. Comentar los contenidos del documento por seccin o apartado, tomando como base los TdR.

III. Valoracin por criterio de calidad Presentar la valoracin del documento para cada uno de los criterios establecidos. Para darle un valor a cada criterio, se contemplan las siguientes categoras: excelente / muy bueno / bueno / insuciente / no apto.

133

Manual de Gestin de Evaluaciones de la Cooperacin Espaola

Anexo II. Modelo de TdR de la DGPOLDE

Contenidos:
0. Ttulo: Nombre de la evaluacin a realizar: nombre de la intervencin a evaluar y tipo de evaluacin: PRESCRIPCIONES TCNICAS - TERMINOS DE REFERENCIA - PARA LA EVALUACIN INTERMEDIA / FINAL DE [PROGRAMA, PROYECTO POLTICA..] 1. Introduccin 2. Antecedentes de la intervencin 3. mbito de la evaluacin y actores implicados 4. Preguntas y niveles de anlisis de la evaluacin 5. Criterios de evaluacin 6. Metodologa y Plan de trabajo 7. Estructura y presentacin. Informes de evaluacin 8. Equipo evaluador 9. Premisas de la evaluacin, autora y publicacin 10. Plazos para la realizacin de la evaluacin 12. Presentacin de la propuesta tcnica y criterios de valoracin

1. Introduccin
Por qu y para qu se evala? Unidad de evaluacin: Breve referencia a la unidad o intervencin que ser objeto de evaluacin Justicacin y razones de la evaluacin: por qu se evala esta intervencin? Denir los objetivos generales de la evaluacin: qu se quiere saber en trminos generales con esta evaluacin? Denir el tipo de evaluacin: exante/intermedia/expost, de programa/de pas/ de proyecto/de instrumento/ Uso y expectativas de la evaluacin: establecer los puntos sobre los que se esperan recomendaciones y el uso -utilidad de la evaluacin- que se dar a los resultados de la evaluacin

2. Antecedentes de la intervencin
Describir detalladamente y con claridad el historial de la intervencin (programa, sector, rea, instrumento): el marco de planicacin en que se encuadra la intervencin; la lgica de la intervencin objetivos general y especco, actividades, resultados y fases - fechas de inicio y nalizacin; componentes; presupuesto; contrapartes; colectivos beneciarios directos e indirectos; contexto institucional y breve referencia al contexto socio-econmico en el que se desarrolla la intervencin.

134

3. mbito de la evaluacin y actores implicados

Delimitar el mbito del estudio: Dimensiones de la intervencin a evaluar (proyecto, programa) geogrcas, institucionales, temporales, y temticas o sectoriales. Identicar los documentos y fuentes de informacin a los que tendr acceso el equipo evaluador. Elaborar una matriz de documentacin para la compilacin de documentos e informacin disponibles. Participacin: Identicar a los agentes implicados en la intervencin a evaluar y en la propia evaluacin. Considerando a los miembros del Comit de Seguimiento y a la unidad gestora de la evaluacin en la intervencin a evaluar. Establecer cul ser su participacin durante el proceso de evaluacin.

5. Criterios de evaluacin
En funcin de las preguntas de la evaluacin y los niveles de anlisis que se hayan denido, se desarrollan aqu los criterios de evaluacin a tener en cuanta para el anlisis. Se pueden considerar la denicin de los criterios de evaluacin de la cooperacin al desarrollo, adems de otros que se consideren relevantes tras el anlisis de las preguntas de evaluacin. Estos criterios deben ser denidos, priorizados y complementados en cada caso. Los criterios deben ser producto de las preguntas de la evaluacin.

6. Metodologa y Plan de trabajo

Metodologa y tcnicas requeridas (de recopilacin y anlisis de la informacin para la presentacin y difusin de resultados). Solicitud del Plan de trabajo: fases, plazos y productos que se desea recibir. Generalmente el trabajo se divide en fase de gabinete y trabajo de campo, y se establece el tipo de tareas que se espera que los evaluadores realicen en cada una: perfeccionamiento de las herramientas para la recopilacin y proceso de los datos, identicacin y entrevista a los informantes clave en las sedes y preparacin del trabajo de campo. Durante el trabajo de campo se debern programar y realizar reuniones de devolucin de resultados preliminares con los distintos organismos vinculados con la intervencin, incluyendo a las autoridades e instituciones contraparte del pas en cuestin. Se establece que un Borrador de Informe nal deber ser entregado en un plazo denido, el cual se discutir por todas las partes hasta obtener un Informe nal.

4. Preguntas y niveles de anlisis de la evaluacin

Preguntas clave y objetivos especcos de la evaluacin. Especicar los niveles de anlisis que se abordarn con el estudio. Se desarrollan los temas y reas en las que se centrar el estudio, especicando en su caso los sub-temas que se consideran relevantes para que la evaluacin los analice (preguntas sobre el diseo de la intervencin, sobre los procesos o sobre los resultados). Depender del tipo de evaluacin y de los niveles de anlisis que se hayan denido previamente, el grado de desagregacin que se espera del estudio.

135

Manual de Gestin de Evaluaciones de la Cooperacin Espaola

7. Estructura y presentacin informes de evaluacin

Se establece una estructura orientativa que deben seguir los informes de evaluacin, y especialmente del Informe nal de evaluacin. El Informe Final de evaluacin no exceder las XX pginas. ste ir acompaado de un Resumen ejecutivo, de un mximo XX pginas. Asimismo, se deber presentar una cha-resumen de la evaluacin siguiendo el formato establecido por el CAD de la OCDE para el inventario de evaluaciones de esta institucin. Tras su presentacin en formato electrnico y una vez aprobado, el equipo entregar XXX copias en papel de la versin denitiva del Informe Final, as como XXX CDs con el documento en formato electrnico.

9. Premisas de la evaluacin, autora y publicacin

Establecer las premisas bsicas de comportamiento tico y profesional de parte del equipo evaluador, como pueden ser las siguientes: Anonimato y condencialidad.- La evaluacin debe respetar el derecho de las personas a proporcionar informacin asegurando su anonimato y condencialidad. Responsabilidad.- Cualquier desacuerdo o diferencia de opinin que pudiera surgir entre los miembros del equipo o entre stos y los responsables de la Intervencin en relacin con las conclusiones y/o recomendaciones, debe ser mencionada en el informe. Cualquier armacin debe ser sostenida por el equipo o dejar constancia del desacuerdo sobre ella. Integridad.- Los evaluadores tendrn la responsabilidad de poner de maniesto cuestiones no mencionadas especcamente en el Pliego de Prescripciones Tcnicas, si ello fuera necesario para obtener un anlisis ms completo de la intervencin. Independencia.- El equipo evaluador deber garantizar su independencia de la intervencin evaluada, no estando vinculado con su gestin o con cualquier elemento que la compone. Incidencias.- En el supuesto de la aparicin de problemas durante la realizacin del trabajo de campo o en cualquier otra fase de la evaluacin, stos debern ser comunicados inmediatamente a la DGPOLDE. De no ser as, la existencia de dichos problemas en ningn caso podr ser utilizada para justicar la no obtencin de los resultados establecidos por la DGPOLDE en el presente pliego de Prescripciones Tcnicas.

8. Equipo evaluador
Denicin del nmero de integrantes del equipo evaluador, perl de las personas, cualicaciones profesionales (titulaciones, idiomas, experiencia profesional en el sector, en cooperacin internacional, en evaluacin). Siempre se deber nombrar a un/a coordinador/a del equipo, en quien recaer la responsabilidad nal del trabajo y la funcin de contacto con la Unidad gestora de la evaluacin. Si se trata de una evaluacin mixta o semi-mixta, en este apartado se establece con claridad y se explica cmo se prev que funcione la estructura del equipo.

136

Convalidacin de la informacin.- Corresponde al equipo evaluador garantizar la veracidad de la informacin recopilada para la elaboracin de los informes, y en ltima instancia ser responsable de la informacin presentada en el Informe de evaluacin. Informes de evaluacin.- La difusin de la informacin recopilada y del Informe nal es prerrogativa de la DGPOLDE. Entrega de los Informes.- En caso de retraso en la entrega de los informes o en el supuesto en que la calidad de los informes entregados sea maniestamente inferior a lo pactado con esta Direccin General, sern aplicables las penalizaciones previstas en el Pliego de Clusulas Adnistrativas. En todo caso, la DGPOLDE se reserva el derecho a conducir la evaluacin y/o decidir sobre sus distintos aspectos. Se aclara que todo derecho de autor recae en la Unidad gestora o entidad contratante de la evaluacin.

11. Presentacin de la propuesta tcnica y criterios de valoracin

Se establecen las caractersticas que debe tener la propuesta tcnica para presentarse al concurso. Se incluyen referencias a los criterios de valoracin de la calidad de la propuesta.

10. Plazos para la realizacin de la evaluacin

Se establece la fecha de inicio y nalizacin de la evaluacin, el calendario de entrega de productos, entrega Informe nal, y las actividades devolucin de resultados. Se debe estimar y establecer el presupuesto para la evaluacin, que ha de recogerse en la Clusulas Administrativas correspondientes.

137