1

Marco metodolgico para la evaluacin de proyectos

ORGANIZACIN DE ESTADOS IBEROAMERICANOS PARA LA EDUCACIN, LA CIENCIA Y LA CULTURA O.E.I. EVALUACIN DE PROYECTOS MARCO METODOLGICO1

a. LOS COMPONENTES DE LA METODOLOGA DE LA EVA LUACIN Definir el marco metodolgico de un proceso de evaluacin implica en primer trmino considerar la correspondencia simultnea de diferentes componentes. Estos componentes son los que se enumeran a continuacin: las diferentes fases del desarrollo de un programa o proyecto los criterios de evaluacin los factores de desarrollo los diferentes tipos de programa o proyecto las herramientas de evaluacin los enfoques de la evaluacin i. las diferentes fases del desarrollo de un programa o proyecto En primera instancia resulta clave la distincin del objeto en relacin con las diferentes fases del desarrollo de un programa o proyecto que ser motivo de la evaluacin. Habitualmente estas fases se identifican como la de planificacin o diseo de un programa o proyecto; la de ejecucin o desarrollo de un programa o proyecto y la de finalizacin de un programa o proyecto. Evaluacin de la planificacin de un programa o proyecto, implica la indagacin o valoracin de todos los aspectos vinculados directamente con los procesos de definicin, formulacin y establecimiento de la viabilidad inicial del mismo.

En todo el desarrollo del marco lgico se utilizan simultneamente los trminos programa y proyecto dado que los trminos generales del marco metodolgico se aplican tanto en uno como en otro caso.
Lilia Vernica Toranzost. Junio de 2001

Marco metodolgico para la evaluacin de proyectos

La evaluacin en esta etapa resulta til para corregir el diseo y formulacin del proyecto o programa, reorientarlo y estimar si es viable la ejecucin del mismo. Los aspectos centrales a considerar en esta etapa son los que se enuncian a continuacin. Si el diseo del programa o proyecto se ha lleva a cabo a partir del enfoque de Marco Lgico, es decir que se ha considerado la evaluacin del mismo como parte del proceso de desarrollo de las acciones, esta evaluacin debe realizarse antes de la finalizacin de la etapa de diseo y planificacin. Si por el contrario la formulacin del programa o proyecto ha tenido lugar con otro tipo de metodologas, es necesario recolectar toda la documentacin producida considerando que el proyecto o programa ya ha sido formulado y que esta formulacin puede ser ajustada. Esta evaluacin responde a las preguntas relativas a la coherencia interna del diseo y la viabilidad para ejecutar las actividades previstas para la generacin de resultados e impactos. Las fuentes de informacin principales son secundarias y estn constituidas por toda la informacin producida en el proceso de diseo y planificacin. En algunos casos resulta sumamente valiosa la informacin que pueden proporcionar en forma directa aquellos sujetos responsables del diseo y de la ejecucin del proyecto o programa. Evaluacin de la ejecucin de un programa o proyecto , implica la indagacin y valoracin sobre cmo se estn ejecutando las acciones del programa o proyecto, todos sus componentes, tareas, recursos, presupuesto, etc.. El objetivo de esta evaluacin es la garantizar la informacin permanente sobre esta ejecucin que alimente as la toma de decisiones respecto a la eficiencia de los recursos previstos y la efectividad de las actividades desarrolladas. El diseo de esta evaluacin tambin debe realizarse durante la planificacin del programa y requiere de indicadores que permitan una mejor recoleccin, ordenamiento, anlisis e interpretacin de la informacin. En esta etapa es preciso indagar sobre el logro de los resultados a medio trmino si bien los indicadores construidos a tal efecto son tiles tanto para la evaluacin de la ejecucin del programa o proyecto como para evaluar los resultados finales. Las herramientas utilizadas en esta evaluacin permiten hacer una diferenciacin dentro de la clasificacin general en etapas que se realiza. Estas herramientas
Lilia Vernica Toranzost. Junio de 2001

Marco metodolgico para la evaluacin de proyectos

son los sistemas de monitoreo, las evaluaciones diagnsticas y las evaluaciones desde la perspectiva de los beneficiarios, en todos los casos se trata de evaluaciones de proceso. Tanto las evaluaciones diagnsticas desde la perspectiva institucional como desde la perspectiva de los beneficiarios resultan particularmente importantes para poder contar con informacin sobre el desempeo de los proyectos o programas y de sus resultados a medida que se ejecutan con el propsito de reorientarlos si fuera necesario. Estas evaluaciones, por su parte, tambin ponen en evidencia las dificultades para medir los resultados y para superar estas dificultades las evaluaciones deben proponer los indicadores de resultados e impactos que debieran ser incluidos como parte de las rutinas dentro del proyecto o programa. Por ltimo cabe sealar que estas evaluaciones se orientan a generar fortalecimiento de las capacidades institucionales porque permiten identificar aquellos aspectos positivos y vulnerables de la institucin en la ejecucin del programa y proyecto y detectar el tipo de cambio organizacional requerido para mejorar la ejecucin del programa. Evaluacin de la finalizacin del programa o proyecto, esta es la denominacin que recibe genricamente la evaluacin que tiene por objeto los resultados y los impactos de los programas o proyectos. Lo habitual es que esta evaluacin se realice una vez que el programa o proyecto a finalizado. No obstante ello, la literatura por una parte considera solo a los proyectos como propuestas a trmino mientras que los programas se suponen de carcter ms permanente. Por otra parte la indagacin sobre los resultados en un principio y los impactos luego pueden ser objeto de evaluacin en un trmino considerable de ejecucin. A los efectos de la evaluacin que se propone realizar se diferencian los resultados de los impactos como dos entidades de diferente naturaleza y pasibles de ser evaluadas en forma independiente y por otro lado se estima a priori la posibilidad de evaluar tales aspectos en aquellos proyectos que tienen una trayectoria ms prolongada que incluso observan antecedentes significativos. En trminos generales, el propsito de esta evaluacin es la de conocer la eficacia, efectividad y eficiencia de las acciones del programa o proyecto e indagar sobre las consecuencias en trminos de modificaciones que le son atribuibles en forma directa en relacin con los aspectos problemticos que le dieron origen.

Lilia Vernica Toranzost.

Junio de 2001

Marco metodolgico para la evaluacin de proyectos

La evaluacin de este tipo es deseable que tambin est considerada durante el diseo del programa o proyecto en cuestin. Esta requiere de la construccin de indicadores de resultados que son los mismos que pueden utilizarse para evaluar la ejecucin del programa dnde la diferencia est dada por la variable temporal. No obstante los indicadores de impacto son de diferente naturaleza ya que son aquellos directamente relacionados con la situacin problemtica que dio origen al programa o proyecto por lo que es deseable poder construir una lnea de base por ejemplo en el momento del diseo del programa o proyecto - que sirva como elemento comparativo en trminos de impacto luego de transcurrido un perodo de tiempo estimado adecuado.

ii. los criterios de evaluacin Los criterios son un componente sustantivo en todo proceso de evaluacin, ellos constituyen las pautas o conjunto de elementos respecto de los cuales se lleva a cabo el anlisis comparativo, la contrastacin de la informacin recolectada posibilitando as producir el juicio valorativo propio de la accin de evaluacin. En lo atinente a la evaluacin de programas o proyectos existe un generalizado acuerdo sobre estos criterios claves de valoracin sobre los que debe sustentarse este tipo de evaluacin. Los cinco criterios alrededor de los cuales se centra la atencin son la eficacia, la eficiencia, el impacto, la viabilidad y la pertinencia, para su definicin se adopta la utilizada con el Comit de Ayuda al Desarrollo (CAD, 1995). La eficacia es una medida que relaciona los objetivos especficos del programa o proyecto con los resultados centrando la atencin en el grado de cumplimiento de ambos. La pregunta por la eficacia es el cuestionamiento sobre en qu medida los resultados logrados por el programa o proyecto han contribuido al logro de los objetivos especficos planteados en un lapso y contexto determinados. Es importante prestar especial atencin a las causas que derivaron en una eficacia real, el grado de consecucin de la misma o su ausencia. La eficiencia es una medida de la productividad del proceso de ejecucin, es decir, hasta qu punto los resultados que se han alcanzado se corresponden con una adecuada utilizacin de los recursos de todo tipo. En este sentido se trata de examinar si los resultados alcanzados podran haberse logrado haciendo una utilizacin ms ptima de los insumos de todo tipo.
Lilia Vernica Toranzost. Junio de 2001

Marco metodolgico para la evaluacin de proyectos

La pertinencia tiene importancia vital desde las primeras fases de identificacin y planificacin y es una medida de la adecuacin de los resultados y los objetivos del programa o proyecto al contexto en el que se ejecuta. Para analizar la pertinencia es preciso considerar: a) las demandas de los beneficiarios, b) las polticas u otro tipo de programas o proyectos concurrentes y c) las capacidades tcnicas con las que se cuenta. La viabilidad o sostenibilidad es la medida o el grado en que los efectos positivos derivados del proyecto o programa se prolongan en el tiempo an cuando ya no existan apoyos externos. Si bien la viabilidad es un criterio respecto del cual puede ser analizada la ejecucin del proyecto o programa en tanto capacidad para realizarse y darle continuidad a las acciones an de manera autnoma, en sentido estricto la viabilidad o sostenibilidad tiene una perspectiva del proceso en el largo plazo. El impacto hace referencia directa a los efectos o consecuencias del programa o proyecto sobre una poblacin en particular incluso ms all de los objetivos propuestos originalmente. El impacto incluye las consecuencias y efectos tanto positivos como negativos, previstos y no previstos. Este resulta ser el criterio ms amplio y difcil de medir dada la amplitud de su horizonte temporal.

iii. los factores de desarrollo El desarrollo de los programas o proyectos no es adjudicable nicamente a las caractersticas de los mismos sino que tambin intervienen en el xito de su ejecucin y en el logro de sus resultados otros elementos relativos al contexto general en el que tienen lugar. Estos elementos del contexto son los denominados factores de desarrollo que incluyen aspectos de tipo poltico, social, cultural y econmico que operan favoreciendo o entorpeciendo el desenvolvimiento de los programas o proyectos. El anlisis de los factores de desarrollo es un componente central en todas las etapas el diseo, la ejecucin, el seguimiento y por cierto la evaluacin del programa o proyecto. Esta centralidad se incrementa en relacin con la evaluacin y en especial la de resultados e impactos. En primera instancia es necesario identificar cules son los factores de desarrollo gravitantes con relacin al programa o proyecto objeto de evaluacin.

Lilia Vernica Toranzost.

Junio de 2001

Marco metodolgico para la evaluacin de proyectos

En segunda instancia cabe realizar una ponderacin, es decir estimar el peso relativo de los diferentes factores identificados en trminos de su incidencia en el diseo, la ejecucin y los resultados efectivos de las acciones del programa o proyecto. La OCDE considera seis grupos de factores de desarrollo: polticas de apoyo, aspectos institucionales, condiciones financieras y econmicas, factores tecnolgicos, factores socioculturales y factores medioambientales, en los ltimos aos se observa la tendencia a incluir tambin los factores vinculados con las relaciones de gnero. A continuacin se enuncian los factores de desarrollo que se consideran ms pertinentes para tomar en consideracin: Polticas de apoyo Este constituye un elemento muy importante del contexto local, nacional y/o subregional en el que se inscriben los programas o proyectos. Por tanto la evaluacin tiene que tomar especial consideracin de las mismas ya que conforman un componente central a la hora de estimar la viabilidad de las acciones y la efectividad de las mismas. En el conjunto de las polticas de apoyo cabe considerar tanto las polticas directamente vinculadas con los objetivos del programa o proyecto, como aquellas que indirectamente puedan afectar en alguna forma el desarrollo de las acciones previstas en el programa o proyecto. En este sentido tambin deben considerarse las polticas de apoyo en el marco de un horizonte temporal amplio, es decir aquellas que resultan anteriores incluso al diseo del programa o proyecto, aquellas concurrentes y as tambin las que resultan como consecuencia de la ejecucin de las acciones. Aspectos institucionales El xito o fracaso de la ejecucin y los resultados de un programa o proyectos est en estrecha relacin con las caractersticas institucionales de: a) los responsables del diseo y la gestin central, b) la gestin desconcentrada de los programas o proyectos, c) la O.E.I en tanto oferente de cooperacin y d) las contrapartes nacionales como receptores de la misma. En todos los casos, con diferentes pesos relativos, la evaluacin debe indagar sobre las prioridades institucionales, las capacidades existentes y desarrolladas, las posibilidades de sostenibilidad de las acciones, las condiciones de los recursos humanos disponibles, etc En cada uno de los proyectos objetos de la evaluacin
Lilia Vernica Toranzost. Junio de 2001

Marco metodolgico para la evaluacin de proyectos

se tomarn en consideracin los aspectos institucionales considerados de mayor incidencia. Aspectos socioculturales En algunos casos la existencia de diferentes parmetros culturales entre quienes disean el programa o proyecto y los beneficiarios del mismo puede traer como consecuencia la necesidad de considerar especialmente estos elementos. En el caso particular de la evaluacin de la programacin de la O.E.I., a priori no se consideran especialmente gravitantes estos aspectos, por otra parte es necesario tener en cuenta la amplitud que manifiesta el espectro de los aspectos socioculturales de incidencia potencial en el desarrollo de los programas o proyectos. Esta amplitud tambin dificulta en alguna medida su consideracin rigurosa. Factores tecnolgicos Este conjunto de factores se refiere directamente a las condiciones de equipamiento y capacitacin especfica requerida para el desarrollo o aprovechamiento pleno de las acciones del programa o proyecto. La naturaleza misma de los proyectos objeto de esta evaluacin determina que estos factores no son los principales a tener en consideracin ya que en trminos generales la mayora de las observaciones que se pueden hacer al respecto pueden quedar incluidos en la categora de aspectos institucionales sin un alto componente tecnolgico especfico. Factores econmico financieros El conjunto de factores econmico-financieros suelen tener mucha incidencia en la viabilidad de los programas o proyectos a mediano y largo plazo. Las herramientas utilizadas habitualmente para el anlisis de las posibilidades de mantenimiento en el tiempo de las condiciones favorables para el desarrollo de las acciones programadas son los anlisis conocidos como de costo-utilidad, costo-efectividad y costo-beneficio. En lo que se refiere a la evaluacin de la programacin de la OEI se estima que estos factores no son los que resultan ms gravitantes en primera instancia por lo tanto no se harn anlisis especficos sobre estos factores sino que sern vinculados en trminos generales con los aspectos institucionales. Por ltimo cabe sealar que ni los factores vinculados con las relaciones de gnero ni con las caractersticas ambientales se consideran a priori relevantes en el anlisis de los proyectos objeto de evaluacin.

Lilia Vernica Toranzost.

Junio de 2001

Marco metodolgico para la evaluacin de proyectos

iv. los diferentes tipos de programa o proyecta En la definicin del marco metodolgico de la evaluacin resulta necesario hacer una diferenciacin entre tipos de programa, proyecto o de actividades predominantes en el marco de los mismos. A los efectos de la evaluacin diferencial segn el tipo de proyectos, de este modo se efectos de su evaluacin segn que nos ocupa en principio se adoptar un anlisis actividades predominantes de cada uno de los organizar el contenido de los proyectos a los sus actividades sean:

De capacitacin, en dnde cabe diferenciar segn las caractersticas de las mismas, la modalidad predominante, los materiales utilizados a tal efecto, las concurrencia de diferentes instituciones en el diseo o ejecucin de las acciones, etc. De asistencia tcnica, es preciso identificar claramente el origen de la demanda y las formas de satisfaccin de estas demandas, las formas de diseo de la asistencia tcnica y los responsables de las mismas, De intercambio, son aquellas actividades cuyo eje central es una forma de cooperacin basada en la construccin de una red cuyos nodos desarrollan las actividades de intercambio de informacin, de personas, etc En este caso tambin es preciso por ejemplo, identificar los procesos de construccin de esta red, la concurrencia de instituciones a tal efecto. De difusin, aquellas actividades muy frecuente en el mbito de los programas culturales cuyo eje est dado por la capacidad de distribucin o diseminacin amplia de determinados contenidos. En estas actividades es preciso identificar las estrategias utilizadas, los soportes tecnolgicos requeridos y los consecuentes niveles de accesibilidad de la informacin o contenidos objetos de difusin. De investigacin, son aquellas actividades que se centran en la generacin de estudios, conocimiento, estados del arte, etc.. sobre diferentes temticas. Del mismo modo que en casos anteriores es importante identificar quienes son los productores individuales o institucionales y quienes los usuarios, cmo se generan las demandas en materia de investigacin y cules son las redes a travs de las cuales se diseminan y enriquecen estas actividades.

Lilia Vernica Toranzost.

Junio de 2001

Marco metodolgico para la evaluacin de proyectos

De becas o ayuda financiera, son acciones que tienen por objeto ofrecer apoyo econmico, en general individual para facilitar la realizacin de estudios, pasantas, intercambios formativos, etc En estos casos el componente econmico y las posibilidades de sustentabilidad de las acciones en el mediano y largo plazo tienen un peso importante. De sensibilizacin, en varios programas o proyectos ocupan un lugar importante las acciones destinadas a la sensibilizacin de la poblacin, instituciones, gobernantes, etc, con relacin a determinadas temticas. En general estas actividades se dan conjuntamente con actividades de difusin y como paso previo a acciones de capacitacin por ejemplo.

v. las herramientas de evaluacin Las herramientas de evaluacin son la forma genrica de referir a los diferentes tipos de instrumentos de recoleccin y anlisis de la informacin que pueden ser utilizados. Recoleccin de la informacin , en los procesos de recoleccin de informacin es posible distinguir las tcnicas y los instrumentos. Entre las tcnicas ms utilizadas se encuentran la observacin, la encuesta, la entrevista, el anlisis documental y entre los instrumentos se cuentan: los cuestionarios, las guas, las listas de control o cotejo, los anecdotarios, las matrices de contenido. La eleccin por una u otra tcnica o instrumento deriva de la consideracin sobre el tipo de informacin que se debe recolectar, la mayor o menor dificultad que entraa la construccin de los instrumentos y el entrenamiento requerido por parte de quien aplica dichos instrumentos. Otro elemento a tener en cuenta es la cobertura que debe tener dicho instrumento y el tiempo que insume su administracin. Anlisis de la informacin , en los procesos de anlisis de la informacin la distincin ms habitual es entre las estrategias cualitativas y cuantitativas de anlisis, an cuando la tendencia actual es la de utilizar herramientas de ambos tipos en forma complementaria. En el terreno de las estrategias cualitativas tiene un peso preponderante la pericia del evaluador y su capacidad para establecer categoras de anlisis que incrementen el valor explicativo de la informacin recolectada. Por su parte las estrategias cuantitativas ms reconocidas son aquellas que se vinculan con el tratamiento estadstico de la informacin, los ejemplos ms prximos son
Lilia Vernica Toranzost. Junio de 2001

10

Marco metodolgico para la evaluacin de proyectos

aquellos relacionados con el campo de la economa que es el terreno en el cual han alcanzado mayor desarrollo estas herramientas. En el caso que nos ocupa, por tratarse de una muestra intencionada cuyo valor no reside en la representatividad estadstica de la misma los anlisis estrictamente cuantitativos tendrn un peso menor que los cualitativos. Por otra parte resulta de suma importancia la utilizacin de diferentes tcnicas de triangulacin tanto de fuentes de informacin, de informantes, de tcnicas de recoleccin y anlisis para poder garantizar la mayor fiabilidad posible a la informacin producida.

vi. los enfoques de la evaluacin Existen numerosas clasificaciones de los diferentes enfoques de la evaluacin segn quin la lleve a cabo ser interna, externa o mixta; segn el criterio temporal ser ex ante, intermedia o ex post; segn sus posibilidades de generalizacin ser sumativa o formativa, etc.. Por otra parte tambin se consideran enfoques diferenciales aquellos que responden a una de las tres corrientes que operan en la actualidad como marcos para la evaluacin como lo son: a) el enfoque del marco lgico (EML) y el mtodo de planificacin orientada por objetivos (ZOPP); b) la evaluacin cuantitativa a travs del anlisis costo beneficio ( ACB) y costo efectividad (ACE); c) la evaluacin participativa. En este caso en particular interesa el enfoque en tanto criterio clasificatorio de los componentes del proyecto o del conjunto de los proyectos y programas en los que estn incluidos, por tanto se adoptarn como enfoques los siguiente criterios de clasificacin: Por proyectos : esta es la unidad de anlisis definida previamente para el conjunto de la evaluacin lo cual proporciona un elemento distintivo en la consideracin del enfoque que esta evaluacin adopta. Por tipo d e actividades: ya se mencionaron ms arriba los diferentes tipos de actividades que se pueden identificar, por lo tanto un enfoque posible para la evaluacin es la consideracin de los tipos de actividades por separado con
Lilia Vernica Toranzost. Junio de 2001

11

Marco metodolgico para la evaluacin de proyectos

independencia del proyecto o programa al que pertenecen y posibilitar as una suerte de anlisis transversal de todos los proyectos en conjunto segn el tipo de actividades que realizan. Por distribucin territorial: el alcance iberoamericano de la mayor parte de los proyectos y el desarrollo diferencias de propuestas subregionales y nacionales importan un anlisis particular a la distribucin territorial de las acciones de modo tal de facilitar tambin un anlisis transversal desde el punto de vista territorial. Por temtica afines : otro criterio clasificatorio es el de la proximidad de las temticas que son objeto de atencin en unos y otros proyectos, este anlisis puede permitir observar la concentracin o dispersin en la cobertura de diferentes temticas a la vez que la ausencia de acciones en otros segmentos de relevancia para la organizacin en su conjunto.

Lilia Vernica Toranzost.

Junio de 2001

12

Marco metodolgico para la evaluacin de proyectos

b. LOS MOMENTOS O FASES METODOLGICAS PARA EL DESARROLLO DE LAS

EVALUACIONES

Todo proceso de evaluacin implica, para su desarrollo, el trnsito por una serie de momentos o fases de carcter metodolgico que garantizan su desarrollo exitoso. A continuacin se hace una breve referencia a cada una de ellas. i. identificacin de la demanda La identificacin de dnde proviene la demanda de la evaluacin, quin desde el punto de vista institucional es que requiere la evaluacin es un elemento importante ya que permite estimar cules son los aspectos claves en los que la evaluacin debe hacer nfasis, del mismo modo permite estimar cules sern los usuarios de la informacin que se produzca a partir del proceso de evaluacin. En este ltimo punto hay que tener presente que pueden existir diferentes categoras de usuarios, al menos se puede pensar en directos e indirectos por lo que del mismo modo la informacin que se produce y el tipo de informes pueden ser diferenciados segn las audiencias potenciales. No obstante ello, lo que cabe destacar en esta etapa es la importancia de identificar con mucha precisin el origen de la demanda que permitir tambin orientar los objetivos de la evaluacin.

ii. identificacin de la fase de desarrollo objeto de la evaluacin En cada uno de los proyectos objeto de evaluacin es necesario identificar en que fase del desarrollo del mismo se encuentra, es decir si est en la etapa de diseo, de ejecucin o de finalizacin y en consecuencia definir cules sern los ejes centrales de la evaluacin a llevar a cabo.

iii. realizacin de la preguntas claves Es necesario hacer las preguntas claves acerca de qu se quiere conocer de cada uno de los proyectos objeto de evaluacin, determinar as qu informacin ser recolectada. Sin duda estas preguntas variarn segn la fase de desarrollo en que se encuentre el proyecto.
Lilia Vernica Toranzost. Junio de 2001

13

Marco metodolgico para la evaluacin de proyectos

iv. identificacin de indicadores En funcin de las preguntas claves se deben identificar o construir indicadores que al modo de un sistema de seales sean los elementos que permitan dar cuenta de manera completa cada uno de los aspectos objetos de evaluacin. Para ello se tiene que tener en cuenta la posibilidad de identificar indicadores simples o complejos que a su vez deben cumplir con un conjunto de condiciones tales como a) pertinencia en tanto manifiesten correspondencia ente los aspectos a evaluar y el contexto en el que se desarrolla el proyecto; b) sensibilidad en tanto pueda reflejar los cambios en el tiempo; c) relevancia en tanto resulte significativo a los efectos de la evaluacin y de la toma de decisiones posterior.

v. determinacin de las fuentes de informacin En forma correspondiente a la identificacin de los indicadores debe llevarse a cabo la tarea de determinacin de cules sern las fuentes de informacin que se tendrn en consideracin. Tpicamente estas fuentes de informacin se clasifican en primarias y secundarias en tanto la informacin proceda de fuentes documentales o indirectas o de los propios actores intervinientes en el desarrollo de los proyectos.

vi. identificacin del universo de estudio El universo de estudio es el conjunto total de la poblacin que ser objeto de anlisis. La determinacin final del universo de estudio en muchos casos es producto de un proceso estadstico complejo como es la construccin de una muestra representativa estadsticamente. En otros casos el tamao del universo es posible de ser abarcado en su totalidad o se acota en funcin de determinados criterios a partir de los cuales resulta el universo de estudio. Para tal identificacin es preciso dar respuesta a preguntas tales como: a quines se referir la evaluacin?, qu niveles institucionales sern considerados?, qu actores sern seleccionados?, qu tipo de beneficiarios sern incluidos?, en qu localizaciones geogrficas se realizar la evaluacin?

Lilia Vernica Toranzost.

Junio de 2001

14

Marco metodolgico para la evaluacin de proyectos

vii. diseo de los instrumentos Para recolectar la informacin previstas es necesario definir las tcnicas a utilizar y disear los instrumentos correspondientes. Ya se hicieron algunas consideraciones al respecto en el apartado anterior referido a las herramientas de evaluacin. En trminos generales se requiere de los instrumentos que sean adecuados respecto de la informacin a recolectar, el tiempo disponible y la dispersin geogrfica que deben cubrir. Por otra parte se aconseja la utilizacin de variedad de tcnicas e instrumentos con el propsito de reducir las limitaciones de cada una en particular, permite garantizar mayor fiabilidad en la informacin obtenida y promueve el relevamiento de informacin desde diferentes perspectivas.

viii. definicin de la periodicidad de la recoleccin de la informacin El proceso de evaluacin concebido como un proceso permanente requiere de la definicin sobre la frecuencia con la cual se llevarn a cabo las tareas de recoleccin de la informacin. Esta periodicidad debe estar vinculada directamente con la naturaleza de cada uno de los indicadores sobre los cuales se prev recolectar informacin.

ix. diseo de un plan de anlisis y procesamiento de la informacin Es necesario prever los mtodos e instrumentos a partir de los cuales se llevar a cabo el ordenamiento, sistematizacin y procesamiento de la informacin obtenida. Entre los instrumentos ms habituales se cuentan los planes de tabulacin, matrices de datos, construccin de tipologas y en algunos casos se aplica la utilizacin de paquetes estadsticos.

x. trabajo de campo Es preciso organizar el trabajo de campo, prever quines lo llevarn a cabo, su proceso de entrenamiento si es necesario y como sern las instancias de supervisin del mismo. Especial atencin requiere si el trabajo de campo debe atender una dispersin geogrfica importante.
Lilia Vernica Toranzost. Junio de 2001

15

Marco metodolgico para la evaluacin de proyectos

xi. definicin de criterios generales contenidos del informe Por ltimo es necesario precisar cules sern los contenidos o el ndice general del informe de evaluacin de modo tal de considerar a quin est dirigido, cul es la informacin ms relevante, cmo debe estar organizada la misma, qu tipo de recomendaciones se pueden incluir y qu tipo de decisiones podrn orientarse a partir de ellas.

Lilia Vernica Toranzost.

Junio de 2001

16

Marco metodolgico para la evaluacin de proyectos

c. LA EVALUACIN DE LOS PROYECTOS SELECCION ADOS i. focos, contenidos y tpicos para el anlisis En este apartado se enuncian las pautas a travs de las cuales se llevar a cabo la evaluacin de las diferentes instancias de los proyectos seleccionados. Para obtener la informacin necesaria para la realizacin del anlisis evaluativo se han identificado las preguntas claves a la que la evaluacin de cada etapa debe dar respuesta y los bloques de contenidos y temas especficos objeto de anlisis. En funcin de esta identificacin se construyen las pautas generales para el desarrollo de las entrevistas , el anlisis documental y la construccin de cuestionarios si su aplicacin se estima pertinente

Evaluacin del diseo y planificacin de los proyectos a) Preguntas clave a las que debe dar respuesta v es consistente la formulacin del proyecto? v es viable la ejecucin de cada una los componentes y actividades previstas? v los componentes y actividades previstas se estiman alternativas eficientes y eficaces para el logro de los resultados previstos? v es consistente la formulacin del proyecto en el marco del programa que lo incluye? b) Bloques de contenido y tpicos para su anlisis Identificacin y delimitacin del problema o la demanda que dio origen al proyecto Anlisis de la situacin inicial del proyecto Visin del proyecto Identificacin de los componentes del proyecto Actividades del proyecto Formulacin final del proyecto Actores intevinientes y la viabilidad poltica del proyecto Viabilidad institucional del proyecto Perspectiva de sustentabilidad

Lilia Vernica Toranzost.

Junio de 2001

17

Marco metodolgico para la evaluacin de proyectos

Evaluacin diagnstica desde la perspectiva institucional a) Preguntas clave a las que debe dar respuesta v el modelo de gestin institucional es el adecuado para ejecutar el proyecto? v cmo es el desempeo institucional del proyecto en las diferentes instancias jurisdiccionales? v cules con los problema u obstculos que se presentan entre lo planificado, la ejecucin y el logro de los resultados previstos en el proyecto? v existen problemas en el flujo de fondo para el proyecto? v se estn ejecutando las acciones y obteniendo los resultados previstos? v se estiman adecuados los criterios de focalizacin? v se estn cumpliendo las metas propuestas por el proyecto? v cules son las causas de los posibles desvos? v qu recomendaciones se proponen para mejorar la gestin del programa? b) Bloques de contenido y tpicos para su anlisis Aspectos institucionales en los distintos niveles de ejecucin del proyecto Pertinencia de los criterios de focalizacin Accesibilidad al proyecto Estructura de costos del proyecto Relaciones operativas del proyecto en el marco del programa Criterios para la optimizacin de los recursos Relaciones operativas del proyecto con otros programas Resultados de medio trmino

Evaluacin desde la perspectiva de los beneficiarios a) Preguntas clave a las que debe dar respuesta v los objetivos iniciales del proyecto corresponden con los requerimientos de la poblacin beneficiaria? v quines son los beneficiarios? v las actividades son efectivas considerando la percepcin que los destinatarios tienen de sus resultados? v cmo evalan los beneficiarios la calidad, cantidad y adecuacin de los resultados del proyecto? v cules son los efectos del proyecto sobre los beneficiarios?

Lilia Vernica Toranzost.

Junio de 2001

18

Marco metodolgico para la evaluacin de proyectos

v cules son los niveles de participacin efectiva o potencial en diferentes instancias del proyecto? b) Bloques de contenido y tpicos para su anlisis Identificacin de beneficiarios institucionales e individuales Deteccin de demandas de los beneficiarios Eficacia de las actividades desde la perspectiva de los beneficiarios Calidad de las actividades desde la perspectiva de los beneficiarios Intervencin de los beneficiarios en los diferentes niveles de gestin del proyecto

Evaluacin de resultados a) Preguntas clave a las que debe dar respuesta v se cumplieron o estn cumpliendo los objetivos especficos previstos por el proyecto en su formulacin inicial? v en qu medida? v dicho cumplimiento se realiza en los tiempos y con los costos previstos originalmente? v qu recomendaciones para la gestin del proyecto se pueden obtener de este anlisis? b) Bloque de contenido y tpicos para su anlisis Objetivos especficos y su correspondencia con resultados Resultados y su correspondencia con el cronograma Resultados y su correspondencia con el presupuesto Resultados y su correspondencia con los resultados de otros programas Tipos de resultados Factores facilitadores y obstaculizadores para el logro de los resultados

Evaluacin de impacto a) Preguntas claves a las que debe dar respuesta v se produjeron modificaciones en los indicadores de la situacin inicial que dieron origen al proyecto?
Lilia Vernica Toranzost. Junio de 2001

19

Marco metodolgico para la evaluacin de proyectos

v qu magnitud tienen estos cambios? v las modificaciones son atribuibles solo a las actividades ejecutadas en el marco del proyecto? v qu acciones concurrentes se pueden identificar? b) Bloque de contenido y tpicos para su anlisis Identificacin de los impactos previstos Identificacin de los impactos no previstos Estimacin de la sustentabilidad de los impactos Identificacin de indicadores de las variaciones o modificaciones operadas Identificacin de acciones concurrente como del proyecto, como parte del programa o como parte de otros programas

ii. herramientas para la recoleccin de informacin En este punto se seala en forma sinttica cules son las fuentes de informacin previstas y los instrumentos con los que se llevar a cabo la recoleccin de la misma.

Orientaciones para el anlisis documental El anlisis documental es una de las fuentes de la informacin ms relevantes durante el proceso de evaluacin. De acuerdo con la metodologa adoptada el anlisis documental debe alimentar el trabajo sobre el marco general del diseo de los proyectos y los programas que integran la programacin de la OEI. A travs del anlisis documental se debe realizar la bsqueda de evidencias empricas sobre los diferentes tpicos que se seleccionaron como centrales para el proceso de evaluacin. Se trata, en sntesis, de hacer una corroboracin desde la perspectiva documental de la dinmica de los proyectos objeto de evaluacin. Para realizar el anlisis documental se estima pertinente tomar en cuenta los siguientes aspectos: identificacin de los documentos : la principal fuente de informacin son los documentos producidos por los diferentes proyectos en el marco de la
Lilia Vernica Toranzost. Junio de 2001

20

Marco metodolgico para la evaluacin de proyectos

organizacin. Por otra parte otro tipo de material relevante son los documentos oficiales producidos por cada uno de los pases a travs de los ministerios de educacin, por ejemplo, que tengan relacin directa con los proyectos o programas objeto de anlisis, y en particular que constituyan algn elemento con valor explicativo de la perspectiva nacional al respecto. En este sentido el anlisis documental de este tipo de materiales puede ser ampliamente orientador para la identificacin de los denominados factores de desarrollo que se sealaran anteriormente. lectura orientada de los textos: la lectura de cada uno de los textos debe ser orientada por los bloques de contenidos y temas que se presentaron en el punto anterior. Es importante identificar en los documentos la presencia o referencia a cada uno de los bloques de contenidos en particular. construccin de matrices para el anlisis documental: una vez que se ha realizado la lectura y clasificacin de los documentos es preciso construir una matriz de registro en la cual quede sintetizada la identificacin de cada uno de los bloques de contenidos y temas en los diferentes documentos. La matriz a construir debe responder a un formato similar al que se presenta a continuacin:
Documento 1 Tema 1 Tema 2 Tema 3 Tema 4 Documento 2 Documento 3 Documento 4 Documento 5

anlisis: como se sealara anteriormente, en este punto corresponde hacer el anlisis textual, es decir, verificar si estn presentes las ideas o planteamientos acerca de los diferentes temas previstos y extraer las claves que faciliten la preparacin de las entrevistas y que contribuyan a identificar aquellos aspectos que deben ser profundizados en el tratamiento de las mismas. Orientaciones para las entrevistas individuales y grupales 2 Las entrevistas tienen como propsito enriquecer la informacin obtenida en los documentos, profundizar en algunos aspectos, obtener informacin nueva y

Lilia Vernica Toranzost.

En el anexo se incluye la ficha de registro de las entrevistas

Junio de 2001

21

Marco metodolgico para la evaluacin de proyectos

constrastar las percepciones y puntos de vista de diferentes actores respecto a los distintos temas. Las entrevistas constituyen un elemento sumamente valioso que deber desarrollarse en base a un guin, este guin se construir a partir de la informacin obtenida a travs del anlisis documental y la pauta de contenidos y temas establecido con antelacin. Las entrevistas sern semi -estructuradas por lo que el guin solo constituir una pauta para su realizacin y no una gua de preguntas cerradas. El entrevistador debe hacer una primera seleccin de los temas centrales a abordar en general y a partir de esta primera seleccin se har una segunda seleccin en funcin del tipo de actores a ser entrevistados. Por otra parte, cada una de las entrevistas debe ser grabada y transcrita sintetizando los aspectos ms importantes de las mismas en los registros que se incluyen como anexos. Posteriormente se har un anlisis detallado de la informacin obtenida del conjunto de las entrevistas y se construir una matriz de contenidos similar a la elaborada para el anlisis documental. Matriz de registro de contenidos de las entrevistas tanto individuales como grupales
Entrevista 1 Tema 1 Tema 2 Tema 3 Tema 4 Entrevista 2 Entrevista 3 Entrevista 3 Entrevista 4

Orientaciones para las encuestas Las encuestas tendrn lugar en caso que se consideren pertinentes. En trminos generales se desarrollarn a travs de cuestionarios estructurados con el propsito de indagar sobre algunos de los temas identificados como prioritarios. La administracin de cuestionarios est destinada a la indagacin sobre poblaciones numerosas a las cuales no es posible entrevistar, tales como participantes de las actividades de capacitacin o de los foros de difusin de los diferentes proyectos. En este caso en particular, y en lo que respecta a las diferentes instancias al interior de la organizacin, se deber coordinar con la Direccin General de
Lilia Vernica Toranzost. Junio de 2001

22

Marco metodolgico para la evaluacin de proyectos

Programacin la administracin de los cuestionarios dado que la mencionada rea tiene previstos relevamientos de informacin regulares los cuales deben se aprovechados y no superpuestos con la administracin de instrumentos especficos con propsitos de evaluacin. En todos los casos los cuestionarios deben incorporar las instrucciones necesarias para facilitar la comprensin de la informacin solicitada.

Lilia Vernica Toranzost.

Junio de 2001

23
C.

Marco metodolgico para la evaluacin de proyectos

ANEXO 1 REGISTRO DE LAS ENTREVISTAS INDIVIDUALES

Datos del entrevistado/a Nombre: Profesin: Direccin: Telfono: Fax: Cargo: Actualmente se desempea como:

e-mail: Durante los aos: En:

Desarrollo de la entrevista Fecha: Hora inicio: Hora trmino:

Observaciones (actitud del entrevistado, informacin que no recuerda, temas a los que da mayor importancia, dificultades o problemas surgidos en la entrevista, situaciones que pueden afectar al entrevistado, etc..)

Apreciacin global de la entrevista (resumen de las ideas y datos ms importantes en relacin con los diferentes temas tratados; informaciones que parecen contradictorias, informaciones que habra que verificar)

Documentacin (se adjunta documentacin, se hace referencia o se promete la remisin)

Lilia Vernica Toranzost.

Junio de 2001

24 ANEXO 2

Marco metodolgico para la evaluacin de proyectos

REGISTRO DE LAS ENTREVISTAS GRUPALES

datos de LOS entrevistadoS Grupo N Composicin del grupo: Responsable de la entrevista: Observador: Nombre de los asistentes: Organizacin representada:

Desarrollo de la entrevista Lugar: Fecha:

Hora inicio:

Hora trmino:

Temas

Apreciacin global sobre el conjunto de temas

Apreciacin por temas

Observaciones y comentarios generales

Documentacin (se adjunta documentacin, se hace referencia o se promete la remisin)

Lilia Vernica Toranzost.

Junio de 2001