P A U TA S P A R A E V A L U A C I O N E S

Introduccin a la evaluacin
Estoy seguro de que nuestro proyecto va por buen camino NUESTRO
PROYECTO

P A U TA S P A R A E V A L U A C I O N E S

Introduccin a la evaluacin
Contenido
Qu es una evaluacin? Cul es la diferencia entre monitorear y evaluar? Cules son los beneficios de una evaluacin? Por qu deberan estar Cristianos involucrados en evaluaciones? Cundo debera llevarse a cabo una evaluacin? Cules son los distintos tipos de evaluaciones? Estudio de caso: Evaluacin Conjunta Estudio de caso: Evaluacin Participativa Debemos usar personal externo? Principios operativos de Tearfund para aquellos que estn involucrados en una evaluacin

Estos comentarios van dirigidos a miembros de organizaciones no gubernamentales (ONGs), organizaciones con fines benficos o iglesias que estn considerando llevar a cabo una evaluacin de su trabajo. Esta gua pretende contestar de un modo breve a algunas de las preguntas que se hacen con ms frecuencia.
4 4 5 5 5 6 6 8 8 9

Qu debemos hacer ahora para llevar a cabo una evaluacin til ms 10 tarde? Lecturas Suplementarias 10

Derechos de autor Los materiales educativos y casos de estudio preparados por Tearfund pueden ser adaptados y reproducidos para su uso siempre y cuando sean distribuidos de modo gratuito. Cualquier material deber hacer referencia a Tearfund y al autor correspondiente.
EDITADO POR Simon Larkin VIETAS DE

Bill Crooks
INTRODUCCION A LA EVALUACION 3

P A U TA S P A R A E V A L U A C I O N E S
QUE ES UNA EVALUACION?
Una evaluacin examina si los cambios deseados han tenido lugar

Una evaluacin es cuando alguien se para a pensar: v si se alcanzaron los objetivos de una tarea
v si

hubo cambios a largo plazo

v qu

lecciones se aprendieron y si es necesario hacer algn cambio en el diseo y direccin de la tarea.1 Evaluar es reflexionar sobre lo acontecido para influir en el futuro.

CUAL ES LA DIFERENCIA ENTRE MONITOREAR Y EVALUAR?

Monitorear es continuo, mientras que evaluar es en un momento dado

Se debe tener un sistema claro para recoger la informacin ms importante

Monitorear es recoger y analizar informacin de modo continuo para averiguar si un proyecto se dirige hacia sus objetivos. La informacin se recoge durante toda la duracin del proyecto. Una evaluacin, por otro lado, tiene lugar en un momento determinado. Utiliza la informacin obtenida durante el monitoreo y puede cuestionar tanto la direccin general del proyecto como los objetivos. Imagnese una persona a punto de iniciar un viaje. Durante el viaje comprobar si est siguiendo el camino planeado, si est viajando a la velocidad adecuada y siPOR ACA tiene suficiente recursos (gasolina y comida) de modo a llegar al destino. Esto es lo que se llama monitorear el viaje. Sin embargo, esta persona tambin se puede detener a mitad o MA LA al final del viaje para preguntarse cunto camino ha PA DE recorrido o si escogi la buena ruta. A estas alturas uno RU TA se puede preguntar si hay que seguir por el mismo camino o si las circunstancias han cambiado de tal modo que haya que reajustartener un del viaje.claro y bien organizado para recoger y Es necesario el resto sistema Esto es lo que se llamara analizar evaluar el viaje. informacin durante la vida del proyecto. Esto es lo que permitir monitorear, y proporcionar la informacin necesaria para evaluar ms en adelante.

Analiza
S RESULTADO O S RESULTAD SRESULTADO RESULTADOS RESULTAD

1 Eade D y Williams S (1995) The Oxfam Handbook of Relief and Development, Oxfam

RESULTADOS HASTA AHORA

MAS RESULTADOS

INTRODUCCION

LA

EVALUACION

P A U TA S P A R A E V A L U A C I O N E S
CUALES SON LOS BENEFICIOS DE UNA EVALUACION?
Evaluar ayuda a aprender y a responsabilizarse

Una evaluacin puede:

v ayudar

a aconsejar a los que toman decisiones y a mostrar el camino v ayudar a entender lo que funciona mejor de modo a usar recursos del modo ms efectivo
v poner

de manifiesto las necesidades del proyecto, tal como cursos de formacin para el personal
v reforzar

la toma de responsabilidades mostrando a lderes de la iglesia, a donantescomunidad local el modo en que el proyecto est cambiando la y a la situacin. v ayudar a decidir si todava vale la pena alcanzar los objetivos iniciales v ayudar a reflexionar y aprender lecciones del trabajo hecho en el proyecto esto a su vez ayuda a mejorar el monitoreo
v ayuda

a ver si el dinero, tiempo y esfuerzo empleados valen la pena.2 Resumiendo, una evaluacin se lleva a cabo por dos razones: para aprender y para responsabilizarse.

POR QUE DEBERIAN ESTAR CRISTIANOS INVOLUCRADOS EN EVALUACIONES?

La Biblia nos llama a recapacitar acerca de lo que hacemos. Salmo 26:2 dice Escudrame Seor, y prubame; Examina mis ntimos pensamientos y mi corazn. Tambin pone un nfasis sobre la necesidad de estar preparado a rendir cuentas sobre lo que hacemos y de ser honestos los unos con los otros acerca de nuestras acciones. Romanos 14:12 dice De manera que cada uno de nosotros dar a Dios cuenta de s.3 Nos podemos ayudar los unos a los otros a reflexionar, aprender y ser CUANDO DEBERIA LLEVARSE responsables.

A CABO UNA EVALUACION?

Toda fase importante de un proyecto debera ser seguida de una evaluacin

Es bueno planear una evaluacin despus de toda fase clave en la vida de un proyecto. Puede ser cada dos o cinco aos, dependiendo del tipo de trabajo y de cundo se esperan los resultados. Tambin se hace generalmente una evaluacin al final de un proyecto. A veces se puede pedir una evaluacin a los pocos aos de acabar el EN VENTA proyecto

2 adaptado de Raistrick T (2000) Church, Community and Change, Tearfund 3 Antigua versin (Reina-Valera)

Inicio del proyecto

INTRODUCCION A

Desarrollo del proyecto Evaluacin del proyecto

LA EVALUACION 5

P A U TA S P A R A E V A L U A C I O N E S
de modo a observar qu cambios han tenido lugar a largo plazo. Por todas estas razones es importante preguntarse al comenzar el proyecto cmo se va a monitorear y evaluar.

CUALES SON LOS DISTINTOS TIPOS DE EVALUACIONES?

La mayora de las evaluaciones pertenecen a una de estas categoras: Auto-evaluacin Esto es cuando el personal evala su propio trabajo. La evaluacin puede ser hecha por un empleado de la organizacin o por un equipo, o incluso por toda la organizacin.4 Puede que sea necesario recurrir a un facilitador externo para dar apoyo a este proceso. Los resultados de la auto-evaluacin pueden entonces ser tratados como confidenciales, o constituir la base para preparar informes y propuestas Evaluacin Conjunta Este tipo de evaluacin es planeado conjuntamente por dirigidas a aquellos agencias donantes.5 que dirigen el proyecto y por la organizacin donante de fondos. La persona directamente responsable de la evaluacin suele ser llamada Cliente o Gerente, y puede pertenecer a la organizacin que ejecuta el proyecto o a la organizacin donante. La ventaja de una evaluacin conjunta es que permite una comunicacin y entendimiento claros entre todas las agencias sobre el progreso del proyecto. La desventaja es que la agencia donante puede usar la evaluacin como un tipo de control.
La fecha para hacer la evaluacin se estaba acercando, pero por diversas razones todava no se haba preparado gran cosa. Los Trminos de Referencia (TdR) quedaban por escribir; al no tener nunca tiempo suficiente, la preparacin de este documento se fue aplazando. Por fin se circularon unos TdR entre todas las partes y se modific y acord el borrador final. As como llegaba la hora de hacer la evaluacin, los directivos se fueron dando cuenta de que ciertos problemas dentro de la organizacin iban a necesitar bastante tiempo para solucionarse. Encontrar consultores con experiencia estaba resultando ms difcil y lento de lo esperado. Al mismo tiempo, las relaciones entre el personal estaban en su peor momento, debido a un problema de corrupcin recientemente puesto al descubierto. A consecuencia de la corrupcin, hubo que requerir una auditora. Tambin se tena pensado dejar partir al director del proyecto una vez finalizada la evaluacin, pero a causa del problema de corrupcin esto ya no era posible. La prioridad era ahora establecer una nueva estructura y visin. Cuando por fn lleg el momento de la evaluacin, el personal estaba muy cansado y slo tres de los cuatro consultores que se queran inicialmente fueron contratados. Hubo desacuerdos con la organizacin donante sobre quin deba ser parte del equipo de evaluacin. Desgraciadamente, la evaluacin tuvo lugar al mismo tiempo que la auditora especial y esta ya no se poda postergar ms. Pensndolo ahora, el director del proyecto hubiese preferido aplazar la evaluacin, pero no se sinti capaz de explicarle entonces a la agencia donante que ese era un mal momento para la visita.

Auto-evaluaciones las decisiones son tomadas generalmente por el personal del proyecto

Evaluaciones Conjuntas las decisiones son tomadas generalmente por la organizacin que ejecuta el proyecto y por la organizacin donante

y ESTUDIO DE CASO:

EVALUACION CONJUNTA

4 Russell J (1998) Self Evaluation, Discussion Paper 3: Charities Evaluation Services 5 Eade D y Williams S (1995) The Oxfam Handbook of Relief and Development, Oxfam

INTRODUCCION

LA

EVALUACION

P A U TA S P A R A E V A L U A C I O N E S
Evaluaciones Participativas las decisiones son tomadas generalmente por los beneficiarios del proyecto

Evaluacin Participativa En una evaluacin, los beneficiaros pueden tener distintos niveles de participacin. v Se puede preguntar la opinin de la gente, a travs de entrevistas o discusiones en grupo.
v Se

puede involucrar a los beneficiarios en el diseo de la evaluacin; pidindoles por definan preguntas clave o criterios para la ejemplo, que evaluacin. v Se puede involucrar a los beneficiarios de modo que no solo diseen la evaluacin, tambin participen en ella; por ejemplo haciendo sino que entrevistas. v Se puede entregar la responsabilidad misma de la evaluacin a los beneficiarios.6 Evaluacin participativa suele ser uno de los dos ltimos tipos mencionados arriba. Estos tienen muchas ventajas, pero slo funcionan bien cuando se mantiene el mismo nivel de participacin durante todo el perodo que cubre el proyecto.

y Principios de una evaluacin participativa7

v El

proceso de evaluacin involucra a los participantes, usando las habilidades de estos

por ejemplo en el establecimiento de objetivos, prioridades, seleccionando preguntas relevantes, analizando informacin y tomando decisiones sobre la informacin. v Los participantes en este proceso son dueos de la evaluacin. Son ellos los que toman las decisiones ms importantes acerca del enfoque que debe tener la evaluacin. Son ellos los que llegan a sus propias conclusiones.
v Los

participantes se aseguran que la evaluacin est enfocada en los mtodos

resultados que les parecen importantes. participantes trabajan en grupo y cualquier facilitador de evaluacin ha de apoyar

v Los

la

unidad del grupo y el cuestionamiento en grupo.

v Todos

los aspectos de la evaluacin, incluidos los datos, son comprensibles y tienen sentido para los participantes.
v La

responsabilidad propia es altamente valorada.

v Todo

facilitador es una fuente de aprendizaje. Los participantes son los evaluadores y los que toman las decisiones.

6 Russell J (1998) Involving Users in Evaluation, Discussion Paper 4: Charities Evaluation Services 7 adaptado de Patton M, (1997) Utilization-focused Evaluation, London: Sage. Referencia secundaria: Russell J (1998) Involving Users in Evaluation, Discussion Paper 4: Charities Evaluation Services

NUESTRA PROPIA EVALUACION COMUNITARIA hacer? 1 Qu debemos 2 Quin lo hace? 3 Cundo?

INTRODUCCION

LA

EVALUACION

P A U TA S P A R A E V A L U A C I O N E S
y ESTUDIO DE CASO:

EVALUACION PARTICIPATIVA

Cada uno de los 19 poblados seleccionados en Camboya escogi a cinco o seis miembros de su comunidad para representarlos en la identificacin, anlisis y resolucin de necesidades individuales y comunitarias. Despus de dos aos de trabajo en los poblados, se recomend y organiz una evaluacin. El personal del proyecto facilit un taller de tres das en el que participaron con entusiasmo todos los representantes. El taller estuvo lleno de estimulantes actividades participativas y de oportunidades para conocer a los dems participantes. Estos tuvieron ocasin de compartir con los dems lo que sucedi en sus poblados, y de pensar en ideas para el futuro as como su entendimiento de lo que constituye desarrollo. A travs de este proceso, aument su confianza e inspiracin para sus tareas. El taller gener mucha energa y creatividad, lo que sigue teniendo un impacto aos despus.

DEBEMOS USAR PERSONAL EXTERNO?

En cualquiera de las evaluaciones arriba mencionadas, es posible que se prefiera contratar a una persona o equipo externos para llevar a cabo o facilitar la evaluacin. La persona externa puede ser un consultor, un investigador o alguien de otra organizacin. Ventajas de usar v Pueden traer ideas y perspectivas nuevas, adems de las habilidades de especialista. un personas externas v Pueden ser vistos como ms imparciales u objetivos que los empleados de la organizacin.
v Son

capaces de comparar el proyecto evaluado con otros proyectos similares. v Agencias donantes a veces requieren el uso de personas externas. v Suele ser ms fcil para personas externas el sealar problemas complicadosser ms sensibles en cuestiones de ejemplo, (por gnero). v Personal/beneficiarios pueden sentirse ms cmodos dando su opinin a una persona externa.
v Es

ms fcil evitar una atmsfera de censura que cuando miembros del proyecto que hacen la evaluacin. son los
v Permite

evaluar.

seleccionar a gente con demostradas habilidades para facilitar o

S, pero sus S, pero conocen Pueden traer ideas Personas externas ven las de otros sitios recomendaciones nuestra cultura? cosas con ms objetividad pueden ser inapropiadas!

INTRODUCCION

LA

EVALUACION

P A U TA S P A R A E V A L U A C I O N E S
Desventajas de v Se necesita tiempo y esfuerzo para contratar y gestionar usar personas consultores. v Personas externas pueden carecer de un conocimiento de la externas organizacin, del la cultura. proyecto o de
v Personas

externas no podrn prestar apoyo a la ejecucin de recomendaciones si son contratadas por un corto perodo de tiempo.
vA

veces resulta difcil encontrar a las personas adecuadas. v Consultores pueden resultar caros.
v Puede

ser que ni el personal de la organizacin ni los beneficiarios lleguen a desarrollar sus habilidades evaluadoras. v Personal/beneficiarios pueden carecer de cierto inters en las recomendaciones si son hechas por una persona externa.
v La

presencia de personas externas puede parecer amenazadora.

Principios operativos de Tearfund adaptados a los que estn involucrados en una evaluacin
Trataremos de respetar y amar a aquellos con quien trabajamos, sin hacer
distinciones. Queremos reflejar el carcter y piedad de Cristo

Estamos comprometidos con el defensora defender a los indefensos y ayudar a los pobres a
quehablen por si mismos.

Reconocemos que es peligroso imponer nuestros valores culturales sobre los

dems. Reconocemos que el evangelio pone en cuestin y transforma todas las culturas incluida la nuestra. Nos esforzaremos en desarrollar buenas relaciones esto requiere responsabilidad mutua, confianza y transparencia.

Queremos actuar como facilitadores con humildad y comprometidos con las necesidades
de los dems antes que con las nuestras.

Queremos ayudar a que las personas escojan por si mismas y se conviertan en agentes de
cambio. Queremos incluir en el proceso a las personas marginalizadas y excluidas mujeres, nios, personas mayores y minusvlidos valorando su contribucin.

Creemos que la sostenibilidad es un proceso continuo de cambio individual y

comunitario, no solamente una independencia financiera o poder soportar los productos fsicos que son consecuencia del desarrollo.

Trabajaremos y cooperaremos en la comunidad sin olvidar de hacer contacto con otros

grupos.

INTRODUCCION

LA

EVALUACION

P A U TA S P A R A E V A L U A C I O N E S
QUE DEBEMOS HACER AHORA PARA LLEVAR A CABO UNA EVALUACION MAS TARDE?
v Tener

una idea clara de cmo se va a monitorear y evaluar el proyecto, y luego pensar en quin se encargar de organizar la evaluacin. v Asegurarse de que el proyecto tiene goles y objetivos claros, frente a los cuales se medir el progreso. pueda
v Averiguar

si es necesario tener una lnea de base, que marque la situacin al del proyecto. principio
v Asegurarse

de que hay indicadores claros y precisos, que ayuden a medir el progreso. v Guardar todos los documentos e informacin, y tomar nota de las opiniones de gente de modo que sean fciles de la encontrar. v Pensar cul va a ser el costo, en tiempo y dinero, de la evaluacin y asegurarse de es parte del presupuesto.8 que

LECTURAS SUPLEMENTARIAS
Brown S (1997) Manual para un taller sobre planificacin, monitoreo y elaboracin de informes, Tearfund Carter I, directora (1996) Aprendizaje y accin participativos, Paso a Paso 29, Tearfund Feuerstein M (1986) Partners in Evaluation, Macmillan Education Ltd Hallam A (1998) Evaluating Humanitarian Assistance Programmes in Complex Emergencies, Overseas Development Institute Rubin F (1995) A Basic Guide to Evaluation for Development Workers, Oxfam Russell J (1998) Involving Users in Evaluation, Discussion Paper 4: Charities Evaluation Services
8 adaptado de Raistrick, T (2000) Church, Community and Change, Tearfund

OK, Hemos entendido los objetivos?

INICIO DEL PROYECTO

Qu indicadores estamos usando? Qu es un indicador?

FIN 120km

Me siento fenmeno Hemos acabado!

FIN DEL PROYECTO Mereci la pena?

OYECT L PRO DE

PRECIO

Cmo vamos progresando?

INTRODUCCION

Qu camino cogemos luego?

LA

EVALUACION

10