La Evaluacin de Impacto y el

Ciclo de Proyecto

Mayo 2006










Agradecimientos


Este documento fue escrito por Tara Bedi, Sumeet Bhatti, Xavier Gine, Emanuela
Galasso, Markus Goldstein y Arianna Legovini. Est basado en discusiones en una sesin
de trabajo en un Grupo Temtico. El grupo de trabajo estuvo compuesto por Pedro Arizti,
J udy Baker, Tara Bedi, Aline Coudouel, Ariel Fiszbein, Emanuela Galasso, Xavier Gine,
Markus Goldstein, Arianna Legovini y Susana Snchez, y la facilitadora Sharon
Hainsfurther.

Este programa de trabajo ha sido financiado por subvenciones del Fondo
Fiduciario para el Desarrollo Ecolgicamente y Socialmente Sostenible apoyado por
Finlandia y Noruega y el Programa de Sociedad de los Pases Bajos y el Banco,
financiado por los Pases Bajos. El gerente de tarea para esta nota fue Markus Goldstein.








Introduccin


La meta de una evaluacin de impacto es atribuir impactos a un proyecto y
nicamente a ese proyecto. Para poder hacerlo, se necesita un grupo de comparacin para
medir lo que hubiese sucedido a los beneficiarios si el proyecto no se hubiera llevado a
cabo. El proceso de identificar ese grupo, recolectar los datos necesarios, y conducir los
anlisis relevantes requiere de mucha y cuidadosa planificacin.

Una buena evaluacin de impacto provee las bases para una slida formulacin de
polticas. Nos ayuda a entender si el proyecto ha tenido impacto o no, cun grande es ese
impacto, y quin se ha beneficiado (o no). Adems de proporcionar evidencia firme que
puede utilizarse para sopesar y justificar prioridades de polticas, la evaluacin de
impacto tambin puede utilizarse como una herramienta de gerenciamiento-por-
resultados. A medida que la evaluacin avanza a la par del proyecto, puede utilizarse para
testear caractersticas del proyecto, para modificar el diseo y mejorar la efectividad en el
tiempo. Entre otras cosas, las evaluaciones de impacto pueden ayudar quienes disean las
polticas a examinar el efecto de un piloto, comparar diferentes modos de prestaciones, y
examinar el impacto del proyecto para diferentes poblaciones. Sobre todo, la evaluacin
de impacto nos permite apredender qu proyectos funcionan en qu contextos, y usar
estas lecciones para informar a las generaciones siguientes acerca de polticas no slo en
el pas de inters, sino tambin en otros pases. Finalmente, el ejercicio de llevar a cabo
una evaluacin de impacto contribuye a construir y sostener capacidades nacionales para
una formulacin de polticas basada en evidencia.

No hay un enfoque estndar para conducir una evaluacin de impacto. Cada
evaluacin debe ser diseada especficamente para el proyecto, el pas, el contexto
institucional y los actores involucrados. Habiendo dicho esto, existen algunas cuestiones
generales y acciones que influyen en el exito de cualquier evaluacin de impacto. El
propsito de este documento es ayudar a los lderes de equipode tareas (TTLs) a saber
qu hacer en distintas etapas en el ciclo del proyecto para asegurar una evaluacin
exitosa.

Antes de pasar a recomendaciones especficas para la integracin de la evaluacin
al ciclo del proyecto, vale la pena considerar algunos temas que deberan ser abordados
cuando se planea e implementa una evaluacin de impacto.

Integrando a la evaluacin de impacto con el proyecto
Una buena evaluacin de impacto no es un ejercicio independiente. De hecho,
debera estar estrechamente vinculado al proyecto. Este es un proceso bilateral. Por un
lado, el evaluador principal (LE) debera estar ntimamente familiarizado con el proyecto,
pas, y contexto institucional, las opciones de diseo que estn siendo consideradas, y los
detalles de despliegue y ejecucin. Por el otro lado, el TTL y el cliente deben estar
convencidos de la lgica de la evaluacin para entender qu elementos de diseo e
implementacin de proyectos son crticos para llevar a cabo una evaluacin que
1

contribuir al xito del proyecto. Idealmente, estas dos perspectivas deberan considerarse
conjuntamente cuando el TTL, el evaluador principal, y las contrapartes consideranlas
opciones de diseo del proyecto para identificar cules de esas opciones necesitan ser
testeadas.
Relevancia
Para que una evaluacin sea relevante, debe ser diseada para responder a las
cuestiones de polticas que son importantes para el cliente. Clarificar desde el principio
qu es lo que el cliente quiere aprender y disear la evaluacin para ese fin ayudar a
asegurar que las recomendaciones de la evaluacin sern introducidas en el diseo de
polticas. Esto require que se estructure la evaluacin de manera tal que puedan
contestarse las preguntas que se presenten y responderse en el momento en que los
comentarios pueden ser incorporado. Para los proyectos del Banco, las recomendaciones
pueden estar relacionadas en el tiempo con la evaluacin de medio y la finalizacin del
proyecto. Para los gobiernos, pueden relacionarse con discusiones de presupuesto,
preparaciones PRSP, o informes de progreso (rendimiento) que dependen del contexto y
las necesidades. Esto lleva al prximo principio.

Propiedad del Gobierno
El hecho de que gobierno sea dueo del proyecto es clave para el xito. La
participacin del gobierno es crucial para a) identificar preguntas relevantes para la
formulacin de polticas, b) asegurar la integridad interna de la evaluacin ayudando a
asegurar que la evaluacin se mantenga al tanto con la realidad de la implementacin, y
c) para asegurar que los resultados sean incorporados en las decisiones de polticas
futuras y utilizados para informar la asignacin de recursos entre los programas/sectores.
Para poder asegurar esta participacin, el TTL y LE trabajarn con el gobierno desde el
principio sobre las opciones de evaluacin, mtodos, y ejecucin. Esta ser una
oportunidad para desarrollar an ms la capacidad domstica para la formulacin de
polticas basada en evidencia.

Flexibilidad y adaptabilidad
La evaluacin debe ser diseada para el proyecto especfico. Debe adaptarse al
contexto, y cuando sea posible, capitalizar sobre los cambios planificados en el ambiente
circundante. Esto requiere de la cooperacin entre el TTL, el evaluador principal, y las
contrapartes gubernamentales.

Para asegurar flexibilidad, la evaluacin debe ser planificada lo antes posible (lo
cual es antes de lo que Ud. piensa). Si bien es posible que haya una incertidumbre
considerable acerca de las actividades del proyecto en las etapas tempranas, al entender el
grupo potencialmente grande de opciones, el equipo de evaluacin estar en una mejor
posicin para identificar las opciones de evaluacin.

La flexibilidad tambin requiere que se preste mucha atencin al entorno poltico.
El equipo de evaluacin debe identificar y comunicarse con los sectores relevantes que
2

puedan estar a favor o en contra de la evaluacin, y debe mantenerse al tanto de cmo
estos sectores tal vez cambien durante la vida de la evaluacin.

La tensin del tiempo ( timing )
Existe un potencial para la tensin entre los objetivos de la evaluacin y el marco
de tiempo del proyecto. Mientras que algunos de los impactos podran ser visibles dentro
de un marco de tiempo corto, otros podran ser observados slo despus de concludo el
proyecto. La construccin de un marco de resultados adecuados que reconoce el tema del
tiempo contribuir al diseo de una evaluacin realstica. Ser necesaria la seleccin de
resultados e indicadores que reflejen el tiempo del proyecto y la evaluacin. Para
resultados de ms largo plazo, ser necesaria una estrategia financiera que permita la
evaluacin luego de la finalizacin del proyecto.
3

Gua para este documento


El propsito de este documento es proveer una gua para el personal del Banco en
el proceso de diseo y ejecucin de evaluaciones de impacto. Este documento no es una
gua tcnica acerca de mtodos de evaluacin de impacto, sino que presenta
consideraciones prcticas para la conduccin de una evaluacin de impacto.

Este documento est estructurado alrededor de tres perodos en la vida del
proyecto. El primer perodo abarca desde la identificacin hasta el momento en que se
escribe la Nota de Concepto del Proyecto (PCN). El segundo perodo cubre desde la
preparacin hasta la evalaucin (appraisal). El tercer perodo va desde la evaluacin
hasta la finalizacin de la evaluacin de impacto (que puede ser an despus de terminar
el proyecto).

Cada perodo del ciclo del proyecto est dividido en seis secciones para ayudar a
identificar distintos tipos de actividades, especficamente:

Actividades de evaluacin los temas centrales que tienen que ver con el diseo y
la implementacin de la evaluacin
Construccin y mantenimiento de relaciones con las partes/sectores, el dilogo
con el gobierno y los directivos del Banco
Consideraciones del proyecto - consideraciones logsticas del proyecto que tienen
que ver con la evaluacin
Datos - temas relacionados con la construccin de la base de datos necesaria para
la evaluacin.
Recursos financieros consideraciones y la falta de respuestas simples para
conseguir fondos.
Ayuda - recursos disponibles para TTLs para asistir en el proceso de evaluacin

Las tareas se dividen entre los miembros de un equipo de evaluacin de impacto
(IET). Este equipo estar integrado por:

El TTL, que es el responsable por el diseo del proyecto de parte del Banco
(TTL);
Un evaluador principal (LE), a cargo de coordinar el diseo y la implementacin
de la evaluacin y el anlisis de los resultados. LE se refiere frecuentemente a un
equipo de evaluadores y recolectores de datos; y
Las contrapartes gubernamentales (GC).



1
Para ms informacin acerca de mtodos ver en la red la pgina Evaluacin de Impacto, en la que se
enlistan una seire de documentos tiles: www.worldbank.org/impactevaluation
4

I. Identificacin al PCN


A. Actividades de Evaluacin

Preguntarse las razones para hacer una evaluacin del proyecto (TTL). El TTL
debera cuestionar si la evaluacin ser til, cmo justificar los gastos, si existe suficiente
evidencia como para medir la efectividad de ese tipo de proyecto, y si hay alguna razn
para creer que la evaluacin puede mejorar la prestacin de ste o futuros proyectos en
este pas y sector.

Identificar las preguntas acerca de polticas que la evaluacin podra abordar
(TTL/GC/LE). A esta altura, lo especfico del proyecto puede no estar definido an. Sin
embargo, es crucial comenzar a identificar las preguntas acerca de la formulacin de
polticas que este trabajo intentar abordar y por esto es til en esta etapa comenzar a
pensar acerca de para cules de los componentes del proyecto es relevante y realizable la
evaluacin de impacto. Efectivamente, es bastante posible que la evaluacin de impacto
no sea capaz de examinar todas las intervenciones bajo un proyecto dado, pero en
cambio, se concentrara en un grupo de componentes de inters. La identificacin de
preguntas acerca de la formulacin de polticas y cules componentes deben evaluarse es
un proceso interactivo que ir mano a mano con el diseo del proyecto.

Formar el equipo de evaluacin (TTL). Esto requerira la identificacin de un
equipo de evaluadores internacionales y/o locales. Debe prestarte especial atencin a la
seleccin del evaluador principal, que se asegurar la calidad del producto final. La
habilidad que un evaluador debe poseer es la familiaridad con, y la habilidad de aplicar,
una gama de metodologas de evaluaciones de impacto. Esta persona puede surgir de
adentro o fuera del Banco, dependiendo de las habilidades necesarias y la disponibilidad.
El evaluador principal deber supervisar a un equipo conformado por colectores de datos
y (posiblemente) otros evaluadores. El TTL debera entonces organizar una discusin
entre las contrapartes gubernamentales, el equipo del proyecto, e investigadores a efectos
de comenzar el dilogo.

Pensar la forma de trabajo del equipo (TTL). Esto incluir asegurar que el LE
participe en discusiones exploratorias y de seguimiento con el equipo del proyecto y la
contraparte gubernamental; que el gobierno asigne a una persona que se vincular con el
resto del equipo y facilitar actividades en el terreno, y que la probable empresa
recolectora de datos est involucrada para asegurar que se compartan los datos
disponibles y que las actividades de recoleccin de datos concuerden con los planes
nacionales. sto tambin es un buen punto de partida para comenzar a pensar en construir
capacidad para la evaluacin de impacto en el gobierno y en los acadmicos locales y
planear para eso.

Escribir un prrafor par ser incluido en el PCN que identifique la motivacin
para la evaluacin de impacto (TTL).

5





B. Construyendo y Manteniendo Sectores de Apoyo

Identificar sectores potenciales de apoyo y ayude a construir un apoyo de base
amplia para el impacto de la evaluacin. Identificar a un probable defensor del lado
gubernamental (TTL/GC). (Ver Apndice 1 para sugerencias de estrategias para
conseguir apoyo gubernamental).

Informar a la Direccin (TTL). Asegurarse de que directores del pas y de los
sectores estn informados e involucrados en las etapas tempranas de evaluacin. Esto
ayudar cuando llegue el momento de identificar recursos financieros, el dilogo con el
gobierno, y asegurar el apoyo del proyecto a medida que contine.


C. Consideraciones del proyecto

Trazar un enlace entre la evaluacin de impacto y la Estrategia de Asistencia al
Pas (CAS) (TTL). Como el Banco ha implementado CASs basados en resultados, debe
considerarse el tema de cmo los resultados de esta evaluacin proporcionarn evidencia
sobre resultados existentes del CAS y ayudarn a informar al CAS las prioridades en el
futuro.

Entender cmo la evaluacin puede construir sobre el proyecto existente y la
base de conocimientos del sector, y aportar a futuros proyectos en este sector y pas
(TTL/LE). Esto require que se examine qu es lo que funciona y qu es lo que falta
conocer. Adems de una revisin de literatura, es til organizar una reunin de
profesionales en estas cuestiones.


D. Datos

Explorar qu datos existen y pueden ser relevantes para usar en la evaluacin
(LE). Esto requiere de decisiones con las agencias del sistema nacional de estadsticas
para identificar fuentes existentes de datos y planes de futuras recolecciones de datos.
Tambin puede ser til ver qu datos estn recolectando los acadmicos y las ONGs.

Comenzar a identificar la necesidad de recolectar datos adicionales (LE). Los
recursos de datos y financieros siempre de inter-relacionan, pero este es un buen
momento para comenzar a pensar en posibles escenarios de subvencin/datos (LE/TTL).


E. Recursos financieros

6

Identificar probables fuentes de subvencin (TTL/LE/GC). Comenzar a pensar en
cmo se subvencionar la evaluacin y cul ser el monto probabable de los recursos
totales. El alcance de la evaluacin depender en parte del presupuesto disponible. Pero
una evaluacin de alcance significativo podra atraer fondos adicionales. La fuente puede
ser interna del Banco y externa, como en el caso del gobierno y donantes. Las donaciones
PHRD pueden ser una buena fuente para el trabajo preparatorio, incluyendo el apoyo
para que el LE pueda desarrollar el marco de trabajo analtico e instrumentos de encuesta,
y recoleccin de datos de lnea base.

Definir bajo qu arreglos contractuales contratar al LE (TTL/GC). Recuerde que,
bajo las reglas del Banco, si el LE es contratado a travs los fondos presupuestarios del
Banco, l/ella no ser elegible para competir por contratos gubernamentales para la
implementacin de la evaluacin. Esto significa que el LE podra ser contratado ya sea
por el Banco o el Gobierno para la duracin del proyecto (diseo e implementacin).


F. Support

Identificar a la persona de contacto para la evaluacin de impacto en su
unidad/red (TTL). Esta persona puede referirle a consultores, recursos financieros y/o
proporcionarle una gua especfica para la evaluacin.

Identificar a consultores (TTL). El Grupo Temtico de la Evaluacin de Impacto
(TG) dispone de una lista de consultores de evaluacin internacionalmente reconocidos
[http://ieexperts.worldbank.org]. Incluye sus CV, y su informacin de contacto.

Entender los mtodos y aprender acerca de las evaluaciones existentes en su rea
de proyecto y pas. Para informacin sobre la metodologa de evaluaciones de impacto
ver el sitio de TG [www.worldbank.org/impactevaluation]. Para ms informacin acerca
de evaluaciones previas, el TG mantiene una base de datos (organizados por sector y
pas) de evaluaciones de impacto ya finalizadas en
[http://www1.worldbank.org/prem/poverty/ie/evaluationdb.htm] que incluye un resumen
de resultados y mtodos.

Pedir apoyo especfico para el proyecto. Para apoyo acerca del diseo de una
evaluacin de impacto, PRMPR y HDNVP imparten a pedido clnicas de evaluacin de
impacto. Estas clnicas reunen a los expertos del sector y del rea de evaluacin de
impacto para trabajar con el equipo del proyecto. Aunque Ud. pueda no estar listo para
una clnica en esta etapa, comience a pensar acerca de esta posibilidad ahora - es mejor
tener estas clnicas apenas se haya desarrollado una nocin aproximada de las actividades
del proyecto y los beneficiarios pretendidos. Para ms informacin ver la pgina web
para la inscripcin: http://www-wbweb.worldbank.org/prem/prmpo/ie/request_ieclinic.cfm.

7

II. Preparacin durante la evalucin (appraisal)


A. Actividades de Evaluacin

Identificar las caractersticas del diseo del proyecto que afectarn el diseo de la
evaluacin (TTL/GC). Estas incluyen:

Proyectar la poblacin objetivo y las reglas de seleccin. Para el propsito de la
evaluacin, es importante que el proyecto describa con detalle la poblacin
objetivo para la intervencin y cmo los beneficiarios finales sern seleccionados.
Esto proporcionar al evaluador las herramientas para desarrollar la estrategia
inicial para identificar impactos del proyecto.

Desplegar el plan. Tambin ser importante comenzar a pensar en cmo se
desplegar la implementacin para el proyecto y sus componentes. Esto no slo
proporcinar a la evaluacin un marco de tiempo factible para coordinar
actividades de recoleccin de datos, sino que tambin ayudar en el desarrollo de
una estrategia para identificar impactos del proyecto.

Comience a desarrollar una estrategia de identificacin (por ejemplo, cmo
identificar el impacto del proyecto separado de los cambios que se deben a otras causas)
(LE). El LE seleccionar la muestra de unidades (hogares, empresas; comunidades,
dependiendo del proyecto) que mejor servirn como comparacin contra la cual medir
resultados en la muestra seleccionada dentro del proyecto. El grupo de comparacin sera,
en el peor de los casos, observacionalmente equivalente al grupo seleccionado dentro del
proyecto, y, en el mejor de los casos, ser equivalente en caractersticas observadas y no
observadas. El rigor con el que el grupo de comparacin es seleccionado al comienzo de
la evaluacin determinar mucha de la calidad y fiabilidad de los estimativos del impacto
obtenidos durante el anlisis.

La manera en que se implemente el proyecto afectar la habilidad del LE para
desarrollar una estrategia vlida de identificacin. En esta etapa vale la pensa examinar la
posibilidad de refinamientos del proyecto que van a enriquecer la evaluacin - por
ejemplo, la manera en que el proyecto ser introducido, la clarificacin del criterio de
elegibilidad, y el procedimiento para la seleccin de reas piloto. El punto aqu no es
cambiar el desarrollo de objetivos del proyecto o cambiar los beneficiarios pretendidos,
sino explorar los cambios marginales para un diseo de proyecto que ayude a mejorar la
calidad de la evaluacin. Idealmente, la estrategia de identificacin y la seleccin de
proyecto se desarrollan de manera tal que alcancen tanto los objetivos del proyecto como
los de la evaluacin.

En algunos casos, la estrategia de identificacin tal vez sea capaz de capitalizar en
la introduccin del proyecto e identificar el grupo de comparacin que se beneficiar del
proyecto en la fase II o III. La evaluacin se har entonces dentro del marco de tiempo
permitido por la ltima fase del proyecto y no estar diseada para examinar efectos a
8

largo plazo. Esta estrategia es particularmente atractiva cuando el proyecto planifica la
cobertura nacional hacia el final del perodo del proyecto. El objetivo de la evaluacin
podr entonces confirmar la efectividad de la intervencin antes de la implementacin a
mayor escala. Como se identic anteriormente, el TTL y GC podran tener que trabajar
con el LE para modificar la seleccin de unidades para el despliegue de las fases I y II y
poder apoyar de esa manera los objetivos de la evaluacin.

Desarrollar el marco para los resultados del proyecto (TTL, LE). Esta actividad
clarificar la cadena de resultados para el proyecto, identificar los resultados de inters y
los indicadores ms apropiados para medir los cambios en esos resultados, y el horizonte
de tiempo esperado para cambios en esos resultados. Esto proporcionar al LE alguna de
la informacin necesaria para desarrolar el cuestionario de la encuesta y coordinar en qu
momento se llevar a cabo la recoleccin de datos.

Desarrollar un punto de vista acerca de cules caractersticas del proyecto
deberan ser testeadas en primer lugar (TTL, GC, LE). El testeo temprano del proyecto
(unos 6 meses a 1 ao) puede proporcionar la informacin necesaria para que el equipo
modifique el proyecto desde temprano en la direccin que ms asegure el xito. Las
caractersticas pueden incluir modos alternativos de prestaciones (por ejemplo, prestacin
basada en escuelas vs. vertical), paquetes alternativos de productos (por ejemplo,
campaas de concientizacin vs. servicios legales), o distintos esquemas de precios (por
ejemplo, niveles alternativos de subsidio). ste enfoque requerir un marco de tiempo
diferente para la recoleccin de datos y una mejor comprensin de impactos de corto
pazo, que una evaluacin diseada solamente para medir los impactos del proyecto a su
finalizacin.

Identificar otras intervenciones en el rea del proyecto (TTL, GC). Es importante
estar al tanto de todos los planes existentes y planeados en las areas que reciben el
proyecto y en las que Ud. planea usar como comparacin. stos incluyen no slo
proyectos del Banco, sino tambin del gobierno, ONGs, y otras actividades de donantes.
Si no se toman en cuenta, pueden ser peligrosas para la validez de parte de la evaluacin.
Cuando se las toma en cuenta, pueden abrir la puerta para testear la sinergia de distintas
intervenciones.

Piense en los riesgos de la evaluacin de impacto. Estos incluyen amenazas a la
validez, como proyectos existentes en el rea del programa, desgaste de la muestra,
amenazas causadas por problemas o cambios inesperados en la implementacin del
proyecto (por ejemplo, retrasos en desembolsos, problemas de logstica, falta de
adherencia al criterio de elegibilidad), y amenazas a la ejecucin de la evaluacin (por
ejemplo potenciales cambios polticos/administrativos, incertidumbre de fondos).


B. Construyendo y manteniendo sectores de apoyo

9

Mantener dilogo con el gobierno, construir una amplia base de apoyo, e incluir a
las partes (TTL/LE). sto ser crtico para sostener el apoyo gubernamental a fin de
llevar a cabo la evaluacin. Temas para la discusin incluyen:

Decidir entre rigor y viabilidad (ver discusin anterior sobre la identificacin de la
estrategia), por ejemplo, discuta el ms riguroso (en el sentido de atribucin de
impactos) diseo que sea viable no slo administrativamente, sino tambin
polticamente. ste es un paso crtico para llegar a un acuerdo con el gobierno
acerca del diseo de la evaluacin y es importante para asegurar el apoyo del
gobierno para la integridad del diseo de la evaluacin (IET).
Plan de diseminacin. El plan debera acordarse con las contrapartes
gubernamentales para maximizar la probabilidad de que los resultados de la
evaluacin sean aplicados al desarollo de polticas. Incluir un acuerdo sobre
cmo y cundo los resultados provisionales y finales sern diseminados y
aportados al ciclo de formulacin de polticas. Debe prestarse especial atencin al
proyecto y a los ciclos de polticas para identificar puntos de entrada para usar en
resultados de la evaluacin (por ejemplo, de medio punto y de cierre, para un
proyecto; informe de sector, CGs, MTEF, presupuesto, para el gobierno). Debera
incluir la identificacin explcita de los mecanismos y procesos para aportar los
resultados nuevamente al proceso de formulacin de polticas y el diseo del
programa. Puede considerarse la diseminacin de resultados a los grupos de
tratamiento y comparacin (IET).

Creacin de Capacidad (TTL/LE). Utilizar la colaboracin de funcionarios del
gobierno y acadmicos locales a fin de construir capacidad local para realizar
evaluaciones de impacto. Ms actividades pueden implementarse con la ayuda de su IE
de contacto regional/sectorial o el IE TG (entrenamientos, talleres, clnicas). El objetivo
es fomentar la aceptacin institucional para la cultura de evaluacin y el gerenciamiento-
por-resultados.


C. Consideraciones del Proyecto

Integrar la evaluacin de impacto al proyecto como mecanismo para incrementar
la efectividad de la implementacin del proyecto. Por ejemplo, distintas etapas de
recoleccin de datos proporcionarn aportes al proyecto. Los datos de la lnea de base
pueden utilizarse para mejorar la eficiencia del objetivo. Los resultados tempranos de una
evaluacin pueden utilizarse para motivar a un cambio en el diseo de un proyecto al
momento de una revisin de medio trmino. (IET)

Iniciar formalmente una actividad de IE (TTL). El cdigo IE en SAP es una
manera de formalizar las actividades de una evaluacin. El cdigo IE reconoci la
evaluacin con un producto AAA separado. Ver el Apndice 2 para ms detalles acerca
del cdigo y cmo usarlo. (TTL)

Escribir una Nota de Concepto para la evaluacin de impacto (LE).
10


Identificar pares de evaluadores (TTL/CE). Idealmente, stos deberan incluir a
alguien bien versado en mtodos de evaluaciones de impacto as como alguien
familiarizado con el sector (TTL/LE).

Tenga una reunin para evaluar la NOTA DE CONCEPTO para la evaluacin de
impacto, si es aplicable (IET).

Trabaje la evaluacin de impacto en el Anexo 3 del documento del proyecto
(TTL/LE).

Incluir la evaluacin de impacto en la Revisin de Mejoramiento de Calidad
(TTL).




D. Datos

Explorar fuentes de datos existentes y recolecciones de datos planificadas para
identificar datos que puedan abordar las necesidades de la evaluacin de impacto (LE).

Incluir:
o Censos
o Encuestas (hogares, empresass, instalaciones, etc)
o Datos administrativos
o Datos del sistema de monitoreo del proyecto

Documentar datos periodicamente (incluyendo planes futuros), calidad, variables
cubiertas y marco de prueba y tamao de prueba.

Investigar sinergias con otros proyectos para combinar evaluaciones o al menos
los esfuerzos de evaluacin de recoleccin de datos (LE, TTL). Puede ser possible
combinar los esfuerzos de recoleccin de datos para mltiples proyectos, por ejemplo,
usando los mismos instrumentos de encuesta e infraestructura de recoleccin de datos. La
colaboracin puede mejorar la eficiencia en el uso de recursos locales (por ejemplo,
agencias de estadsticas), asegurar que se ahorre en costos de encuesta, y garantizar que
otras actividades sean tomadas en cuenta adecuadamente en la evaluacin; pero la
colaboracin puede ser costosa en cuento a la coordinacin entre proyectos.

Desarrollar una estrategia de datos para la evaluacin de impacto (TTL/LE). En la
mayora de los casos, la evaluacin requerir de una recoleccin de datos. El plan
incluir:

11

El marco de tiempo de la recoleccin de datos relativo a la implementacin del
proyecto (por ejemplo, cundo se recolect la lnea de base/cuando debe ser
recolectada?)

Las variables necesarias. Estas necesitan cubrir no slo los impactos de inters,
sino tambin los controles potenciales (por ejemplo, demogrficas, consumo) y (si
es aplicable) variables instrumentales. stas proporcionarn la base para el diseo
del cuestionario si es que se van a recolectar nuevos datos.

El tamao de la muestra (factible y suficiente) y el marco de la muestra.

Integracin de datos de otras fuentes.

Esfuerzos existentes de recoleccin de datos sobre los cuales la nueva recoleccin
de datos puedan apoyarse (si es relevante). Esto podra incluir la suma de otro
mdulo o ms observaciones a una encuesta que ya est planificada.


E. Recursos Econmicos

Desarrollar y finalizar un presupuesto y planes para el financiamiento de la
evaluacin de impacto (TTL/IET). Los costos deberan cubrir costos del LE (desde el
diseo hasta el anlisis), costos de supervisin, y costos de recoleccin de datos. El
financiamiento puede incluir BB, fondo de fideicomiso, donaciones de fondos, fondos
para investigacin y para proyectos. Las evaluaciones implementadas por el Banco
utilizarn el cdigo IE en SAP para identificar el producto. La IE implementada por el
gobierno verter todos sus costos en el presupuesto del proyecto. Las soluciones hbridas
haran que el Banco financie el anlisis y que el gobierno financie la recoleccin de datos.
Si la evaluacin va a ser incluida en el presupuesto del proyecto, Ud. debe asegurarse de
identificar una manera de pagar por cualquier recoleccin de datos que caiga fuera de las
fechas efectivas del proyecto. El Apndice 3 proporciona una lista de las actividades con
algunas nociones de costos y algunas opciones de financiamiento.


F. Apoyo para la evaluacin

Para ms informacin sobre encuestas, fuentes de datos, y capacidad general
estadstica para un pas dado ver el sitio web de DECDG (tipear datos en un navegador de
internet). Las pginas tiles incluyen pginas estadsticas de los pases y la Plataforma de
Desarrollo de Datos, entre otras.

Agendar una clnica de evaluacin de impacto. Las clnicas renen a un grupo de
expertos que a pedido -proporcionarn apoyo especfico para el proyecto, para el diseo
de una evaluacin de impacto. Para ms informacin, ver la pgina de inscripcin:
http://www-wbweb.worldbank.org/prem/prmpo/ie/request_ieclinic.cfm.

12

III. De negociaciones a la finalizacin...y ms all


A. Actividades de Evaluacin

Aunque la evaluacin ya ha sido diseada, es crtico que el TTL y el EL
monitoreen la implementacin del proyecto con un ojo puesto en las amenazas a la
validez del diseo de evaluacin. Estas pueden incluir retrasos en la implementacin que
conviertan en intiles a los datos de la lnea de base, cambios en el objetivo del programa,
y/o cambios mayores en las actividades del proyecto. sto tambin debera extenderse a
prestarle atencin al monitoreo de los efectos del proyecto (a travs del monitoreo del
sistema y la observacin) para consecuencias no buscadas, como los efectos que se
derraman sobre el grupo de comparacin. No todas son amenazas para la evaluacin.
Algunas podran presentar la oportunidad de redisear la evaluacin, incrementar su
alcance y efectividad, y/o reducir costos de datos (TTL/LE).

Monitorear la implementacin de la evaluacin (LE con aportes del TTL).
Asegurarse de que las tareas se completen a tiempo y que el anlisis comience en el
tiempo en que fue previsto.

Comenzar el anlisis a medida que los datos estn disponibles, y alimentar datos
al (LE). Usar datos y resultados del anlisis para informar acerca de cambios en el
proyecto (a medio trmino) y evaluacin del proyecto al terminar (ICR). Aportar los
cambios en el proyecto al diseo de la evaluacin como corresponda.

Diseminar los resultados para informar a la prxima generacin de proyecyos, as
cooperar con el desarrollo de polticas gubernamentales (TTL).

Continuar colaborando con el gobierno y los investigadores locales para
desarrollar capacidades para evaluaciones de impacto (TTL/LE).


B. Construyendo y manteniendo sectores de apoyo

Presentar los resultados de la evaluacin antes de hacerlos pblicos ante una
audiencia ms amplia (TTL/LE). Esto asegurar que los temas delicados sean presentados
ante la audiencia ms amplia de una manera polticamente sensible. Los gobiernos no
deberan sentirse amenazados por los resultados de una evaluacin, sino verlos como una
oportunidad de usarlos para incrementar la efectividad. El enfoque ayudar a desarrollar
apoyo para polticas de seguimiento para los resultados de la evaluacin, y tambin
evitar problemas polticos y contragolpes.

Anticipar los resultados tambin a la direccin del Banco (TTL/LE).

13

Trabajar estrechamente con el gobierno en la diseminacin de los resultados
(IET). Asegurarse de que el mensaje no se distorsione. Asegurarse de que las
advertencias sean claras y repetidas con frecuencia.



C. Consideraciones del proyecto

Involucrar e informar a la unidad de implementacin local del proyecto y a la
persona responsable en la Unidad Ejecutra del Proyecto (PIU) de monitorear y evaluar
(TTL/LE).

Realizar los arreglos necesarios para lograr el funcionamiento y financiamiento
de la evaluacin de impacto en el tiempo adecuado (TTL).

Utilizar resultados de la evaluacin desde los comienzos del proyecto y durante
la evaluacin de medio trmino para redisear las fases posteriores del proyecto (TTL).

Incluir los resultados de la evaluacin en el Documento de Cierre ICR (TTL).

Incluir los resultados de las evaluaciones en los documentos marco para la
preparacin del CAS (TTL).


D. Datos

Implementar la recoleccin de datos (IET):

Si esto involucra recolectar nuevos datos: Cumplir con la lnea de base antes de la
implementacin (tomar nota de que sto puede o no ser antes de efectividad del
proyecto). Dar pasos para asegurar la calidad de los datos, incluyendo una
discusin explcita antes de la lnea de base acerca de los mecanismos que
aseguren la calidad de los datos (IET). El TTL y el LE deberan monitorear de
cerca la calidad de los datos de la lnea de base desde el principio hasta el fin, el
ingreso de datos, y cualquier recoleccin de datos subsiguiente.

Si esto incluye el uso de fuentes de datos existentes: el TTL y/o el LE necesitan
vincularse con las agencias recolectoras de datos para asegurar que los planes de
recoleccin de datos estn avanzando segn lo previsto.

Si sto involucra la recoleccin de datos a travs de colaboracin (sto se aplica
potencialmente a ambos casos arriba): el TTL necesita mantener contacto con las
otras organizaciones involucradas, para evitar problemas inesperados. En casos
cuando este esfuerzo coordinado involucra un nmero importante de actores,
puede ser til establecer algn tipo de foro para que sto tenga lugar.

14


E. Recursos econmicos

Asegurarse de que haya fondos suficientes para la evaluacin, recaudar fondos en
la medida necesaria (TTL). El TTL debera mantenerse en contacto con el LE durante el
anlisis para asegurarse de que habr suficientes recursos para el anlisis.
15


F. Apoyo para la evaluacin

Solicitar el apoyo necesario de la persona contacto del IE en su regin/sector.

Utilizar recursos de la web y recursos del Grup Temtico IE, como sea
necesario:http://www1.worldbank.org/prem/poverty/ie/evaluationdb.htm proporciona
ejemplos de trabajos similares en el pas/sector, si es que existen.
16

Apndice 1
Algunas sugerencias para incrementar el apoyo para
una evaluacin de impacto


En este apndice proporcionamos algunas ideas y sugerencias sobre cmo
fortalecer el apoyo para una evaluacin de impacto. Para una discusin ms detallada de
la experiencia de un equipo con este tema, ver la nota siguiente en esta serie que analiza
las experiencias en Argentina.

Trabajar con las contrapartes gubernamentales desde el principio. Pasar un tiempo
considerable explicando la motivacin/utilidad y mtodos.

Comprender quines son los clientes y cules sus necesidades. Desarrollar una
evaluacin de impacto que conteste las preguntas prioritarias de los clientes.

Entender a las otras partes interesadas su posicin en los temas que rodean a la
evaluacin, cmo podran afectar la evaluacin, y cmo podran reaccionar frente
a los resultados. Pasar tiempo con estos grupos, explicando la motivacin/utilidad
y mtodos.

Identificar a alguien que abogue dentro del gobierno. Este defensor puede ayudar
argumentando a favor de la evaluacin inicialmente, asegurndose de que se
ejecute bien, y ayudando a asegurar el aprovechamiento de los resultados.

Involucrar a investigadores locales. Un buen lugar para comenzar sera con
aquellos involucrados en el PRSP, ya que es muy probable que tengan acceso al
gobierno y comprendan los temas y el contexto.

Desarrollar capacidad de evaluacin de impacto (especialmente en lo que respecta
al trabajo analtico) dentro del gobierno no slo proporcionar beneficios en
cuanto a la calidad de evaluacin (por ejemplo, un mejor entendimiento del
contexto institucional y la implementacin) pero tambin ayudar a fomentar
apoyo para evaluaciones futuras.

Si es posible, conseguir participacin de individuos de alto perfil en el Banco que
apoyen este dilogo con el gobierno.

Facilitar acceso a recursos humanos de alta calidad - facilitar lo ms posible que
las contrapartes puedan entregar una evaluacin de impacto de alta calidad. Si Ud.
no puede identificar los recursos por s mismo, consulte algunas de las fuentes en
las secciones sobre apoyo mencionadas anteriormente.

17

Investigue acerca de costos y opciones de fondos antes de hablar con el gobierno
acerca de la evaluacin. Piense en los posibles derrames positivos que generar la
evaluacin (por ejemplo, datos acerca de poblaciones de inters).

Si es aplicable, proporcionar resultados provisionales a los clientes. Adems de
manterner a tanto al cliente acerca de la direccin de la evaluacin, stos pueden
ser utilizados para MID-TERM correcciones de polticas si se justifican.


Cuando los resultados estn listos...

Hacer advertencias claras, directas, y repetidamente - sto ser importante para
asegurar que los resultados sean interpretados correctamente.

El momento en que se emiten los resultados es importante. Entienda el ciclo de
toma de decisiones polticas domsticas y emita sus resultados en el momento en
que sea til para maximizar el impacto sobre las polticas.

No sorprenda a los actores claves. Es aconsejable anticiparles los resultados antes
de que se divulguen ampliamente.

Proporcionar orientacin constructiva en lo referente a polticas. La identificacin
de la magnitud del impacto y los efectos en distintos grupos es slo el primer
paso. La discusin sobre las implicancias de las polticas que provienen
directamente de los resultados de la evaluacin ayudarn al gobierno a identificar
las mejores formas de poner en uso los resultados de la evaluacin.

Comunicar en distintos formatos (tcnicos, menos tcnicos) a diferentes
audiencias, dentro y fuera del gobierno.
18

Apndice 2
Convirtiendo a una evaluacin de impacto en un
producto del Banco


Notar que sta es una reimpresin del DEC-OPCS Implementando Evaluaciones de
Impacto en el Banco Mundial: Nota de Gua

Como parte de la agenda de resultados, el Banco ha hecho esfuerzos importantes
por expandir y ahondar las evaluaciones de impacto. A travs de la iniciativa de
Desarrollo de la Evaluacin de Impacto (DIME), ha proporcionado coordinacin y
facilitacin a unidades y staff del Banco involucrados en actividades de evaluacin de
impacto. En reconocimiento de esta nueva tendencia, OPCS estableci a la IE como una
nueva lnea de producto. Esta nota proporciona orientacin al staff acerca de la
implementacin de esta nueva lnea de producto.

Trasfondo

El nfasis realzado en el monitoreo y la evaluacin de programas es un aspecto
clave de los enfoques de desarrollo asistencial basados en resultados ste es un desafo
multifactico que involucra una amplia gama de actividades: desde el monitoreo y la
evaluacin del progreso en la implementacin de programas, hasta la medicin de
cambios en resultados y la evaluacin del impacto de intervenciones especficas sobre
esos el Banco Mundial est tomando medidas para expandir y mejorar su propio enfoque
sobre estas actividades de monitoreo y evaluacin.
Entre el material acerca de los enfoques de evaluacin, las evaluaciones de
impacto tienen un rol importante. Su objetivo es evaluar los resultados especficos
atribuibles a una intervencin particular (por ejemplo, el incremento en el aprendizaje
estudiantil como resultado de un cambio en el arreglo de contratos o mayores ingresos
entre micro-emprendedores como resultado del mejoramiento en el acceso a crditos). Lo
logran usando un contrafactual que representa el estado hipottico que hubieran
experimentado los beneficiarios sin la intervencin. Desde ese punto de vista, las
evaluaciones de impacto son un instrumento esencial para poner a prueba enfoques
especficos que abordan desafos de desarrollo (por ejemplo, reducir la mortalidad infantil
o incrementar la productividad de granjeros pobres). Las evaluaciones proporcionan un
instrumento poderoso para determiner qu funciona y qu no, y constituyen as un medio
fundamental para aprender acerca de intervenciones de desarrollo efectivas. Al mismo
tiempo, particularmente cuando se llevan a cabo de manera comparable y consistente a
travs de los pases, las evaluaciones de impacto pueden proporcionar puntos de
referencia necesarios para el diseo de programas y monitoreo.
En el pasado, dichas evaluaciones estaban limitadas por la falta de datos y los
desafos tcnicos para desarrollar un contrafactual. Durante los ltimos aos, sin
embargo, mejoras significativas en estas dos reas han hecho que las evaluaciones de
impacto sean ms fciles de implementar de manera sistemtica: los mircro datos
recogidos a travs de encuestas demogrficas, de salud, o de hogares se encuentran ms
19

disponibles y una se ha desarrollado una amplia gama de tcnicas de evaluacin para
construir el contrafactual desde experimentos aleatorizados hasta tcnicas cuasi
experimentales.
Box 1: Mtodos de evaluacin
Existen dos enfoques bsicos para construir el contrafactual. Diseos experimentales (tambin
llamados diseos de control aleatorizados) construyen el contrafactual a travs de una seleccin de
tratamiento aleatorizada y grupos de control. Dados tamaos apropiados de muestras, el proceso
de seleccin aleatorizada asegura la equivalencia entre el tratamiento y los grupos de control, tanto
en caracteristicas observables como no observables. El otro enfoque, de diseos cuasi-
experimentales (tambin llamados diseos no-experimentales), se basa en modelos estadsticos o
caractersticas de diseo (que a veces generan experimentos naturales, no planeados) para
construir un contrafactual e incluir enfoques tales como el diseo de discontinuidad en la
regresin, pareo de propensin de resultados, y variables instrumentales. En la prctica, los
mtodos cuasi-experimentales son mucho ms comunes que los diseos de control aleatorizados.

Gua para implementar actividades de evaluacin de impacto

La Evaluacin de Impacto (IE) es una nueva lnea de productos que ha sido
establecida bajo el paraguas de AAA. Otras lneas de producto en la familia AAA son:
Trabajo Econmico y Sectorial, Asistencia Tcnica, Coordinacin de Donantes y Ayuda,
Servicios de Investigacin, y el Informe Sobre el Desarrollo Mundial.
Para calificar como IE, una actividad debe cumplir con el siguiente criterio:
(i) Involucrar trabajo emprico para medir los efectos en un conjunto de resultados
clave de una intervencin de desarrollo (que puede estar asociada por ejemplo a
un gobierno o un programa/proyecto de una ONG o uno de sus componentes)
relativo a un contra-factual bien especificado (por ejemplo, cul hubiera sido la
evolucin de los resultados sin la intervencin). La intervencin a ser evaluada no
necesita recibir apoyo econmico directo del Banco Mundial para calificar para
ser una evaluacin de impacto apoyada por el Banco.
(ii) Apuntar a informar a un cliente externo. Los clientes externos tpicamemte
son los prestatarios del banco, pero tambin estn incluidos otros pases
miembros, donantes, ONGs, organizaciones del sector privado en pases en
desarrollo, u otros miembros de la comunidad de desarrollo. Los clientes externos
no estn necesariamente basados en el pas donde el proyecto se est llevando a
cabo.
(iii) Conduce a un informe libre incluso cuando ste est unido a la preparacin
y/o la supervisin de un proyecto/programa financiado por el Banco. El informe
debe ser iniciado por una unidad especfica del Banco.
Hay diferencias importantes entre la IE y otros productos existentes del Banco:
Diferencia entre Trabajo Econmico y Sectorial (ESW) e IE: ESW es un anlisis
emprendido expresamente con la intencin de influir en las polticas de un cliente
20

externo y programas. Por otra parte, la IE tiene el objetivo ms limitado de
establecer, por un anlisis riguroso, los cambios de los resultados que pueden ser
atribuidos a una intervencin especfica (el proyecto, el programa, o las polticas).
Estos resultados eventualmente podran conducir a recomendaciones de polticas
(a travs de otro instrumento del Banco) para el pas o para otros clientes
externos, pero no es el objetivo de la IE.
Diferencia entre IE y TA: En una TA no prestataria, el Banco puede apoyar una
evaluacin de impacto conducida por un gobierno, proporcionando slo consejo
tcnico sobre cmo conducir ciertos componentes de una evaluacin de impacto o
desarrollando la capacidad del pas para conducir evaluaciones de impacto. Bajo
una actividad codificada IE, el Banco est activamente comprometido con todos
los aspectos de la IE, y provee un resultado final incluso cuando es realizado
conjuntamente con otras agencias (incluyendo gobiernos).
Diferencia entre las evaluaciones de IE e IEG: La responsabilidad primaria del
IEG es evaluar las operaciones del Banc ex - post a lo largo de muchas
dimensiones - por ejemplo, la importancia de cada operacin y su alineacin
dentro de la estrategia de desarrollo de un pas, el grado al cual los objetivos de
las operaciones han sido alcanzados y son sostenibles. Una IE procura evaluar el
impacto de una intervencin sobre la base de un contrafactual slido, sin importar
si la intervencin es apoyada econmicamente por un Banco o no.

Se espera que el procesamiento de una IE incluya los siguientes pasos:
(i) Crear el Resmen de Iniciacin de Actividad (AIS) en SAP. Los gerentes
designados (tpicamente el Director de Pas y el Gerente de Sector) aprueban la
actividad y la autoridad del VPU libera los fondos. En este momento la fecha de
aprobacin del AIS se actualiza automticamente en SAP. En el resumen de
Iniciacin de Actividad (AIS), los TTLs deben seleccionar al menos un Objetivo
de Desarrollo (DO) que representa el objetivo al emprender una IE en particular y
el/los indicador(es) del resultado relacionados, que especifican los resultados
provisionales asociados con el objetivo de desarrollo. En general, cada evaluacin
de impacto necesita una AIS separada. Sin embargo, donde un agrupamiento de
varias evaluaciones se justifica (por ejemplo, la evaluacin de los componentes
diferentes de un programa, o la evaluacin de impacto sobre varios resultados),
ellos pueden ser agrupados bajo un solo AIS. Una IE es considerada un producto
conjunto si (a) su preparacin involucra substanciales contribuciones financieras o
en especie, cubriendo 10 por ciento o ms del costo del producto, de al menos un
donante multi o bilateral y (b) esa agencia acepta el producto como tal junto con
el Banco, como ha sido sealado en el documento de concepto y el informe
eventual. El lder del equipo debe documentar la naturaleza al completar en la

2
El apoyo sustancial de un Fondo Fiduciario no califica automticamente al producto como una IE
conjunta, a menos que el donante del Fondo Fiduciario tambin acepte el resultado como un producto
conjunto. Este apoyo se seala en la tapa u otra parte del informe.
21

AAA conjunta en el AIS/AUS. OPCR evaluar regularmente todos los
productos IE en la fase AIS/AUS y chequear que las actividades estn
correctamente codificadas. El equipo OPCR podr contactar al lder del equipo de
tareas para solicitar mayor informacin sobre la IE si es necesario.

Preparar la Nota de Concepto. En general, una Nota de Concepto cubre: (a) el
racional; (b) los objetivos y la metodologa; (c) el impacto que se espera del
trabajo; (d) la composicin del equipo y los recursos (Banco, socios, cliente,
incluyendo Fondos Fiduciarios); (e) la diseminacin/el plan de seguimiento, y (f)
el cronograma.

(iii) Evaluacin de Pares/mejoramiento de Calidad. La actividad de IE require
de una evaluacin de pares/mejoramiento de calidad. Una lista de evaluadores
pares recomendados estar a disposicin del staff. Se espera que los VPUs
definan las especificaciones de los mecanismos de mejoramiento de calidad (esto
es, naturalieza del proceso de evaluacin para los documentos de concepto e
informes de evaluacin final y responsabilidades especficas), como para
cualquier producto AAA.

(iv) Documentar mojones claves. TTLs deben ingresar cada mojn (milestone).
Comienzo de Implementacin de Actividad/Nota de concepto (esto es, la fecha
cuando el equipo inicia el verdadero desarrollo del producto o la fecha cuando la
nota de concepto sea evaluada o aprobada) en el Resmen de Actualizacin de
Actividad (AUS) en SAP. Tambin deben actualizar el verdadero mojn de
Entrega al Cliente y Entrega Final (esto es, la la fecha en que el informe de la
evaluacin final es aprobado por el gerente designado y se la entrega para ser
publicada).

(v) Publicacin y Diseminacin. Al momento de la entrega final, el informe de
evaluacin se presenta para publicacin en la Serie de Documentos de trabajo de
Evaluacin de Impacto de Desarrollo del Banco Mundialcon pleno
reconocimiento de la unidad que origin el trabajo y el equipo. Esta nueva serie
ser coordinada por la oficina del Economista J efe (DECVP) y tendr su propio
comit asesor que ser responsable de evaluar la solidez de la metodologa de la
IE antes de autorizar su publicacin. La diseminacin de los resultados del
informe de evaluacin contina siendo la responsabilidad de los TTLs, quienes
deben archivar en IRIS todo el material de diseminacin (lista de participantes,
presentaciones, agenda, puntos de conversacin, minutas de la reunin, etc).

(vi) Crear el Resmen de Finalizacin de Actividad (ACS) en SAP. Los
procedimientos ACS requieren que el lder del equipo de tareas ingrese un ACS
en SAP para la IE. El ACS debera completarse dentro de los seis meses desde la
entrega al cliente, siempre que todas las tareas asociadas con la actividad se hayan
completado. Los gerentes designados aprueban la ACS y la fecha actualizacin de
ACS se llena automticamente en SAP. En el Resmen de Finalizacin de
Actividad (ACS), los TTLs deben evaluar los indicadores de resultado para cada
22

DO seleccionado, reflejando en qu medida se logrado (plenamente, en gran
parte, parcialmente, no).

(vii) Recursos a disposicin del staff involucrado en actividades de IE. El staff
involucrado en actividades de IE tiene acceso a una serie de iniciativas de apoyo:
(i) una nmina de evaluadores pares recomendados; (ii) una nmina de
consultores externos expertos en evaluaciones de impacto; (iii) una base de datos
interactiva de evaluaciones de impacto de proyectos apoyados por el Banco, que
cubre mtodos y resultados, (iv) recursos de aprendizaje (incluyendo materiales
de guas tcnicas, notas sobre mtodos de evaluacin especficos del sector,
material de entrenamiento, y otros recursos relevantes) y (v) clnicas de
evaluacin. Todo esto puede accederse a travs de una pgina web
(www.worldbank.org/impactevaluation)

23

Apndice 3
Costos ilustrativos de una evaluacin de impacto


Este anexo proporciona algunas nociones de cifras para la variedad de actividades
que una evaluacin de impacto puede incluir. Finalmente, todos los costos y
especialmente aquellos de la recoleccin de datos dependern del mtodo utilizado para
la evaluacin de impacto. Tambin es probable que los fondos disponibles afecten la
eleccin del mtodo. Ms an, la recoleccin de datos y los costos de consultores puede
variar significativamente segn los pases. Estas cifras son puramente ilustrativas, y las
experiencias individuales sern variadas.

Algunos componentes bsicos sern:

1. Evaluador Lder (debe ser la misma persona desde la pre-preparacin hasta el anlisis
posterior a la finalizacin). Este individuo ser responsable de evaluar el diseo de la
evaluacin, del diseo del instrumento de encuesta, y el anlisis de datos. Si el LE es
externo al banco: Para un investigador senior, alrededor de $50-100,000 para honorarios
profesionales ms costos de viaje (se estima que constar de al menos tres viajes, uno de
los cuales ser durante la preparacin). Si el investigador es interno al Banco: estimar
unas 5-15 semanas de staff por ao. Un tema para considerer son los procedimientos
que regulan la contratacin de los mismos consultores en la preparacin y durante la
implementacin. El evaluador lder deber estar involucrado en todas las etapas del
proyecto.

2. Experto en diseo de muestra, aproximadamente $3,000 en honorarios profesionales
ms gastos de viaje (un viaje). Es muy probable que este costo ocurra durante la
preparacin.

3. Recoleccin de datos: contratar a la agencia nacional de estadsticas o una empresa de
encuestas. La eleccin depender de la capacidad de la empresa y la experiencia relativa
al tamao de la muestra deseada. Si la evaluacin requiere de una encuesta aparte, el
costo depender del tamao de la muestra, el largo del cuestionario, y la dispersin
geogrfica de la muestra. Los costos por entrevista pueden variar entre $50 y $150 por
persona que responde por entrevista. Por ejemplo, una muestra del tamao de 1,000
hogares costar, por dos vueltas de recoleccin de datos, desde $100,000 hasta $300,000.
Si es posible apoyarse sobre una encuesta existente, el costo ser menor

4. Supervisin por la duracin de la evaluacin. Debera ser un consultor basado
localmente, que cubra todos los aspectos de la implementacin de la evaluacin. Los
costos pueden variar desde $12,000 hasta $20,000 por ao.

5. Los costos de supervisin provenientes del Presupuesto del Banco debern tenerse en
cuenta. Esto probablemente incluir un viaje por ao, y podr combinarse con otras
actividades, dependiendo de quin del equipo del Banco est supervisando la evaluacin.

24

6. Diseminacin de los resultados provisionales y finales. Esto incluir dos viajes, ya sea
de las contrapartes a la sede, o del equipo de evaluacin al pas.
25

Fuentes de financiamiento:

Los items 1 y 2 requerirn de fondos de preparacin de proyecto para todo el
trabajo que tenga lugar antes de la aprobacin. El financiamiento por donaciones (o el
uso del cdigo IE dentro del BB presupuesto del Banco) es necesario para proveer de
fondos a las etapas posteriores del trabajo del Evaluador Lder (las cuales probablemente
se extendern ms all del proyecto).

Los items 3 y 4 pueden ser financiados a travs de fondos del proyecto para
actividades dentro del ciclo del proyecto. En el caso de recoleccin de datos fuera del
ciclo de proyecto, se debern usar otras fondos o donaciones del gobierno.

El item 6 requiere de una donacin para financiaminto o presupuesto del Banco
(posiblemente a travs del cdigo de IE).

26