DEPARTAMENTO DE EVALUACIN DE OPERACIONES

Lecciones y prcticas
DISEO DEL SISTEMA
DE SEGUIMENTO
Y EVALUACIN
DE LOS PROYECTOS
Volumen 2, Nmero 8

NDICE
Definiciones ........................................................... 1
Necesidad de un seguimiento
y una evaluacin eficaces ................................... 1
Diseo del sistema de S y E: cinco componentes ..... 2
Experiencia en materia de ejecucin ..................... 16
DISEO DEL SISTEMA DE SEGUIMENTO
Y EVALUACIN DE LOS PROYECTOS
Definiciones
Se entiende por seguimiento la evaluacin continua de la ejecucin
de los proyectos en relacin con un programa acordado, y de la
utilizacin de insumos, infraestructura y servicios por parte de los
beneficiarios del proyecto. El seguimiento:

Proporciona informacin constante Al acabar el proyecto, se deben

a los administradores y otros
interesados, retroalimentando la
ejecucin del proyecto.
Permite identificar, con la mayor
prontitud posible, xitos y dificultades
reales o potenciales, para facilitar la
oportuna modificacin de la operacin
del proyecto.
La evaluacin consiste en la
valoracin peridica de la
pertinencia, los resultados, la
eficiencia y el impacto (previsto e
imprevisto) de un proyecto en
relacin con objetivos
preestablecidos:
Durante la ejecucin, los
administradores del proyecto llevan a
cabo evaluaciones provisionales, a
modo de anlisis inicial del proyecto,
para pronosticar los efectos probables
del mismo y para identificar los
ajustes necesarios en el diseo del
proyecto. En la ltima dcada se ha
generalizado rpidamente la
utilizacin de evaluaciones de mitad
de perodo de los proyectos en
ejecucin.
realizar evaluaciones terminales para
la elaboracin de informes de
finalizacin del proyecto. Estos
informaes comprenden la evaluacin
de los efectos del proyecto y de su
potencial sostenibilidad.
Necesidad de un seguimiento
y una evaluacin eficaces
La labor de seguimiento y evaluacin
(S y E) constituye una actividad
valorada cada vez ms ampliamente
como un instrumento indispensable de
gestin de los proyectos y de la cartera.
La reconocida necesidad de mejorar los
resultados de la asistencia para el
desarrollo lleva a prestar atencin ms
estrecha al suministro de informacin
gerencial tanto para respaldar la
ejecucin de los proyectos y
programas, como para brindar
informacin de retroalimentacin para
el diseo de nuevas iniciativas.
La labor de S y E tambin sirve de
base para hacer efectiva la
responsabilidad en el uso de los
recursos destinados al desarrollo. Dada
la mayor transparencia que ahora se
espera de la comunidad del desarrollo,

Lecciones y prcticas 1
los gobiernos y los organismos que los
asisten tienen que responder a las
exigencias de un mayor xito sobre el
terreno proporcionando ejemplos del
impacto en materia de desarrollo y
demostrando que disponen de sistemas
que respalden un aprendizaje logrado a
travs de la experiencia.
Utilizados cuidadosamente en todas
las etapas del ciclo de los proyectos,
el seguimiento y la evaluacin pueden
ayudar a reforzar el diseo y la
ejecucin de los proyectos y estimular
la formacin de asociaciones de
esfuerzos con interesados en los
mismos. Esas actividades pueden:
Influir sobre la estrategia de
asistencia sectorial. A travs de
anlisis pertinentes que surjan de la
evaluacin de proyectos y polticas se
pueden destacar los resultados de
medidas de intervencin anteriores,
as como las virtudes y defectos de su
ejecucin.
Mejorar el diseo de los proyectos.
La utilizacin de instrumentos de
diseo de proyectos tales como el
marco lgico, da lugar a una
seleccin sistemtica de indicadores
para el seguimiento de los
resultados de los proyectos. El
proceso de seleccin de indicadores
para el seguimiento pone a prueba
la solidez de los objetivos del
proyecto y puede mejorar el diseo
de los mismos.
Tener en cuenta las opiniones de los
interesados. Se comprende cada
vez con mayor claridad que la
participacin de los beneficiarios de
un proyecto en su diseo y
ejecucin logra que dichos
2 Lecciones y prcticas
beneficiarios se comprometan en
mayor medida con los objetivos del
proyecto y aumenta la
sostenibilidad de los beneficios.
Esta participacin fomenta una
mayor responsabilidad. Los
objetivos deben establecerse y los
indicadores deben seleccionarse en
consulta con los interesados, en
procura de una identificacin
compartida de los objetivos y las
metas. Este compromiso se refuerza
cuando se logran beneficios en una
etapa incipiente. Asimismo, la
deteccin temprana de problemas
que se presenten permite adoptar
medidas correctivas antes de que
los costos sean mayores.
Revelar la necesidad de
correcciones a mitad del trayecto.
Una corriente de informacin
confiable durante la ejecucin
permite a los administradores
realizar el seguimiento del avance
logrado y reajustar las operaciones
teniendo en cuenta la experiencia.
Diseo del sistema de S y E:
cinco componentes
Lograr un adecuado diseo de S y E
durante la preparacin del proyecto
constituye una labor mucho ms
amplia que la mera preparacin de
indicadores. Un adecuado diseo tiene
cinco componentes, que se examinan
sucesivamente a continuacin:
Claros enunciados de objetivos
mensurables para el proyecto y sus
componentes, para los cuales
puedan definirse indicadores.
Un conjunto estructurado de
indicadores que comprenda la
 produccin de bienes y servicios
generados por el proyecto y sus
repercusiones sobre los
beneficiarios.
Medidas referentes a la
recopilacin de datos y al manejo
de los registros del proyecto, a fin
de que los datos requeridos por los
indicadores sean compatibles con
las estadsticas existentes y puedan
obtenerse a un costo razonable.
Convenios institucionales para la
recopilacin, anlisis e informacin vinculados directamente con
de datos del proyecto e inversin en
creacin de capacidad con el fin de
respaldar al servicio de S y E.
Propuestas referentes a los
mecanismos que permitan la
retroalimentacin de las
conclusiones de la labor de S y E en
el proceso de adopcin de
decisiones.
La presencia de esos cinco
componentes ayuda a asegurar que la
labor de S y E es pertinente, dentro de
los lmites de capacidad de las
instituciones prestatarias, y puede
utilizarse eficazmente.
Objetivos de los proyectos
Los proyectos son diseados para
alcanzar objetivos sectoriales a largo
plazo, pero, como mnimo, sus
objetivos inmediatos deben poder
medirse fcilmente. As, por ejemplo,
podra disearse un proyecto de salud
para alcanzar los objetivos sectoriales
de reduccin de la mortalidad infantil
y de la incidencia de enfermedades
infecciosas, pero teniendo como
objetivo mensurable inmediato
brindar un acceso ms equitativo a
Lecciones y prcticas
los servicios sanitarios. Los objetivos
deben tener especificidad con respecto
a las medidas de intervencin de los
proyectos; deben ser realistas en
relacin con el marco cronolgico de
ejecucin de los mismos, y deben ser
mensurables a los efectos de la
evaluacin.
En el Proyecto Distrital de
Educacin Primaria de la India, por
ejemplo, los objetivos se establecen a
nivel de distrito en enunciados claros
indicadores.
Creacin de capacidad: Los
equipos de subproyectos de distritos
seran plenamente operativos y
ejecutaran actividades de
subproyectos e informaran
trimestralmente sobre el avance
logrado. Los equipos en servicio
estaran en funcionamiento, con
personal y equipos ampliados, y
brindaran respaldo en materia de
planificacin y administracin,
capacitacin en servicio de
docentes, elaboracin de material
didctico y evaluacin de
programas.
Reduccin de la desercin y
mejores logros didcticos: Las
organizaciones acadmicas y
comunitarias estaran en pleno
funcionamiento en por lo menos la
mitad de los centros de enseanza y
las tasas de desercin se reduciran
a menos del 10%. En el ltimo ao
de enseanza primaria los logros
pedaggicos en materia de lenguaje
y matemticas se incrementaran un
25% con respecto a las
estimaciones de lnea de base.
3
 Acceso ms equitativo. Las
disparidades de inscripcin por
gneros y castas se reduciran a
menos del 5%.
Los objetivos de un proyecto pueden
definirse con mayor precisin al
determinar los mecanismos para
medirlos (por ejemplo, qu indicadores
permiten determinar la equidad del
acceso) y analizando cmo las
actividades de los componentes
conducen a esos objetivos. De este
modo, el diseo de las actividades de S
y E contribuye directamente a la
calidad de los proyectos cuando stos
ingresan en la cartera.
La calidad de un nuevo proyecto
depende tambin de que los interesados
estn identificados con el mismo y del
conocimiento del alcance y las
limitaciones de las actividades del
proyecto. En el contexto de la labor de
seguimiento puede ser necesario
obtener informacin sobre las medidas
de respaldo que probablemente han de
afectar al xito del proyecto. El
anlisis de los problemas constituye un
mecanismo que puede ayudar a
identificar las medidas de ese tipo
(vase el Recuadro 1).
Indicadores estructurados
Los indicadores permiten establecer los
detalles cuantitativos y cualitativos de
un conjunto de objetivos. Se trata de
enunciados sobre la situacin que
existir cuando se alcance un objetivo.
La capacidad de definir un indicador
en consulta con los interesados y
convenir en el valor y la oportunidad
de lograr un objetivo demuestra que los
objetivos del proyecto han sido
4 Lecciones y prcticas
enunciados claramente, son
comprendidos y cuentan con respaldo.
Ese acuerdo guere responsabilidad.
Para disponer de informacin sobre
el progreso logrado ya desde las
primeras etapas de ejecucin y a lo
largo de todo el ciclo del proyecto es
necesario estructurar indicadores. El
enfoque de marco lgico del diseo de
los proyectos da lugar a una
estructura eficiente, al postular una
jerarqua de objetivos para los cuales
se requieren indicadores. Es
necesario conocer su terminologa en
el contexto del sector al que se
aplican, pero en el cuadro siguiente se
ilustran los trminos ms
comnmente usados.
Objetivos Tipos de
de los proyectos indicadores
Meta Impacto
Finalidad Resultados
o efectos
Productos Productos
Actividades Proceso
Insumos Insumos
La informacin referente a los
indicadores de insumos proviene en
gran medida de registros contables y de
administracin. Los indicadores de
insumos suelen dejarse al margen de
los anlisis de seguimiento de los
proyectos, aunque forman parte del
sistema de informacin gerencial. Se
requiere un adecuado sistema contable
para mantener informacin sobre el
gasto y suministrar datos de costos para
el anlisis de los resultados en materia
de productos. Los indicadores de
insumos son utilizados principalmente
 Recuadro 1:
Anlisis de problemas

Los objetivos de los proyectos deben estructurarse de modo que exista

correspondencia con el anlisis de los problemas que se tratan de superar a travs
de los mismos. El anlisis de los problemas es una tcnica de prospeccin de ideas
en que los interesados identifican las causas y los efectos de los problemas. Los
diagramas de rbol permiten presentar el anlisis visualmente en forma resumida.
Luego se estructuran los objetivos del proyecto de modo de resolver esos
problemas, lo que puede representarse como una imagen en el espejo del diagrama
de rbol del problema. Los problemas que el proyecto no pueda enfrentar
directamente pero que haya que resolver para alcanzar las metas son objeto de
otras estrategias, o se convierten en riesgos para el proyecto si no se adopta
medida alguna.
Alta tasa de fracaso
Efecto de compaas
RBOL DE PROBLEMAS
recientemente
privatizadas

Productos Deficiente
Crisis de efectivo
no orientados administracin
por falta de capital
a la demanda financiera
de explotacin
Causa del mercado interna

El proyecto ofrece
El proyecto sostiene El proyecto prepara RIESGO
cursos de
consultoras cursos de El proyecto
capacitacin en
en investigaciones capacitacin en no cubre el
investigaciones de
de mercado administracin financiamiento
mercado

Medios Las medidas

Eficaces
Mejoramiento referentes al
investigaciones de
de la administracin financiamiento
mercados y
financiera interna pueden afectar al
consumidores
xito del proyecto

Reduccin de la tasa
de fracasos en las
RBOL DE OBJETIVOS compaas
Fines
privatizadas

Las medidas necesarias para alcanzar los beneficios del proyecto que este ltimo
no pueda realizar directamente deben ser objeto de un seguimiento tan estrecho
como las actividades del proyecto, e inclusive pueden formar parte de las
condiciones del prstamo. Son ejemplos la modificacin de la legislacin o la
adopcin de medidas por parte de otras entidades pblicas. En el marco lgico
esos ejemplos apareceran como supuestos importantes.

Lecciones y prcticas 5
por los administradores que mantienen
una relacin ms prxima con las
tareas de ejecucin, y se consultan
frecuentemente: a veces a diario, o
semanalmente. Ejemplos: costos de
operacin de vehculos para el servicio
de extensin de cultivos; niveles de
aportes financieros del Estado o de
fuentes de cofinanciamiento;
designacin de funcionarios; suministro
de edificios; estado de la legislacin
habilitante.
Los indicadores de procesos miden lo
que sucede durante la ejecucin. Con
frecuencia se tabulan como conjunto de
obras contratadas terminadas, o hitos
extrados de un plan de actividades.
Ejemplos: fecha en que debe realizarse
el despeje del lugar de construccin de
un edificio; fecha de vencimiento del
plazo de entrega de fertilizantes a
almacenes de establecimientos
agropecuarios; nmero de dispensarios
de salud que declaran actividades de
planeamiento familiar; nmero de
mujeres que reciben asesoramiento en
anticonceptivos; estado de la
adquisicin de libros de texto escolares.
Los indicadores de productos
muestran los productos fsicos y
financieros inmediatos del proyecto:
cantidades, fortalecimiento
institucional, flujos iniciales de
servicios. Comprenden medidas de
desempeo basadas en el costo de los
coeficientes operativos. Ejemplos:
kilmetros de carreteras para todo
tiempo construidos al finalizar el mes
de septiembre; porcentaje de
productores rurales que asisten a un
lugar de demostracin de cultivos
antes de que se ponga la capa
superior de fertilizantes; nmero de
6 Lecciones y prcticas
docentes capacitados en utilizacin de
libros de texto; costo por kilmetro de
construccin de caminos; rendimiento
por hectrea de los cultivos, relacin
entre el nmero de libros de texto y el
de alumnos; tiempo que se requiere
para tramitar una solicitud de crdito;
nmero de demostraciones realizadas
por trabajador de extensin; etapas
del proceso de establecimiento de
asociaciones de usuarios de agua.
El impacto se refiere a la variacin a
mediano o largo plazo en materia de
desarrollo. (Algunos autores hacen
referencia tambin a una categora
adicional de indicadores de resultados,
relacionados ms especficamente con
las actividades del proyecto que los
indicadores de impacto, que pueden
consistir en estadsticas sectoriales y
mantener una relacin ms estrecha
con el efecto directo de los resultados
de los proyectos para los beneficiarios.)
Para medir el cambio frecuentemente se
requieren complicadas estadsticas
sobre el bienestar econmico o social,
cuya elaboracin depende de datos
recopilados por los beneficiarios.
Pueden obtenerse indicadores
tempranos de impacto mediante
encuestas de percepciones de los
beneficiarios con respecto a los
servicios del proyecto. Este tipo de
indicador de orientacin tiene dos tipos
de beneficios: el hecho de que se
consulte a los interesados y de que
puedan detectarse tempranamente los
problemas que puedan suscitarse.
Ejemplos de impacto: (en salud)
incidencia del bajo peso al nacer;
porcentaje de mujeres que padecen
anemias moderadas o graves; (en
educacin) tasas de continuacin de
educacin primaria a secundaria, por
sexos; proporcin de nias que
completan la educacin secundaria; (en
silvicultura) porcentaje de disminucin
del rea de la cosecha; porcentaje de
aumento de los ingresos de los hogares
a travs de la venta de productos de
madera y de otro tipo. Ejemplos de
percepciones de los beneficiarios:
proporcin de los productores rurales
que hayan probado una nueva variedad
de semillas y se propongan volver a
utilizarlas; porcentaje de mujeres
satisfechas con la asistencia sanitaria
por maternidad que reciben. (Vase el
Recuadro 2.)

Recuadro 2:
Ejemplo de indicadores estructurados

El siguiente ejemplo, correspondiente a Filipinas, proviene de un componente de

reduccin de la prevalencia del cncer cervical en el marco del Proyecto de Salud
de la Mujer y Maternidad Segura.

Insumos
Nmero de mquinas de crioterapia adquiridas y entregadas
Cantidad de medicamentos, reactivos y suministros mdicos adquiridos y
entregados
Nmero de proveedores de asistencia sanitaria capacitados en tratamiento del
cncer cervical, por tipos de proveedores y capacitacin
Proporcin de proveedores de asistencia sanitaria que pueden realizar pruebas
de Papanicolau, biopsias cervicales, histerectomas y crioterapia, por tipos de
proveedores
Nmeros y meses-funcionario de asistencia tcnica suministrada

Proceso
Porcentaje de mujeres de ms de 35 aos sometidas a por lo menos una prueba
de Papanicolau
Nmero de casos detectados
Nmero de biopsias cervicales realizadas por lesiones sospechosas
Nmero de procedimientos de crioterapia realizados en relacin con el cncer
invasivo temprano
Nmero de histerectomas simples y radicales realizadas

Productos
Proporcin de mujeres con acceso a servicios de tratamiento del cncer cervical
Porcentaje de mujeres que han recibido tratamiento eficaz contra el cncer,
conforme a protocolos o normas

Impacto
Disminucin de:
- la incidencia del cncer invasivo
- los fallecimientos a causa del cncer cervical

Lecciones y prcticas 7
 Recuadro 3:
Indicadores, en orden jerrquico

Nivel
de objetivos Carcter de los indicadores Responsabilidad

Meta Pruebas estadsticas a largo plazo Organismos nacionales

de repercusiones del proyecto y sectoriales

Objetivo Encuestas sociales y econmicas Evaluadores del proyecto

de resultados y efectos de los o evaluadores independientes
proyectos
Indicadores de orientacin que Personal del proyecto
brindan alerta temprana sobre las
percepciones de los beneficiarios
y su reaccin frente al proyecto

Productos Registros administrativos Personal del proyecto

Informacin interna

Actividades Administracin de tareas de Personal del proyecto

procesos del proyecto
Contabilidad financiera
Registros administrativos
de avance

Insumos Contabilidad financiera Personal del proyecto

Registros administrativos
de recursos disponibles y
utilizados

La clasificacin de los objetivos del cargo de la administracin del

proyecto por niveles destaca el hecho
de que la administracin deber
elaborar sistemas que proporcionen
informacin a todos los niveles: desde
contabilidad bsica hasta estadsticas
con respecto a los objetivos del
proyecto. El Recuadro 3 muestra el
contenido y la localizacin de la
responsabilidad por los indicadores en
cada nivel en el marco lgico.
El control de las actividades y sus
resultados o productos directos est a
proyecto, y en gran medida puede
realizarse mediante tareas internas de
mantenimiento de registros y anlisis.
La mayor parte de los indicadores de
insumos, procesos y resultados se
generan en el marco de la
administracin del proyecto.
En contraposicin, el logro de los
objetivos del proyecto depende
normalmente de la reaccin de los
beneficiarios con respecto a los bienes o
servicios suministrados por el proyecto.

8 Lecciones y prcticas
Para obtener elementos de juicio sobre
su reaccin y sobre los beneficios que
obtienen deben realizarse consultas y
actividades de recopilacin de datos
que la administracin puede no estar en
condiciones de realizar. Es importante
determinar la reaccin previsible de los
beneficiarios frente a los servicios del
proyecto, porque los administradores
necesitarn pruebas de esa reaccin
para modificar sus actividades y
estrategias. Los indicios de que los
beneficiarios tienen acceso a los
servicios del proyecto, los utilizan y
estn satisfechos con ellos constituyen
un indicio temprano de que el proyecto
brinda servicios tiles y de que es
probable que se alcancen los objetivos
directos. Esos elementos de juicio
obtenidos a travs de investigaciones
de mercado pueden estar disponibles
antes y con mayor facilidad que las
estadsticas de impacto, como la
modificacin de la situacin sanitaria o
el aumento de los ingresos.
La informacin de las investigaciones
de mercado es un ejemplo de indicador
de orientacin sobre las percepciones de
los beneficiarios que puede revelar
tambin repercusiones sustanciales
ulteriores. Es posible identificar otros
indicadores de orientacin como alerta
temprana con respecto a supuestos
clave que afecten al impacto del
proyecto. Los ejemplos comprenderan
niveles de precios utilizados para el
anlisis econmico, factores de carga
de pasajeros en proyectos de transporte
y adopcin de prcticas de asistencia
sanitaria.
Al planificar las necesidades de
informacin de un proyecto debe
distinguirse entre el detalle necesario
Lecciones y prcticas
para la administracin cotidiana a
cargo del organismo ejecutor o, ms
tarde, para la evaluacin del impacto,
y el limitado nmero de indicadores
clave necesarios para resumir el
progreso global en los informes
dirigidos a los niveles gerenciales
superiores. Por ejemplo, durante la
construccin de pozos entubados de
aldeas, los administradores de
proyectos tendrn que mantener
registros sobre los materiales
adquiridos y consumidos, la mano de
obra empleada y los detalles de su
contratacin, el tipo de cedazo y
bomba instalados, la profundidad en
que se encuentra agua, y el coeficiente
de flujo. Los indicadores clave, en
cambio, podran consistir simplemente
en el nmero de pozos exitosamente
realizados y sus promedios de costos y
tasas de flujo.
Se denominan indicadores exgenos
los referentes a factores que escapan
al control del proyecto pero que
pueden influir sobre sus resultados,
por ejemplo, los riesgos (parmetros
identificados en el curso del anlisis
econmico, social o tcnico que
pueden comprometer los beneficios
del proyecto), y sobre los resultados
del sector en que opera el proyecto.
Como es preciso realizar el
seguimiento tanto del proyecto como
de su entorno ms amplio, debe
contarse con capacidad de recopilar
datos fuera del proyecto, lo que
representa una carga adicional para
este ltimo en materia de S y E.
Un ejemplo reciente de un proyecto
de almacenaje de granos en
Myanmar pone de manifiesto la
importancia de vigilar los indicadores
9
de riesgo. Durante la ejecucin del
proyecto, las decisiones de poltica
econmica referentes a los tipos de
cambio y al acceso directo a
compradores del exterior por parte de
molinos de arroz de propiedad
privada influyeron desfavorablemente
sobre la rentabilidad de los molinos
privados. Los encargados del
proyecto habran sido alertados sobre
el continuo deterioro de la situacin
si se hubieran vigilado
cuidadosamente esos indicadores del
sector en que operaban. Por el
contrario, el hecho de que se adoptara
un enfoque limitado referente a los
indicadores de insumos y procesos
impidi percibir la variacin
fundamental de los supuestos del
proyecto.
Es probable que la importancia
relativa de los indicadores vare
durante la ejecucin de un proyecto,
hacindose mayor hincapi
inicialmente en los indicadores de
insumos y procesos, y ms tarde en
los productos y el impacto. Se trata
de una distincin entre los indicadores
de progreso en la ejecucin y los
indicadores de resultados en materia
de desarrollo.
Recopilacin de datos
Registros de campo del proyecto. Los
indicadores de insumos y procesos
provienen de registros de
administracin de proyectos
originados en el trabajo de campo.
La calidad de los registros que se
lleven sobre el terreno establece la
norma para toda ulterior utilizacin
de los datos, y merece una cuidadosa
atencin. Los diseadores de S y E
10
deben examinar los sistemas de
mantenimiento de datos existentes y
los procedimientos de informacin
utilizados por las autoridades del
proyecto para evaluar la capacidad y
generar los datos que se necesitarn.
Al mismo tiempo deben explicar
cmo y por qu se utilizarn los
indicadores en los niveles de campo,
intermedios y superiores de
administracin del proyecto.
El diseo de los registros de campo
con respecto, por ejemplo, al nmero
de productores rurales en grupos de
extensin, personas que asisten a una
clnica o aldeanos que utilizan un
nuevo sistema de suministro de agua,
influye sobre el alcance del anlisis
posterior. La inclusin de
caractersticas socioeconmicas
simples, como la edad y el sexo,
puede mejorar considerablemente
dicho anlisis.
Un enfoque adecuado consiste en
estructurar los informes provenientes
del terreno de modo de elaborar
agregados o resmenes en etapas
intermedias. De este modo el
personal de campo puede realizar
comparaciones y mejorar el trabajo
de campo a partir de promedios o
totales de aldeas o distritos
especficos.
Encuestas y estudios. Para medir
los productos y el impacto puede ser
necesario recoger datos a partir de
encuestas de muestras o estudios
especiales (lo que comprende, cuando
es pertinente, la aplicacin de
mtodos participativos). Para
estudios de investigacin de temas
especficos pueden requerirse ms
aptitudes y una mayor capacitacin
Lecciones y prcticas
del personal de las necesarias para
una recopilacin ordinaria de datos
destinada a preparar una serie
cronolgica. Si es posible, en general
conviene montar las encuestas
ordinarias especficas de proyectos
sobre encuestas nacionales o dotadas
de respaldo internacional existentes,
en lugar de crear un nuevo servicio de
recopilacin de datos. Los estudios
especiales pueden ser manejados con
mayor eficacia por una unidad de
proyecto en forma directa, o
subcontratarse su realizacin a una
universidad o a consultores. Si los
estudios especiales se efectan con
fines de comparacin con datos de
otras encuestas, es esencial que se
utilicen los mismos mtodos para la
recopilacin de datos (vase ms
abajo).
En el plan del proyecto, las
propuestas de recopilacin de datos
para estudios deben incluir un anlisis
de:
los objetivos del estudio o encuesta
la fuente de los datos
las opciones, as como el mtodo de
recopilacin de datos que se
propone
la probable confiabilidad de los
datos.
Comparabilidad de los datos.
Algunos indicadores deseados de
impacto, como las tasas de
mortalidad, la asistencia escolar
o los ingresos familiares atribuibles
a un proyecto, pueden requerir
comparaciones con la situacin
anterior al proyecto o la existente en
zonas no abarcadas por el proyecto.
Lecciones y prcticas
Esas comparaciones pueden depender
del mantenimiento de sistemas
nacionales de estadsticas y censos o
encuestas nacionales. Antes de que se
elijan esas fuentes como indicadores
del impacto del proyecto, el diseador
debe confirmar la disponibilidad de
sistemas de datos confiables y el
hecho de que los datos sean vlidos
para el mbito administrativo en
cuestin y para eventuales mbitos de
control.
Entre los problemas que pueden
afectar a las comparaciones con datos
existentes figuran una incompleta
cobertura de la zona especfica del
proyecto, la utilizacin de diferentes
mtodos de recopilacin de datos
por ejemplo la realizacin de
entrevistas a miembros de la familia
en una encuesta y slo a jefes de
familia en otra y la modificacin
de tcnicas tales como la medicin
del resultado de la cosecha en una
encuesta y la recopilacin de
estimaciones de los productores en
otra. Los problemas de ese tipo
pueden frustrar toda comparacin
que se desee realizar para poner de
manifiesto la variacin de los
resultados. A fin de lograr la
comparabilidad necesaria para la
evaluacin, a travs de esas
propuestas debe explicarse y
justificarse el enfoque propuesto y
los mtodos deben ser mutuamente
congruentes.
Con frecuencia, la complejidad de
las estadsticas y los problemas de
determinacin del nexo causal hacen
que resulte ms apropiado utilizar la
entrega de servicios y la reaccin de
los beneficiarios como indicadores
11
representativos, en lugar de tratar de
medir el impacto (vase el Recuadro 4).
Los mtodos participatorios de
recopilacin de datos pueden permitir
conocer mejor las necesidades de la
poblacin para la planificacin y
ejecucin de proyectos, pero su
aplicacin no requiere menos
aptitudes que las encuestas basadas
en cuestionarios. Esos mtodos
consumen mucho tiempo y requieren
considerables aptitudes en materia de
comunicacin y negociacin entre los
planificadores y los participantes
(vase el Recuadro 5).
Contexto institucional; creacin de
capacidad. A travs de una labor de
S y E adecuada es probable que se
logre desarrollar la capacidad del
prestatario y construir a partir de los

Recuadro 4:
Limitaciones de los datos de las encuestas

Cambio en el sector agrcola

En el contexto de los proyectos agrcolas, Casley y Kumar (1987) examinaron las
posibilidades de medicin del cambio y de demonstrar que dicho cambio obedeci
a actividades del proyecto. Los autores llegaron a la conclusin de que, en
relacin con indicadores tales como el rendimiento de los cultivos en las
condiciones variables de una agricultura en pequea extensin con riego natural,
sera necesario mantener una serie cronolgica uniforme, de alta calidad, durante
un mnimo de nueve aos, para tener la certeza de que se est registrando una
tendencia ascendente de hasta un 12% anual.
Aunque se disponga de ese conjunto de datos, la capacidad de extraer
conclusiones causales se ver afectada por las influencias exgenas que
experimente el agricultor. Estos ltimos factores no pueden mantenerse
constantes ni aislarse de las actividades del proyecto. Es improbable que los datos
de los estudios permitan realizar una evaluacin causal rigurosa. Los autores
concluyen que las inferencias realizadas a partir de estudios de casos tienden a ser
ms eficaces.

Pobreza e ingresos de los hogares

Las dificultades que entraan las comparaciones entre una Encuesta de
Presupuesto de Hogares realizada en 1989/90 y una Encuesta Integrada de
Hogares, en 1992/93, referentes a Uganda, muestran que inclusive en condiciones
de estrecha supervisin y riguroso diseo, pequeas variaciones de formulacin
de las preguntas con respecto al consumo de los hogares, la presentacin del
formulario de la encuesta y la orientacin dada a los encuestadores pueden
dificultar las comparaciones. (Vase Appleton, 1996). Los diseadores de
encuestas de S y E deben tener en cuenta especialmente la posibilidad de realizar
comparaciones con datos existentes emanados de estudios de lnea de base o
encuestas nacionales de proyectos mediante la utilizacin de instrumentos y
mtodos comunes de realizacin de encuestas. Es improbable que la idea de que
cabe efectuar comparaciones entre datos recogidos mediante distintos mtodos
corresponda a la realidad.

12 Lecciones y prcticas
 Recuadro 5:
Varios mecanismos de medicin del impacto

Entre las propuestas de evaluacin del Programa de Inversiones del Sector

Agrcola (PISA) en Zambia figura la referente a un mtodo doble de medicin del
impacto:

Se utilizar un programa de encuestas cuantitativas para estimar el impacto del

programa sobre la produccin y el ingreso. El mismo ser administrado por la
Oficina Central de Estadstica (OCE) a partir de la muestra aleatoria anual
elaborada por esa entidad, de la que forman parte 5.000 pequeos y medianos
agricultores. Se utilizarn cuestionarios adicionales para determinar la opinin
de los agricultores con respecto a los subprogramas de PISA.
Se realizarn consultas sistemticas con los clientes para obtener informacin
de los beneficiarios previstos con respecto a la eficacia del diseo de los
subcomponentes del proyecto.

La Universidad de Zambia tendr a su cargo la gestin de las evaluaciones de

impacto y adems analizar datos referentes al desempeo del sector agrcola,
provenientes de la OCE, as como otros datos secundarios.

sistemas existentes. Se admite en destinado a cargos apropiados y

forma amplia la importancia de la
creacin de capacidad, pero a
menudo la definicin de la misma no
es adecuada. Crear capacidad
supone:
Mejorar las aptitudes en materia de
seguimiento y evaluacin, lo que
comprende anlisis de proyectos,
diseo de indicadores y sistemas de
suministro de informacin,
recopilacin de datos
socioeconmicos y gestin de la
informacin.
Mejoramiento de los procedimientos
para crear sistemas funcionales de
bsqueda y utilizacin de
informacin a los efectos de la
adopcin de decisiones.
Fortalecimiento de las instituciones
para formar personal capacitado,
responsable de sus actividades.
El diseo de las necesidades de
capacidad de S y E del proyecto debe
realizarse en el contexto de las
necesidades en materia de capacidad de
evaluacin que tengan las instituciones
sectoriales y nacionales del pas de que
se trate [vase el estudio No. 4 de la
serie de publicaciones Lessons &
Practices, Building Evaluation
Capacity (Creacin de capacidad de
evaluacin)].
Prcticamente todos los organismos
de ejecucin dispondrn de sistemas de
informacin ya existentes. A travs del
diseo de S y E debe procurarse
avanzar a partir de esos sistemas, pero
desarrollar an ms las aptitudes
tcnicas necesarias para planificar las
necesidades de informacin, disear el

Lecciones y prcticas 13
sistema de recopilacin de datos, llevar
a cabo estudios y encuestas, analizar
los datos y dar cuenta de los resultados
en un formato til para la
administracin. La mayor parte de las
unidades de S y E poseen capacidad de
reaccin rpida para investigar
problemas de ejecucin o reacciones
desalentadoras de los beneficiarios, y
recomendar medidas de correccin en
forma inmediata.
A travs de una evaluacin del flujo
de informacin y del grado de detalle
necesario en cada nivel de
administracin ser ms fcil establecer seguimiento orientado por los donantes,
claramente qu indicadores es
necesario medir. Se adoptan
numerosas decisiones operativas a nivel
de campo o regional, por lo cual la
corriente de informacin debe satisfacer
esas necesidades. Tratndose de
proyectos complejos, o con respecto a
los cuales no exista un sistema de
suministro de informacin, ser preciso
elaborar formularios proforma de
informes. Adems, el organismo que
administre el proyecto deber distinguir
entre el tipo de informacin necesaria
para su propia administracin interna y
el que se requiera para proporcionar
informacin a niveles de gobierno de
mayor jerarqua, y al Banco.
Como la evaluacin guarda relacin,
principalmente, con el impacto, que
podr medirse hacia el final del proceso
de ejecucin, o en poca posterior, a
menudo es conveniente que la realice
una entidad autnoma, que no se ocupe
de la ejecucin. No obstante, el
seguimiento es un instrumento de
adecuada gestin, por lo cual la unidad
responsable de la misma debe estar
situada en un nivel prximo al de la
14
administracin del proyecto. Deben
especificarse los recursos, la
capacitacin y la asistencia tcnica
necesarios para la unidad. En muchos
proyectos ser conveniente que la
administracin conjugue las
actividades de seguimiento con otros
sistemas, como los de contabilidad
financiera y gestin informatizada de
los proyectos. Es probable que
ampliando el inters en el sistema de
informacin gerencial la
administracin obtenga datos ms
valiosos que los provenientes de un
por lo cual ese enfoque debe ser
respaldado por el plan del proyecto.
Retroalimentacin
Es necesario que en la etapa de diseo
se indique el uso que se pretende dar a
la informacin de S y E, ms all de
dar cumplimiento a formalidades del
Banco como los exmenes de mediados
del perodo o de terminacin. Un
adecuado flujo de informacin guarda
estrecha relacin con el fomento de la
responsabilidad en el marco del
proyecto, el sector, el gobierno y el
Banco. En muchos pases, la
informacin referente a los proyectos y
programas es insuficiente y de difcil
acceso, y los mecanismos de
retroalimentacin son defectuosos o
inexistentes. Los mayores beneficios de
la evaluacin se producen a nivel de
polticas y programas, pero en muchos
pases una evaluacin a nivel de
proyecto constituye un punto de partida
ms sencillo y no tan delicado.
Los usos de la informacin pueden
estructurarse y programarse conforme
a las necesidades de los participantes:
Lecciones y prcticas
 La administracin del proyecto
tendr que vigilar semanalmente y
por lo menos una vez al mes los
gastos y el avance hacia el logro de
los objetivos, utilizando para ello
grficos de barras.
No es probable que puedan medirse los
resultados a intervalos de menos de tres
meses; en algunos casos puede
requerirse un tiempo mucho mayor.
Las consultas con los beneficiarios,
o las encuestas referentes a su
satisfaccin a travs de los servicios
del proyecto deben programarse de
modo de obtener informacin que
pueda utilizarse para la
planificacin de las actividades del
proyecto.
El plazo al que corresponda el
informe puede variar en funcin del
nivel de administracin; por
ejemplo mensualmente a nivel de
distrito; trimestralmente a nivel de
regin o de estado.
Es necesario programar algunos
flujos de informacin de modo que
coincidan con las actividades de
planificacin presupuestaria
nacional.
El financiamiento anual puede
depender de los resultados de la
labor anteriormente realizada.
Los anlisis peridicos y de mitad
de perodo brindan hitos en funcin
de los cuales debe estar lista la
informacin.
En los proyectos en que figure como
objetivo el cumplimiento de
determinados patrones de desempeo,
o en que los procesos descentralizados
requieran capacidad localizada para
planificar y administrar programas y
Lecciones y prcticas
presupuestos de trabajo, los
diseadores debern describir cmo y
cundo utilizar las conclusiones de la
labor de S y E para dar forma a los
planes de trabajo y promover el
programa o poltica de desarrollo.
En Mxico, por ejemplo, en el
Segundo Proyecto de
Descentralizacin y Desarrollo
Regional se procura hacer del
seguimiento de la ejecucin un
componente del procedimiento de
administracin ordinaria del
proyecto. Deben prepararse planes
anuales para cada componente,
incluido un elemento de desarrollo
institucional, como base del
seguimiento anual. El anlisis de la
ejecucin depender del
funcionamiento de una base de datos
central referente a subproyectos,
creada en cada estado a partir de
hojas de datos estandarizadas. La
base de datos producir los informes
necesarios para el cumplimiento de
los procedimientos de aprobacin de
proyectos, dando un incentivo al
personal de campo para que utilice el
sistema. Los resultados de la base de
datos de ejecucin han de ser
analizados a los efectos de establecer
los objetivos de los anlisis de campo
y de un anlisis de mitad de perodo.
No existe una unidad especfica de
seguimiento y evaluacin, sino que
cada subunidad de administracin
encargada de la supervisin tcnica
de un componente se encarga de velar
por la calidad y puntualidad de la
recopilacin de datos, y de elaborar y
analizar los informes. Esos informes
sern presentados por componentes
del proyecto y sern utilizados para
15
facilitar el diagnstico de los
problemas tcnicos e institucionales
de ejecucin, proponer y realizar
estudios y planificar actividades de
desarrollo institucional y
capacitacin.
Experiencia en materia de
ejecucin
Conforme a la experiencia del Banco,
por ms que la labor de S y E est
adecuadamente diseada, el xito, en
la etapa de ejecucin, depende en gran
medida de que el prestatario se sienta
identificado con el proyecto, de que las
instituciones del prestatario posean
suficiente capacidad, y de que los jefes
de proyecto muestren un continuado
inters durante toda su vigencia.
A este respecto revisten importancia
dos factores. Primero, la identificacin
del prestatario con el proyecto
promueve una administracin
transparente y una adecuada
informacin con respecto al avance
logrado. El otro factor consiste en que,
a menudo, los prestatarios dudan de la
conveniencia de adoptar
procedimientos que pueden ser costosos
y requerir mucho tiempo para
recopilar, analizar y proporcionar
informacin. En esos casos, es
importante contar con un diseo bien
concebido, porque la informacin de
seguimiento constituye un aporte
esencial al proceso de adopcin de
decisiones por parte de la
administracin. Adems, a menudo
dicha informacin permite hacer
hincapi en los beneficios iniciales que
se logran con el seguimiento y en los
procedimientos institucionales que
promueven la utilizacin de datos
provenientes de dicho seguimiento para
suscitar nuevas decisiones en materia
de ejecucin.

Lecturas recomendadas

Appleton, Simon, Problems in Measuring Changes in Poverty over Time, IDS

Bulletin, Vol. 27, No. 1, 1996. Brighton, Reino Unido, Instituto de Estudios
sobre el Desarrollo.
Casley, Dennis J., y Kumar, Krishna, Seguimiento y evaluacin de proyectos en
agricultura. Madrid, Espaa : Ediciones Mundi-Prensa, 1990.
Departamento de Evaluacin de Operaciones, Banco Mundial, Building
Evaluation Capacity, estudio No. 4 de la serie de publicaciones Lessons &
Practices, noviembre de 1994.
, Monitoring and Evaluation Plans in Staff Appraisal Reports in fiscal
year 1995. Informe No. 15222, diciembre de 1995.

16 Lecciones y prcticas
Lessons & Practices

1 Railway Projects
2 Adjustment Lending: Lessons of Experience
3 Area Development Projects
4 Building Evaluation Capacity
5 Managing Urban Water Supply and Sanitation
6 Agricultural Extension
7 Technical Assistance
8 Designing Project Monitoring and Evaluation
9 Ports
10 Evaluating Development Operations: Methods for Judging Outcomes and
Impacts

Lecciones y prcticas (traducidos)

8 Diseo del sistema de seguimento y evaluacin de los proyectos

10 Evaluacin de las operaciones de desarrollo: mtodos para valorar sus
resultados y sus repercusiones

Lecciones y prcticas, publicacin del Departamento de Evaluacin de

Operaciones, tiene como finalidad contribuir a difundir la experiencia del Banco
Mundial en el campo del desarrollo. El presente nmero ha sido redactado por
Rachel Weaving y Ulrich Thumm. Las opiniones aqu formuladas son las del
personal del Departamento de Evaluacin de Operaciones y no deben atribuirse al
Banco Mundial ni a sus instituciones afiliadas. Srvanse enviar sus observaciones
y consultas al DEO: telfono (1-202) 473-5365, Elizabeth Campbell-Pag, Jefa de
Redaccin; fax (1-202) 522-3200; correo electrnico eline@worldbank.org.
Lecciones y prcticas