Tomado del Libro: “Monitoring and Evaluating Social Programs in Developing Countries: A Handbook por

Policymakers, Managers and Researchers”.

Edited by Joseph Valadez and Michael Bamberger. EDI- WORLD BANK. Washington D.C. November 1994
Traducido por PREVAL.

La evaluación de programas sociales en los países en vías de desarrollo

Los países en vías de desarrollo y las agencias de ayuda internacional financian, diseñan y manejan un gran
número de complejos proyectos de desarrollo. Sólo en 1987, el gobierno de India financió más de 3000 proyectos y
sus administraciones estatales patrocinaron entre 6000 y 7000 en tanto que Pakistán brindó su apoyo a 3800
proyectos bajo su Federal Annual Development Plan (Amhed y Bamberger 1989). Entre los proyectos financiados
por grupos internacionales de ayuda, unos 192 fueron llevados a cabo bajo el auspicio del Banco Mundial en 1985,
según sus reportes de avances (World Bank :xi) y cerca de 250 se finalizan cada año bajo la mira de la U.S. Agency
for International Development (USAID) a juzgar por sus reportes de evaluación (OECD 1986).

El estado actual del monitoreo y evaluación en los países en desarrollo

La evidencia disponible sugiere que una proporción significativa de estos proyectos no llegan a alcanzar sus
objetivos. De los 192 proyectos llevados a cabo por el Banco Mundial en 1985, un 20 por ciento aproximadamente
tuvo resultados poco satisfactorios o inciertos (World Bank 1987:5). Los porcentajes de éxito han sido más bajos en
los proyectos complejos llevados a cabo en países de bajos ingresos y en necesidad de una reforma social y
económica, como en el caso de África. Tales porcentajes no llegan a alcanzar el 50%. (World Bank 1987:28)

Estas cifras no reflejan con fidelidad el desarrollo del proyecto, debido a que usualmente se refieren a la etapa de
implementación del proyecto (en la cual se construye la infraestructura, se instala el equipo, y se establecen los
sistemas del servicio). Poco se conoce acerca de qué tan bien pueden los proyectos brindar los servicios a través
del tiempo y menos aún sobre hasta qué punto pueden los proyectos producir los impactos deseados.
La necesidad de tal información ha crecido considerablemente en los últimos años debido a que los gobiernos y las
agencias donantes están bajo gran presión de formular estrategias de desarrollo que contribuyan a objetivos
amplios, tales como proteger el medio ambiente, aliviar la pobreza y mejorar la participación económica, social y
política de la mujer, lo cual requiere un claro entendimiento de las complejas interacciones entre un proyecto y su
entorno. Como muchos gobiernos se están dando cuenta de que las limitaciones sobre sus recursos van en
aumento, también se ven presionados a usar tales recursos eficientemente.
En vista de estos problemas, se ha convertido en una necesidad que los gobiernos y agencias donantes aprendan
tanto como sea posible de las experiencias pasadas para que los posibilite a identificar los tipos de proyectos y
sistemas que tienen más posibilidades de éxito y los factores que más contribuyen al mismo. Como resultado, se
está dando más atención al seguimiento y evaluación (SyE), de hasta qué punto el desarrollo de los proyectos es
costo-efectivo y logra sus objetivos.
Afortunadamente, la necesidad de mejores sistemas de seguimiento y evaluación viene en un momento cuando las
naciones industrializadas han hecho grandes avances en la teoría y práctica de la evaluación de programas. En los
Estados Unidos y en otras naciones industrializadas, la evaluación de programas está emergiendo como una
ciencia social independiente y como una disciplina de la administración. Desde el inicio de los años 70 se ha
convertido en una práctica estándar en los Estados Unidos, monitorear y evaluar la mayoría de los proyectos
federales y financiados por el estado, y los resultados de estas evaluaciones son ampliamente analizadas por
personas de apoyo y oponentes de los mismos (Chelismsky 1988; Rossi y Freeman 1993; Wholey 1979). La
General Accounting Office publica más de una evaluación de programa al día en los Estados Unidos, muchas de
las cuales influyen sobre las decisiones presupuestarias y la formulación de nuevos programas (Chelimsky 1987).

1
La creciente presencia de los especialistas en evaluación se puede notar en sus publicaciones, en organizaciones
profesionales tales como la Asociación Americana de Evaluación -AEA- (que actualmente cuenta con más de 2500
miembros) y en el número de cursos sobre seguimiento y evaluación (ofrecidos en al menos cuarenta y seis
universidades en los Estados Unidos).
En la opinión de muchos practicantes de la evaluación, se han hallado soluciones satisfactorias a los problemas
básicos de evaluación, diseño y análisis, al menos para países como los Estados Unidos. Es posible producir
evaluaciones metodológicamente relevantes y útiles en cuanto a su operacionalización para un amplio margen de
programas de desarrollo. Rossi y Wright (1984:3320 concluyeron lo siguiente en una investigación de desarrollo:
El campo de la investigación sobre la evaluación está comenzando a alcanzar niveles más altos de logro
intelectual, es decir, coincide con las publicaciones de las mejores investigaciones sobre evaluación de las
décadas prósperas. El desarrollo en las técnicas y en la metodología parecen prometer elevar la calidad no
solo de las evaluaciones sino también de otras áreas de investigación social. Los evaluadores han aprendido
cómo conducir experimentos de campo en forma exitosa y como analizar los datos obtenidos, así como
también han comenzado a brindar soluciones a algunos de los más serios problemas de validez de las
investigaciones no experimentales.

Quizás cerca de 100 países en vías de desarrollo llevan a cabo algún tipo de seguimiento y evaluación. Tales
actividades van desde sistemas de evaluación nacional en países como India y Malasia hasta el monitoreo básico
de ciertos proyectos en muchos países de Africa y el Medio Oriente. Los sistemas nacionales en Sur Asia (Ver tabla
1-1) tienen una agencia central o más, responsable por la coordinación y síntesis de los datos monitoreados (y de
los evaluados aunque son menos frecuentes), los cuales son tomados de los principales proyectos (Amhed y
Bamberger 1989; Khan 1989). Muchos de estos países también están desarrollando redes nacionales de SyE para
aumentar su capacidad de recolección de datos y análisis.

Mucho del ímpetu original detrás del esfuerzo hacia el monitoreo y evaluación en países en desarrollo vino de las
organizaciones de ayuda internacionales, la mayoría de las cuales requieren al SyE como parte de sus proyectos.
La Organization for Economic Co-operation and Development (OECD 1986) ha estimado que una agencia donante
promedio conduce de 10 a 30 evaluaciones al año mientras que USAID y el Banco Mundial conducen cerca de 250
al año (Baum y Tolber 1985). Las agencias internacionales han tenido un efecto tanto positivo como negativo en la
forma en que los sistemas de SyE han evolucionado y son usados en países en desarrollo.

Tabla 1-1 Organización y Funciones de las Agencias Centrales de Monitoreo y Evaluación en Sur Asia (a Dic 1997)
Bangladesh La División de la Implementaron, Seguimiento y Evaluación (IMED por sus siglas en ingles) se
estableció en 1984 bajo la Comisión de Planeamiento como el sucesor de una Unidad anterior. Es
responsable por el monitoreo físico y financiero de todos los proyectos de desarrollo y
retroalimentación para dirigir a los ministerios. Se centra en el monitoreo de la implementación. Las
empresas públicas están monitoreadas por otra agencia.
India La Project Monitoring Division del Ministerio de Implementación de Programas (MOPI por sus siglas
en inglés) se estableció en 1985 para monitorear megaproyectos (con costos superiores a los 200
millones de rupias) así como también el programa del primer ministro sobre erradicación de la
pobreza. El Management Information Division y otras de la comisión de planeamiento monitorean
todos los proyectos patrocinados. El Programme Evaluation Organization de la Comisión de
Planeamiento evalúa los programas sociales.
Nepal El Programme Division de la Comisión Nacional de Planeamiento monitorea los proyectos
importantes a nivel nacional. El Program Budgeting and Motitoring Cell del Ministerio de Economía
prueba los sistemas que pueden usarse para monitorear tanto el progreso físico y financiero de
todos los proyectos principales.
Pakistán El Project Wing de la Comisión Nacional de Planeamiento mantiene su mirada en el progreso
financiero y físico de los proyectos nacionales promovidos por el Programa Nacional de Desarrollo y

2
 monitorea muy de cerca de ciertos proyectos seleccionados. Las empresas públicas de
manufactura son monitoreados a través de un sistema de evaluación de desempeño del
Experts’Advisory Cell del Ministerio de Producción. La Auditor General’s Office está desarrollando
un sistema de evaluación de desempeño.
Sri Lanka La Progress Control Division del Ministerio de Implementación de Planes ha sido responsable
desde 1986 por el monitoreo de cerca de 140 proyectos y programas y por desarrollar indicadores
de progreso físico. Ciertos programas más importantes como el Mahaweli Irrigation Authority tienen
su propio sistema de SyE.

Un pequeño pero creciente número de países han comenzado a usar SyE para el control de sus proyectos,
planeamiento financiero y análisis de políticas (estos países incluyen a Chile, Colombia, Brasil, India y Malasia). El
Banco Mundial, entre otros, está ayudando a los países seleccionados a desarrollar esta capacidad a través de su
Evaluation Capability Development Program (World Bank 1991ª:12). Sin embargo, la OECD concluye que, con
excepción de un pequeño número de países, “el interés en la evaluación tiende a ser más fuerte entre aquellos que
buscan recursos que entre aquellos que los usan”.
Cuando se aplica de manera apropiada, la información obtenida en los estudios SyE puede resultar útil, en al
menos en cuatro formas, para los gerentes y hacedores de política. Primero, puede ayudar a un país a desarrollar
métodos para identificar y seleccionar proyectos y programas, asegurando que tales esfuerzos serán consistentes
con los objetivos nacionales de desarrollo, que tendrán una buena posibilidad de éxito y que se utilizara la mejor
estrategia de costo-efectividad para lograr los objetivos. En segundo lugar, los estudios SyE pueden determinar si
el proyecto está siendo implementado de forma eficiente; si ofrece respuesta a las preocupaciones de los
beneficiarios. Asimismo, se detectará los problemas potenciales tan pronto como sea posible, para corregirlos. En
tercer lugar, el SyE mide si los proyectos y programas están logrando sus objetivos económicos y sociales y si
están contribuyendo a los objetivos nacionales y sectoriales de desarrollo. Por último, los estudios evaluativos,
pueden determinar el impacto de los proyectos en el marco de objetivos más amplios de desarrollo tales como: la
protección del medio ambiente y el manejo de los recursos naturales; el alivio a la pobreza y la provisión, a las
mujeres, de participación económica, social y política en todos los aspectos del desarrollo. Los ejemplos dados a lo
largo de este libro, ilustran cómo los estudios de SyE se usan en países en desarrollo en sectores sociales distintos
y en varias regiones geográficas.
A pesar el creciente énfasis en sistemas nacionales de SyE, el foco en estudios en este campo, tiende a ser
limitado. Asimismo, en la mayoría de los países en desarrollo, la información es sub-utilizada y la contribución al
manejo del proyecto y planeamiento nacional de desarrollo resulta limitada. Una gran porción de recursos del SyE
se destinan al monitoreo de la implementación física y financiera de grandes proyectos, en tanto que se presta poca
atención a valorar la sostenibilidad de los mismos; la calidad de los proyectos de desarrollo social; la distribución de
los beneficios del proyecto entre varios grupos socioeconómicos y regiones geográficas; la medida en que los
proyectos han alcanzado los impactos previstos; y los efectos que las estrategias de desarrollo han tenido en el
medio ambiente. Asimismo, tampoco se han aplicado, en otros países, los aportes que sobre metodologías de
evaluación se han alcanzado en los Estados Unidos. La sección F descubre algunos de los problemas
organizacionales, gerenciales y metodológicos que afectan el diseño, la implementación y uso del seguimiento y de
la evaluación en los países en desarrollo.

El estado actual de la evaluación de programas sociales

Tal y como se mencionó anteriormente, los programas sociales se entienden como el amplio rango de programas
diseñados para mejorar la calidad de vida por medio del mejoramiento de la capacidad de los ciudadanos para
participar, plenamente, en actividades sociales, económicas y políticas, tanto a nivel local como nacional. Los
programas se pueden poner el foco en mejorar la condición física (salud, nutrición); proveer acceso a servicios
(vivienda, agua, transporte); proteger a los grupos más vulnerables de las adversidades provenientes de reformas
económicas y ajustes estructurales; proveer educación, alfabetismo, empleo y oportunidades para la generación de
ingresos (entrenamiento vocacional y técnico, crédito, desarrollo rural integrado, pequeña empresa).

3
Otros programas pueden focalizarse directamente en "empoderamiento" por medio del fortalecimiento de
organizaciones comunales, motivación de las mujeres para su participación en actividades de desarrollo o en el
alivio de la pobreza.
Las agencias de desarrollo difieren en su percepción de la naturaleza y de los objetivos de los programas sociales y
de como éstos se comparan con los programas convencionales de inversión de capital. Esta diferenciación en las
perspectivas, determina como la evaluación de programas sociales es enfocada.
Por ejemplo, algunas agencias donantes consideran la salud y la educación como una inversión en capital humano
y evalúan ex - ante, diseñan y monitorean tales proyectos casi de la misma manera como manejan un proyecto de
inversión de capital. Tales agencias asumen que ciertos aspectos definidos con precisión por medio de una
metodología particular de implementación, producirán resultados predeterminados que generarán mejoras medibles
en indicadores de capital humano como: logros educacionales; ganancias en el mercado laboral; tasas de
mortalidad, etc. Un proyecto educacional sería evaluado ex -ante, con base en su tasa interna de retorno y tendría
un cronograma de implementación fácil de monitorear. Este mismo enfoque podría usarse para un proyecto en
salud, aunque su evaluación ex - ante se haría tal vez usando un análisis de costo-efectividad antes que la tasa
interna de retorno. Sin embargo, tal y como se discutió en el capítulo 4, en sólo un pequeño número de casos, son
definidos y usados, con claridad, lo indicadores de resultados e impactos en proyectos de educación y salud. La
evaluación tiende a concentrársenos en los insumos o en los posibles resultados físicos.
Un segundo enfoque adoptado por muchos gobiernos, por agencias de las Naciones Unidas, organizaciones
bilaterales y organizaciones no gubernamentales (ONGs) se basa en el concepto de que los rubros como
alfabetismo, salud primaria, vivienda y agua potable, son derechos humanos básicos que no requieren de
justificaciones económicas. Las evaluaciones, si se conducen, tienden a enfocarse en el costo-efectividad de los
sistemas de distribución y en el acceso a estos servicios por parte de los grupos meta. Evaluaciones rigurosas,
sobre los impactos, son raramente llevadas a cabo porque los programas no están justificados con base en un
impacto económico determinado.
Los enfoques arriba citados son “supply-driven”, lo cual quiere decir que el gobierno o el donante decide qué
servicios debe recibir la población y cuáles son sus necesidades básicas.
Un tercer enfoque –adoptado por muchas ONGs, donantes bilaterales, UNICEF y recientemente por el Banco
Mundial, se basa en que el objetivo principal del desarrollo social debiera ser el de apoyar a comunidades indígenas
o grupos no privilegiados (como mujeres, campesinos sin tierras, personas sin hogar) a desarrollar la capacidad de
organización y el conocimiento requerido para identificar y satisfacer sus propias necesidades.
Los objetivos de muchos proyectos sociales y programas involucran aspectos como: el desarrollo de
capacidades locales sostenibles; la promoción de la participación; la concientización y la motivación de
estrategias de auto-ayuda. Cómo se pueden medir estos objetivos? Cuáles son los propósitos de evaluar este
tipo de proyectos? Son acaso las evaluaciones de estos proyectos diferentes de la de aquellos proyectos más
convencionales?
En tanto estamos frente a estrategias de desarrollo que son diferentes de aquellas que enfatizan la producción,
se requieren de nuevas técnicas y métodos de evaluación. Estamos frente a un marco cambiante de relaciones
entre actores que están involucrados en los procesos de desarrollo. Asimismo, frente a un ambiente social y
científico cambiante, en donde las ideas ortodoxas, asociadas con los principios de desarrollo económico
liberal del Norte, ya no pueden ser sostenidas. Se están negociando nuevas formas para analizar el valor, y
nuevas metodologías que permitan entender (de forma mas apropiada) la efectividad de las intervenciones en
nombre del desarrollo social (Marsden y Oackley 199:1-2)

Dada la gran diversidad de programas de desarrollo social y la amplia gama de objetivos y de orientaciones
sociales y políticas de las organizaciones involucradas, no existe una forma estándar de evaluar los programas
mencionados arriba. Cierta flexibilidad será siempre deseable. Esta emergiendo un numero considerable de
nuevos preceptos y aunque algunos han desatado controversia, rápidamente están ganando apoyo. A estos se les
brinda una mayor atención en este libro.
En primer lugar, muchas autoridades reconocen que los principales actores, en particular los supuestos
beneficiarios (así como también grupos que pueden verse afectados como resultado del proyecto) deben estar
activamente involucrados en la identificación, seguimiento y evaluación del proyecto. Las metodologías de

4
Beneficiary assessment (evaluación del beneficiario) usadas desde hace mucho tiempo por ONGs, están siendo
ahora adoptadas por agencias internacionales (Salmen 1987, 1992).
La metodología de beneficiary assessment es una herramienta gerencial orientada a mejorar la calidad de las
operaciones de desarrollo. Este es un enfoque para la recolección de información, el cual estudia el valor de
una actividad tal y como es percibida por sus principales usuarios. El enfoque es cualitativo en tanto que
derivar el análisis sobre la base de una experiencia compartida y de observación. Asimismo, otorga prioridad
al punto de vista de las otras personas. En tanto que el Banco Mundial y otras agencias comprometidas en
desarrollo, buscan mejorar sus intervenciones, un indicador clave será cómo el cliente meta o supuesto
beneficiario percibe el valor de su trabajo, proyecto o política, en relación a como su vida es afectada. La
iluminación de este cliente/usuario, a través de sus apreciaciones, es el objetivo primario del benericiary
assessment” (Salmen 1992:1)

Hasta hace poco, el beneficiary assessment se dirigía, principalmente, a los beneficiarios de bajos ingresos. Sin
embargo, en la actualidad, estos métodos se están usando para entender mejor las perspectivas de otros grupos de
interés como agencias gubernamentales y proveedores de servicios privados. La evaluación del impacto ambiental,
es probablemente el área en donde las opiniones de todos loa actores se encuentran sistemáticamente
entrelazadas.
En segundo lugar, la evaluación de impacto social (llamada también análisis social) se usa antes del inicio o
durante la implementación de los proyectos, para evaluar como los diferentes grupos sociales y económicos serán
afectados por el proyecto o el programa (Asian Development Bank 1991; Ingersol 1990). Una de las áreas en las
que se ha incrementado el uso de la evaluación de impacto social, es en el análisis del género (Asian Development
Bank 1991; Maya Tech Corporation 1991; Overholt y otros 1985). Muchas agencias multilaterales y bilaterales
actualmente demandan análisis de género y algunas veces análisis mayores de impacto social. Esto como parte de
las actividades de programación, o como parte del proceso de aprobación del proyecto.
En tercer lugar, se han hecho esfuerzos para fortalecer el uso de métodos cualitativos en la evaluación de
programas internacionales de desarrollo y; por lo tanto para romper con los enfoques convencionales de evaluación
basados en indicadores cuantitativos. Aunque ya se evidencian avances significativos, aún no se han resuelto las
diferencias entre los defensores de ambos enfoques. Como resultado, pocos han sido los estudios de evaluación
que han logrado integrar ambos enfoques. Aún queda mucho trabajo por hacer para lograr que los operadores de
proyectos que emplean evaluaciones convencionales cuantitativas, acepten métodos cualitativos.
En cuarto lugar, se evidencia un creciente interés en procedimientos de evaluación rápidos (también conocidos
como Rapid Social Assessment o Rapid Rural Appraisal), los cuales son más costo –efectivos que la mayoría de
los otros métodos. Asimismo, más correspondientes con los ambientes socioculturales de los proyectos (Kumar)
En quinto lugar, existe presión por evaluaciones más "holísticas" que hagan posible entender la compleja
interacción entre un proyecto y el medio ambiente social, cultural, político y económico en el que esta inserto
(Marsden y Oakley 1990)
Aunque ya se han logrado avances en estas áreas, la evaluación de los programas sociales no se ha integrado
totalmente dentro de los sistemas SyE desarrollados en la mayoría de los países en desarrollo. Al mismo tiempo sin
embargo, las ONGs están desempeñando un papel muy importante en la ejecución y evaluación de programas
sociales. Muchos creen que las ONGs pueden contribuir a una perspectiva de evaluación con un mayor énfasis en
enfoques holísticos y métodos cualitativos (ACVAFS 1983; Marsden y Oakley 1990). Sin embargo, estos nuevos
enfoques han tenido hasta ahora muy poco impacto sobre la forma en que los gobiernos y las agencias
internacionales evalúan los programas sociales. Por estas razones, las metodologías y sistemas para evaluar
programas sociales no se han desarrollado en el mismo grado o tan sistemáticamente como los llamados métodos
convencionales de evaluación.

5
Un marco de trabajo para el monitoreo y evaluación para países en desarrollo
Esta sección presenta un marco de trabajo para describir varios métodos de monitoreo y evaluación en países en
desarrollo. Las definiciones que se usarán, son consistentes con la mayoría de las principales publicaciones
existentes en este campo. Se indica, asimismo, las pocas áreas en las que se difiere de las fuentes bibliográficas.
También se establece como éstas difieren entre ellas mismas. En tales casos la opinión divergente se presenta al
pie de página. Las fuentes principales usadas en esta comparación son Casley y Kumar (1987), United Nations
ACC Task Force on Rural Development (1984), Rossi y Freeman (1993) y OECD (1986).
El seguimiento es una actividad gerencial interna, cuyo propósito es determinar si los programas han sido
implementados tal y como fueron diseñados. En otras palabras, busca determinar si los recursos han sido
movilizados según lo planeado y si los servicios o productos fueron entregados a tiempo. Nos referimos al primero
como monitoreo de insumos (input monitoring) y al segundo como monitoreo de resultados (output monitoring). En
palabras más formales, el seguimiento es
Una actividad gerencial permanente e interna cuyo propósito es asegurar que el programa logre sus objetivos
dentro de un cierto cronograma y presupuesto. El seguimiento implica la provisión de una retroalimentación
continua y regular sobre el progreso en la implementación del programa y sobre los problemas ocurridos
durante esta etapa. El seguimiento incluye en actividades operacionales y administrativas que dan
seguimiento a la adquisición y distribución de los recursos, producción o entrega de servicios y récords de
costos.

En contraste, la evaluación puede ser llevada a cabo, dentro de la agencia de implementación del proyecto o por
una organización externa. La evaluación puede ser utilizada para evaluar y mejorar el desempeño de proyectos o
programas ya concluidos ( evaluación del impacto y evaluación de la eficiencia). Con la finalidad de evaluar la
pertinencia de métodos de diseño e implementación, la información es recolectada durante la implementacion del
proyecto (por medio de estudios de diagnóstico o evaluaciones de procesos). Los estudios de diagnóstico se basan
en el seguimiento de un problema real o potencial que ha sido identificado por el seguimiento de insumos o de
resultados. Por ejemplo, el gerente puede requerir un estudio de diagnóstico cuando un reporte de seguimiento ha
mostrado que pese a lo previsto, solo un pequeño número de familias solicitan viviendas; que existe un porcentaje
menor de mujeres que de hombres asistiendo a una nueva escuela primaria; o que la tasa de retorno de los
créditos es muy baja. Los resultados de un programa se miden por el grado en que logra sus objetivos, por otros
impactos que produce, por el costo-beneficio y por sus productos. Asimismo, por los problemas ocasionados por la
mala calidad de la implementación, por no haber alcanzado los objetivos propuestos.
Podemos entonces definir evaluación como una actividad gerencial interna o externa que tiene como propósito
asegurar la pertinencia del diseño de un programa de sus métodos de implementación para lograr tanto
objetivos específicos como generales. Asimismo, para evaluar los resultados del programa, previstos como no
previstos y para analizar los factores que afectan el nivel y la distribución de los beneficios producidos

Surge una pregunta importante concerniente a la relación seguimiento y evaluación. Aunque es costumbre referirse
a los dos juntos (como en el término SyE) muchas agencias de ayuda y de implementación de proyectos los
perciben como actividades distintas conducidas por agencias separadas y con objetivos también diferenciados.
Casley y Kumar (1987:8) apoyan esta división:
“Son el seguimiento y la evaluación funciones diferentes, que sirven a usuarios distintos como para que sean
consideradas independientes? La respuesta a esta pregunta, a la luz de las definiciones dadas, es positiva. De aquí
que no aprobemos el uso del acrónimo universal ‘S&E’ ya que implica que estamos trabajando con una sola
función.”
Cuando las dos funciones se mantienen por separado, sin embargo, pareciera que hubiera apoyo suficiente para el
seguimiento pero un apoyo limitado para la evaluación. La evaluación se le da mucha menos prioridad porque es
vista como una actividad que sería recomendable apoyar siempre y cuando el tiempo y los recursos lo permitan, lo
cual, desafortunadamente, ocurre muy raras veces. Como resultado, se han hecho muy pocos esfuerzos por
evaluar hasta qué punto los proyectos han logrado sus objetivos o usado la experiencia de otros proyectos
concluidos para mejorar la selección y diseño de otros futuros.

6
En contraste con el planeamiento anterior, la mayoría de la literatura sobre evaluación en los Estados Unidos
asume el seguimiento y la evaluación como íntimamente relacionados y con frecuencia se usa el término
“evaluación de programas” para referirse tanto al seguimiento como a la evaluación, como en el trabajo de Hatry,
Winnie y Fisk (1981:4): “La evaluación de programas es el examen sistemático de un programa gubernamental
específico, orientado a proveer información sobre todo el rango de efectos producidos, tanto de corto como largo
plazo. Aun cuando la evaluación de un programa puede incluir medida sobre volúmenes de trabajo, procedimientos
operativos o personal, su énfasis principal está en la medición del impacto del programa”. Esta opinión también la
comparten Morris y Fitz-Gibbon (1978), Rossi y Reeman (1993) y Wholey (1979). En los Estados Unidos, algunas
organizaciones como el General Accounting Office (Chelimsky 1987,1988) alientan la integración del seguimiento y
de la evaluación por medio de la creación de bancos de datos de ambos campos, para la evaluación de impactos
potenciales sobre programas nuevos (evaluación prospectiva)
En estudios sobre países en desarrollo, Freeman, Rossi y Wright (1979) usan el término “seguimiento y evaluación
de proyectos" para enfatizar los vínculos entre ambos campos. Middleton, Terry y Bloch (1989:38) buscan integrar
ambos sistemas con “una capacidad central y con fuertes vínculos verticales para mediar entre unidades
administrativas y escuelas”. EL grupo de trabajo, ACC Task Force de la NNUU (1984) también promueve un
sistema integrado como se refleja en su constante uso del acrónimo ‘S&E’.
De la misma manera, creemos que el monitoreo y la evaluación deben considerarse partes complementarias de un
sistema integrado. La evaluación tiene mucho que ver tanto con las lecciones derivadas de la implementación del
proyecto como con el nivel de los impactos logrados. Consecuentemente, la evaluación debe llevarse a cabo tanto
en forma continua como periódica, desde la formulación del proyecto, hasta la implementación y la fase operativa.
Asimismo, el seguimiento alimenta el sistema nacional de SyE para lograr una base de datos nacional que pueda
ser usada para mejorar la selección y diseño de futuros proyectos.
Por lo tanto el acrónimo SyE es utilizado a lo largo de este libro, excepto en los casos en que sea necesario
referirse específicamente o al seguimiento o la evaluación.
Estamos conscientes, por supuesto, que las limitaciones en los recursos fuerzan a muchos países a concentrarse
en el seguimiento de los proyectos y frente a prohibitivas evaluaciones sistemáticas. Pero, también hay muchos
países en donde se rechaza la evaluación, no por limitaciones de recursos sino porque ésta es poco entendida. Tal
y como se plantea en este libro hay métodos simples y económicos ahora disponibles para evaluar impactos de los
proyectos y muchos de estos métodos pueden usarse en países con un limitado expertizaje en evaluación o
escasos recursos financieros.

El seguimiento y la evaluación al nivel de proyecto

Los estudios de monitoreo y evaluación pueden ser conducidos al nivel de proyecto, sectorial, o nacional. Esta
sección discute los usos de S/E en el ámbito de proyecto. Las aplicaciones en los niveles sectoriales y nacionales
se discuten en los capítulos 2,4,6,8 y 12.
Baum y Tolber (1983:333 definen un proyecto como “un paquete discreto de inversiones, políticas, instituciones y
otras acciones, diseñados para lograr un objetivo específico de desarrollo (o un conjunto de objetivos) dentro de un
período determinado”. Aunque esta definición es satisfactoria para los proyectos de inversión y de desarrollo
económico, es menos adecuada para la mayor parte de proyectos sociales y programas. En el caso de programas
sociales, los objetivos deben ser definidos, al menos parcialmente por los beneficiarios a medida que el proyecto
evoluciona. Debido a esto y dependiendo del período en el que el proyecto o programa será implementado, se
requerirá de mucho mayor flexibilidad.
El concepto de proyecto ha evolucionado desde las actividades de las agencias internacionales y de su
preocupación de que su ayuda financiera sea usada para lograr objetivos específicos y monitoreables, dentro de un
cierto tiempo dado.
Los proyectos generalmente pasan por siete etapas (ver figura 1-1) y los sistemas de S/E deberán proveer la
información que los encargados del proyecto, implementadores y gerentes requieren en cada etapa. Asimismo
deberán ayudar a determinar si un proyecto ha sido implementado según lo planeado, qué problemas deben
resolverse, qué impactos previstos o imprevistos han ocurrido; y qué lecciones pueden ser aprendidas para la
selección y diseño de futuros proyectos (ver capítulo 2)

7
Etapa 1: Identificación y preparación
Antes de que los proyectos sean identificados, los gobiernos –con frecuencia en conjunto con agencias
internacionales- definen sus estrategias de desarrollo nacional y sectorial. Algunos países preparan planes a cinco
años plazo, mientras otros lo hacen a más corto plazo. En muchos países la estrategia de largo plazo es
equivalente a planes de desarrollo anual (ADP) por sus siglas en inglés). Estas estrategias y planes proyectan los
recursos nacionales e internacionales que se requieren para nuevos proyectos de desarrollo, analizan la
disponibilidad de estos recursos e identifican prioridades sectoriales.
Figura 1-1 El ciclo de manejo de un proyecto

Identificación y preparación

Evaluación ex−ante, selección y negociación

Planeamiento y diseño

Implementación

Evaluación de la implementación y
transición hacia las operaciones

Manejo de las operaciones y estrategias

de sostenibilidad.

Identificación de un nuevo proyecto

Debe hacerse una valoración preliminar de cada uno de los proyectos para determinar su potencial viabilidad. Esto
sobre la base de criterios económicos, financieros, técnicos, institucionales, sociales, de pobreza, medio ambiente
y de género (ver lista de chequeo en el capítulo 2, cuadro 2-3).

Etapa 2: Evaluación ex−ante, selección y negociación del proyecto

Esta etapa evalúa la factibilidad económica, financiera y técnica del proyecto. Muchas agencias de cooperación
conducen análisis económicos (ver capítulo 2) y calculan la tasa interna de retorno (TIR) para determinar si el
proyecto alcanzará una TIR mínima aceptable en relación con los recursos invertidos (Gittinger 1982:314)

8
Los métodos convencionales de evaluación ex−ante generalmente sufren variaciones para su aplicación en
programas sociales. Los análisis de género, evaluaciones de impacto social y de impacto ambiental se encuentran
dentro de os nuevos enfoques analíticos que se discuten en este libro.

Etapa 3: Planeamiento y diseño del proyecto

Una vez que el proyecto ha sido aprobado, la atención recae en el planeamiento y el diseño. En esta etapa se
desarrollan seis actividades.
En primer lugar, se recoge información para definir la población meta, Segundo, se identifican los problemas que
el proyecto resolverá o aliviará. Tercero, se formulan los propósitos y objetivos del proyecto. Los propósitos se
refieren al cambio social que se espera lograr. Por ejemplo, un propósito de la Organización Panamericana de la
Salud era erradicar la polio del hemisferio occidental en 1991. Los objetivos se refieren a la magnitud de los
resultados esperados por determinado proyecto, expresados en términos cuantitativos. Siguiendo con el ejemplo
anterior, un objetivo de la OPS sería brindar tres dosis de vacuna contra la polio al 80% de los niños en Haití,
durante su primer año de vida. En cuarto lugar, se toman decisiones acerca de la duración y secuencia de cada
etapa. Quinto, se seleccionan los métodos más eficientes de formulación y entrega de servicios, y por último, se
recoge información adicional para formular un modelo de programa que sea capaz de producir el cambio social
deseado en la población meta.
Ya sea en forma explícita o no, cada proyecto incluye supuestos acerca de: i) las formas en las que la población
meta responderá al mismo, ii) la efectividad relativa de diferentes métodos de implementación, iii) las formas en
que el proyecto puede afectar y verse afectado por el medio ambiente social, económico y político bajo el que
opera. Para diseñar e implementar un programa de seguimiento y evaluación, el evaluador debe trabajar en
conjunto con los diseñadores del programa y los gerentes para desarrollar, las expectativas y supuestos del
proyecto dentro de un modelo esperado. Esto incluye, entre otras cosas, cómo se prevé la evolución del proyecto y
cómo será afectado por el medio ambiente social, económico y político en el que opera y cómo los presuntos
beneficiarios responderán al mismo. Este modelo se discute en el capítulo 3.
Para efectos prácticos, se puede definir un modelo como una intervención planificada, basada en teorías
explícitas, acerca de cómo lograr cambios sociales o reformas y por qué debieron esperarse tales cambios. Un
modelo de un programa social debería explicitar cómo es que distintos insumos conducirán a determinados
impactos. Por lo tanto, un modelo es una hipótesis probable acerca de si un proyecto será rechazado o
reivindicado.

Etapa 4: La implementación del proyecto

De acuerdo con Baum y Tolbert (1985:834), “la etapa de implementación cubre el desarrollo del proyecto, hasta el
momento en que éste se operacionaliza por completo. Incluye el seguimiento de todos los aspectos de los trabajos
de las actividades en desarrollo; y la supervisión de éstas por parte de agencias nacionales especiales o donantes
externos”.
En el caso de muchos proyectos, lo anterior se traduce en la construcción de infraestructura física (caminos,
sistema s de irrigación, escuelas) y la adquisición de plantas y equipos. Para otros, involucra capacitación, diseño y
evaluación de programas educacionales experimentales, asimismo como el desarrollo de sistemas de salud y
programas de crédito. La implementación del proyecto involucra un cierto número de fases, actividades y
decisiones:
• Se deban tomar decisiones con respecto a la organización del proyecto, la agencia que lo dirigirá, la institución
que lo ejecutará, otros organismos involucrados y los sistemas de coordinación del mismo. Otra decisión
importante se refiere a la participación de los beneficiarios del proyecto en el planeamiento, implementación y
manejo del mismo.
• Los recursos financieros, materiales y humanos requeridos para el proyecto deberán ser adquiridos y
movilizados. Debido a que los procedimientos para las adquisiciones y para la contratación de asistencia
técnica que son complejos y probablemente extraños para los prestatarios, esta fase tiende a devenir en
excesos en los costos y demoras que pueden afectar la calidad y mantenimiento del equipo

9
• Se deben construir edificaciones e instalar los equipos
• Se deben seleccionar e implementar los métodos más efectivos de entrega de servicios
• Se debe supervisar la implementación física y la entrega de servicios. Asimismo se debe establecer un sistema
de control financiero para todos los aspectos de la implementación del proyecto.
La figura 1-2 muestra una forma simplificada de un modelo de implementación del proyecto. Indica también los
componentes principales a tener en cuenta durante el seguimiento y la evaluación de insumos, estrategias,
resultados e impactos. Para los propósitos del seguimiento y evaluación, es conveniente utilizar una definición
simple de lo que es la implementación de un proyecto:
• La implementación se refiere a la transformación de insumos a través de una serie de sistemas técnicos y
organizacionales y de procedimientos que producen un volumen y calidad específicos en los resultados del
proyecto.

Figura 1-2 Modelo simplificado del proceso de implementación del proyecto.

Insumos

Estrategias

Resultados
Impactos

Tabla 1-2 Contexto en que el seguimiento de insumos y resultados ocurre

Preguntas en la mente de los clientes

• Están los recursos financieros a tiempo? Cuál es la causa de los atrasos?
• Se ajustando el sistema de adquisiciones de equipos y materiales al cronograma y al presupuesto?
Cuál es la causa los atrasos y de los costos adicionales?
• Qué problemas se presentan en la contratación, capacitación y retención del personal?
• Cómo es que los retrasos en la implementación afectan los desembolsos externos?
Tipos de estudios
• Gráficos Gantt
• Marco lógico
• Sistemas en red para el seguimiento físico y financiero
Oportunidad de los estudios
• Reportes mensuales o trimestrales, desde el inicio hasta el final de la implementación
Modo de empleo de los estudios
• Los reportes de avance son discutidos en reuniones de evaluación. Se discuten e identifican los
retrasos, costos adicionales y se identifican problemas afines.

10
 • Pueden requerirse estudios de seguimiento si las razones de los retrasos no están claras
• La información se envía a agencias centrales y financieras en donde es agregada a otros reportes para
brindar un panorama global de la condición de todos (o de los principales) proyectos de desarrollo

• Los insumos son los recursos financieros, humanos y materiales disponibles para implementar el
proyecto según lo planeado
• Los resultados son los servicios o productos que un proyecto entrega a una población meta para
producir los impactos esperados.

La tabla 1-2 indica el contexto en que los estudios de S/E de insumos y de resultados se llevan a cabo. Las
siguientes son algunas preguntas que los clientes pueden formular: Están los recursos financieros a
tiempo? Se ajusta el sistema de adquisiciones de equipos y materiales al cronograma y al presupuesto?
Existen excesos en los costos? .Cuando los proyectos cuentan con recursos externos, es probable que los
ministerios quieran saber en qué forma los retrasos afectarán los desembolsos futuros.

Los informes de seguimiento son discutidos en reuniones gerenciales. En éstas se presta atención a los retrasos,
costos adicionales y otros tipos de problemas. Los estudios de seguimiento non para obtener retroalimentación
sobre las causas y posibles soluciones a problemas identificados.
La tabla 1-3 indica el contexto en el que se llevan a cabo los estudios de diagnóstico.

Tabla 1-3 Contexto en que se llevan a cabo los estudios de diagnóstico

Preguntas en la mente de los clientes

• Cómo reaccionarían los beneficiarios al proyecto propuesto y a sus distintos componentes?
• Por qué ciertos componentes del proyecto se encuentran atrasados o incurren en costos adicionales?
• Por qué se presentan grandes diferencias entre comunidades en los intereses sobre los préstamos y en los
cargos por servicios?
• Qué impactos tiene el proyecto en distintos grupos? Quién se beneficia y quien no? Han resultado algunos
grupos afectados como consecuencia del proyecto?
Tipos de estudios
• Observación participante
• Encuestas rápidas
• Observación directa
• Entrevistas con informantes clave
Oportunidad de los estudios
• Durante la identificación y diseño del proyecto
• Durante la implementación, cuando los problemas han sido identificados por los reportes de seguimiento
• Estudios continuos para proveer constante retroalimentación sobre la actitud de los beneficiarios

11
• Estudios ad hoc llevados acabo cada vez que la gerencia requiera un mayor entendimiento sobre determinados
aspectos del proyecto.
Modo de empleo de los estudios
• Durante la identificación del proyecto, los estudios ayudan a identificar componentes y servicios de interés para
los beneficiarios. Así como también las comunidades que respondan favorablemente al proyecto.
• Durante la implementación se examinan los problemas y se recomiendan soluciones. Se obtiene una constante
retroalimentación de los beneficiarios y se hacen ajustes en la implementación y en la entrega de servicio del
proyecto. Se obtiene asimismo, retroalimentación sobre grupos dejados por fuera o afectados en forma
negativa, y se procede a hacer los ajustes necesarios.

Etapa 5: La evaluación de la implementación del proyecto y la transición a las operaciones

Una vez completada la implementación del proyecto, la mayoría de las agencias donantes y las de los gobiernos
piden un reporte final que describa y evalúe cada uno de sus componentes. En este punto se toman decisiones
sobre se manejará la fase operativa del proyecto. La evaluación ayuda a las autoridades a decidir cómo es que la
la operacionalización del proyecto será manejada. Idealmente, la transición a las operaciones deberá haber sido
planeada al inicio del proyecto. Pero tal y como se explicó en el capítulo 6, a esta fase se le presta muy poca
atención hasta el momento en que la etapa de implementación está a punto de finalizar.
La tabla 1-4 muestra el contexto en que los estudios son conducidos para evaluar la eficiencia con la que
los resultados e impactos son producidos.
Los resultados de los estudios se usan para seleccionar nuevos proyectos y para determinar cómo los
beneficios son distribuidos entre los diferentes grupos socioeconómicos.

Etapa 6: Manejo del proyecto, operacionalidad y sostenibilidad

Luego de la implementación, el proyecto puede continuar como una actividad independiente o puede ser absorbida
por las operaciones generales del ministerio o agencia responsable. Si el proyecto cumple con los estándares de
sostenibilidad (ver capítulo 6), se harán arreglos organizacionales y financieros para continuar con la entrega de
servicios; para asegurar que la infraestructura, planta y equipo tendrán mantenimiento regular y para brindar
asistencia técnica a las agencias y organizaciones formales e informales involucradas en el proyecto. Como se
discutió en le capítulo 6, muchos proyectos no son capaces de mantenerse operando porque no pusieron atención
a la sostenibilidad del mismo.
A través de su continua operación, se espera que el proyecto produzca uno o más impactos (o resultados).
Un impacto se define como el efecto (o efectos) esperado sobre cierta población meta. Los impactos pueden ser
clasificados como de corto o largo plazo, dependiendo de cuándo ocurren y cuánto duran. Asimismo, se pueden
clasificar en intermedios y finales, (dependiendo de los objetivos) o, en previstos y no previstos.

Tabla 1-4 El Contexto en el que los estudios para evaluar la eficiencia del proyecto sobre los resultados e
impactos, se conducen

Preguntas en la mente de los clientes

• Cuánto cuesta producir cada resultado del programa?
• Existen otras formas de producir los mismos resultados en forma más económica?
• Cómo afectaría al costo-efectividad del proyecto una replicación del mismo a larga escala?
• Podrían los resultados haber tenido un mayor impacto si se hubieran invertido en un proyecto distinto?

12
• Cómo se distribuyen los beneficios de proyecto entre distintos grupos geográficos y sociales?
Tipos de estudios
• Estudios de costo-efectividad
• Estudios de costo-beneficio (análisis económico)
Oportunidad de los estudios
• Durante la identificación y evaluación ex−ante del proyecto con el fin de determinar los costos y beneficios de
proyectos alternativos.
• Durante la preparación del reporte de finalización del proyecto
• Cuando el proyecto ha estado en operación por varios años, con el fin de re-evaluar la tasa económica de
retorno como un indicador de sostenibilidad del proyecto.
Modo de empleo de los estudios
• Ayudar en la selección de proyectos y de sistemas de entrega que ofrezcan mayor potencial para la obtención
de resultados y beneficios a los menores costos
• Valorar (antes de iniciar el proyecto) y evaluar (una vez concluido el mismo) la distribución de los beneficios.
• Evaluar la sostenibilidad de proyectos en marcha
• Mejorar la base de datos para la selección de nuevos proyectos.

La tabla 1-5 se refiere al contexto en los estudios de evaluación de impacto y las preguntas en la mente de los
clientes, son formulados y realizados.
Los resultados de los estudios de preliminares de impacto (llevados a cabo durante la fase de
implementación) se usan para evaluar si los impactos serán logrados y beneficiarán a los grupos meta. Si las
proyecciones no parecen muy positivas, se tomarán las medidas correctivas del caso. La mayoría de los estudios
de impacto se llevan a cabo después de la operación de los proyectos. Sin embargo su propósito central es ayudar
a mejorar la selección y diseño de futuros proyectos.

Tabla 1-5 Contexto en el que se llevan a cabo los estudios de evaluación de impactos
Preguntas en la mente de los clientes
• Está el proyecto produciendo los beneficios propuestos?
• Qué tan amplios son los beneficios?
• Quién recibe los beneficios? Quién no los recibe?
• Qué factores influyen el la variación de los impactos?
• Cómo pueden aumentarse o estabilizarse los impactos?
• Qué tan posible es que se produzcan impactos similares en otros proyectos similares?

13
Tipos de estudio
• Diseños quasi-experimentales rigurosos, con mediciones antes y después con un grupo de control
seleccionado cuidadosamente.
• Estudios de panel continuos
• Evaluaciones de impacto rápidas y económicas
• Evaluaciones cualitativas de impacto que usan la observación participante y técnicas relacionadas.
• Estudios más amplios para evaluar los impactos ambientales
Oportunidad de los estudios
• Es posible hacer estimados preliminares del impacto durante la implementación del proyecto
• Para los diseños quasi-experimentales será neesario tener una línea de base al inicio e idealmente varias
repeticiones durante la implementación.
• Pueden conducirse evaluaciones rápidas en cualquier momento siempre y cuando el proyecto haya entrado
en su etapa de operación.
• Puede entrevistarse regularmente a un panel de informantes durante la etapa de implementación y en los
primeros años de operación del proyecto.
Modo de empleo de los estudios
• Los estudios preliminares de impacto se usan para evaluar si los impactos se lograrán o no. Se pueden tomar
medidas correctivas con base en éstos.
• Las evaluaciones cualitativas y los estudios de informantes pueden identificar en una etapa temprana a los
grupos que no se estén beneficiando o a los que están siendo afectados negativamente por el proyecto.
• El propósito central de los estudios de impacto es apoyar una mejor selección y diseño de futuros proyectos.
• Los macro estudios se usan para monitorear los impactos ambientales y para tomar medidas correctivas a
escalas locales, regionales o nacionales.

Etapa 7: Identificación de nuevos proyectos

Pocas veces se toma como base la información obtenida de los S/E al seleccionar y diseñar futuros proyectos. El
capítulo 12 discute este tema y explica cómo se pueden crear bancos de datos para utilizar las lecciones
aprendidas en proyectos anteriores.

Algunos problemas con los enfoques actuales para el monitoreo y la evaluación

En vista de la rápida proliferación de los sistemas de seguimiento y evaluación no es de extrañar que muchos de
ellos hayan tenido dificultades de satisfacer las demandas puestas en ellos. Muchos sistemas de SyE han sido
criticados por su ineficiencia y limitada utilidad. En algunos casos la información no llega oportunamente; no
contesta las preguntas precisas; o es muy costosa. En otros, la atención se enfoca en ciertos aspectos cuantitativos
y financieros de los proyectos, y la mayor parte de la información se refiere solamente al período de implementación
física. Estos problemas pueden clasificarse en cuatro grupos principales, los cuales se describirán a través del
presente libro.

14
Problemas organizacionales y políticos

Aunque las “políticas de evaluación de programas” han sido ampliamente discutidas en los Estados Unidos
(Palumbo 1987) las dimensiones políticas de evaluación han sido largamente rechazadas en países en desarrollo.
Demás esta decir que no se espera entender la dinámica de la evaluación de programas sin reconocer que
muchas agencias de seguimiento y evaluación (CMEA por sus siglas en inglés) ejercen una influencia considerable
sobre la asignación de recursos y sobre las decisiones concernientes al futuro de los programas que evalúan. Sin
embargo, los CMEA son percibidos con frecuencia como una amenaza o como un recurso poderoso que necesita
ser controlado (Bamberger 1988ª). Como resultado, los CMEA son cambiados constantemente de un ministerio o
de un departamento a otro, o ven su poder o sus recursos disminuidos. Ahmed y Mamberger(1989) no encontraron,
en el Sur Asia, un CMEA que haya estado operando como tal por más de tres años.
Algunos otros problemas organizacionales surgen cuando las funciones de SyE son localizados en una agencia
inapropiada, cuando las funciones se asignan a agencias distintas, haciendo difícil la coordinación, o cuando los
problemas de coordinación restringen el flujo de información entre la agencia central y los presuntos usuarios. El
capítulo 12 discute en más detalle los vínculos entre la localización y organización del M/E y los tipos de estudios
producidos y cómo se diseminan. Es asimismo común encontrar organizaciones no gubernamentales –muchas de
las cuales cuentan con una vasta experiencia en evaluación- excluidas de colaborar en la evaluación de los
programas del sector público.

Las agencias donantes tienen una influencia considerable sobre el contenido y la organización de los sistemas
SyE. El hecho de que los donantes y prestatarios requieren diferente tipo de información puede crear a su vez un
mayor numero de problemas.

Problemas administrativos/gerencias
Muchas agencias de SyE al nivel de proyecto, sectorial o nacional no han logrado establecer procedimientos claros
para identificar a los usuarios principales de la información que producen, o para comparar la importancia de los
estudios requeridos por distintas organizaciones nacionales e internacionales o aún para definir los tipos de
información requerida por cada usuario potencial. Como consecuencia, los usuarios potenciales se quejan de que
los estudios no proveen la información que requieren o que la información llega muy tarde o de una forma que no
es clara de entender. La naturaleza centralizada de muchos de los CMEA implica que la información del SyE sea
usada principalmente por las agencias gubernamentales para controlar unidades de línea de los ministerios y de los
proyectos, por lo tanto no es considerada como una herramienta gerencial. En este campo, muchos gerentes
perciben el SyE como una amenaza, o como una inconveniencia, y no están dispuestos a cooperar en la
recolección de datos o en el análisis de los mismos. Esto también ha creado preocupación acerca de la calidad y
confiabilidad de la información del SyE provista por las agencias encargadas. La mayoría de estos problemas
también se encuentran en los Estados Unidos. Aunque un amplio rango de programas federales y estatales tienen
como mandato conducir tales evaluaciones, y aunque se ha reconocido la utilidad potencial de las evaluaciones,
aún muchos gerentes rehusan iniciar evaluaciones. Las siguientes son algunas razones (Carlson y Crane 1989)

• Minimización de la responsabilidad. La presión por reducir el tamaño del estado ha traído consigo un nuevo
sentido de riesgo. Los gerentes están conscientes de que los legisladores y los departamentos de presupuesto
buscan reducir o disminuir la escala de los programas. Consecuentemente, existe el temor de que cualquier
tipo de evaluación podría ser usada como justificación para cerrar un programa. Al mismo tiempo, no se
esperan beneficios de una evaluación positiva.

• Falta de confianza en que los productos de la evaluación lleven a beneficios prácticos que excedan sus costos
• Ausencia de incentivos para el patrocinio de evaluaciones.

15
• Tiempo requerido para iniciar una evaluación. En las agencias gubernamentales de los Estados Unidos, el
proceso para obtener la aprobación para llevar a cabo una evaluación, y luego el proceso para contratar a los
consultores son usualmente muy lentos. Muchos gerentes no sienten que los resultados de la evaluación
justificaran los esfuerzos que se requieren para invertir.
• Tiempo requerido para la producción de resultados.
Otro grupo de problemas gerenciales, está relacionado con las dificultades existentes para reclutar y mantener
personal calificado para las unidades de SyE. Frecuentemente, el perfil de profesionales requerido por estas
unidades no está definido con propiedad en la administración publica. Como consecuencia, resulta difícil ofrecer
condiciones de trabajo competitivas. Asimismo, las posibilidades de hacer carrera, no esta claramente definido para
los evaluadores; esto puede desmotivar a personal calificado que podría estar en posibilidades de ingresar en este
campo.

Problemas de enfoque
Los CMEA usualmente priorizan el seguimiento de la implementación del proyecto. Por lo tanto, muy pocos
estudios se llevan a cabo para determinar cómo operan los programas, si son sostenibles o si serán capaces de
producir los impactos esperados. Así pues, aunque gran cantidad de información sobre la implementación puntual
de los proyectos y sus presupuestos es recolectada, limitadamente si se llega a conocer si lograron los objetivos
propuestos por los programas masivos de desarrollo social y económico o si producen los beneficios o cambios
para los que fueron diseñados (Bamberger 1989)
Una razón para este sesgo es que en la mayoría de los países en desarrollo el presupuesto de capital de inversión
(para la construcción de nuevos caminos, escuelas, fábricas y hospitales) usualmente es mayor que el destinado a
las operaciones o retornos. Esta área es en la que se requiere un cuidadoso monitoreo debido a que la mayoría de
los recursos gubernamentales se destinan a la implementación de los proyectos. Asimismo, debido a que las
agencias internacionales de ayuda están usualmente involucradas con la implementación del proyecto, ellas
también se muestran más interesadas en el monitoreo de este último. Por consiguiente, muchas unidades de SyE
se encuentran localizadas en estas agencias destinadas a velar por la implementación de los proyectos y, como
muchas de ellas se desintegran una vez completada la implementación, no pueden llevar a cabo evaluaciones de
impacto en el largo plazo.
Otra limitación en el uso de la evaluación es el hecho de que la mayoría de los gobiernos y agencias se centran
más en la evaluación de los insumos antes que en la de resultados y productos. Esto limita la demanda de
evaluaciones de la calidad o del costo-efectividad de los resultados o de la estimación de los impactos.
Un problema mayor surge del hecho que la mayoría de los gobiernos y los administradores encargados de diseñar
las políticas operan dentro de un horizonte de uno o dos años plazo. Muchos países continúan operando con
presupuestos anuales y por lo tanto los planificadores y las agencias tienden a restringirse a objetivos de corto
plazo. Esto explica el por qué, raramente se conducen evaluaciones prospectivas de largo plazo. Osborne y
Gaebler (1992) señalan que un reciente avance en el gobierno estadounidense es que algunas autoridades locales
y estatales más innovadoras se han aventurado a planear a diez años plazo. Este enfoque, al ser combinado con el
planeamiento estratégico, puede generar una gran demanda por evaluaciones prospectivas y retrospectivas
orientadas a apoyar a planificadores y gerentes a proyectar el futuro, sobre la base de un análisis sistemático de
experiencias pasadas y presentes.

Problemas metodológicos
Durante la década de los 70, agencias internacionales de ayuda, financiaron un cierto número de evaluaciones de
impacto a gran escala que usaban diseños casi experimentales. Los sectores involucrados eran salud, vivienda y
agricultura entre otros. Los resultados de la mayoría de estas evaluaciones fueron desilucionantes. Como
resultado, hoy en día muchas autoridades gubernamentales y donantes manifiestan que es imposible que las
evaluaciones rigurosas de impacto sean costo-efectivas y útiles operativamente hablando. Así pues, los propulsores
de las evaluaciones de impacto deben defender la factibilidad y rigurosidad técnica de impacto y responder al
mismo tiempo a las críticas que dicen que los resultados de tales evaluaciones son muy académicas, o que llegan
muy tarde para ser usadas.

16
Algunos otros problemas metodológicos que se discuten en capítulos subsiguientes incluyen el sesgo de mono-
metodo que surge al trabajar con un solo (o un pequeño número de) método(s) de recolección de datos; la
preferencia por métodos cuantitativos; la tendencia a ignorar métodos cualitativos valiosos, la preferencia por
comparaciones estáticas entre periodos antes que por el análisis de procesos de cambió, y la excesiva
dependencia en computadoras y la falta de conciencia sobre las limitaciones que la computación impone en el tipo
de datos que se recogen o en la calidad y validez de los mismos.

La evaluación de programas de desarrollo social: Mas problemas; y enfoques recomendados

El seguimiento y evaluación de programas de desarrollo social puede ir de la mano con otros problemas de una
naturaleza menos general.

Otros posibles problemas

En primer lugar, los programas de desarrollo social son con frecuencia monitoreados usando los mismos
procedimientos y formatos de reporte utilizados en proyectos de capital de inversión y de desarrollo económico.
Estos sistemas de seguimiento se basan en un grupo de indicadores físicos y financieros fácilmente cuantificables,
muchos de los cuales no son apropiados para proyectos de desarrollo social debido a que los resultados de estos
últimos no son fáciles de identificar o medir. Por ejemplo, el desempeño de los proyectos de salud o educación
debe ser en parte evaluado con base en indicadores cualitativos tales como la calidad de los maestros o de los
extensionistas de salud; la calidad y utilidad de los libros de texto y de la curricula; la efectividad y representatividad
de las organizaciones comunales, o la calidad y utilidad de la asistencia técnica provista. Resulta inapropiado
monitorear estos programas exclusivamente a través de indicadores cuantitativos (como se hace con frecuencia)
tales como el número de pacientes o clientes atendidos o el número de personas que asisten a las reuniones de la
comunidad.
En segundo lugar, muchos programas sociales de desarrollo usan un enfoque flexible y participativo, en el cual los
objetivos del proyecto se definen en consulta con los presuntos beneficiarios y durante la evolución del proyecto. Lo
anterior hace difícil que los objetivos sea establecidos al inicio del proyecto y que se defina un marco para la
evaluación de objetivos. Para complicar las cosas aún más, es posible que los diferentes actores tengan también
distintos objetivos (ver la discusión sobre los actores en los capítulos 4 y 10).
En tercer lugar, es difícil evaluar y establecer los vínculos entre los resultados de los proyectos y los impactos
deseados. Por ejemplo, la mortalidad infantil, el desempeño escolar o el ingreso familiar se ven afectados por
factores tan diversos que se hace difícil aislar la contribución de un determinado proyecto. Esta contribución se
hace aún más difícil de evaluar cuando los programas tienen objetivos muy generales como aliviar la pobreza o
mejorar la participación social y económica de la mujer.

Algunos enfoques recomendados

Antes de discutir algunas recomendaciones específicas para la evaluación de programas sociales, señalaremos
algunas recomendaciones generales concernientes a la organización, diseño y manejo de las evaluaciones. Estas
recomendaciones fueron tomadas de un cierto número de estudios recientes sobre experiencias en evaluación en
los Estados Unidos y Europa. Un lector más interesado puede referirse a Wholey, Newcomer and Associates
(1989), Osborne y Gaebler (1992); Rist (1990); Stokke (1991ª); y Barkdoll y Bell (1989). Las siguientes son algunas
de las lecciones y recomendaciones más importantes derivadas de estas y otras publicaciones recientes similares:
• Es esencial involucrar a todos los actores en el proceso de evaluación desde la etapa de identificación de
necesidades hasta la definición de los objetivos.
• Sin descartar evaluaciones de insumos y de procesos se debe prestar una mayor atención a la evaluación de
resultados y de productos. No debe olvidarse que los programas están diseñados y planteados para lograr
ciertos objetivos; por lo tanto, una evaluación efectiva debe proveer a los encargados de políticas y gerentes de
una retroalimentación consistente sobre el grado de alcance de los objetivos y sobre los factores que pueden
estar interfiriendo en alcanzarlos.

17
• Se debe prestar más atención a la evaluación de la calidad de los programas antes que limitarse a examinar
indicadores cuantitativos de insumos y resultados.
• Los evaluadores deben ayudar a los gerentes a entender cómo la evaluación puede convertirse en una
herramienta gerencial para mejorar el desempeño. Los evaluadores deben, asimismo, mantener una relación
más estrecha con los gerentes.
• Debe darse más énfasis a la evaluación de políticas. Uno de los más grandes usos potenciales de los datos
obtenidos en la evaluación es el análisis sistemático de lo que se conoce acerca de un problema particular o
tipo de programa. Esto con la finalidad de ayudar a los encargados del diseño de políticas a seleccionar el
programa que más se adapte a los objetivos deseados.

Aunque es importante incorporar los programas sociales dentro de sistemas establecidos de SyE a escala nacional,
tales sistemas deben ser impulsados de tal forma que reflejen las características particulares de los programas de
desarrollo social.
• Los presuntos beneficiarios deben estar involucrados en el planeamiento, ejecución e interpretación de los
estudios de SyE. Esto significa que las perspectivas de los diferentes actores deberá ser identificada e
incorporada en el planeamiento e interpretación de los estudios. Los métodos de evaluación de los beneficiarios
desarrollado por el Banco Mundial están entre los muchos ejemplos de aplicación de este enfoque.
• El análisis social debe incorporarse como un componente estándar en la evaluación ex - ante de un proyecto.
Así pues, la evaluación de la relevancia social e institucional de un proyecto debe conducirse en la misma
forma en que se lleva a cabo para los campos económico y financiero.
• Los proyectos de desarrollo social están con frecuencia más relacionados con el desarrollo de capacidades en
el ámbito comunal y local que con el logro de resultados definidos y precisos. Como consecuencia, se presta
mayor atención a la evaluación de los procesos de selección, implementación, operación y replicacion del
proyecto. Estrechamente relacionado a lo anterior, esta el énfasis en la evaluación institucional. Sin embargo,
estos proyectos debieran también prestar atención a los resultados que esperan sostener.
• Se deben desarrollar métodos de evaluación rápida y estandarizarlos de modo que puedan usarse
regularmente para la recolección de datos y para el análisis durante las etapas de evaluación ex - ante,
monitoreo y diagnóstico.
• Se debe introducir una mayor flexibilidad en el proceso de SyE reconociendo el hecho de que los objetivos del
programa evolucionarán conforme el programa se desarrolle. Lo anterior significa que la evaluación debe
describir y evaluar tanto el proceso de implementación como los resultados.
• Siempre será útil desarrollar un modelo del proceso de implementación. Tal modelo (descrito en el capítulo 3)
identifica la premisa sobre la que se basa el proyecto, describe los supuestos en los que subyace el proyecto,
describe las estrategias de implementación e identifica los vínculos entre insumos, implementación, resultados
e impactos. El modelo previsto es luego comparado con la experiencia real de implementación, y establece las
razones de los desvíos y explica y examina los resultados no previstos.
• Se debe pedir a las organizaciones no gubernamentales que participen en todas las etapas de la evaluación.
• Es importante establecer un número de indicadores independientes de resultados clave e impactos para
obtener formas más confiables de evaluación y explicación de los resultados y desempeño del proyecto. Lo
anterior normalmente involucra el diseño de indicadores tanto cuantitativos como cualitativos. La metodología
para reconciliar los distintos indicadores se conoce como triangulación.

Las distintas estrategias para mejorar los procesos de SyE son el tema central de este libro.

18