Tipos de Evaluación - DNP PDF

Guía para la Evaluación de Políticas Públicas
Serie de Guías Metodológicas Sinergia
Dirección General Dirección de Seguimiento

Mauricio Santa María Salamanca y Evaluación de Políticas Públicas
Alejandro Torres Perico
María Carolina Suárez Hernández
Subdirección Territorial y de Inversión Pública Juanita Ayala Patiño
Paula Acosta Márquez José Luis González Ramírez
Angélica Cecilia Nieto Rocha
María Fernanda Cortés Garzón
Subdirección Sectorial Juan David Casas Maldonado
Mauricio Perfetti del Corral Julián Daniel Muñoz Cifuentes
Gustavo Alberto Quintero Ardila
Flavio Alejandro Reyes Gómez
Secretaría General Natalia Garbiras Díaz
Tatiana Mendoza Lara Jorge Norberto Llano Salamanca
José Alejandro Arango Dechner
Diana Mercedes Ramírez Guzmán
Director de Seguimiento María Margarita Borda Fonseca
y Evaluación de Políticas Públicas
Orlando Gracia Fajardo
Grupo de Comunicaciones
y Relaciones Públicas
Giovanni Celis Sarmiento
Diseño, Diagramación e Impresión

Editorial Kimpres Ltda.
Calle 19 Sur No. 69C - 17
PBX: 4136884
Bogotá D.C., Colombia
©Departamento Nacional de Planeación, 2012

Calle 26 No. 13-19
PBX: 3815000
www.dnp.gov.co
Bogotá D.C., Colombia
Impreso y hecho en Colombia

Printed in Colombia
Índice
Capítulo 1
Generalidades
1.1 ¿Qué es evaluar?........................................................................................................................... 10
1.2 ¿A qué preguntas responde?...................................................................................................... 10
1.3 Definición del alcance de la evaluación................................................................................. 11
1.3.1 Paso 1: Identificar el programa a evaluar.......................................................................... 13
1.3.2 Paso 2: La cadena de resultados o cadena de valor.................................................... 13
1.3.3 Paso 3: La cadena de entrega.................................................................................................. 15
1.3.4 Paso 4: El mapeo de información.......................................................................................... 16
1.3.5 Paso 5: Construcción de la hipótesis de evaluación................................................... 16
1.3.6 Paso 6: Definición de objetivos y alcance de la evaluación.................................... 16
1.4 Selección del tipo de evaluación ............................................................................................. 16
1.4.1 ¿Cómo seleccionar el tipo de evaluación?....................................................................... 17
1.5 Estudio de caso: Plan Nacional de Consolidación Territorial............................................ 18
1.5.1 Paso 1: Identificar el programa o política a evaluar..................................................... 18
1.5.2 Paso 2: La cadena de resultados............................................................................................ 22
1.5.3 Paso 3: La cadena de entrega.................................................................................................. 22
1.5.4 Paso 4: El mapeo de información ......................................................................................... 23
1.5.5 Paso 5: Construcción de la hipótesis de evaluación................................................... 25
1.5.6 Paso 6: Definición de objetivos y alcance de la evaluación.................................... 25
1.5.7 Selección del tipo de evaluación necesario para el análisis................................... 25
Capítulo 2
Evaluación de Procesos
2.1 Características y Usos.................................................................................................................. 29
2.2 Desarrollo de la evaluación....................................................................................................... 30
2.2.1 Definir los procesos a evaluar ................................................................................................ 30
2.2.2 Recoger información de cada una de las áreas.............................................................. 32
2.2.3 Analizar y reportar la información ....................................................................................... 32
2.2.4 Uso de los resultados.................................................................................................................. 35
Capítulo 3
Evaluación de productos
3.2 Desarrollo de la evaluación....................................................................................................... 40
3.2.1 Definir los productos esperados............................................................................................ 40
3.2.2 Establecer metas y asociar indicadores............................................................................. 40
3.2.3 Recolección de información..................................................................................................... 41
3.2.4 Analizar y reportar el estado de los productos ............................................................. 42
Capítulo 4
Evaluación ejecutiva E2+
4.2 Desarrollo de la Evaluación....................................................................................................... 51
4.2.1 Visión general del programa ................................................................................................... 52
4.2.2 Análisis de eficacia........................................................................................................................ 53
4.2.3 Análisis de eficiencia................................................................................................................... 54
4.2.4 Calidad de los bienes y/o servicios...................................................................................... 57
4.2.5 Recomendaciones ........................................................................................................................ 57
Capítulo 5
Evaluación de resultados
5.2.1 Identificar los resultados esperados .................................................................................. 67
5.2.2 Priorizar los resultados a evaluar.......................................................................................... 67
5.2.3 Construir indicadores.................................................................................................................. 67
5.2.4 Fijar metas......................................................................................................................................... 68
5.2.5 Recolección de información..................................................................................................... 68
5.2.6 Análisis mediante una metodología ................................................................................... 69
5.3 Metodologías de medición......................................................................................................... 69
Capítulo 6
Evaluación de impacto
6.2.1 Diseñar el modelo......................................................................................................................... 81
6.2.2 Muestreo y Recolección de información........................................................................... 85
6.2.3 Métodos cuantitativos para el análisis de la información........................................ 85
6.2.4 Métodos cualitativos para el análisis de la información........................................... 87
6.2.5 Integrando métodos cuantitativos y cualitativos.......................................................... 88
6.3 Estudio de caso: Familias en Acción......................................................................................... 89
6.3.1 El programa....................................................................................................................................... 89
6.3.2 Objetivos y alcance de la evaluación ................................................................................. 89
4
Sinergia - Sistema Nacional de Evaluación de Gestión y Resultados
6.4 Construcción de Líneas de Base................................................................................................ 91

6.4.1 Características y usos.................................................................................................................. 92
6.4.2 Desarrollo de una línea base................................................................................................... 94
Capítulo 7
Evaluación costo-beneficio
7.1. Definiciones, usos y aplicación. .................................................................................................. 105
7.1.1. Definiciones......................................................................................................................................... 105
7.1.2. Usos......................................................................................................................................................... 106
7.1.3. Aplicación............................................................................................................................................. 106
7.2. Desarrollo de la Evaluación Costo-Beneficio......................................................................... 107
7.2.1 Identificar los objetivos del programa ............................................................................... 107
7.2.2 Definir otras alternativas .......................................................................................................... 107
7.2.3 Establecer el marco de referencia conceptual............................................................... 108
7.2.4 Estimar el valor económico de los costos y beneficios mediante
una metodología preestablecida........................................................................................... 109
7.2.5 Estimar el valor presente neto................................................................................................ 110
7.2.6 Estimar la relación costo-beneficio...................................................................................... 112
7.2.7 Estimar la rentabilidad................................................................................................................ 112
7.3 Metodologías utilizadas ............................................................................................................ 114
7.3.1 Los enfoques.................................................................................................................................... 114
7.3.2 Herramientas para construir alternativas susceptibles de comparación......... 115
7.3.3 Herramientas para valorar costos y beneficios.............................................................. 116
7.3.4 Herramientas para cuantificar la incertidumbre relacionada al riesgo.............. 117
7.4 Estudio de caso: Familias en Acción......................................................................................... 118
7.4.1 El programa....................................................................................................................................... 118
7.4.2 La evaluación................................................................................................................................... 118
7.4.3 Análisis Costo-Beneficio............................................................................................................. 119
Capítulo 8
Evaluación institucional
8.2.1 Perspectiva de la evaluación .................................................................................................. 125
8.2.2 Unidad de análisis......................................................................................................................... 126
8.2.3 Metodología de análisis............................................................................................................. 127
8.2.4 Levantamiento de información.............................................................................................. 127
8.2.5 Análisis de la información......................................................................................................... 128
8.3 Metodologías utilizadas ............................................................................................................................. 128
8.3.1 La metodología SADCI................................................................................................................. 128
8.3.2 La metodología PROSE................................................................................................................ 131
8.3.3 La metodología OCAT................................................................................................................... 133
8.3.4 La Lista de chequeo Sí/No o Tarjeta de puntuación (Scorecard)........................... 135
8.4 Estudio de caso: Política de Vivienda y Tierras para PD ..................................................... 136
8.4.1 La Política........................................................................................................................................... 136
5
8.4.2 La evaluación .................................................................................................................................. 137

8.4.3 Metodología...................................................................................................................................... 138
Capítulo 9
Glosario..................................................................................................................................................................................... 141
Capítulo 10
Bibliografía de apoyo......................................................................................................................................................... 145
Muestreo (Sampling).............................................................................................................................. 152

Encuesta (survey).................................................................................................................................... 153
Capacidad organizacional, construcción institucional, fortalecimiento institucional,
desarrollo organizacional.......................................................................................................... 153
Herramientas de medición de capacidad institucional................................................................. 154
Desempeño en el gobierno .................................................................................................................. 154
Aleatoriedad............................................................................................................................................. 155
Método de pareo o correspondencia (propensity score matching)............................................. 155
Doble diferencia...................................................................................................................................... 156
Variables instrumentales...................................................................................................................... 156
Regresión discontinua........................................................................................................................... 157
Técnicas cualitativas.............................................................................................................................. 157
Evaluación participativa rápida - Participatory Rural Appraisal (PRA)..................................... 158
Capítulo 11
Anexos........................................................................................................................................................................................ 159
11.1 Métodos más utilizados de recolección de información..................................................... 161
11.2 Perfiles para evaluaciones de procesos.................................................................................. 163
11.3 Perfiles para evaluaciones de productos................................................................................ 164
11.4 Perfiles para la E2+ ....................................................................................................................... 165
11.5 Perfiles para evaluaciones de resultados............................................................................... 166
11.6 Perfiles para evaluaciones de impacto.................................................................................... 167
11.7 Perfiles para Líneas de Base....................................................................................................... 168
11.8 Perfiles para evaluación institucional .................................................................................... 169
6
PRESENTACIÓN
El seguimiento al Plan Nacional de Desarrollo y la evaluación de Políticas Estratégicas

son elementos esenciales para la retroalimentación constante de las políticas públicas con
las que el Estado busca construir un futuro próspero para los ciudadanos. Desde la
década de los noventa del siglo pasado, se han realizado grandes esfuerzos por crear,
articular, mantener, expandir, estandarizar y fortalecer un sistema que le permita al
Gobierno Nacional velar por el cumplimiento de sus metas. El fruto de este arduo trabajo
es el Sistema Nacional de Evaluación de Gestión y Resultados -Sinergia- del
Departamento Nacional de Planeación. SINERGIA gerencia el manejo de la información
relacionada con el seguimiento al Plan Nacional de Desarrollo (PND), la agenda de
evaluación del Gobierno y la promoción de la cultura del seguimiento y la evaluación en
las entidades territoriales colombianas.
El componente de evaluaciones de Sinergia tiene como propósitos la consolidación y

posicionamiento de un portafolio de servicios que pueda ser utilizado por los diferentes
actores interesados en la realización de evaluaciones de política al interior del gobierno.
La estrategia se desarrolla en el marco de un proceso de comunicación y socialización
permanente con las direcciones técnicas, los sectores, la academia, los gremios y los
organismos multilaterales.
Este documento hace parte de las Guías Metodológicas de la DSEPP-DNP, cuyo objeto
es orientar al lector en el proceso de implementación de sistemas de seguimiento y
evaluación. En esta entrega, se presenta una guía técnica y conceptual, que incluye tanto
las definiciones, como el diseño y ejemplos de los tipos de evaluaciones más utilizados en
la DSEPP. Lo anterior comprende desde entender el funcionamiento del programa a
evaluar, mediante una herramienta como la cadena de resultados, pasando por el proceso
de definición del alcance e hipótesis de la evaluación, hasta la determinación del tipo de
evaluación apropiado para responder a las preguntas formuladas.
Para finalizar, quiero agradecer a todas las personas que apoyaron la elaboración de este
documento, muchos de ellos ya no están en la Dirección, pero su trabajo fue vital para
lograr esta publicación. Agradezco especialmente, a Ariane Ortiz y David Ibáñez quienes
aportaron los insumos fundamentales para el desarrollo de este trabajo. De igual forma,
agradezco a Armando Ardila, Diego Dorado e Iván Durán quienes con su trabajo y juiciosa
revisión lograron darle un alto estándar de calidad a la publicación que hoy tengo el gusto
de presentar.
ORLANDO GRACIA FAJARDO

DIRECCIÓN DE SEGUIMIENTO Y EVALUACIÓN DE POLÍTICAS PÚBLICAS
DEPARTAMENTO NACIONAL DE PLANEACIÓN
.

CAPÍTULO I
Capítulo I
Generalidades
Oleksandr Shevchenko
“Una evaluación se debe entender como una investigación sistemática y objetiva aplicada en
alguno de los diferentes eslabones de la cadena de resultados o valor (insumos, procesos, productos,
resultados e impactos) que tiene como finalidad mejorar el diseño, la implementación, la ejecución y
los efectos de un plan, política, programa o proyecto a través de la toma de decisiones” (DEPP, 2010).
La Dirección de Seguimiento y Evaluación de Polí- interior del gobierno. La estrategia se desarrolla

ticas Públicas (DSEPP) del Departamento Nacional en el marco de un proceso de comunicación y
de Planeación (DNP) está comprometida con el socialización permanente con las direcciones
fortalecimiento de las capacidades del Estado en técnicas, los sectores, la academia, los gremios
temas de monitoreo y evaluación de las políticas y los organismos multilaterales.
públicas. Por tal motivo, quiere promover un len-
guaje común y presentar un documento que guíe Para el seguimiento al PND se cuenta con el
y resuma los conceptos utilizados en este tipo de Sistema de Seguimiento a Metas de Gobierno
prácticas, tanto en cuanto a su definición como (Sinergia Seguimiento), plataforma tecnológica de
a sus objetivos, dentro del marco del Sistema SINERGIA que apoya las funciones de seguimiento
Nacional de Evaluación de Gestión y Resultados, a las metas de corto (PND-cuatrienio), mediano
SINERGIA. Es a través de la DSEPP que el Sistema y largo plazo.
focaliza los esfuerzos técnicos, conceptuales y de
difusión de los resultados de la implementación Finalmente, para el afianzamiento de la cultura de
de las políticas públicas. gestión pública por resultados se encuentra la Red
de Monitoreo y Evaluación de Política Pública en
SINERGIA gerencia el manejo de la información Colombia, que permite intercambiar experiencias
relacionada con el seguimiento al Plan Nacional en evaluación y monitoreo a nivel local, nacional
de Desarrollo (PND), la agenda de evaluación e internacional, al proveer espacios de discusión
del Gobierno y el afianzamiento de la cultura e intercambio de ideas con expertos, colegas y
de gestión pública por resultados en el país y funcionarios públicos. Esto con el fin de promover
América Latina. la innovación y fortalecer la capacidad analítica
y práctica en materia de monitoreo y evaluación.
La administración de la agenda de evaluación se
adelanta a través del Sistema Nacional de Evalua- Este documento hace parte de las Guías Metodo-
ciones (Sinergia Evaluaciones), el cual tiene como lógicas de la DSEPP-DNP, cuyo objeto es orientar
propósitos la consolidación y posicionamiento al lector en el proceso de implementación de
de un portafolio de servicios que pueda ser sistemas de seguimiento y evaluación. En esta
utilizado por los diferentes actores interesados entrega, se presenta una guía técnica y concep-
en la realización de evaluaciones de política al tual, que incluye definiciones, diseño y ejemplos
de los tipos de evaluaciones más utilizados en en práctica, efectos, resultados e impactos.

la DSEPP: evaluación de impacto; de resultados; La finalidad de la evaluación es ser útil a los
de productos de procesos; institucional; costo- tomadores de decisiones y gestores públicos
beneficio; ejecutiva (E2) y métodos cualitativos y a la ciudadanía”2.
en las evaluaciones.
Con el objeto de tener un esquema claro en el
Su propósito es exponer la definición de estos cual se va a enmarcar la guía, se describen a
tipos y los pasos a seguir en la selección de uno continuación las diferentes perspectivas bajo
de ellos para la evaluación de un programa. Lo las que se clasifican los tipos de evaluación. La
anterior comprende desde entender el funcio- categorización depende del momento de tiem-
namiento del programa a evaluar1, mediante po respecto al programa, el alcance, el tipo de
una herramienta como la cadena de resultados, preguntas que se van a resolver y los actores
pasando por el proceso de definición del alcance e involucrados en el desarrollo de la evaluación3.
hipótesis de la evaluación, hasta la determinación
del tipo de evaluación apropiado para responder En primer lugar, las evaluaciones pueden dividirse
a las preguntas formuladas. de acuerdo a la fase en la que se encuentra el
programa, dado que se realizan antes, durante
1.1 ¿Qué es evaluar? o tras finalizar su implementación. La que se ha
venido realizando con mayor frecuencia en la
Para seleccionar el tipo de evaluación que mejor DSEPP es la evaluación ex-post, posterior a la
se ajusta al análisis deseado, es importante tener ejecución del programa, cuyo objetivo es deter-
claro el concepto de evaluación. La comprensión minar los efectos logrados.
del significado de este tipo de análisis, permite
ubicar las diferentes modalidades de evaluación 1.2 ¿A qué preguntas responde?
en el ciclo de un programa. Algunas definiciones
de evaluación: En temas de política pública y el manejo de re-
cursos escasos, es importante poder responder
• “Una apreciación sistemática y objetiva de a interrogantes como:
un proyecto, programa o política en curso o
concluido, de su diseño, su puesta en práctica • ¿Hay otras alternativas para alcanzar este
y sus resultados”… “se refiere al proceso de objetivo? ¿Estos recursos podrían usarse de
determinar el valor o la significación de una mejor manera?
actividad, política o programa. Se trata de
una apreciación, tan sistemática y objetiva • ¿Está bien diseñado el programa? ¿Se en-
como sea posible, de una intervención para cuentra bien implementado?
el desarrollo planeada, en curso o concluida”
(OECD, 2002). • ¿Cuáles fueron los efectos del programa?
• “… el proceso sistémico de observación, me- • ¿El programa logra su objetivo?

dida, análisis e interpretación encaminado al
conocimiento de una intervención pública, sea La evaluación es una herramienta que permite
esta una norma, programa, plan o política, responder de manera técnica y precisa a estas
para alcanzar un juicio valorativo basado preguntas.
en evidencias, respecto de su diseño, puesta
1 Ver mapas de procesos Evaluación de Políticas Estratégicas, DEPP, DNP (2010).

2 Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios de España.
3 En adelante se va a utilizar el término “programa” de manera genérica para referirse al Evaluado (intervención, programa, política,
proyecto, producto, servicio, organización, etc).
10
Tipos de evaluación y sus características
Perspectiva Tipo Características
Análisis antes de implementación de programa para determinar efectos que

Ex ante
provocaría
Se realiza una vez se ha dado la intervención
Tiempo • Dinámica: Es permanente, sirve de mecanismo de ajuste al programa con-
Ex post trolado su desarrollo;
• Intermedia: Análisis después de cierto nivel de avance del programa;
• Final: Análisis después del fin de la ejecución del programa
Provee información sobre el progreso de un programa para comparar los avan-
Seguimiento
ceslogrados frente a las metas
Evalúa la dinámica interna de los organismos de ejecución y los vinculos que
Operaciones Gestión
existen entre sus componentes
Mide la capacidad institucional que tiene un programa para cumplir con sus
Institucional
objetivos
Alcance Hace un análisis rápido de la articulación y consistencia entre insumos, procesos,

Ejecutiva
productos y resultados esperados
Determina qué productos se entregaron y qué resultados se generaron frente
Productos y Resultados
a los insumos invertidos
Impacto Determinar el impacto asociado exclusivamente a la intervención de un programa
Compara todos los costos y beneficios de un programa asignado un valor mo-

Costo-beneficio
netario, permite comparaciones para gastar en diferentes sectores
Los actores de un programa o proyecto evalúan su propio trabajo, herramienta
Autoevaluación
de gestión
Actores Experto ajenos al proyecto examinan aspectos del programa, herramienta del
Externa
control
Participativa Valora la percepción como insumo para identificar el resultado
Fuente: BOT (2004), análisis del autor.
1.3 Definición del alcance de la Análisis de actores

evaluación
Se identifica el programa de la evaluación.
En el proceso de identificar los objetivos, metas

Se construye la cadena de Resultados.
e información necesaria del programa a evaluar,
se sugiere utilizar una herramienta de tipo marco Se construye la cadena de entrega
lógico. A continuación, se ilustran y detallan los del bien o servicio público.
pasos a seguir para definir el alcance de la eva-
luación, de manera que se entienda la cadena Se realiza el mapeo de la información.
lógica del programa (Análisis de actores).
Se construye la Hipótesis.
Es recomendable que estos pasos se realicen con
la participación de todos los actores involucrados Se define el alcance de la evaluación.
en el programa (stakeholders) para legitimar el
proceso (ver recuadro). Fuente: DSEPP-DNP
11
Análisis de actores
Una evaluación estará mejor formulada, de- preguntas que se quieran resolver con la
sarrollada y sus recomendaciones serán debi- evaluación; usa los resultados.
damente discutidas y utilizadas en el ciclo de
la política pública, si se involucra en todo el • El gerente del programa: plantea preguntas
proceso a los actores interesados. La evaluación que se quieran resolver con la evaluación;
debe responder a diferentes expectativas y este facilita la disponibilidad de información;
análisis permite catalogarlas, considerando apoya el trabajo de campo en regiones o
los intereses de los diversos agentes. Para un municipios para encuestas; usa los resul-
acercamiento inicial, los actores relacionados tados.
con una evaluación4 se pueden clasificar en:
• Los técnicos del programa: participan en
• El cliente principal de la evaluación: el el diseño de la evaluación; acompañan su
actor clave o grupo de actores patroci- desarrollo; facilitan la disponibilidad de
nadores que solicitan la evaluación y los información.
principales destinatarios de sus productos.
• El proveedor de fondos para la evaluación:
• Los actores involucrados: personas y orga- Banca multilateral, entidad del gobierno
nizaciones que no son el cliente principal, central o el mismo ente ejecutor del pro-
pero que se caracterizan por tener una grama.
participación y/o un interés en la inter-
vención (beneficiarios directos/indirectos, • El diseñador de la evaluación-DNP-: pre-
organizaciones que proveen fondos, fun- para y lidera procesos entre los diferen-
cionarios gubernamentales, funcionarios tes actores relacionados para definir los
electos y empleados del gobierno con objetivos de la evaluación, determinar la
intereses pertinentes en la intervención, información disponible, costear la eva-
directores del programa, gerentes y el luación, desarrollar cronogramas, fijar el
personal contratado, hacedores de polí- equipo necesario para la ejecución y sus
tica, la comunidad, los grupos de interés responsabilidades, construir parámetros
y asociaciones). necesarios para la muestra, consolidar
los términos de referencia; seleccionar el
Para profundizar en un análisis de roles e equipo de evaluación; hacer seguimiento
intereses de actores relacionados, existen al equipo de evaluación así como a la
diversas herramientas. Lo importante en esta adopción de las recomendaciones y la
etapa es tener en cuenta que el proceso de difusión de resultados.
definición del alcance de la evaluación debe
ser participativo. • El equipo de evaluación-firma de con-
sultoría-: se compone básicamente de un
¿Cuáles son los actores y el rol que juegan en director de la evaluación, un experto en
una evaluación desarrollada por la DSEPP? evaluación, expertos sectoriales, analistas,
un estadístico experto en muestreo, un
• El diseñador de política –Presidencia, diseñador de encuestas, un grupo de en-
Ministerios, DNP, Entidades u Organismos cuestadores y su responsable, y un equipo
con interés en la intervención–: plantea que organiza y procesa los datos.
4 Morra y Rist (2009).
12
ejecutar en el año en curso. Una vez ratificada se

• Universidades, centros de investiga- asigna la evaluación a un responsable del área
ción: utilizan las bases de datos y la de evaluaciones de la DSEPP, quien tiene como
información generada por la evaluación tarea inicial elaborar la cadena de resultados del
para corroborar los análisis desarrollados programa.
y resultados o hacer estudios de otros
indicadores.
1.3.2 Paso 2: La cadena de resultados o
• El público: beneficiarios directos e in- cadena de valor
directos, la comunidad, los grupos de
interés, las asociaciones que utilizan La cadena de resultados es uno de los instrumen-
los resultados de la evaluación para tos que se puede utilizar para entender la lógica
rendición de cuentas. con la que se creó e implementó un programa.
Esta herramienta es utilizada por la teoría de
cambio, que desarrolla el mapa de la construcción
de las etapas o fases necesarias para alcanzar los
A continuación se detallan los pasos a seguir objetivos de largo plazo de una intervención5.
para la definición del alcance de una evaluación.
1.3.1 Paso 1: Identificar el programa a “El fin último de la teoría de cambio es desa-
evaluar rrollar el mapa general de las causas y efectos
a través de la identificación de los eventos
Se toma la decisión de evaluar un programa o condiciones que pueden afectar a una
cuando se quieren tomar medidas, entre otras, intervención, de los medios como consigue
acerca de: los resultados deseados y especialmente
de la interrelación y la complejidad de los
• Diseño de políticas procesos internos de la política pública”6.
• Justificación de los gastos Para mayor nivel de detalle acerca de la teoría de

cambio, ver autores como Heyer (2001), Menon y
• Efectividad del programa Wignaraja (2007) y Morra y Rist (2009), que la uti-
lizan para el diseño y la evaluación de programas,
• Mejoramiento de la entrega de los servicios a través de cadenas lógicas de causa y efecto7.
que provee el programa
Dentro de la teoría, la cadena de resultados está
• Ampliación o replicación del programa en diseñada para ayudar a los evaluadores y formu-
otras zonas u otros países ladores de política a representar los procesos de
la intervención y el alcance de la evaluación, de
La DSEPP, a partir de estos criterios, identifica los esta manera:
programas que se va a evaluar proponiendo una
agenda de evaluaciones preliminar para discusión • Ayuda a gestar un entendimiento común del
en el Comité Intersectorial de Evaluaciones (ver programa y de las expectativas entre las partes
mapa de procesos de Evaluación de Políticas interesadas, en un lenguaje compartido.
estratégicas, DEPP-DNP, 2010). El Comité es • Provee una base de conocimiento para la
una instancia compuesta por la Presidencia, los evaluación.
ministerios y el DNP, que determina la agenda a
5 Kellogg Foundation (2004).

6 Heyer (2001).
7 Ver Guía de Teoría de Cambio, DEPP, DNP (2010).
13
• Identifica los supuestos que se están haciendo, tos (el impacto deseado o meta final se presenta
lo que puede convertirse en una plataforma a menudo como la última etapa en el modelo).
para formular las preguntas de evaluación y
los conectores lógicos de acción. La cadena de resultados de un programa muestra
la secuencia causal de los procesos que componen
• Señala las variables de intervención, a las la intervención8. Aunque no revela específicamente
cuales se hará seguimiento con la evaluación. cómo son los vínculos de causalidad, sí expone cómo
es el orden secuencial del programa a través de los
La forma simple de relación de causalidad fue insumos que necesita, de los procesos que genera
propuesta por Suchman (1967) como una alter- para movilizar sus recursos, de los bienes y servicios
nativa para entender modelos de marco lógico: que crea, de los efectos a corto y mediano plazo
De esta forma se plantean las etapas de una sobre los niveles de bienestar de los beneficiarios
cadena de razonamientos para mostrar cómo se del programa y de los impactos reales que produce.
interrelacionan las causas y se generan los efec-
Algunos tips
¿Qué preguntas pueden contribuir a diferenciar

cada uno de los pasos?
Insumos Productos Resultados
• Insumos: ¿Cuántos recursos humanos, finan-

cieros y físicos se invirtieron en el programa?
¿Cuánto personal trabajó?
Fuente: DSEPP–DNP.
La cadena de resultados
Insumos Procesos Productos Resultados Impactos
Son los resursos Actividades que Son los bienes y Comprende los Cambios reales
(financieros, hu- emprenden el pro- servicios que se cambios en las productos del pro-
manos y materia- grama, los cuales obtienen a través condiciones de grama medios en
les) que se usan movilizan los insu- de la intervención. los beneficiarios términos de bien-
en la interven- mos para generar a corto y mediano estar de los bene-
ción. productos plazo que ocacio- ficiarios.
especificos. nan los productos
creados por la in-
tervención
Recursos Efectos
Los efectos del programa pueden concebirse como las trans-

formaciones descriptibles y cuantificables, en la población
que resultan de la relación entre una causa y un efecto.
Fuente: Menon, S. Karl, J. & Wignaraja, K. (2009). Adaptación del Autor.
8 Morra y Rist (2009) plantean la cadena de resultados como una forma de desarrollar la Teoría de Cambio.
14
• Procesos: ¿Con qué rapidez se está haciendo? 1.3.3 Paso 3: La cadena de entrega
¿Cuánto cuesta?
“La cadena de entrega se puede definir como el
• Productos: ¿Cuántas unidades de productos conjunto de actores (personas o instituciones), y
y servicios se están generando? las relaciones entre ellos, a través de las cuales
una actividad o un proceso de un sistema dado
• Resultados: ¿Cómo han cambiado las con- será implementado.”9
diciones de los beneficiarios en las que el
programa está interviniendo en el corto y La característica más relevante de la cadena de
mediano plazo? entrega es que se utiliza como representación
gráfica de la interacción entre actores, institu-
• Impactos: ¿Cómo han cambiado las condicio- ciones y procesos, con el propósito de identifi-
nes de los beneficiarios en las que el programa car los obstáculos que potencialmente podrían
está interviniendo en el largo plazo? incidir en la entrega de los bienes y servicios de
la intervención. Responde a la pregunta: ¿cómo,
¿Cómo diferenciar productos de efectos? y a través de quién, ocurre una actividad o un
proceso del sistema?
Los productos dependen en mayor medida del
accionar directo del programa, mientras que los Ejemplo: Programa Familias en Acción
resultados e impactos capturan otros factores que
pueden influir en su comportamiento.
El objetivo del programa es suministrar a los
Ejemplo: Salud pública hogares más pobres un subsidio en dinero,
condicionado por un conjunto de requisitos
Campaña para virus AH1N1 en salud, nutrición y educación, dependiendo
de la edad de los niños.
• Insumos: recursos campaña (dinero, personas).
Cadena de Entrega del programa
Familias en Acción
• Procesos (actividades): diseño y desarrollo de
avisos para prensa escrita, mensajes radiales,
Recurso humano técnico, logístico y operativo
propagandas de TV; difusión de avisos.
Evaluación de las condiciones (oferta en
• Productos: avisos de prensa escrita publica- salud,educación y para pago del subsidio).
Inscripciones de familias elegibles
dos, mensajes radiales difundidos; propagan-
das de TV al aire. Las familias envian los niños a los estableci-
mientos educativos. Las madres asisten a los
contoles de crecimiento y desarrollo
• Resultados de corto plazo: las personas leen, El programa comprueba los compromisos y
oyen y ven los avisos; su actitud cambia. paga el subsidio a las madres. El subsidio
incrementa el ingreso disponiblede las familias
• Resultados de mediano plazo: las personas El mayor ingreso disponible de las familias
permite un mayor consumo de alimentos y
cambian su comportamiento (se lavan más de gastos para educación. Los niños tienen
frecuentemente las manos, se ponen tapa- mayor nutrición y permanencia en los centros
bocas cuando tienen síntomas). educativos
Fuente: Grupo de evaluación DSEPP, DNP.

• Impactos: baja la frecuencia de casos de
AH1N1.
9 Barber (2009).
15
1.3.4 Paso 4: El mapeo de información Ejemplo: Programa Familias en Acción (2004)
El mapeo de información10 de la evaluación en

esta etapa no pretende ser exhaustivo, pues Hipótesis a evaluar: Familias en Acción mejora
aún no se ha definido el tipo. Aquí se refiere a los niveles de salud, nutrición y educación
entender un poco más el contexto en el cual se de la población más pobre (Sisbén 1) de
desarrolla el programa. municipios con menos de 100 mil habitantes.
Las preguntas que se quieren responder son: 1.3.6 Paso 6: Definición de objetivos y
alcance de la evaluación
• ¿Qué nivel de detalle de información maneja
el programa? Al saber cuál es la hipótesis de la evaluación,
determinar su alcance permite: establecer los
• ¿Cómo funciona el sector? objetivos, delimitar lo que se va y lo que no se va
a incluir en el estudio y especificar las principales
• ¿Cómo funcionan los programas con este preguntas a resolver por parte de la evaluación.
tipo de objetivos en Colombia? ¿Cómo en el En cuanto a estas últimas, es imperativo aclarar si:
contexto internacional?
• ¿Son preguntas de gestión del programa?
• ¿Cuáles son las fuentes de información del
programa (registros administrativos, informa- • ¿Son preguntas de política?
ción, línea de base)?
• ¿Son preguntas de operatividad?
En este ejercicio, es crucial entender tanto los
supuestos y justificación sobre los que se fun- • ¿Son preguntas del diseño del programa?
damenta la existencia del programa, como tener
claro el conocimiento existente de este tipo de • ¿Son preguntas de implementación?
programas.
• ¿Son preguntas de capacidad institucional?
1.3.5 Paso 5: Construcción de la hipótesis
de evaluación • ¿Son preguntas de costo-beneficio?
Los pasos anteriores deben contribuir a definir • ¿Son preguntas de los resultados del programa?
la hipótesis principal de la evaluación. Ésta es
esencial para orientar el proceso y permite llegar • ¿Son preguntas del impacto del programa?
a las conclusiones concretas de la evaluación.
Al definir las preguntas, es necesario hacer una
Una hipótesis bien formulada aclara las variables priorización para demarcar el objetivo general, los
que se van a analizar, las relaciones entre ellas, y objetivos específicos y el alcance de la evaluación.
plantea los objetivos del estudio. A partir de allí, se
podrán identificar las necesidades de información, 1.4 Selección del tipo de
diseñar los indicadores a medir y delinear una
estrategia de evaluación sólida que proporcione evaluación
respuestas a las preguntas propuestas.
A continuación, se puede entrar a seleccionar el
tipo de evaluación que más se ajusta al alcance.
10 Levantamiento de información secundaria del programa.
16
1.4.1 ¿Cómo seleccionar el tipo a las que debería responder y la información

de evaluación? necesaria para realizarla. Se enuncian otras
razones no técnicas por las cuales se toman
Al final de esta sección se presenta un cuadro decisiones de hacer o no hacer determinado tipo
resumen con las razones técnicas, presupues- de evaluación como los recursos disponibles o
tales y políticas que pueden incidir en la esco- el interés político por los resultados.
gencia de un tipo de evaluación. El cuadro es
una compilación de los tipos más recurrentes Los tipos de evaluación se clasifican según su
en la literatura y los utilizados frecuentemente alcance y el tiempo de evolución de la interven-
por la DSEPP. Para cada uno de éstos, se plan- ción: etapas de planeación y diseño, de imple-
tean algunas características para su desarrollo, mentación, y de entrega de productos o servicios.
su objetivo, los actores que intervienen en su Es importante anotar que, dependiendo de las
diseño y ejecución, en qué momento es más preguntas a resolver por el programa y los recur-
recomendable hacerla con respecto a la fase en sos disponibles, los diferentes tipos se pueden
la cual se encuentra el programa, las preguntas utilizar de manera conjunta y complementaria.
Tiempo de implementación vs. Tipo de evaluación
¿Como es la ¿Cuales son los

¿Cuales son las
articulación y resultados criticos
¿En qué van los fortalezas y las ¿Comó se comparan
consistencia que el programa trata
¿El programa es indicadores debilidades de los costos con los
entre insumos, de lograr?
necesario? respecto a la la capacidad beneficios del
procesos, productos Qué efectos de corto
meta? institucional del programa?
y resultados y mediano plazo
programa
esperados? generó el programa?
Evaluar necesidad Monitoreo Institucional Evaluación Resultados

del programa Ejecutiva
Evaluación costo-
beneficio
Tiempo de Implementación
del programa
Marco Lógico Procesos Medio Térmico Productos Impactos
¿Son eficientes ¿Cuales fueron

¿Cómo van el ¿Cuál fue el impacto del
¿Cuál es el las operaciones los productos
diseño, cobertura programa en los beneficiarlos?
fin, propósito, del programa? El generados?
y enfoque, para ¿De qué magnitud fue? ¿Qué
componentes y programa Están de acuerdo
la asignación tanto se puede atribuir al
actividades es capaz de con los objetivos y
de recursos al programa y qué tanto a otros
del programa? producir las metas planeadas
programa? factores?
lo deseado? inicialmente?
Planeación y
Diseño Implementación Entrega de productos y servicios
Fuente: Análisis del autor.
1.4.1.1 Etapa de planeación y diseño ción es necesaria, qué opinan los actores de su
implementación, cuáles serían sus beneficiarios,
En ésta el programa aún no ha comenzado, por costos, impactos esperados y, de acuerdo con
lo que se pueden realizar evaluaciones ex-ante, experiencias similares en otros países o regiones,
que se encargan de determinar: si la interven- relevancia para el caso estudiado.
17
1.4.1.2 Etapa de implementación cumpliendo. Teniendo en cuenta lo anterior, se

incluyó en la agenda de evaluaciones de la DEPP
Ésta comienza cuando el programa empieza a en el año 2010.
funcionar. En algunos casos se adelanta un pro-
grama piloto, con el objeto de detectar aspectos • Proceso de talleres: se adelantaron dos talle-
a mejorar en la operación del programa antes de res. El primero fue guiado y coordinado por el
que su corrección se vuelva muy costosa o se Director de Evaluación de Políticas Públicas
descubran impactos negativos. del DNP para precisar los conceptos de mo-
nitoreo, seguimiento y evaluación; presentar
Las evaluaciones realizadas durante la etapa de las diferentes metodologías de evaluación
implementación tienen como objeto principal que se emplean en la Dirección, y solventar
generar un entendimiento básico del programa, las inquietudes por parte de los múltiples
definir sus indicadores clave y conocer mejor la involucrados en la implementación del Plan.
manera como opera para entregar los bienes o El segundo se realizó con representantes de
servicios. las diferentes entidades que hacen parte del
PNCT, con el fin de discutir los procesos de la
1.4.1.3 Etapa de entrega de productos y servicios cadena de resultados del Plan de una forma
participativa.
Cierto tiempo después de que el programa esté
entregando sus bienes o servicios, se pueden • Su origen: con el propósito de alcanzar los
evaluar otros aspectos como los productos, los objetivos de la Política de Consolidación de la
resultados de corto y mediano plazo o los impactos Seguridad Democrática, mantener la confianza
del programa en el largo plazo. Adicionalmente, inversionista y avanzar en la política social
es posible examinar la parte operativa del pro- efectiva, el Gobierno Nacional se ha concen-
grama o hacer un análisis costo-beneficio de su trado en diseñar un mecanismo (denominado
implementación. Estos tipos requieren que el Salto Estratégico) que fortalezca la alineación
programa lleve cierto tiempo de ejecución, sin de los esfuerzos militar, policial y antinarcóti-
embargo es necesario establecer desde el diseño cos con aquellos en el área social, de justicia,
del programa los indicadores a medir y levantar desarrollo económico e institucional del
una línea base de éstos antes de su inicio. Estado en zonas estratégicas del territorio
nacional. Con esta propuesta, se pretende
A continuación se presentan tres tablas con ma- reafirmar la generación de condiciones de
yor nivel de detalle para cada una de las etapas. seguridad, con efectos permanentes, bus-
cando potenciar las condiciones necesarias
1.5 Estudio de caso: Plan Nacional para lograr la consolidación sostenible del
Estado de acuerdo con las particularidades
de Consolidación Territorial11 territoriales (Directiva Presidencial 01 de
marzo de 2009).
1.5.1 Paso 1: Identificar el programa o
política a evaluar • El PNCT: es una estrategia coordinada, pro-
gresiva e irreversible, por medio de la cual se
El ejemplo que se expone a continuación es busca afianzar la articulación de los esfuerzos
del Plan Nacional de Consolidación Territorial estatales para garantizar de manera sostenible
(PNCT). Se decidió evaluar este plan porque un ambiente de seguridad y paz que permita
era necesario identificar si lo que se planeó en el robustecimiento de las instituciones de-
la Directiva Presidencial 01 de 2009 se estaba mocráticas, en beneficio del libre ejercicio de
11 Grupo de evaluación, DEPP.
18
Tipos de Evaluación y razones para su uso
Razones técnicas Otras razones
Actores Información Recursos

Objetivos ¿Cuándo se hace? Preguntas Interés político
que intervienen disponible disponibles
Evaluar la necesidad de
El programa es necesario? Los recur-
un programa orientar recursos,
Evaluación preimple- Antes de implementación: so se podrían usar de otra forma para
Comparar con usos alter- Diseñador de política costo medio justificar inver-
mentaria evaluación ex ante lograr ese objetivo? El programa tie-
nativos de recursos para siones
ne supuestos y justificación válidos?
atacar un problema
Conocer experiencias Cuáles son las prioridades de los

y prioridades de bene- beneficiarios en programas simi-
diseñador de política, información de progra-
ficiarios en programas Antes de implementación: lares? Cuál es la posible población Justificar inver-
Para beneficiarios tecnico, beneficiarios, mas similares, encuestas bajo costo
similareso de la posible- evaluación ex ante objetivo? Cuáles son las prioridades siones
firma consultora o posibles beneficiarios
población objetivo del de la población que se espera aten-
programa der con el programa?
Antes de implementación:
con levantamientos de in- Cuál es la situación inicial antes
diseñador de política,
formación posteriores para de una intervención? En qué as- Costo me-
Conocer los valores de los gerente, estadistico, Diseño de encuesta y
evaluación de mediano y pectos se espera que el programa dio (entre Técnico, justificar
Para línea de base indicadores clave antes firma para recolec- primer levantamiento de
largo plazo del programa. Se tenga algún impacto? Qué se debe US50.000 y inversiones
de la intervención ción de información, información
puede hacer en la etapa de medir para seguir o evaluar una 100.000)
beneficiarios,control
entrega de productos, pero intervención?
no es lo ideal
Cuáles serian los impactos poten- Orientar recursos,

ciales del programa basado en ex- justificar inversio-
Estimar los posibles
Micro simulación, diseñador de políti- periencia de otros países? Cuál es Información de imple- Bajo costo (en- nes, determinar
impactos del programa Antes de implementación:
evaluación meta- ca, gerente programa, la magnitud del efecto esperado mentación de programas tre US5.000y prioridad de futu-
basado en experiencias evaluación ex ante
nivel técnico del programa? Cuál es el tamaño de similares a otros países 10.000) ras evals, ayudar
de otros países
muestra requerido para la evaluación en diseño de pro-
de impacto gramas y políticas
Etapa de planeación y diseño del programa

Tanto en la fase de planea-
comparar la efi-
Comparar los costos de ción del programa, como Rubros de gastos, cos-
diseñador de política, Cuál es su eficiencia? Cuál es el costo ciencia relativa de
Analisis costo-efec- diferentes alternativas después de la implementa- tos initarios, referencias
gerente de programa, de hacer un cambio de unidad en Bajo costo los programas para
tividad de producir el mismo o ción para determinar si los máximas y mínimas de
técnico el resultado? lograr el resultado
productos similares objetivos de eficiencia se mercado
de interés
lograron
Comparar todos los cos- ¿Son los beneficiarios económicos

Antes o despues de imple-
tos y beneficios de un mayores a los costos del programa?
mentación: en la fase de Estimación de costos del
programa asignando un ?Cuáles son los costos de los progra-
diseñador de política, planeación para justificar el programa; estimación de
Avaluación costo- valor monetario, permite mas (monewtarios o no monetarios)?
gerente de programa, programa en términos econó- beneficiarios (con su- costo medio reorientar recursos
beneficio comparaciones para gas- Cuál es surelación con respecto a
firma de consultoría micos y repetirlo al final para puestos o información
tar en diferentes sectores, usos alternativos de los mismos
determinar si los objetivos de impactos)
contribuye a la distribu- recursos y a los beneficiarios que
económicos se lograron
ción de recursos produce el programa?
Fuentes: Judy Baker (2000), Social Impact (2008), Kusek y Rist (2004), B.O.T. (2004). Adaptación del autor.
19
20
Actores que Información Recursos

Objetivo ¿Cuándo se hace? Preguntas Interés político
intervienen disponible disponibles
Antes o durante implemen-

tación: se puede crear para
Cuáles son los objetivos del programa? La
Teoría del Articular el conocimiento Diseñador de políti- el diseño del programa, los Levantamiento de fin, Tener información
lógica del programa es consistente? Cuáles B a j o co s t o -
programa- básico en cual se basa el ca, gerente del pro- programas lo pueden cons- propósitos, compo- clave para gerenciar
son las hipótesis a evaluar? Cuáles son los tarea interna
Marco lógico programa grama, funcionarios truir de manera retrospec- nentes y actividades el programa
indicadores a seguir?
tiva, se puede aplicar a lo
largo del proyecto
En qué van los indicadores con respecto
Periodicidad diaria-mensual:
a la meta? En qué va el cumplimiento de
si sistema de monitoreo se
Supervisión- Alimentar el Marco lógico Diseñador de políti- actividades? Retroalimentación acerca de Reportar periódica-
coordina con diseño de eva-
Reportes de básico en el cual se basa ca, gerente, funciona- si el programa se está implementando de Bajo costo mente al público el
luación puede ser muy útil
monitoreo el programa rio, beneficiario acuerdo con lo planificado? cuáles son los Información de indica- avance del programa
para información de línea de
problemas específicos por los cuales esta dores administrativos
basa de evaluación
implementación está fallando? y de monitoreo
Hacer un análisis de las ¿El programa es capaz de producir lo

operaciones desarro- Durante implementación: deseado? ¿Cuáles son las razones para Modificar procesos
Evaluación Diseñador de polí-
lladas en determinada se puede incorporar en el el logro o no de los productos? ¿Son Indicadores de insu- Bajo costo sí del programa, iden-
de procesos tica, gerente, fun-
intervención, estudiar si sistema de monitoreo o eficientes las operaciones del programa? mos, de gestión, prose incorpora tificar cuellos de
(formative cionarios, firma de
se están llevando a cabo puede ser uncomponente Dónde están las diferencias entre el diseño cedimientos, tareas, en sitema de botella para el logro
evaluación) u consultoría (si es con
y de qué manera afectan importante de la evaluación y ejecución del programa? ¿Cómo están actividades monitoreo de los productos y
operaciones impacto)
el logro de los productos de impacto afectando los insumos la entrega de los resultados
y los resultados productos?
Información secunda-
Cómo son el diseño, el manejo operativo,
ria administrativa y de
Hacer un análisis rápido Diseñador de políti- la estructura organizacional, el manmejo
entrega del servicio, Modificar programa
de la articulación y con- ca, gerente, técnico, Durante la etapa de imple- financiero, las actividades de seguimiento y
Evaluación ejercicio tipo cadena en diseño, imple-
sistencia entre insumos, funcionarios, consul- mentación o de entrega de evaluación del programa? Tiene coherencia US 35.000
Ejecutiva (E2) de resultados, cadena mentación o conti-
procesos, productos y tor o firma, benefi- productos y servicios la implementación con el diseño? Cómo
de entrega, entrevistas nuar financiación
resultados esperados ciarios es la calidad de la implementación? Cuál
y grupos focales a be-
es laeficacia y eficiencia del programa?
neficiarios
Etapa de implementación del programa

Revisar el progreso y
dar recomendaciones Diseñador de políti- Cierto nivel de avance del Modificar programa,
Avance indicadores
Revisión de en cambios necesarios ca, gerente, técnico, programa: se puede realizar Cómo van el diseño, cobertura, enfoque, continuar financión
planteados en el mar- Bajo costo
medio término por el tiempo restante consultor o firma en la mitad de la ejecución asignación de recursos del programa? pedido por banca
co lógico
de la implementación del (opcional) de un programa multilateral
programa
Qué capacidad institucional tiene el pro-

grama para cumplir con sus objetivos? Relaciones intra o
Cómo está funcionando? Entrega servicios Información interna interistitucional;
Co s t o ra zo -
de calidad y de maneraeficiente? Qué del programa: admi- revisión de leyes,
Medir las capacidades de Diseñador de políti- nable sí se
Durante la etapa de imple- debilidades tiene? Es viable y sosteni- nistrativa, de gestión, reglas o normas;
Evaluación una institución para el ca, gerente, técnico, implementan
mentación o de entrega de ble? Los recursos están bien utilizados? organizacional, fi- fortalecimiento ins-
institucional logro de los resultados funcionarios, firma mecanismos
productos y servicios Entiende y opera con el entorno? Qué nanciera, de recurso titucional y gestión,
del programa de consultoría apropiados
cambios se requieren para las normas, humano, técnica, de decisiones estratégi-
desde el inicio
arregols administrativos y organizacionales estructura, de cultura cas organizacionales
que presentan un desempeño deficiente o de financiamiento
mejoren?
Fuentes Judy Baker (2000), Social Impact (2008), Kusek y Rist (2004), B.O.T. (2004). Adaptación del autor.
Actores que Recursos Interés

Objetivo ¿Cuándo se hace? Preguntas Información disponible
intervienen disponibles público
Cuáles fueron los produc-

Diseñador de polí- Costo razonable si se
Evaluar qué productos se Corto plazo: se puede tos generados? Están de Modificar pro-
Evaluación de tica, gerente, fun- Indicadores de productos implementan mecanis-
geberaron según los obje- hacer en la fase de fina- acuerdo con los objetivos grama, mostrar
productos cionarios, firma de generados mos apropiados desde
tivos y propuestas iniciales lización del programa y las metas planeadas ini- productos
consultoría el inicio
cialmente?
Corto y mediano plazo: se Cuáles son los resultados

Evaluar los cambios en las Diseñador de políti- US 250.000(aunque pue-
puede hacer el análisis de críticos que el programa tra- Modificar pro-
Evaluación de condiciones de los bene- ca, gerente, técnico, Indicadoresde resultados del de tener costos menores
manera posterior al de los ta de lograr? Qué efectos grama, mostrar
resultados ficiarios gracias a los pro- firma de consulto- programa si se implementan los
productos y antes del de de corto y mediano plazo resultados
ductos de la intervención ría, beneficiarios mecanismos adecuados
impactos generó el programa
desde el principio)
Mediano y largo plazo:

se recomienda tener una
línea de base antes de
inicio de la intervención: ¿Cómo afectó el programa
el programa debe haber a los beneficiarios? ¿Algún
completado su fase de mejoramiento fue el resulta-
Diseñador de políti-
Determinar si el programa implementación y llevar do directo del programa o se
ca, gerente, técnico, Réplica, amplia-
produjo los efectos desea- un tiempo funcionando habría producido de todas Alto costo (entre US
firma de encues- Encuestas a beneficiarios y ción, cerrar pro-
Etapa de entrega de Productos y Servicios

Evaluación de dos en las personas, hoga- para poder medir impac- formas? ¿Se podría modifi- 300.000y 1.000.000)
tadora, firma que grupo de control pre y post grama, diseño de
inpactos res e instituciones y si esos tos. Sin embargo el haber carel diseño del programa depende del tamaño de
analiza datos, be- intervención política, mostrar
efectos son atribuibles a la levantado una línea de para mejorar sus repercu- la muestra
neficiarios, grupo impactos
intervención del programa base con los indicado- siones? ¿Se justificaban
de control
res de impacto antes los costos? Cuáles son las
del inicio del programa consecuencias no previstas
puede reducir costos en en los beneficiarios?
el levantamiento de la
información y lograr una
evaluación más rigurosa
Fuentes Judy Baker (2000), Social Impact (2008), Kusek y Rist (2004), B.O.T. (2004). Adaptación del autor.
21
los derechos ciudadanos y de la generación Insumos Procesos Productos Resultados Impactos

de condiciones para su desarrollo humano
(Directiva Presidencial 01 de marzo de 2009).
1.5.2 Paso 2: La cadena de resultados

• Protección al libre ejercicio de derechos.
Se construye la cadena de resultados del PNCT: • Mejoramiento en las condiciones de vida de la población.
• Fortalecimiento de la gobernabilidad.
1.5.3 Paso 3: La cadena de entrega
• Planes y estrategias de consolidación Como se mencionó anteriormente, la cadena de

• Compromiso político institucional
• Oferta de programas sociales
entrega corresponde al conjunto de actores (per-
• Recurso humano técnico, logístico y operativo sonas o instituciones) y las relaciones entre ellos,
• Pie de fuerza militar y policivo por medio de las que una actividad o proceso de
un sistema será implementado. Responde a la
pregunta: ¿cómo, y a través de quién, ocurre una
actividad o un proceso del sistema?
El PNCT está estructurado en tres fases en las

• Coordinación inreragencial (nivel nacional y local) cuales se llevan a cabo los diferentes procesos
• Operaciones de recuperación militar planteados en la cadena de resultados. Al mismo
• Protección policial
• Procesos participativos comunitarios
tiempo, se detallan los responsables principales
• Gestión del presupuesto para que cada una logre los productos propuestos
• Monitoreo de los avances del PNCT y retroalimentación y de esta forma se pueda determinar la cadena
de la política
de entrega del Plan:
Insumos Procesos Productos Resultados Impactos • Fase de control: se implementa en zonas don-
de persiste la presencia activa de los grupos
armados ilegales, estructuras de narcotráfico
• Areas recuperadas militarmente y bandas criminales, así como en zonas de
• Compromisos presupuestales y políticos establecidos desmovilización de las autodefensas ilegales.
• Acuerdos comunitarios concertados
• Acuerdos institucionales locales
Por medio de un esfuerzo militar intensivo,
• Planes operativos regionales de consolidación el Estado deberá cumplir con el objetivo de
• Mapas de monitoreo de consolidación territorial desarmar y neutralizar estas organizaciones
• Proyectos sociales y de activación económica
criminales y, simultáneamente, romper las
redes e infraestructura del narcotráfico en
Insumos Procesos Productos Resultados Impactos la zona.
• Fase de estabilización: el objetivo consiste

• Atención humanitaria en establecer unas condiciones mínimas de
• Coberturas sociales básicas iguales o superiores al pro-
medio nacional seguridad con el fin de que pueda iniciarse
• Seguridad y Control territorial (disminución de la presencia el proceso de recuperación estatal, en el que
y afectación de las estructuras de los GAI en el territorio
las instituciones y agencias gubernamentales
intervenido, reducción de los cultivos ilicitos y activida-
des asociadas al nárcotrafico, tendencia decreciente de puedan continuar o, en algunos casos, iniciar
indicadores de criminalidad y violencia) el desarrollo de sus labores. Esta fase tendrá
• Operación de mecanismo de justicia formal y alternativa
como prioridad la satisfacción de las necesi-
22
dades básicas y más inmediatas de la pobla- establecido en el Plan Nacional de Desarrollo

ción. Se mantendrá un importante esfuerzo 2006-2010 en unas zonas especificas del país,
militar para neutralizar cualquier amenaza, por medio de un proceso coordinado y progre-
pero el papel de la policía es fundamental sivo que logre la articulación de los esfuerzos
para ir garantizando territorios seguros y de estatales para asegurar de manera sostenible
confianza. un ambiente de seguridad y paz que permita el
fortalecimiento de las instituciones democráticas,
• Fase de Consolidación: se aplicará en zonas en beneficio del libre ejercicio de los derechos
preestablecidas y el objetivo consistirá en ciudadanos y de la generación de condiciones
ejercer plena autoridad del Estado y aumen- para su desarrollo humano.
tar el bienestar de la población a través del
normal y adecuado funcionamiento de todas Para avanzar en la consolidación de forma más
sus instituciones y agencias. En esta fase, se eficiente, efectiva e integral, se propone continuar
debe dar la transición de la satisfacción de con la acción Inter-Agencial como herramienta
las necesidades básicas de la población a de actuación rápida y dinámica para producir los
la prestación efectiva de todos los servicios resultados esperados, incrementar la confianza
esenciales del Estado, como son: la educación, y credibilidad de los ciudadanos en el Estado, a
la salud, la justicia, las obras de infraestruc- través de: planeación conjunta, acciones colecti-
tura, la recreación, etc. Aquí el papel de las vas y, en paralelo, ejercicios de coordinación de
instituciones del Estado, de las agencias las múltiples instituciones que participan en la
internacionales, de la sociedad civil y de la implementación de la estrategia. Los principales
comunidad será fundamental. elementos de ésta son:
1.5.4 Paso 4: El mapeo de información a. Delimitación geográfica de la zona de interés
Responde a la pregunta: ¿cómo funciona el pro- • Áreas principales para iniciar la consolidación:
grama, cuál es su diseño, cuáles son sus objetivos? Zona Macarena y Río Caguán, Zona Pacífico
(Nariño, Cauca, Buenaventura, Sur de Chocó),
En el artículo 6 del Plan Nacional de Desarrollo Zona Bajo Cauca Antioqueño y Sur de Córdoba,
2006-2010 “Estado Comunitario: Desarrollo para Zona Sur de Tolima y Sur de Valle del Cauca.
Todos – Descripción de los principales programas
de inversión”, se establece en su numeral 2 la • Áreas de transición hacia la consolidación:
Política de Defensa y Seguridad Democrática. Zona Montes de María, Zona Sierra Nevada
Esta política tiene el propósito de avanzar en la de Santa Marta y Zona Oriente Antioqueño.
consolidación de las condiciones de seguridad,
para que a través de ellas se construya una Nación • Áreas Complementarias: Zona Arauca, Zona
que haga de la seguridad democrática un verda- Putumayo, Zona Catatumbo y Zona Bajo Atrato.
dero puente hacia la paz, la reconciliación y la
prosperidad general. En este sentido, además de b. Direccionamiento y Gestión
las metas en materia de preservación de la vida,
la Política de Defensa y Seguridad Democrática Con el fin de garantizar la capacidad de realizar
debe tener un componente importante de polí- de manera eficiente las estrategias del PNCT y
tica social. Alcanzar estos objetivos requerirá la armonizarlas con el esfuerzo militar, el Consejo
concurrencia de esfuerzos del Gobierno Nacional, Directivo del Centro de Coordinación y Acción
la comunidad internacional, las entidades terri- Integral -CCAI- , adelanta el direccionamiento
toriales y la sociedad colombiana. estratégico, emite instrucciones y mantiene lazos
a nivel nacional y territorial para la implemen-
El Plan Nacional de Consolidación Territorial tación de los planes regionales estratégicos de
surge como una estrategia para implementar lo consolidación y su correspondiente operatividad.
23
c. Consejo Directivo y Comité Ejecutivo guridad, Desarrollo Social, Desarrollo Económico,

Gobernabilidad y Ordenamiento de la Propiedad.
En el marco de la estrategia, el Centro de Coordi- Es fundamental definir con los gobiernos locales
nación de Acción Integral -CCAI- será el espacio el ejercicio de priorización de cada uno de los
de encuentro de las entidades del nivel nacional vectores de intervención planteados.
que tengan responsabilidad en la ejecución de
ésta. El Consejo Directivo del CCAI, de acuerdo e. Compromisos Institucionales
con las necesidades del PNCT, ordenará el fun-
cionamiento de la coordinación y adoptará las Los ministerios y entidades nacionales deben re-
medidas requeridas para responder a las diná- visar sus programaciones presupuestales y hacer
micas de consolidación de las zonas estratégicas un mayor esfuerzo de focalización de recursos en
definidas. Para tales efectos, el Consejo Directivo los municipios que serán objeto del PNCT, para
del CCAI estará conformado por el Ministro de esto es indispensable:
Defensa Nacional, el Comandante General de
las Fuerzas Militares, el Director General de la • Identificar en el primer trimestre de 2009
Policía Nacional, el Alto Consejero de la Agencia los presupuestos, programas y proyectos
Presidencial para la Acción Social y la Coopera- previstos en los años 2009 y 2010 dirigidos
ción Internacional, el Director del DAS y el Fiscal a los municipios establecidos en el PNCT.
General de la Nación. Esta tarea se adelantará en coordinación con
el Ministerio de Hacienda y Crédito Público
A su vez, harán parte del Comité Ejecutivo del CCAI y el Departamento Nacional de Planeación.
(cuyas sesiones serán mensuales) los ministros
de las carteras de Agricultura, Protección Social, • Dar prelación a la ejecución de los programas
Interior y de Justicia, Educación Nacional, Minas y proyectos previstos para la vigencia 2007-
y Energía, Transporte y Ambiente, Vivienda y 2010 en los municipios definidos en el PNCT.
Desarrollo Territorial. Asistirán también los direc-
tores del Departamento Nacional de Planeación, • Especificar el monto de recursos susceptible
el Instituto Colombiano de Bienestar Familiar, el de ser focalizado en los municipios de inter-
Servicio Nacional de Aprendizaje –SENA–, eI IN- vención del PNCT.
CODER, Coldeportes y la Registraduría Nacional
del Estado Civil. Se busca un alto nivel de repre- • Velar porque el cumplimiento de las metas
sentación institucional en el Comité Ejecutivo del 2008-2010 de cobertura en educación, régi-
CCAI, con el fin de asegurar una alta capacidad men subsidiado de salud, vacunación y agua
para asumir compromisos, razón por la cual una potable, entre otras, se logre en un tiempo
eventual delegación únicamente podría hacerse menor al previsto en el Plan Nacional de
en los viceministros(as) o subdirectores(as), la Desarrollo para el resto de los municipios
secretaria técnica la realizará Acción Social. del país.
d. Plan de acción regional para la consolidación • Encontrar nuevas fuentes potenciales de

recursos y direccionar su asignación a los
Es responsabilidad de cada entidad del orden municipios priorizados, de acuerdo con las
nacional aportar la información y análisis territo- estrategias a desarrollar en las áreas de cada
rial para la construcción, ejecución, monitoreo y municipio y de manera articulada. Las fuentes
seguimiento de los planes regionales de consoli- derivadas de la Cooperación Internacional
dación, orientados a la articulación de los esfuer- serán estudiadas por la Dirección de Coopera-
zos militares y civiles. Éstos serán elaborados y ción Internacional de la Agencia Presidencial
aprobados durante el primer cuatrimestre del año para la Acción Social y la Cooperación Interna-
2009 y tendrán en cuenta los componentes de cional -ACCIÓN SOCIAL-, teniendo en cuenta
Atención Humanitaria de Emergencias, Justicia, Se- los lineamientos de la Estrategia Nacional de
24
Cooperación 2007-2010 y el propósito de 1.5.6 Paso 6: Definición de objetivos y

fortalecer la capacidad regional de gestión alcance de la evaluación
de cooperación internacional.
• Evaluar el esquema operativo y funcional del
• Reforzar las estrategias de difusión y promo- PNCT en las zonas determinadas frente a lo
ción de la oferta institucional en los municipios establecido en la directiva presidencial 01
de intervención del PNCT, así como eliminar o de marzo de 2009.
subsanar las barreras de acceso para garantizar
mayor oportunidad y eficiencia de oferta de • Levantar la línea de base de beneficiarios del
cada Ministerio. PNCT en las zonas determinadas de acuerdo
a una selección muestral.
• Acelerar el desarrollo de las estrategias y
ejecución de los recursos determinados en los • Formular recomendaciones al modo de ope-
Conpes 102, 113 y del Chocó, Buenaventura ración del PNCT que mejoren su desempeño
y del Pacífico orientados a los municipios actual y garanticen su sostenibilidad.
priorizados.
1.5.7 Selección del tipo de evaluación
1.5.5 Paso 5: Construcción de la hipótesis necesario para el análisis
de evaluación
• Evaluación de Operaciones: Entrevistas Dirigi-
Después de surtir los pasos mencionados, se das, Grupos Focales y Revisión de Información
llego a la siguiente hipótesis de evaluación a Administrativa.
comprobar: “El esquema operativo y funcional
del PNCT, se está cumpliendo de acuerdo con lo • Evaluación de Impacto: Levantamiento de
establecido en la Directiva Presidencial 01 de Información de Beneficiarios, vía encuestas
marzo de 2009”. presenciales.
Insumos Procesos Productos Resultados Impacto
Evaluación
de operaciones
Primer
Línea de base
seguimiento
Junio 2010
Junio 2012
25
CAPÍTULO II
Capítulo II
Evaluación de procesos
VV Voennyy
“La evaluación de procesos es la evaluación de la dinámica interna de los organismos de ejecución,
sus instrumentos de política, sus mecanismos de prestación de servicios, sus procedimientos de
gestión y los vínculos que existen entre todos estos componentes”(OECD, 2002).
La evaluación de procesos es un tipo de eva- los indicadores de gestión como insumo para el
luación, concentrado en el segundo eslabón análisis de los procesos.
de la cadena de valor, en el cual se identifican
las relaciones que cada una de las actividades La principal característica de este tipo de eva-
requiere para producir un bien o servicio. Este luación es examinar los procedimientos y tareas
ejercicio parte de las siguientes preguntas guía, involucradas en la implementación de un progra-
que el evaluador espera responder: ma. Por lo tanto, ésta:
• ¿Es el programa capaz de producir lo deseado? • Incluye el examen de los aspectos adminis-
trativos y organizativos del programa.
• ¿Cuáles son las razones operacionales que
influyen en que se logren o no los productos? • Cumple una función de supervisión de las
operaciones, métodos y actividades de un
• ¿Qué tan bien se desarrollan las operaciones programa.
planeadas para el logro del producto deseado?
• Permite determinar si el programa funciona y
• ¿Son eficientes las operaciones del programa? posibilita realizar intervenciones que mejoren
su calidad.
• ¿Dónde están las disparidades entre el diseño
e implementación del programa? Características de la evaluación de procesos
• ¿Cómo afecta la cultura organizacional el

logro de los objetivos del programa? Tan pronto se inicia el programa.
¿Cuándo
Durante el funcionamiento del
usarla?
programa.
2.1 Características y Usos
La evaluación de procesos se utiliza a lo largo Sirve para saber qué tan bien
del ciclo del programa para describir y analizar funciona internamente el progra-
¿Para qué
cómo se planifica e implementa el mismo. Sin ma. Provee información al eva-
sirve?
embargo, es fundamental que se recojan de luador acerca de si el programa
manera periódica, desde el inicio del programa, se implementa como se diseñó.
29
Posibilita la detección temprana mismo, detectan las áreas y procesos potenciales

de cualquier problema de opera- de desarrollo, dado su grado de desempeño ac-
ciones o procesos y la mejora del tual, y su importancia dentro de la intervención.
funcionamiento del programa.
¿Por qué es Para adelantar una evaluación de procesos, se
Permite a los evaluadores reali-
útil? recomienda efectuar los siguientes pasos:
zar un seguimiento de la forma
en que los planes y actividades
de un programa se están desa- • Definir los procesos a evaluar.
rrollando.
• Recoger información de cada una de las áreas.
Fuente: Kusek, J. y Gorgensen, M. (2010). Adaptación del autor.
• Analizar mediante la aplicación de un método
Algunos tips y reportar la información.
Proceso no es lo mismo que procedimiento: • Uso de los resultados.

“procedimiento es el conjunto de reglas
e intenciones que determinan la manera 2.2.1 Definir los procesos a evaluar
de proceder o de obrar para conseguir un
resultado. Un proceso define qué es lo que Un objetivo está compuesto por dos partes,
se hace y un procedimiento cómo hacerlo” que establecen los marcos lógicos en los que
(Sescam, 2002). se inscriben las operaciones y los procesos1.
La primera, descrita por un verbo en infinitivo,
La evaluación de procesos se diferencia hace referencia a lo que se espera lograr con la
del seguimiento porque examina cada intervención (incrementar, crear, generar, etc.). La
proceso y actividad de acuerdo con el segunda, establece los medios que va a utilizar
producto generado, busca no sólo compa- la intervención para cumplir lo propuesto en la
rarlos con su diseño inicial para conocer primera parte. Un ejemplo podría ser:
cómo funciona el programa, sino también
determinar si se cumplió con lo estable- • Objetivo - “Mejorar la salud y la calidad de
cido en el momento de la formulación. vida de las personas con diabetes mediante
El seguimiento se limita a constatar los la entrega de servicios asequibles para los
procesos, mientras que la evaluación diabéticos”.
valora si éstos son los adecuados.
Los medios se convertirán en las actividades y
2.2 Desarrollo de la evaluación procesos de la intervención, por lo que es indis-
pensable, para el evaluador, reconocerlos.
Si las preguntas que guían al evaluador están
dirigidas a entender el funcionamiento de un Las actividades que realiza un ente se pueden
programa y cómo éste desarrolla sus actividades equiparar a un proceso cuando cumplen requi-
para poder entregar los productos esperados; nos sitos como3:
encontramos frente a una evaluación de procesos.
• Tener una misión o propósito claro.
El propósito primordial de estas evaluaciones es
contrastar la situación actual de las actividades y • Tener entradas y salidas (se pueden identificar
procesos del programa con el esquema inicial de los clientes, proveedores y producto final).
implementación y buscar las mejores prácticas. Así
1 Malik (2002).
30
• Poder aplicar una metodología de gestión de a. Identificar el flujo – ¿qué se hace? – Activi-
procesos que incluya aspectos como tiempo, dades
recursos y costos.
• El evaluador debe listar las principales
• Poder ser desagregada en operaciones o actividades medibles que se tienen pre-
tareas. vistas para alcanzar cada objetivo.
• Poder asignar la responsabilidad de la acti- b. Identificar los encargados – ¿quién y cómo

vidad a una persona. lo hace? – Responsables
Se pueden detallar los procesos y su relación • El evaluador debe aclarar el método por
con el producto con ayuda de preguntas como2: el cual la información será recogida y
analizada, incluye a la persona respon-
• ¿Qué se necesita que hagan los empleados sable.
para que entreguen el producto?
c. Identificar los insumos – ¿qué se necesita
• ¿Qué se requiere de un cliente o usuario del para hacerlo? – Entradas
programa?
• El evaluador debe relacionar la(s) fuente(s)
• ¿Cómo se seleccionan los empleados? de información que indican que la acti-
vidad se ha producido.
• ¿Qué productos van a ser provistos a los
usuarios o clientes? d. Identificar los productos – ¿qué se entrega?
– Salidas
• ¿Cuál es el proceso general que los clientes o
usuarios deben pasar para recibir el producto? • El evaluador debe producir un documento
que contenga pruebas tangibles (indica-
• ¿Cuáles son las fortalezas del programa según dores) que muestren el progreso hacia el
los usuarios? cumplimiento de la meta.
• ¿Cuáles son las fortalezas del programa según e. Identificar los beneficiarios – ¿a quién se
los empleados? entrega? – Clientes
• ¿Qué quejas se oyen con frecuencia por parte • El evaluador debe determinar quiénes
de los usuarios? son los clientes de la actividad.
• ¿Qué consideran los empleados y usuarios se f. Identificar el cronograma – ¿cuál es la duración

debe mejorar del producto o del programa? y secuencia de las actividades? – Tiempos
• ¿Con base en qué deciden los empleados o • El evaluador registra las fechas previstas
usuarios que el producto ya no se necesita? tanto de inicio como de finalización para
llevar a cabo la actividad. Es claro que
La información de los procesos del programa algunas operaciones van a ocurrir antes
se organiza en un mapa de procesos donde se que otras y/o se producirán de forma
identifican las actividades, acciones y actores3:
2 McNamara (2006).
3 Así mismo se encuentra el plan de acción que reporta los procesos de cada objetivo del programa: plan para el desarrollo de una
evaluación de operaciones (Kusek y Gorgensen, 2010).
31
s imultánea. Lo importante es saber cuáles Los diagramas de GANTT, diagramas de PERT y

son las actividades, sus interrelaciones y métodos de ruta crítica pueden ser utilizados por
sus tiempos. los evaluadores para verificar qué tareas se han
realizado, su porcentaje de avance y sus tiempos
En el caso en que se quiera estudiar una entidad de ejecución6.
o un programa es necesario, además, establecer
las jerarquías y relaciones de cada área con los Adicionalmente, se puede recurrir a diferentes
diferentes procesos y sus interconexiones. Así enfoques para evaluar los procesos. A continuación
mismo, se pueden evaluar las áreas que sustentan se presenta una descripción inicial de tres meto-
las funciones administrativas básicas: planeación, dologías utilizadas en el análisis de operaciones:
organización, dirección y control4. Dependiendo
de cual se va a analizar, el evaluador recopila • Lean Manufacturing.
información que permita examinar sus procesos
y actividades. • Gestión por Procesos.
2.2.2 Recoger información de cada una de • Six Sigma.

las áreas
2.2.3.1 Enfoque Lean Manufacturing
La evaluación de procesos identifica las oportu-
nidades de mejoramiento y desarrollo a través Lean Manufacturing nació en Japón inspirada
del análisis de los procesos y actividades. Si ésta en los principios de William Edwards Deming
busca indagar sobre los procesos en el área de y Taiichi Ohno, este sistema se conoce como
planeación, el evaluador debe recoger información “Toyota Production System”. Es un conjunto de
de aspectos como la misión, objetivos, factores crí- principios, conceptos y técnicas que permiten
ticos de éxito, políticas y procedimientos. Por otro construir un sistema eficiente, capaz de redu-
lado, en el eje de organización los componentes cir el tiempo entre la creación y entrega del
más relevantes son la estructura organizacional, producto o servicio, a través de la depuración
organización de funciones y procedimientos, y del desperdicio en el proceso de producción,
administración y análisis de personal. Si el eva- lo que permite el flujo continuo de procesos y
luador quiere inspeccionar el área de dirección, actividades7.
es deseable que incluya información acerca de los
procesos de comunicación, toma de decisiones Este enfoque se centra en la generación de
y coordinación de actividades. Finalmente en el actividades de valor agregado en los procesos
sector de control, seguimiento y evaluación, es de un programa por medio de la identificación,
importante investigar la manera como se están eliminación sistemática del desperdicio y el
adelantando estas labores y su calidad5. perfeccionamiento continuo de estos procesos
y operaciones para aumentar la eficiencia8. Un
2.2.3 Analizar y reportar la información desperdicio es cualquier cosa que no haga parte
de lo mínimo absolutamente necesario para la
Se han desarrollado herramientas de interpreta- realización de una actividad o un proceso.
ción y análisis que pueden servir de referentes
para implementar la evaluación de procesos.
4 Pawson (2006).
5 Pawson (2006).
6 Patton (2009).
7 Bliss y Emshoff (2005).
8 Estos siete desperdicios son: sobreproducción, esperas entre procesos, transporte, exceso de inventario, defectos en los bienes o
servicios producidos, exceso de procesos y sobreprocesamiento.
32
Representación de un desperdicio en una cadena de resultados
Procesos P1 P2 P3 P4 P5 Productos
Tiempo de operaciones de
valor añadido. Ej: Creación de
un subsidio, tratamiento de la
muestra, etc.
Tratamiento en Operaciones
de: No valor añadido.
Ej: recibir, esperar, etc.
Fuente: Bliss y Emshoff (2005). Adaptación del autor.
El Lean Manufacturing se puede resumir en cuatro • Seiri - Clasificar: separar lo que es indis-
tipos de indicadores: pensable de lo que no lo es para el de-
sarrollo de las operaciones del programa.
• Calidad: busca que no haya defectos o errores.
• Seiton - Ordenar: poner lo que es necesario
• No repeticiones: busca que el proceso sólo en un lugar inmediatamente accesible.
tenga que hacerse una vez.
• Seiso - Limpiar: realizar una depuración
• Valor agregado al cliente final: busca que el para que los procesos fluyan como están
proceso le añada valor al beneficiario final diseñados.
y no sea simplemente un trámite que sólo
satisface a un cliente interno. • Seiketsu - Estandarizar: homogeneizar
procedimientos y actividades.
• Oportunidad: busca que los procesos se
hagan a tiempo. • Shitsuke - Disciplina y Entrenamiento:
creación de reglas que guíen la imple-
Herramientas del enfoque mentación de los procesos, además de
Lean Manufacturing la instauración de retroalimentaciones
y capacitaciones para que los procesos
a. Mapa del flujo del valor (Value Stream) sean eficientes.
b. 5S: es un mecanismo que organiza los pro- c. Justo a tiempo (Just in Time): el objetivo de ésta
cesos y actividades con el fin de generar es proveer la cantidad de productos prevista,
un estado ideal en el que únicamente sean de un modo muy riguroso. Consiste en pro-
utilizados los insumos necesarios, todo se ducir lo planeado sólo cuando es requerido,
encuentre ordenado e identificado, se hayan en el tiempo establecido y elaborado por un
suprimido las fuentes de desperdicio y exista proceso específico.
un control mediante el cual se vigilen los
procesos. Las 5S son:
33
2.2.3.2 Enfoque gestión por procesos neficiarios, el evaluador diseña y establece

los procesos y actividades para crear los
Esta metodología le da mayor importancia a la productos que suplan estos requerimientos.
visión que el cliente (o beneficiario) tiene so-
bre el conjunto de actividades y procesos del • Describir los procesos: los procesos tienen
programa9. De esta manera, las operaciones que como eje central al beneficiario, sustentados
adelanta el programa son gestionadas de manera en el procedimiento know-how11, el cual se
mancomunada. enfoca en siete puntos centrales para que el
evaluador delinee las actividades y procesos12.
La ventaja de este enfoque es que ha creado un
conjunto de herramientas para el rediseño de la • Diagramar los procesos: facilita concebir y
conexión entre procesos y productos, con el fin esquematizar el programa como un sistema.
de generar actividades eficientes que respondan El evaluador puede valerse de diagramas de
a las necesidades de los que usufructúan dichos bloque, de despliegue, de flujos de datos
productos. o de red para discernir la estructura de los
procesos, sus interconexiones y la efectividad
La gestión por procesos tiene como objetivo: de cada uno de ellos.
• Mejorar continuamente las actividades y • Análisis de datos y mejora del proceso: aquí
procesos desarrollados. el evaluador puede recurrir a indicadores
de calidad que le permitan determinar si los
• Reducir la variabilidad innecesaria en los procesos se realizaron según los criterios del
procesos de producción. programa y los beneficiarios.
• Eliminar las ineficiencias asociadas a la re- 2.2.3.3 Enfoque Six Sigma

petición de las actividades.
La metodología Six Sigma se fundamenta en la
• Optimizar el empleo de los insumos. curva de distribución normal (campana de Gauss)
para conocer el nivel de variación de cualquier
La gestión por procesos se basa en seis pasos actividad y elaborar una serie de pasos que
clave10: refuercen el control de calidad y garanticen la
optimización de procesos13.
• Identificar a los beneficiarios y sus nece-
sidades: con el objeto de tener procesos y Este enfoque se divide en dos aspectos: ope-
productos que satisfagan las necesidades y racional y gerencial. En el operacional se usan
expectativas de los beneficiarios. herramientas estadísticas para efectuar la medi-
ción de las variables de los procesos, con el fin
• Definir los productos: conocer a los benefi- de detectar los defectos que puedan presentarse
ciarios para determinar qué bienes o servicios en la producción de los bienes y servicios de un
se deben ofrecer. programa. En el gerencial se examinan los procesos
utilizados por los responsables para aumentar la
• Trazar el mapa de procesos: a través del calidad de los procesos, actividades y productos
conocimiento de las necesidades de los be- del programa.
9 Charles, Steve y Lawrence (2006).

10 Ibídem.
11 La noción de know-how es saber cómo transferir y/o manejar equipos, programas y dispositivos, fórmulas, diseños y métodos de
manera conjunta y ordenada para mejorar los procesos y actividades de producción de un bien o un servicio.
12 Para más detalle ver Charles, Steve y Lawrence (2006).
13 Mikel y Schoeder (2004).
34
El enfoque Six Sigma se sustenta en seis pasos • Diagramas de Pareto: el evaluador señala
principales: las causas principales de los problemas que
surgen en los procesos, a través de una orga-
• Definir el producto y/o servicio del programa. nización de prioridades de mayor a menor en
donde se indique cuáles procesos y subpro-
• Identificar los requisitos de los beneficiarios cesos son responsables de los efectos en el
del programa. programa.
• Comparar los requisitos con los productos. • Gráficas de control: el evaluador estudia los
procesos, su dinámica y genera un esquema
• Describir el proceso a evaluar. de control para anclar su comportamiento
de acuerdo con un valor medio acotado por
• Evaluar el proceso. límites superior e inferior, de modo que se
eviten anormalidades.
• Medir la calidad y producto.
2.2.4 Uso de los resultados
En paralelo a estos pasos14, el enfoque emplea
medidas de calidad para poder evaluar la per- Las conclusiones de la evaluación de procesos
tinencia de los procesos y actividades del pro- son útiles para:
grama. Estas herramientas tienen como objetivo
encontrar y diagnosticar posibles problemas, • Identificar y modelar los procesos y activida-
entre ellas tenemos: des de un programa.
• Flujo de procesos: el evaluador conoce las • Determinar si la cadena de producción del

etapas del proceso por medio de una secuen- programa, compuesta por los procesos, se
cia de pasos. lleva a cabo según su diseño.
• Diagramas de causa-efecto: el evaluador • Generar esquemas de gestión de calidad que

detecta las relaciones lógicas que existen localizan los problemas, defectos y errores
en los procesos hasta llegar a los producen los procesos y actividades del programa.
tos y de esta forma puede visualizar las
causas y consecuencias de los problemas • Crear herramientas de control y ajuste que
en estos. garanticen que los procesos y actividades
sean eficientes y eficaces.
14 Robertson y Smith (2005).
35
CAPÍTULO III
Capítulo III
Evaluación de productos
Tito Wong
La evaluación de productos es un tipo de evalua- tienen los productos en la población u objetos
ción que se utiliza para analizar en qué medida se de intervención.
logró cumplir con las metas de productos entre-
gados frente a los insumos invertidos. Responde Este tipo de evaluación analiza los productos,
a las siguientes preguntas orientadoras: bienes de capital o servicios que resultan de una
intervención. Su propósito es comparar los indi-
• ¿Fueron las actividades desarrolladas sufi- cadores de insumo con los de producto y puede,
cientes para realizar los productos acordados? con un análisis costo-eficiencia, determinar si se
maximizaron los productos al menor costo o, con
• ¿Se hicieron todas las actividades presupues- una evaluación de procesos, explicar en términos
tadas? de la gestión del programa por qué se lograron o
no los productos planeados. Así mismo, la evalua-
• ¿Se entregaron los productos planeados? ción de productos puede ser útil en momentos
de restricciones de tiempo o dinero.
• ¿Tuvieron los productos la calidad y oportu-
nidad esperadas? Es importante que1:
3.1 Características y Usos • Se relacione cada producto con un resultado

esperado.
La evaluación de productos es una valoración
• Se incluyan los productos factibles de ser
ex-post, de corto plazo, que se adelanta a partir
entregados por el programa, con los recursos
de la entrega de los productos y servicios pro-
disponibles.
gramados. No es necesario observar los resulta-
dos ni el impacto de los productos, puesto que • Se usen los productos para establecer rela-
estos elementos deben ser abordados mediante ciones entre el problema al cual va dirigida
evaluaciones de mediano y largo plazo. Para un la intervención y su impacto.
análisis más integral, es posible complementar
la evaluación de productos con una evaluación • No se usen verbos en infinitivo al principio
de procesos, de costo-beneficio o de resulta- de la enunciación de los productos (construir,
dos, para examinar por qué se entregan o no asesorar, preparar, etc.), pues normalmente
los productos planeados, si se hacen de manera estos describen actividades y no bienes/
costo-eficiente o qué efectos de mediano plazo servicios tangibles.
1 ADB (2007).
39
• Se tenga en cuenta que los componentes y son relevantes para el logro de los efectos del
no son productos, sino un conjunto de pro- programa2.
ductos agrupados por razones financieras o
administrativas. Para la definición de los productos es crucial
tener claro el problema por el cual se creó la
• Se incorporen indicadores de producto rela- intervención y, de esta forma, poder relacionar
cionados con la gestión y el desempeño para las actividades y productos generados3. Se de-
programas complejos. ben evitar frases muy largas para enunciar los
productos, pues dificultan la identificación del
3.2 Desarrollo de la evaluación indicador de producto (ver ejemplo de formula
ción de productos). Si estos se encuentran correc-
Una vez se aclaran los objetivos, el alcance de la tamente formulados, el indicador será él mismo.
evaluación y se concluye que lo requerido es una
evaluación de productos, se pasa a las etapas de 3.2.2 Establecer metas4 y asociar
planeación, diseño, implementación y uso de los indicadores
resultados de la evaluación.
Las metas son necesarias para tener un punto
En el desarrollo de una evaluación de productos de referencia con el cual comparar el avance en
el primer paso es tener claridad sobre cuáles son determinado período de tiempo, de actividades
los productos en la cadena de resultados de la y productos. En principio, las metas deben estar
intervención: fijadas por el programa. Para cada producto es
importante tener una medición observable y
• Definir los productos esperados del programa elaborar indicadores que contribuyan a cuantificar
que se va a evaluar. el desempeño del programa.
• Para cada producto, si no se encuentra es-

Un indicador de producto “mide la cantidad
tablecida, construir una meta y asociar un
(y a veces la calidad) de los bienes y servicios
indicador.
provistos gracias al uso de los insumos”5.
• Recolectar información sobre los insumos y Un indicador de gestión “cuantifica los
actividades relacionadas con los productos. recursos físicos, humanos y financieros uti-
lizados en el desarrollo de las acciones;
• Analizar y reportar el estado de los productos. y mide la cantidad de acciones, procesos,
procedimientos y operaciones realizadas
• Usar los resultados de la evaluación de pro- durante la etapa de implementación”6.
ductos. Un indicador de efecto “mide los cambios
resultantes en el bienestar de la población
3.2.1 Definir los productos esperados objetivo de la intervención como consecuen-
cia (directa o indirecta) de la entrega de los
Los productos son tangibles, se pueden contar, se productos”7.
expresan usualmente por medio de nombres, son
resultado directo de las actividades o procesos de El tipo de indicador adecuado depende del objeti-
la intervención y dependen totalmente de estos, vo y la meta a la cual se le va a hacer seguimiento.
2 Kusek y Rist (2004).

3 UNFPA (2004).
4 Para información más detallada sobre el establecimiento de metas ver: USAID TIPS, 1996.
5 World Bank (1996).
6 DNP (2009).
7 Ibídem.
40
En el caso de una evaluación de productos se Algunos ejemplos

utilizan indicadores de gestión y de producto
para efectuar el análisis.
• Jornadas de vacunación realizadas (programa
Un buen indicador debe cumplir con ciertas de salud preventiva – indicador de gestión).
características. Algunas organizaciones utilizan
los criterios SMART8. Se encuentran también los • Niños vacunados (programa de salud pre-
criterios DOPA, según los cuales los indicadores ventiva – indicador de producto).
se elaboran bajo cuatro estándares:
• Árboles adquiridos (programa de refores-
Criterios DOPA para construir indicadores tación – indicador de gestión)7.
• Hectáreas de bosque reforestadas (programa

Directos Miden de cerca el cambio previsto de reforestación – indicador de producto).
No son ambiguos respecto a lo • Cartillas elaboradas (programa de capaci-
que se mide o los datos que se tación – indicador de gestión).
Objetivos requieren y tienen una medición
operacional clara, independiente • Personas capacitadas (programa de capa-
de la persona que la realiza citación – indicador de producto).
Razonables en términos del costo
de la recolección de datos, fre- 3.2.3 Recolección de información
Prácticos
cuencia y pertinencia para efectos
de toma de decisiones En esta etapa se establece qué información es
requerida para calcular cada uno de los indica-
El número mínimo de indicadores
dores y de qué manera se va a recolectar.
necesarios para asegurar que el
Adecuados
progreso hacia el logro del produc-
Los indicadores asociados a la evaluación de pro-
to está suficientemente abarcado
ductos se pueden recoger por medio de reportes
sistemáticos o informes de seguimiento de los
Fuente: USAID TIPS, No.12, 1998.
insumos, actividades y productos:
Los indicadores empleados por el DNP tienen • Revisión de información existente para con-
una estructura básica que permite una formu- testar las preguntas de la evaluación (sistemas
lación más clara, ésta se compone de dos ele- de seguimiento y evaluación, documentos e
mentos: i) el objeto a cuantificar; ii) la condición informes publicados, reportes de gestión).
deseada del objeto. También se puede adicionar
un tercer elemento que incluya aspectos des- • Revisión de información adicional necesaria
criptivos. A continuación se presentan algunos para el análisis de la evaluación de productos
ejemplos de indicadores de producto con el (cuestionarios, entrevistas u observación de
formato sugerido por el DNP (sujeto + verbo personas, procesos, objetos, condiciones y
en participio pasado)9. situaciones, etc.)10.
8 Explicada en DNP “Metodologías DEPP. Conceptos y técnicas. Evaluación de resultados”, 2010.

9 DNP (2009).
10 Ver anexo 11.1: Métodos más utilizados de recolección de información.
41
3.2.4 Analizar y reportar el estado de los • ¿Podría haberse hecho una intervención
productos mejor, menos costosa o más eficiente en el
tiempo?
En esta fase se construye un estado del arte
de los insumos, las actividades y los productos • ¿Habría podido otra intervención diferen-
planeados, con respecto a los que efectivamente te resolver el mismo problema a un costo
se desarrollaron de acuerdo con la información menor?
recolectada. A partir de éste se mide la evolución
de los productos mediante una tabulación, cóm- El ejercicio se efectúa con los rubros de gasto,
puto o registro de las actividades que puedan ser insumos y actividades; se comparan los costos
expresadas tanto de manera cuantitativa como unitarios con referencias máximas y mínimas
cualitativa. Lo anterior se puede complementar de mercado, para establecer si los costos del
con un análisis costo-eficiencia o una evaluación proyecto son adecuados. Es fundamental que
de procesos. las fuentes de información queden claramente
identificadas12. También se pueden considerar
Análisis costo-eficiencia otros factores, no sólo los precios de mercado,
para caracterizar variables que no se miden con
Es un análisis que permite sopesar el costo de ese rasero.
múltiples alternativas para obtener productos
iguales o similares11 y así encontrar el proceso A continuación se muestra un ejemplo de un
más eficiente y adoptarlo. Mide los productos rubro de una actividad del programa de mejora
generados en relación con los insumos utilizados nutricional de niños menores de 5 años. El costo
y responde a preguntas como: de este ítem, comparado con diversas opciones,
se puede calificar como razonable. Podría clasi-
• ¿Justifican los productos el costo de las ac- ficarse como elevado de encontrarse en un nivel
tividades? más alto que el valor que se establezca como el
comparativo alto. La conclusión a la que se llegue
• ¿Qué medidas se han tomado durante la también depende de su desfase frente al punto
planeación e implementación para asegurar de referencia o del análisis que se haga para cada
el uso eficiente de recursos? uno de los valores.
Ejemplo: Programa de mejora de nutrición a la primera infancia (cifras en pesos).
Valor Valor
Costo Descripción Descripción Costo Conclusio-
Rubro comparativo comparativo Desfase
unitario costo bajo costo alto razonable nes
bajo alto
Valor
promedio
Valor internacional
Suplemen-
promedio en programas Costo
to nutricio- 3000 2000 5000 3500 0
suplemento nutricionales razonable
nal
ICBF de Argentina,
México y
Chile
Fuente: B.O.T. (2004). Adaptación del autor.
11 Green Book, HM Treasury.

12 B.O.T. (2004).
42
El análisis costo-eficiencia es diferente a la • Aparición en un programa de TV o radio.

evaluación costo-beneficio. Esta última es de
mayor complejidad, pues es necesario tener un • Debate público.
estimativo cuantitativo de los efectos positivos
que generó el programa en los beneficiarios, para • Seminario o taller.
proceder compararlos con los costos en los que
incurrió (ver capítulo Evaluación Costo-beneficio). • Difusión de manera electrónica (correos,
páginas web).
Aplicación de las herramientas: estudio de caso
El uso de los resultados es responsabilidad de los adaptado a una evaluación de productos15
gerentes del programa quienes, con un acompa-
ñamiento cercano de la DSEPP13, deben revisar Nombre programa: Estrategia Territorios Digita-
a fondo el diagnóstico, las conclusiones y las les - Aprovechamiento de las Tecnologías de la
recomendaciones de la evaluación. Información y la Comunicación (TIC) en Colombia.
En el caso de una evaluación de productos, se Año de inicio: 2007.

debe estudiar si hay mejoras para incorporar al
programa en temas de gestión de insumos, activi- Ministerio responsable: Ministerio de Tecno-
dades o productos para incrementar la eficiencia y logías de la Información y las Comunicaciones
eficacia en la entrega de estos. Posteriormente, se (Ministerio de TIC).
debe hacer un plan de implementación de estas
mejoras con las respectivas responsabilidades y Servicio responsable: Convenio entre MinTic,
cronograma para llevarlas a cabo. entidad territorial y entidad ejecutora.
Para la diseminación de los resultados existen Período de evaluación: 2007-2009.

determinados canales que pueden ser explorados,
dependiendo del público objetivo14: Presupuesto programa año 2009: 15907 millo-
nes de pesos aportados por el Ministerio de TIC
• Documento escrito detallado. y 14577 millones de pesos aportados por las
entidades territoriales y ejecutoras.
• Resumen ejecutivo con lo más importante de
la evaluación y las conclusiones. Definir los productos esperados del programa
que se va a evaluar
• Folleto con las principales lecciones y reco-
mendaciones de la evaluación. La estrategia Territorios Digitales (TD) inicia en
2007 y tiene por objetivo fomentar el uso ade-
• Reportes periódicos. cuado y la apropiación de las TIC en el territorio
nacional, tanto a nivel de comunidad como de
• Artículo en un boletín. sectores productivos de cada región. La estrategia
realiza una entrega de productos y/o servicios a
• Artículo en el periódico. cada uno de los territorios beneficiados en tres
componentes: infraestructura (hardware), infoes-
• Conferencia de prensa. tructura (software) e infocultura (cómo usar, cómo
aprovechar).
13 La DSEPP además de acompañar todo el proceso de implementación de la evaluación, hace seguimiento a sus recomendaciones.
14 UNFPA(2004).Tool n.o 5, part.V.
15 DEPP, DNP (2010). Evaluación Ejecutiva (E2) Programa “Estrategia Territorios Digitales: Aprovechamiento de las TIC en Colombia”.
Consultoría realizada por Julio Villarreal.
43
En este recuadro únicamente se van a presentar • Aulas digitales instaladas y funcionando.

los indicadores del componente de infraestruc-
tura. La estrategia ha definido cuatro frentes de • Telecentros instalados y funcionando.
inversión para los proyectos desarrollados en
cada territorio: conectividad, acceso, telefonía • Herramientas de telemedicina instaladas y
móvil y televisión. Dicha infraestructura debe funcionando.
facilitar a los ciudadanos el acceso a las TIC y su
uso adecuado. • Software y equipos audiovisuales especiali-
zados funcionando (por ejemplo el software
Los subcomponentes (productos/servicios) espe- para el manejo de correspondencia).
cíficos que se han entregado en los territorios en
materia de Infraestructura son (no en todos los TD Para cada producto establecer una meta y asociar
se entregan los mismos servicios, cada territorio un indicador de producto
hace énfasis en los que se requieran para cubrir
sus propias necesidades): En este caso se van a tener en cuenta sólo los
indicadores relacionados con el primer producto:
• Cobertura de la red de conectividad ampliada. cobertura de la red de conectividad ampliada. Sin
embargo, es importante anotar que en la matriz
• Nuevos puntos del TD conectados. de marco lógico del programa se presentan los
indicadores para la estrategia (total) de Territorios
• Internet inalámbrico funcionando. Digitales; cada territorio puede definir indicado-
res y metas propias para cada año de ejecución.
• Computadores entregados a la comunidad. La evaluación y cumplimiento de las metas son
periódicamente verificados y aprobados por el
• Salas de informática instaladas y funcionando. respectivo comité directivo.
Metas e indicadores asociados al componente de infraestructura
Medios de
Nombre Fórmula Meta 2010 Meta 2011 Periodicidad
verificación
Número de nuevas goberna-
Nuevas goberna-
ciones vinculadas a la estra-
ciones vinculadas 6 6 Anual MINTIC
tegia TD con respecto al año
a la estrategia TD
inmediatamente anterior
Nuevos munici- Número de nuevos municipios
pios vinculados vinculados respecto al año 20 20 Anual MINTIC
a la estrategia TD inmediatamente anterior
Fuente: DEPP, DNP (2010).
Recoger información sobre insumos, actividades en el proyecto, la propuesta no es apoyada por

y productos el ministerio.
Entre los insumos definidos por el Ministerio de A continuación se presenta un cuadro de resumen
TIC se encuentra la financiación de los convenios, con el presupuesto destinado a la estrategia TD
que se adelanta de manera conjunta entre las durante el periodo 2007-2009 para Antioquia,
partes involucradas, el Ministerio de TIC y los uno de los territorios con los que se ha firmado
Gobiernos territoriales (alcaldías o gobernacio- convenio.En éste también se discrimina la fuen-
nes). Si los territorios no comprometen recursos te de los recursos aportados (Ministerio de TIC,
Gobierno territorial).
44
Inversión Territorios Digitales 2007-2009 (pesos corrientes)
Convenio TD 2008 Convenio TD 2009

Territorio (millones de pesos corrientes) (millones de pesos corrientes)
digital
MinTIC Territorio Total MinTIC Territorio Total
Antioquia 840 250 1090 700 300 1000
Fuente: MinTic. Estrategia TD, Inversión TD 2007-2009.
En cuanto a las actividades, se enumeran las fuera del control y alcance de los ejecutores de
misionales que se han determinado y que se los territorios.
desarrollan cronológicamente durante la ejecu-
ción de los proyectos en los territorios, por cada Por una parte se evidencia que la calidad de
componente. A manera de ilustración se listan las los productos y servicios entregados bajo el
actividades del componente de infraestructura, componente infraestructura dependen en su
éstas son las que el consultor ha señalado como gran mayoría del proveedor de los mismos; por
necesarias para la producción o generación de ejemplo, la calidad de la conectividad, de los
subcomponentes, pues no hay un registro, plan, computadores, de los tableros digitales, etc., está
guía o metodología en la estrategia TD donde completamente determinada por el servicio que
estén previamente definidas: prestan los proveedores de éstos. Es decir, en su
gran mayoría no son aspectos que estén bajo el
1. Se diagnostica y evalúa el estado de la in- control de la entidad ejecutora.
fraestructura de TIC en el TD.
Por otra parte se reconoce la posibilidad de en-
2. Se identifican y priorizan las necesidades de frentarse a riesgos asociados con eventos propios
infraestructura de TIC en el TD. de la naturaleza y el clima o con la calidad de los
servicios públicos en la zona de intervención. En
3. Se definen las intervenciones a realizar y algunos casos, sobretodo en regiones apartadas
los criterios de selección y focalización de y lejanas como en Magdalena Medio Digital, los
beneficiarios de infraestructura TIC en el TD. servicios de conectividad y equipos se han vis-
to afectados por tormentas eléctricas que han
4. Se seleccionan los beneficiarios: puntos a co- quemado equipos instalados en la zona y han
nectar, instituciones o entidades que recibirán ocasionado caídas de la señal inalámbrica de
infraestructura (computadores, telecentros, internet. En otros casos se tienen zonas en las
aulas digitales, telemedicina, etc.). cuales el servicio de energía eléctrica es muy
deficiente, razón por la cual el funcionamiento
5. Se actualiza la infraestructura de TIC de de los equipos se ve perjudicado.
acuerdo con las mejores prácticas actuales.
Analizar y reportar el estado de los productos
6. Se desarrolla, instala y prueba la infraestruc-
tura de TIC seleccionada para el TD. En el componente infraestructura, la calidad de
los productos y servicios está determinada en
Se han encontrado dos factores de riesgo im- gran medida por los proveedores y por el apoyo
portantes que pueden tener un efecto signifi- técnico y las garantías que ofrezcan. Así las co-
cativo en la entrega y calidad de los productos sas, los procesos y las reglas de selección de los
o servicios ofrecidos por los TD, pero que están mismos son la clave para garantizar una buena
45
calidad. A continuación se presenta un ejemplo de implementación y entrega de subcomponentes

de la cuantificación de dos de los indicadores del (ejecución de planes de acción) y las mediciones
componente de infraestructura. de indicadores. En otras palabras, la información
solicitada en los formatos estándar debería hacer
El consultor concluyó que debe registrarse infor- referencia a cada uno de los niveles de la MML
mación relacionada con los beneficiarios objetivos diseñada para la estrategia TD, de manera que
y efectivos, los componentes en desarrollo, los se facilite la medición de indicadores y, en con-
servicios y productos entregados en infraestructu- secuencia, el logro de sus objetivos.
ra, infoestructura e infocultura, el presupuesto, la
ejecución de insumos financieros y no financieros Uso de los resultados
(personal, instalaciones, equipos, activos), los
resultados de ejercicios de monitoreo y evalua- Los resultados de esta evaluación permitieron
ción (por ejemplo, registros de uso de las salas proponer mejoras en temas de gestión de insu-
digitales y demás equipos, personas capacitadas, mos y actividades para incrementar la eficiencia
personas sensibilizadas, entre otros), los objetivos y eficacia del programa en la entrega de sus
y metas planteadas, los informes de los procesos productos.
Cuantificación de indicadores asociados al componente de infraestructura
Nombre Fórmula 2007 2008 2009

Número de nuevas gober-
Nuevas gobernaciones naciones vinculadas a la
vinculadas a la estrategia estrategia TD con respec- 4 8 7
TD to al año inmediatamente
anterior.
Número de nuevos muni-
Nuevos municipios vin- cipios vinculados respec- No hay No hay No hay
culados a la estrategia TD to al año inmediatamente información información información
anterior.
Fuente: DEPP, DNP (2010).
46
CAPÍTULO IV
Capítulo IV
Evaluación ejecutiva E2+
Darren Green
Los sistemas de evaluación contribuyen a generar Tener un tipo de evaluación rápido es esencial
información acerca del logro de los objetivos en el sistema de evaluación de cualquier país.
planeados por parte de los programas: qué tan En Chile, las Evaluaciones de Programas Guber-
efectivos han sido en el corto, mediano y largo namentales (EPG) dependen de la Dirección de
plazo, si han alcanzado sus metas de manera efi- Presupuestos (DIPRES) y han sido adelantadas
ciente y si hay mejores alternativas de conseguir desde 1997. Las EPG tienen como objetivo “dis-
estos resultados con menos recursos. Así mismo, poner de información que apoye la gestión de los
institucionalizan los esfuerzos de monitoreo y programas públicos y el análisis de resultados en
evaluación que se hagan y sistematizan los ejer- el proceso de asignación de recursos públicos”2.
cicios de identificación, diseño, implementación En Estados Unidos, se encuentra el Program As-
y uso de los diferentes tipos de evaluación en sessment Rating Tool (PART) desarrollado por la
los niveles nacional, local y sectorial. Office of Management and Budget (OMB). Ésta es
una herramienta de diagnóstico creada en 2002
Con la evolución de la demanda por evaluar para los programas federales que, mediante un
cada vez más programas, surgió la necesidad cuestionario cerrado, evalúa el desempeño de
de tener una evaluación rápida que permitiera los programas y propone ajustes3. En México, el
tener una visión general del programa en un Consejo Nacional de Evaluación de la Política de
período corto de tiempo. La Evaluación Ejecu- Desarrollo Social (CONEVAL) es la entidad res-
tiva (E2), se diseñó en la DSEPP y se aplicó a 17 ponsable de las evaluaciones de los programas
programas entre 2007 y 2011. A partir de estas federales. En 2007 empezó a implementar la
experiencias piloto y el análisis detallado de estas Evaluación de Consistencia y Resultados, cuyo
evaluaciones1, se obtuvieron lecciones tanto de objetivo es “tener un diagnóstico sobre la capa-
forma como de fondo (gracias a la contribución cidad institucional, organizacional y de gestión
de los diversos consultores que participaron en de los programas hacia resultados”4.
su desarrollo y del equipo de la DSEPP), lo que
ha permitido replantear ciertos aspectos del tipo La E2+ se creó con la intención de generar in-
de evaluación que se presenta a continuación, formación oportuna y pertinente para que las
transformando la E2 en la E2+. entidades, tanto las ejecutoras como las que
1 El autor analizó 8 informes de E2 realizadas en 2009, teniendo en cuenta aspectos como la calidad de los reportes, la pertinencia
de los insumos utilizados, el acompañamiento y supervisión por parte de la DEPP y la calidad de las recomendaciones. En general
se observó que son informes muy completos, sin embargo su estructura rígida no permite que se entienda de manera tan clara el
concepto integral que da el consultor acerca del programa.
2 Ver página web Dipres, Chile: http://www.dipres.gob.cl/572/article-37369.html
3 Ver página web: http://www.whitehouse.gov/omb/.
4 Ver página web: http://www.coneval.gob.mx/cmsconeval/rw/pages/evaluacion/evaluaciones/consistencia/index.es.do
49
asignan los recursos, tomen decisiones sobre • ¿Los usuarios están satisfechos con los pro-
ajustes a los programas en el corto plazo e in- ductos/servicios entregados?
crementen la eficiencia y eficacia de la ejecución
de las políticas públicas. Se espera con este tipo • ¿Es pertinente seguir financiando el programa
de evaluación: o algunos de sus componentes?
• Dar una visión general del programa. Algunos tips
• Identificar problemas y mejorar el desempeño

del programa. a. Las E2+ se diferencian del monitoreo por:
• Encontrar los cuellos de botella del programa • Ser un proceso analítico más global e
en la cadena de resultados y en la cadena de integrado.
entrega de los productos y servicios.
• Permitir ordenar la estructura operativa
• Generar unas recomendaciones acerca de y establecer relaciones de causalidad
cómo perfeccionar el diseño y los procesos entre los insumos, procesos, productos
del programa. y resultados de corto plazo del pro
grama.
• Evaluar el grado de satisfacción del benefi-
ciario o cliente del programa. • Realizar un análisis de la eficiencia,
eficacia y calidad del programa.
Así mismo, es importante conocer sus limitaciones.
La evaluación ejecutiva no permite: b. Las E2+ se diferencian de las evaluaciones
de impacto por:
• Probar estadísticamente si el programa causó
el resultado o atribuir resultados exclusiva- • Distinguir entre un error de diseño y
mente a la intervención. un error de implementación al analizar
un programa.
• Analizar resultados de mediano y largo plazo
(impactos). • Determinar los cuellos de botella entre
los insumos, procesos, productos y
Considerando lo anterior, esta evaluación res- resultados.
ponde (entre otras) a las siguientes preguntas:
• Ser una herramienta más flexible que
• ¿Cuál es el desempeño general del programa? permite tomar decisiones en el corto
plazo.
• ¿Se encuentra la implementación del programa
acorde con su diseño? • No llegar a conclusiones metodológi-
camente robustas sobre los resultados
• ¿Cuál es la relación de causalidad entre los y los impactos de los programas.
diferentes componentes del programa? ¿Cuál
es la cadena de resultados (o valor) del pro- • No establecer relaciones de causalidad
grama? entre el desempeño de las intervencio-
nes y los cambios en las condiciones
• ¿Cuál es la cadena de entrega del programa? y comportamientos observados en los
¿Dónde están los cuellos de botella en la beneficiarios y en las comunidades.
cadena de entrega de cada uno de los pro-
ductos/servicios?
50
4.1 Características y Usos

• Examinar la percepción de un grupo de
En el ciclo de los programas, las E son un ins- 2+ beneficiarios acerca de los resultados del
trumento de evaluación de medio término, de- programa.
bido a que la metodología permite inspeccionar
los aspectos de ejecución y operación de los • Analizar si se debe seguir financiando el
programas. Se puede desarrollar en la etapa de programa.
implementación o en la etapa ex-post del progra-
ma, cuando ya se han empezado a entregar los
productos y servicios a los beneficiarios. Por lo tanto, la E2+ posee las siguientes caracte-
rísticas:
Este tipo de evaluaciones rápidas se desenvuel-
ven mucho mejor cuando están relacionadas o • Presenta un alto grado de flexibilidad.
en coordinación con el sistema de seguimiento.
Combinar la información del seguimiento5, proceso • Realiza en tiempos cortos revisiones integra-
continuo durante la implementación del programa, les de intervenciones públicas en diferentes
con el ejercicio de evaluación, permite tener una sectores.
retroalimentación sobre el desempeño del programa
con un análisis de la relación de su gestión con la • Desarrolla un análisis detallado de las cadenas
entrega de productos y resultados de corto plazo. de resultados y entrega.
La articulación de la información de monitoreo con
la E2+ es esencial para su óptimo desarrollo. • Usa información secundaria levantada por el
programa.
Algunos tips
• Estudia la percepción de los beneficiarios por
La E se utiliza cuando se quiere:
2+ medio de una encuesta o grupos focales.
• Tener una visión general del funciona- 4.2 Desarrollo de la Evaluación

miento del programa en un corto plazo.
En su primera etapa, la E2 se caracterizaba por ser
• Establecer la calidad del diseño del pro- una herramienta estandarizada y relativamente
grama. rígida. Se componía de tres informes: i) el informe
de descripción del programa, caracterizado por
• Identificar si el enfoque del programa es una metodología semi-analítica (basada en las
correcto. EPG de Chile) con preguntas abiertas para reco-
lectar y analizar la información; ii) el informe de
• Comprobar la calidad de los procesos. evaluación mediante una metodología sintética
con respuestas cerradas (basada en el PART de
• Determinar la calidad en la entrega de los Estados Unidos) para analizar la información y
productos y descubrir cuellos de botella. hacer juicios de valor; y iii) las conclusiones con
una metodología analítica con preguntas abiertas
• Constatar la cobertura del programa. (basada en las EPG de Chile) para proponer un plan
global de ajuste. Después de adelantar diecisiete
5 Definido por el glosario de la OECD (2002) como una: “Función continua que utiliza una recopilación sistemática de datos sobre
indicadores especificados para proporcionar a los administradores y a las partes interesadas principales de una intervención para el
desarrollo, indicaciones sobre el avance y el logro de los objetivos así como de la utilización de los fondos asignados”. El seguimiento
hace un levantamiento permanente de información de indicadores, que pueden ser de gestión, producto o resultado.
51
ejercicios E2 y conocer la opinión de consultores6, 4.2.1.1 El proceso

hacedores de política y evaluadores al respecto,
se obtuvieron las siguientes conclusiones acerca El consultor debe construir un concepto general
de la metodología. Se observó que los informes del programa. Se espera que el concepto incluya
resultaban muy completos en cuanto a la infor- la siguiente información:
mación recolectada, sin embargo, su estructura
inflexible daba lugar a la repetición y a que las • Justificación: problema, necesidad o interés
preguntas formuladas no posibilitaran entender por el cual se creó el programa y cuál es su
de manera clara, entre otras7, el concepto integral modelo teórico.
y las propuestas concretas que daba el consultor
acerca del programa. Por lo tanto, conservando el • Política sectorial y/o institucional a la que
objetivo inicial de la herramienta y sus principios pertenece: relevancia y coordinación del
básicos, se cambió su estructura rígida por una programa en el marco de la política sectorial
enfocada en los requerimientos de información e institucional, sostenibilidad del programa.
prioritarios. De acuerdo con esta modificación, los
componentes para el desarrollo de una E2+ son: • Descripción general: identificación de los bie-
nes y/o servicios, instituciones involucradas
• Visión general. en la ejecución, ámbito de acción territorial8,
antecedentes y características, período de
• Eficacia y eficiencia. ejecución9 y/o cualquier otra información
relevante del programa.
• Percepción del programa.
• Objetivos del programa a nivel de fin y
• Recomendaciones. propósitos: metas de corto, mediano y largo
plazo, cronograma de cumplimiento y medios
• Uso de los resultados. de verificación.
4.2.1 Visión general del programa • Descripción de la población objetivo: iden-
tificar y describir la población objetivo, cómo
El consultor deberá hacer el análisis general del
se define en su planeación estratégica y las
diseño e implementación del programa, con el
metas de cobertura correspondientes.
apoyo de una herramienta como la cadena de
resultados.
• Cadena de resultados (valor) detallada del
programa en su implementación:
La información requerida para esta parte de la
evaluación es:
3 Descripción de los insumos: financieros y
no financieros (los financieros incluyen la
• Cadena de resultados formulada por los
descripción de los antecedentes presu-
evaluadores.
puestarios del programa, las fuentes de
• Información secundaria (información interna financiamiento y la estructura de costos;
y documentada del programa). los no financieros son el talento huma-
6 Las consultorías desarrolladas para llevar a cabo una E2 tenían como requisito además de los tres informes, entregar un concepto
acerca de la herramienta utilizada.
7 Además de las recomendaciones de los consultores acerca de la herramienta, se hizo un estudio detallado de 8 E2 realizadas en
2009, en el cuál se observó la calidad de los reportes, la pertinencia de los insumos, así como el acompañamiento y supervisión a las
recomendaciones.
8 Área territorial que cubre el programa. Aun cuando el programa tenga previsto tener una presencia nacional, actualmente puede estar
ejecutándose únicamente en parte del territorio.
9 Tiempo total durante el cual el programa ha estado y estará siendo ejecutado. Dependiendo de sus objetivos y naturaleza, el programa
puede haberse diseñado sin plazo de término, o bien tener un horizonte definido de funcionamiento. Ej.: 1998- 2006.
52
no, la tecnología, las comunicaciones y evaluación de la eficacia de la oferta del programa

transporte, el sistema de información, se desarrolla con el apoyo de una herramienta
entre otros). como la cadena de entrega:
3 Descripción de los procesos: identificar

“La cadena de entrega se puede definir como
y describir los procesos, lineamientos
el conjunto de actores (personas o institucio-
operacionales, cronograma de implemen-
nes), y las relaciones entre ellos, a través de
tación, metas de corto, mediano y largo
las cuales una actividad o un proceso de un
plazo, medios de verificación y sucesión
sistema dado será implementado”.11
de eventos o actividades que, acorde con
el diseño del programa, se deben dar para
materializar un producto. Responde a la pregunta: ¿Cómo, y a través de
quién, ocurre una actividad o un proceso del
3 Descripción de los productos y su per- sistema?
tinencia a la luz de los objetivos de la
intervención: identificar y describir los 4.2.2.1 El proceso
bienes y/o servicios que entrega el pro-
grama, su cronograma de entregas, metas Se utiliza como representación gráfica de la in-
de corto, mediano y largo plazo y medios teracción entre actores, instituciones y procesos,
de verificación. para identificar los obstáculos que potencialmente
inciden en la entrega de los bienes y servicios
3 Descripción de los resultados: resultados de la intervención.
planeados, metas e indicadores.
Construir la cadena de entrega del programa
4.2.1.2 El producto implica12:
Éste debe ser corto y conciso. Se requiere que el • Estimar el nivel efectivo de cumplimiento
consultor haga explícita referencia a las fuentes de de las actividades de acuerdo con las metas
información (evidencia y soportes) que sustentan fijadas al momento del diseño del programa.
sus interpretaciones.
• Determinar el nivel de producción de cada
• Descripción general. bien y/o servicio, cuantificar los bienes y/o
servicios entregados.
• Cadena de resultados del programa construida
de manera detallada. • Establecer el nivel efectivo de cumplimiento
de las metas establecidas para la producción
• Concepto integral del programa, de cada una de los bienes y/o servicios.
de las etapas (insumos, procesos, productos
y resultados) y su articulación. • Señalar los organismos responsables y las
modalidades de producción o formas de
4.2.2 Análisis de eficacia proveer los bienes y/o servicios.
La eficacia es la “medida en que se lograron o se • Presentar mapas de flujo detallados con

espera lograr los objetivos del programa, tomando las actividades y eventos involucrados en
en cuenta su importancia relativa”10. El análisis y el proceso de producción de cada bien y/o
servicio.
10 OECD (2002).
11 Barber (2009).
12 Ibídem.
53
• Estimar los tiempos y recursos necesarios • ¿Cómo se compara la eficiencia de este pro-
para llevar a cabo cada uno de los pasos a lo grama con otros de objetivos y propósitos
largo de la cadena de entrega de los bienes similares (tanto públicos como privados y
y/o servicios del programa. comunitarios)?
• Evidenciar eventuales cuellos de botella en • ¿Se ejecutaron las actividades incurriendo

el proceso de producción de los bienes y/o en el menor costo posible para generar los
servicios entregados. componentes esperados?
• Constatar si el programa cuenta con activi- • ¿Tiene el programa por lo menos un indica-
dades de evaluación y control. dor de eficiencia, con línea de base, metas y
cronograma definidos?
4.2.2.2 El producto
• ¿Tiene el programa un conocimiento detalla-
Se debe adjuntar la cadena de entrega detallada do de todos los costos directos e indirectos
de cada uno de los bienes y/o servicios de la in- indispensables para el cumplimento de las
tervención, los indicadores de cumplimiento de metas planteadas?
actividades y productos prioritarios, los mapas de
flujo del programa y los cuellos de botella que • ¿Cómo se compara la eficiencia de este pro-
se encuentran en cada etapa para cada bien y/o grama en la producción de los componentes
servicio analizado. específicos con otros de objetivos y propósitos
similares (tanto públicos como privados y
4.2.3 Análisis de eficiencia comunitarios)?
La eficiencia se define como la “medida en que • ¿Demuestra el programa mejoras en eficiencia

los recursos/insumos (fondos, tiempo, etc.) se o efectividad de costos en la producción de
han convertido económicamente en resultados”13. los bienes y/o servicios?
4.2.3.1 El proceso • ¿Tiene el programa procedimientos que le

permitan medir los logros en eficiencia de
El análisis de eficiencia en una E2+ debe responder costos para la producción de los bienes y/o
a las siguientes inquietudes14: servicios?
• ¿Ha incrementado el programa significativa- • ¿Ha registrado la productividad media de

mente sus niveles de eficiencia de costos, los factores, ej. recursos humanos, mejoras
tiempos u otros insumos? en el tiempo y cómo se compara con otros
programas similares?
• ¿Demuestra el programa mejoras en eficiencia
o en efectividad de costos, tiempos u otros • ¿Cuál ha sido la evolución de los gastos de
insumos en el logro de las metas? administración15 del programa en el período
de evaluación y cómo se compara con otros
• ¿Tiene el programa procedimientos que le programas similares del sector público y/o
permitan medir los logros en eficiencia y efec- privado?
tividad de costos, tiempos u otros insumos?
13 OECD (2002).
14 DEPP, DNP (2006).
15 Se deben incorporar los ítems considerados y los supuestos utilizados en las estimaciones.n incorporar los ítems considerados y los
supuestos utilizados en las estimaciones.
54
4.2.3.2 El producto Indicadores como el costo unitario son esenciales

para examinar su viabilidad. Se adjunta una tabla
El producto debe contener un análisis de eficiencia de chequeo de información que se debe llenar
del programa. Es deseable que éste incluya todos de acuerdo con el nivel y calidad de información
los costos relevantes manejados por el programa. levantada en el E2+.
Tabla de información disponible

Tabla de chequeo de información disponible
Criterios (marcar con Fuentes usadas
Componente
X en caso de positivo (relacionar las fuentes consultadas)
Fuente documental
Fuente no
Actualizada
Organizada
(documento oficiales
Disponible
Completa
documental
del programa,
(entrevistas,
Tema Subtema Calidad datos del sistema
talleres,
de información
levantamiento
documentos fuente
directo)
secundaria)
Diseño del programa 0%
Justificación
Política sectorial e intitucional
Descripción general
Objetivo a nivel de fin
Objetivos a nivel de propósito
Población objetivo
Cadena de resultados
Descripción de los insumos (desagregar ppales.
Insumos)
Insumos financieros
Insumo 1...
Visión general
Insumo 2...
Insumos no financieros
Insumo 1...
Insumo 2...
Descripción de los procesos (desagregar ppales,
procesos)
Actividad 1...
Descripción de los productos (desagragar ppales,
productos)
Producto 1...
Descripción de los resultados (desagregar ppales,
resultados)
Resultado 1...
Eficacia
Cumplimiento de las actividades
Metas de producción de bienes y servicios
Nivel de producción de cada bien y/o servicio,
disponibilidad de indicadores
Modalidades de producción y responsables
Eficacia y Información para contrucción de mapas de flujo

Eficiencia Cronograma de entrega de bienes y servicios
Información para detención de cuellos de botella
Eficiencia
Indicadores de eficiencia de recursos financieros
Indicadores de eficiencia de tiempo

Indicadores de eficiencia de otros insumos...
Desde el punto de vista de la oferta
Metas e indicadores de cobertura efectiva
Uso de los bienes y/o servicios por parte de los
beneficiarios
Indicadores de calidad y oportunidad de pro-
ductos y resultados
Desde el punto de vista de la demanda
Metas e indicadores de cobertura efectiva
Calidad
Uso de los bienes y/o servicios por parte de los
beneficiarios
Indicadores de calidad y oportunidad de pro-
ductos y resultados
55
Por ejemplo
Dependiendo del tipo de producto y su heterogeneidad se deberá evaluar el uso de indicadores

de costo promedio, valores máximos y mínimos o la moda, etc.16
Tabla No. 1. Costo Promedio por Unidad de Producto (Miles de $ 2012)
… … … 2012
Componente 1
Componente 2
Componente 3
Fuente:
Tabla No. 2. Costo Promedio Componente por Beneficiario (Miles de $ 2012)
… … … …
Componente 1
Componente 2
Componente 3
Fuente:
Tabla No. 3. Costo Total Componentes por Beneficiario y Total Programa

por Beneficiario Efectivo17 (Miles de $ 2006)
Año Costo Total Componentes por Beneficiario18 Costo Total Programa por Beneficiario19
2002
2003
2004
2005
Fuente:
La evidencia y soportes que se presentan se deben sustentar en indicadores de productividad,

eficiencia y efectividad de costos por bienes y/o servicios. Se pueden incluir medidas de eficien-
cia global. Para realizar el análisis de eficiencia se identifican y cuantifican los costos relevantes,
que posteriormente se relacionan con los niveles de producción de los componentes. Para ello se
utilizan indicadores que compaginen gastos con productos y/o resultados. Pueden anexarse los
planes de mejoramiento diseñados para lograr avances de productividad y/o eficiencia estudios
de casos que describan cómo proyectos similares mejoran los niveles de eficiencia, así como datos
y evaluaciones comparativos de desempeño con programas similares.
16 DEPP, DNP (2006).

17 Si es necesario, diferenciar el costo por beneficiario entre los distintos componentes.
18 El costo total de componentes por beneficiario se obtiene dividiendo el total de costo de producción de los componentes del programa
por el número de beneficiarios efectivo.
19 El costo total del Programa por beneficiario se obtiene dividiendo el total de gasto efectivo del programa por el número de benefi-
ciarios efectivo.
56
4.2.4 Calidad de los bienes y/o servicios El análisis de calidad de los productos, tanto vis-
to por el lado de la oferta como de la demanda,
Además del análisis de la oferta del programa, contrasta la información del programa con las
es importante tener un análisis de percepción experiencias y prioridades de los participantes
de la demanda. Éste permite completar la visión (personal del programa y otros actores interesados)
general del programa, de lo que pasa realmente lo que posibilita ver el programa y su marco general
en el terreno y de los potenciales resultados e a través de los ojos de los grupos afectados y de
impactos que el programa va a generar. las personas involucradas su implementación21.
4.2.4.1 El proceso 4.2.4.2 El producto
El análisis debe ser representativo de los bene- • Reporte desde el punto de vista de la oferta
ficiarios del programa, con el objeto de extraer de productos y resultados generados por el
conclusiones generalizables. Se pueden utilizar programa: basado en información secunda-
medios que no resulten costosos como las entre- ria e indicadores de calidad de los bienes y
vistas por teléfono, correo electrónico o páginas servicios.
web. Éstas deben ser cortas (máximo 10 pregun-
tas) y se deben circunscribir al entendimiento • Reporte desde el punto de vista de la deman-
del programa, de su objetivo, entre otros, lo que da de los productos y resultados generados
permite tener información de manera relativa- por el programa: encuestas a los beneficiarios
mente rápida. para estudio de percepción del programa. El
universo entrevistado debe ser representa-
Estas encuestas pueden suplementarse con mé- tivo. Análisis de satisfacción de los clientes
todos cualitativos de investigación como grupos de los bienes y/o servicios entregados por el
focales. programa.
• Análisis y comparación de indicadores de

“Un grupo focal es una metodología de eva- calidad del servicio: la oferta frente a la
luación cualitativa que consiste en pequeños demanda.
grupos de personas (generalmente 6-12 perso-
nas) reunidas para discutir temas específicos Se anexa una tabla de chequeo de información
con la ayuda de un moderador. Un grupo de que se diligencia de acuerdo con el nivel y calidad
personas documentan informalmente un tema de la información levantada en el E2+.
específico relacionado con el programa que
se esté evaluando”20. 4.2.5 Recomendaciones
Esta información directa se complementa con la Las recomendaciones deben dar un concepto
información disponible que tenga el programa integral acerca del programa y proponer una lí-
acerca de sus resultados, abarcando temas como: nea de planeación estratégica en un período de
metas e indicadores de cobertura efectiva, cali- tiempo entre corto y mediano plazo para tomar
dad y oportunidad de los bienes y/o servicios, acciones correctivas. Con base en el análisis
uso de los bienes y/o servicios por parte de los realizado, el consultor llena un formato de cali-
beneficiarios y resultados. ficación de los principales aspectos encontrados
en el análisis del programa. Posteriormente, se

21 Social Impact (2008). Para más información ver Salmen, Lawrence F. (1987). Listen to the People: Participant Observation Evaluation
of Development Projects, 1987, New York: Oxford University Press.
57
preparan y relacionan planes específicos funcio- con la tabla de información disponible: la visión
nales para mostrar los detalles de cómo se debe general (diseño y cadena de resultados), eficacia
implementar la estrategia para lograr objetivos, y eficiencia (cadena de entrega), y calidad (por
misiones y propósitos del programa en el térmi- parte de la oferta y de la demanda), para generar
no recomendado. Es importante que el consultor sus recomendaciones. Éstas deben ceñirse a los
vincule los tres productos y sus temas en conjunto temas tratados en el documento.
Formato de calificación
EVALUACIÓN EJECUTIVA (E2+) Sinergía
Nombre del mprograma:

Fecha de evaluación:
Ministerio responsable:
Servicio responsable:
Presupuesto programa año:
Período de evaluación:
Puntaje
1 2 3 4
En esta sección se debe realizar un juicio valorativo fundado en cada uno de los temas que se analizan en los diferentes ámbitos de la evaluación. Para cada una
de las áreas de Evaluación se ha definido un número limitado de preguntas, las cuales se agregan en subtemas y temas. Cada pregunta debe basar su puntaje en la
deficiencias
Problemas
información de soporte incluída en los informes, el consultor deberá llevar a cabo un análisis detallado de las razones que justifican la calificación de 1 para serias
Muy bien
Serias
deficiencias, 2 problemas, 3 bien y 4 muy bien, en cada caso.
Bien
Temas Subtemas de Puntaje
Preguntas Puntaje preguntas
de evaluación evaluación subtema
ÁREA 1: VISIÓN GENERAL
¿Tiene el programa objetivos y metas claras/específicas?
¿Se ajustan los bienes y servicios del programa a sus objetivos (fines y propósitos)?
Diseño del
programa Tiene el programa beneficiarios objetivo claramente definidos y afectados por el problema, necesidad
o interés?
¿Son las metas estratégicas alcanzables y ambiciosas?
¿Reflejan los criterios de uso, asignación y distribución de insumos los objetivos estratégicos del programa?
Diseño del
¿Tiene el programa los recursos financieros necesarios para su operación y sostenibilidad en el tiempo?
programa
¿Cuenta el programa con insumos no financieros suficientes, adecuados y de calidad para realizar las
actividades planeadas?
Cadena de ¿Cuenta el programa con una buena planeación operativa?
resultados
¿Tiene el programa un sistema de información adecuado?
¿Cuenta el programa con criterios y mecanismos operativamente eficientes para su selección, priorización
y focalización de los beneficiarios objetivo?
¿Cuenta el programa con mecanismos y criterios para la mejora de los bienes y servicios?
ÁREA 2: EFICACIA Y EFICIENCIA
¿Ha cumplido el programa con los niveles necesarios/establecidos de cobertura?
¿Cuenta el programa con indicadores de cumplimiento de actividades?
¿Cuenta el programa con indicadores de cumplimiento de producto?
¿Cuenta el programa con indicadores de cumplimiento de resultados?
¿Atiende el programa realmente a la población objetivo?

Eficacia
¿Es adecuada la calidad, oportunidad y uso de los componentes?
¿Es efectivo el programa en el cumplimiento de las metas establecidas para la producción de los bienes
y/o servicios?
Eficacia
¿Están integradas y articuladas las actividades entre si para el buen desarrollo de la operación y resolución
y Efectividad
de los cuellos botella en su gestión?
¿Son los tiempos y recurso los necesarios para llevar a cabo cada uno de los pasos a lo largo de la cadena
de entrega de los bienes y/o servicios entregados?
¿Son los procesos de entrega de bienes y servicios operativamente eficientes?
¿Está el programa orientado a mejorar su costo efectividad

¿Demuestra el programa mejoras en la costo eficiencia de su gestión?
Eficiencia
¿Son eficientes otras actividades de apoyo como el talento humano, soporte técnico, transporte, comu-
nicaciones, archivo, etc.?
¿Ha alcanzado el programa el nivel esperado de ejecución de los recursos financieros?

¿Demuestra el programa mejoras en la eficiencia de costos, tiempos u otros insumos en el logro de las metas?
ÁREA 3: CALIDAD
¿Se entregan los bienes y/o servicios con calidad y oportunidad?

Desde la oferta
¿Genera resultados el uso de los bienes y/o servicios por parte de los beneficiarios?
Calidad
¿Se encuentran satisfechos los usuarios con la oportunidad de entrega de los bienes y servicios?
Desde la
demanda
¿Los usuarios se encuentran satisfechos con la calidad de los bienes y servicios entregados?
58
4.2.6 Uso de los resultados • Tener un procedimiento muy claro de acep-

tación de las recomendaciones del evaluador
El PENDES presenta una lista de chequeo en con una justificación de por qué los actores
el tema de management response en lo que se involucrados las acogen o no.
refiere al seguimiento al uso de los resultados
de las evaluaciones, ésta incluye las siguientes • Mantener un control de calidad de las res-
recomendaciones: puestas.
• Hacer un control de calidad de las evaluacio- • Incluir en el sistema de seguimiento indica-

nes realizadas. dores de las recomendaciones aceptadas.
• Tener una lista de las recomendaciones prio- • El evaluador debe incorporar en el plan de
rizadas. acción cada recomendación aceptada y las
que no, justificarlas.
• Manejar un proceso para discutir las reco-
mendaciones realizadas por los consultores • Finalmente, se debe decidir si las recomen-
con los actores involucrados. daciones se hacen públicas o no para hacer
su seguimiento.
59
CAPÍTULO V
Capítulo V
Evaluación de resultados
Zadiraka Evgenii
La evaluación de resultados (outcome evalua- finiciones con el objeto de que estos términos
tion) es un tipo de evaluación que se utiliza para queden claros en el desarrollo de la guía1.
estudiar los cambios en las condiciones de los
beneficiarios como consecuencia (directa o indi- Tipos de Indicadores
recta, atribuible o no) de los productos entregados
por una intervención en un horizonte de corto y
mediano plazo. • Indicador de gestión: mide procesos, accio-
nes y operaciones adelantados dentro de la
La palabra resultado, en su concepción básica etapa de implementación de una política,
se asemeja a un efecto o consecuencia. Cuando programa o proyecto.
se habla de resultado en un programa se puede
definir de la siguiente manera: • Indicador de producto: refleja los bienes
y servicios cuantificables producidos y/o
“Beneficios o cambios en los individuos o pobla- aprovisionados directamente por una po-
ciones durante su participación o después de su lítica, programa o proyecto.
participación en las actividades del programa.
Los resultados se encuentran bajo la influencia • Indicador de efecto: muestra los efectos
de los productos de un programa y se pueden generados por los productos de una de-
relacionar con el comportamiento, habilidades, terminada política, programa o proyecto
conocimiento, actitudes, valores, condiciones u sobre la población directamente afectada.
otros atributos.” (United Way of America, 1996). Teniendo en cuenta la temporalidad en la
cual se presentan los efectos (corto, mediano
Para medir los procesos de planeación de las o largo plazo) y los criterios de causalidad
entidades se utilizan herramientas como los entre la intervención y éstos (directos o
indicadores de gestión, producto, resultado e indirectos) se puede dividir esta categoría
impacto. En general, los primeros se utilizan entre indicadores de resultado e impacto.
cuando se hace un seguimiento operativo al
proceso de implementación, mientras que los
tres últimos se encargan de evaluar el avance
en el nivel estratégico del programa. De acuerdo 5.1 Características y Usos
con la necesidad que se tenga de información
del programa, se recurre a uno u otro tipo de Los objetivos de una evaluación de resultados
indicador. A continuación se presentan sus de- son:
1 Definiciones de DNP (2009).
63
• Evaluar los cambios que se dieron en las Algunos tips

condiciones de los beneficiarios como conse-
cuencia (directa o indirecta) de los productos
de la intervención. Para identificar resultados tenga en cuenta
las palabras: “mejoró”, “aumentó”, “más”,
• Investigar si el programa o política causó efec- “nuevo”, “cambió”, etc.3
tos demostrables en resultados previamente
definidos. En algunos tipos de programa los resultados
son difíciles de concretar, por lo que en estos
Es importante mantener las expectativas correc-
casos es muy importante conocer con más
tas. La evaluación a nivel de resultados no tiene
detalle la manera cómo se planeó y diseñó
como objetivo2:
el programa y la intención con la cual se creó.
• Probar estadísticamente si el programa causó
el resultado. Para diferenciar entre productos y resulta-
dos es útil recordar que los productos son
• Explicar de manera causal por qué ese nivel consecuencia directa de los servicios del
de resultado se logró, pues con este tipo de programa y los resultados son los cambios
evaluación no se pueden atribuir los resul- en el comportamiento de los participantes
tados exclusivamente a la intervención. después de recibir el producto.
• Concluir a partir de su análisis lo que se debe Una evaluación de resultados puede llegar a
cambiar en la intervención para mejorar el utilizar tanto indicadores de producto como
resultado, puesto que pueden haber cuellos de resultado, especialmente si se quiere
de botella en las otras etapas del programa explicar cuál es el origen de estos.
(ej: desarrollo de procesos, entrega de pro-
ductos) que no necesariamente se analizan
con una evaluación de este tipo. Por ejemplo
Por lo tanto, una evaluación de resultados res-

ponde entre otras a las siguientes preguntas:
a. En programas sociales4:
• ¿Cuáles son los resultados críticos que el
programa o la política tratan de lograr? • En el corto plazo los resultados pueden
responder a preguntas sobre el conoci-
• ¿Qué cambios se esperaban como resultado miento o habilidades adquiridas.
de la entrega de los productos?
• En el mediano plazo los resultados pue-
• ¿Qué efectos de corto y mediano plazo generó den responder a preguntas sobre un
el programa? cambio en el comportamiento.
• ¿Qué tan efectivo fue el programa en lograr • En el largo plazo los impactos pueden
sus objetivos de corto y mediano plazo? responder a preguntas sobre cambios
en valores, condiciones y estatus.
• ¿Cuál es la dinámica de los indicadores aso-
ciados a la medición de los resultados de la
intervención?
2 United Way of America en: http://www.liveunited.org/Outcomes/Resources/What/OM_What.cfm.

3 Mac Namara (2006).
4 Idem.
64
b. En un programa que aconseja a las fa- política pública a evaluar se ha completado, de tal
milias para que mejoren la calidad de su forma que los bienes y servicios ya se han empe-
alimentación, los productos, resultados zado a entregar a los beneficiarios. Sin embargo,
e impactos esperados serían: para poder establecer el grado de avance de los
efectos de la intervención, es importante tener
• Productos: número de reuniones realiza- mediciones de indicadores de los beneficiarios
das; número de familias aconsejadas. antes de su inicio.
• Resultados o efectos de corto plazo: ali- Con una herramienta como el seguimiento5, se
mentos más nutritivos incluidos en los puede realizar el levantamiento continuo de
productos de su canasta familiar básica, información de indicadores de gestión, produc-
que antes no consumían. tos, resultados e impactos. Tanto el seguimiento
como la evaluación son elementos clave en la
• Resultados o efectos de mediano plazo: gestión, sin embargo, hacen sus contribuciones
la familia tiene una mejor alimentación. en diferentes formas y momentos del tiempo6:
• Impactos o efectos de largo plazo: dis- • El seguimiento es un proceso continuo que

minución del sobrepeso en las familias; genera información sobre el progreso de
disminución de la incidencia de enferme- un programa, no analiza la causalidad entre
dades relacionadas con una alimentación las intervenciones y sus efectos, y se hace
no balanceada. durante la implementación del programa. Es
una actividad interna realizada (en general)
por los funcionarios del programa, que da
c. En un programa de infraestructura vial una retroalimentación constante sobre su
desempeño.
• Los productos generados por el programa
pueden ser kilómetros de carretera pavi- • La evaluación analiza el desempeño del
mentados, obras de drenaje, contención programa en un momento del tiempo, me-
y estabilización. diante una valoración puntual de la inter-
vención y sus efectos. Examina relaciones
• En el corto plazo los resultados pueden de causalidad entre éstos (busca responder
estar relacionados con un mejor mante- a la pregunta “¿por qué?”) y se puede hacer
nimiento vial. de manera participativa, interna o externa
al programa.
• En el mediano plazo los resultados pue-
den relacionarse con cambios en transi-
Estas dos herramientas se pueden articular y
tabilidad y velocidad de recorrido.
complementar, de tal forma que se tenga un le-
vantamiento continuo de datos de avance y logro
• En el largo plazo los impactos pueden ser
de los objetivos (seguimiento) que alimente las
mejoras en la percepción de satisfacción
investigaciones de ciertos cambios en los indi-
y seguridad.
cadores de resultado a través de la evaluación
de resultados. Si se quiere atribuir los resultados
La evaluación de resultados se hace en la etapa exclusivamente a la intervención, se recurre a la
ex-post del programa, en la que el diseño de la evaluación de impacto.
5 Definido por el glosario de la OECD (2002) como una: “Función continua que utiliza una recopilación sistemática de datos sobre
indicadores especificados para proporcionar a los administradores y a las partes interesadas principales de una intervención para el
desarrollo, indicaciones sobre el avance y el logro de los objetivos así como de la utilización de los fondos asignados”.
65
Algunos tips Es importante tener una línea de base para poder

evaluar los efectos generados por el programa.
Cuando se tiene una evaluación correctamen-
La evaluación de resultados se utiliza cuando: te diseñada, se pueden estimar cambios más
fácilmente dado que se obtienen valores de
• Se tienen mediciones continuas a indi- indicadores de los entes o beneficiarios antes
cadores y se quiere analizar más a fondo de la intervención.
un cambio extraordinario de uno o varios
de ellos. La evaluación de resultados se sitúa en un nivel
estratégico para el hacedor de política puesto
• Existe la necesidad de examinar los resul- que le ayuda a comprender por qué se están
tados del programa para tomar decisiones dando cambios en los indicadores y le permite
políticas o presupuestales en el corto o determinar si se están entregando los productos
mediano plazo. de la intervención8.
• Se quieren tener indicios sobre los re-
En conclusión, el evaluador se debe guiar por las
sultados del programa.
siguientes preguntas:
• ¿Cuáles son los resultados críticos que el

La evaluación de resultados tiene las siguientes
programa o la política tratan de lograr?
características7:
• ¿Qué resultados o efectos de corto y mediano
• Realiza un análisis descriptivo de los cam-
plazo produjo el programa?
bios que ha generado la intervención, sin
tener certeza sobre la magnitud del cambio
ocasionado únicamente por programa. 5.2 Desarrollo de la Evaluación
• Se centra en las modificaciones de los com- Después de que se aclaran los objetivos y el
portamientos y contextos relacionados con el alcance de la evaluación se pasa a la etapa de
ente o población beneficiaria de los productos planeación y diseño de ésta, en donde se definen
entregados por la política pública. los resultados a medir, sus metas y se construyen
indicadores apropiados para medir los cambios
• Especifica los esfuerzos de las instituciones generados por el programa en los beneficiarios.
y de las partes interesadas en el proceso de Los pasos que se recomienda seguir son9:
intervención.
• Identificar los resultados esperados del pro-
• No sólo expone el aumento o disminución grama o política que se va a evaluar.
de los indicadores, sino que incorpora en el
análisis el comportamiento de las instituciones • Priorizar estos resultados para determinar
o agentes involucrados en la política pública. cuáles se van a medir y analizar, con los re-
Para esto debe contar con información reco- cursos disponibles.
lectada periódicamente.
• Especificar medidas observables o indicadores
• Su costo es moderado y su ejecución es re- de efecto para cada resultado – construcción
lativamente veloz. de indicadores.
7 Menon, Karl y Wignaraja (2009) y Patton (2009).

9 Mac Namara (2006).
66
• Fijar una meta para estos indicadores. 5.2.3 Construir indicadores
• Identificar la información necesaria para medir Como se mencionó, este tipo de evaluación debe
estos indicadores e identificar cómo puede tener en cuenta la necesidad de medir los pro-
ser recolectada. gresos realizados en relación con los resultados
(directos o indirectos) esperados y verificar si
• Analizar y reportar los resultados. se han alcanzado. Por esta razón, es importante
que para cada resultado a evaluar se puedan
• Usar los resultados. construir indicadores que capturen dinámicas
observables. Esta parte es decisiva en la evalua-
5.2.1 Identificar los resultados esperados ción de resultados, pues se pasa de una misión y
unos objetivos a veces intangibles o difíciles de
Los resultados se pueden identificar según los cuantificar, a unos indicadores con actividades
objetivos que haya fijado el programa a evaluar. asociadas monitoreables.
El objetivo general debe indicar los efectos de
largo plazo a los que se quiere llegar con la inter- Una de las metodologías existentes que relacio-
vención y los objetivos específicos, los efectos nan los objetivos y los indicadores es conocida
de corto y mediano plazo. como “SMART”; ésta plantea que los objetivos
deben ser específicos, medibles, realizables,
También se puede deducir cuáles son los resul- pertinentes y con plazos definidos para su cum-
tados esperados partiendo de las principales plimiento.
actividades planteadas.
Objetivos “SMART”
En principio, el programa debe tener establecidos
sus resultados esperados al empezar en su etapa
de diseño. Si esto ocurre y el programa presenta Specific (Específico): el objetivo debe ser
metas, indicadores y un sistema de información S preciso sobre cómo, dónde y cuándo va a
periódica para alimentarlos, el evaluador tendría cambiar la situación de los beneficiarios.
que analizar estos elementos y priorizar con los
Measurable (Medible): el objetivo debe
actores involucrados los resultados que se van
M establecer metas y beneficios que se
a evaluar.
puedan medir.
Sin embargo, es posible que algunos de estos
pasos se hayan obviado en el diseño del pro- Achievable (Realizable): El objetivo debe
A
grama, por lo que el evaluador, en conjunto con poderse cumplir.
los actores involucrados, deberá reconstruirlos.
Relevant (Relevante): el objetivo debe

5.2.2 Priorizar los resultados a evaluar R
ser pertinente y crucial.
El programa puede tener numerosas activida-
des pero no todas son relevantes para lograr el Time-bound (Limitado en el tiempo): el
objetivo general y los objetivos específicos. Es T objetivo debe estar acotado en un pe-
importante elegir hitos observables y medibles riodo de tiempo para su alcance.
que estén directamente relacionados con obtener
un resultado. Pueden haber actividades asociadas Fuente: MENON, S. KARL, J. & WIGNARAJA, K. (2009). Adaptación
del Autor.
con los procesos internos o la gestión del progra-
ma que son importantes para su desarrollo, pero
que no se encuentran directamente ligadas con A partir de este ejercicio, se definen los indica-
los resultados que se quiere medir. dores de la evaluación. Una de las metodologías
67
más utilizadas es la “CREMA”, construida por el

Banco Mundial10, que permite verificar y escoger • Actividades: cursos de capacitación en
los mejores indicadores que se puedan aplicar oficios técnicos; cursos para ganar con-
para medir los cambios en los objetivos11. fianza en sí mismos (proyecto de vida).
Indicador “CREMA” • Indicadores: porcentaje de jóvenes em-

pleados antes y después del programa;
Claro: jóvenes que consideran que han desarro-
C llado habilidades de comunicación gracias
• Preciso e inequívoco.
al programa; jóvenes que consideran que
Relevante:
R mejoró su autoestima.
• Apropiado al tema en cuestión.
Económico:
E
• Disponible a un costo razonable. 5.2.4 Fijar metas
Medible:
M
• Abierto a la validación independiente. Para cada uno de los indicadores es importante
Adecuado: fijar una meta que el programa se compromete a
A • Ofrece una base suficiente para esti- cumplir y levantar una línea de base de los indi-
mar el desempeño (resultados). cadores seleccionados antes de la intervención.
Fuente: Kusek y Rist (2004). Adaptación del autor. Por ejemplo
Los indicadores asociados a la evaluación de

resultados se analizan y comparan en diferentes Programa para mejorar la cobertura
momentos del tiempo con la ayuda de métodos educativa a los más pobres a través
estadísticos y de recolección de información de subsidios condicionados
cuantitativa y cualitativa para lograr explicar el Si el resultado es mejorar la asistencia de
cambio en las variables. Sin embargo, evaluar el los más pobres, la meta puede ser mejorar
cambio de las condiciones de los beneficiarios en 10% la asistencia escolar de jóvenes
es un análisis descriptivo de indicadores, lo que Sisbén 1 y 2.
diferencia la evaluación de resultados de la de
impacto12.
5.2.5 Recolección de información
Por ejemplo
Posteriormente se pasa a establecer qué informa-
ción se necesita para construir estos indicadores.
Programa para Jóvenes Desempleados
Primero se observa si el programa efectivamente
está realizando las actividades para lograr los
• Misión: mejorar la calidad de vida de los
resultados esperados y se obtienen cifras y carac-
jóvenes de estratos bajos.
terísticas de los beneficiarios reales, entre otros.
Tambien se debe inspeccionar la información que
• Objetivo: incrementar las posibilidades de
tenga el programa sobre indicadores de gestión,
inserción laboral y social de los jóvenes
productos, resultados e impactos, caracterizacio-
desempleados en el año siguiente a su
nes de los actores que participan en el programa
implementación.
o documentos acerca de su funcionamiento. Por

11 Para mayor desarrollo sobre el tema de indicadores ver “Guía metodológica para la formulación de indicadores”. Departamento Na-
cional de Planeación (2009).
68
último, se identifican los vacios de información • Guiar presupuestos y justificar la asignación

y se plantea cómo llenarlos. de recursos.
Existen diferentes métodos de recolección de • Sugerir metas de resultados.

información que dependen del tipo de datos
• Enfocar la atención de hacedores de política
requeridos y de los recursos disponibles. En el
en puntos críticos de los programas.
anexo 11.1 se presenta una tabla que resume los
métodos más utilizados por el PNUD que, en gran
Al exterior del programa puede contribuir con:
medida, se han adoptado en las evaluaciones a
programas del gobierno colombiano.
• Promover el programa a beneficiarios poten-
ciales.
Al saber qué información se requiere para determi-
nar la evolución de los indicadores, es importante • Identificar alianzas para trabajar conjunta-
buscar la manera más eficiente de recolección mente.
dentro de las restricciones existentes. Determi-
nar si la información secundaria o de archivos • Mejorar la imagen pública del programa.
satisface las necesidades, o si se debe levantar
información primaria por medio de encuestas, • Mantener o incrementar el financiamiento
grupos focales, etc. del programa.
5.2.6 Análisis mediante una metodología 5.3 Metodologías de medición

Después de recolectar la información de cada in- Existen métodos estadísticos para interpretar y
dicador, el evaluador debe hacer un balance de la medir los cambios que se producen con la inter-
información y realizar un análisis de las bases de vención a través de instrumentos de estadística
datos para evaluar los cambios que se generaron inferencial y descriptiva que permiten analizar los
en los beneficiarios después de la intervención y datos e indicadores que resultan del desarrollo
corroborar si ésta alcanzó sus objetivos de corto de la evaluación.
y mediano plazo.
Un factor influyente para la selección de los
5.2.7 Uso de los resultados métodos de análisis es la conformación de la
información; es decir, si los indicadores son de
El uso de los resultados de este tipo de evaluacio- naturaleza cualitativa o cuantitativa. Las variables
nes puede, al interior del programa, contribuir con: cualitativas son aquellas que se refieren a catego-
rías o atributos de los elementos estudiados. Las
• Documentar el funcionamiento del programa, variables cuantitativas son aquellas cuyos datos
especialmente la forma en la que los produc- son de tipo numérico. Estas dos herramientas son
tos afectan a los resultados. complementarias, pues los métodos cualitativos
proporcionan una perspectiva que posibilita
• Mejorar los programas. construir una imagen más completa de la reali-
dad y aumentan la credibilidad de los resultados
• Apoyar la planeación anual o de largo plazo. encontrados con métodos cuantitativos.
69
Tipos de variables
Variables cualitativas Variables cuantitativas

Tipo Características Tipo Características
Es una variable que sólo tiene dos Es una variable que está conformada
Dicotómica categorías que son excluyentes una de Continuas por números infinitos o no numerables
la otra (Ej: Género - Hombre o Mujer). de elementos (Ej: Peso de la persona).
Es una variable que tiene más de dos Es una variable que está conformada
categorías y no hay orden entre ellas por números finitos o infinitos nu-
Nominal Discretas
(Ej: Grupos Sanguíneos). merables de elementos (Ej: Número
de hijos).
Es una variable que tiene varias catego-
Ordinal rías y hay orden entre ellas (Ej: Estratos
– Bajos, Medianos, Altos).
Fuente: Canavos (1999). Adaptación del autor.
Para hacer una evaluación de resultados se puede dirigido a jóvenes desempleados Sisbén 1 y 2 de
utilizar el método Antes – Después (Before-After siete áreas metropolitanas: Bogotá, Medellín, Cali,
study) que requiere tener datos antes y después Barranquilla, Bucaramanga, Manizales y Cartagena.
de la intervención, pero sólo para el grupo de Este programa tenía como objetivo contribuir a
beneficiarios. Este método permite hacer compara- mejorar los niveles y la calidad del empleo de los
ciones a lo largo del tiempo y análisis transversales beneficiarios a través de acciones de formación
con posterioridad al proyecto. Los resultados se para el trabajo que incluyeron formación laboral
obtienen hallando la diferencia entre el valor de para un oficio y prácticas laborales en empresas
las variables antes y después de la intervención. formalmente constituidas. Estas acciones esta-
Su debilidad es que al eliminar la comparación ban dirigidas a incrementar la empleabilidad y,
al inicio del programa se debe suponer que no en consecuencia, las posibilidades de inserción
existió otro factor que pudo haber modificado el laboral y social de los jóvenes beneficiarios del
comportamiento de los beneficiarios a lo largo programa.
del tiempo de intervención del programa.
La formación se llevaría a cabo por entidades
Cuando no se tienen los datos del antes y después, de capacitación (ECAP)14 que desarrollarían la
se pueden utilizar modelos de corte transversal fase lectiva con duración de tres meses y harían
como: modelos de probabilidad o regresiones los arreglos para una fase práctica, de otros tres
lineales que dan cuenta de los indicadores defi- meses de duración, en empresas seleccionadas.
nidos pero solamente en el momento en el cual De esta manera, se esperaba que tanto los jóve-
se levanta la información. nes beneficiarios como las ECAP se acercaran al
entorno empresarial.
Aplicación de las herramientas:
Estudio de caso Identificar los resultados del programa o política
a evaluar
El programa13
Estos son los principales resultados que se
El programa Jóvenes en Acción (JeA) fue uno de querían lograr con el programa Jóvenes en
los componentes de la Red de Apoyo Social (RAS) Acción:
13 “Informe análisis de resultados de las primeras convocatorias de programa Jóvenes en Acción”. Consultoría para la evaluación de
impacto del Subprograma Jóvenes en Acción. Unión Temporal IFS – Econometría S.A. – SEI, junio de 2004.
14 Las ECAP son entidades públicas o privadas que preparan, presentan y ejecutan los cursos de formación laboral, financiados por el
Programa en los términos, condiciones y plazos establecidos en cada una de las convocatorias.
70
• Desarrollar en los jóvenes habilidades bási- obstáculos para acceder al mercado de trabajo
cas para el trabajo y específicas en un oficio y a un mundo donde el joven por su condición
dado, hasta alcanzar el nivel de trabajador social se sentía totalmente excluido).
semi-calificado.
• Jóvenes que tienen expectativas de continuar
• Promover el desarrollo de habilidades básicas, con su educación formal o de tomar capaci-
sociales y comunicativas del joven que me- taciones adicionales.
joren su capacidad de vinculación al trabajo
y su desempeño laboral. Para el resultado b) “Mejorar su capacidad de
vinculación al trabajo y desempeño laboral”, se
• Fortalecer la oferta de formación laboral con utilizaron los siguientes indicadores:
base en la demanda de los sectores produc-
tivos y las características y expectativas de • Vinculación al mercado de trabajo: proporción
los jóvenes beneficiarios. de jóvenes que han conseguido empleo antes
y después del programa (empleabilidad).
Para cada resultado especificar medidas
observables o indicadores de resultado • Tiempo que duró buscando empleo: tiempo
de espera para conseguir un trabajo antes y
Las variables objeto de análisis tuvieron en cuenta después del programa.
las características de los jóvenes, así como el tipo
de ECAPs y empresas donde hicieron la capa- • Condiciones laborales de enganche en empleos
citación. Para la caracterización de los jóvenes posteriores a la capacitación: tipo de empleo
egresados se tuvieron en cuenta: (formal o informal), asalariado o independien-
te, etc.
• Sexo, edad, nivel educativo, responsabilida-
des, capacitaciones anteriores y experiencia • Nivel de ingresos: salario antes y después de
laboral. la participación en el programa.
Posteriormente, para evaluar los cambios que se • Tiempo de enganche y duración de empleos
dieron en los jóvenes gracias al programa, en el posteriores a la capacitación.
resultado a) “Desarrollar habilidades básicas y
cambios o logros que reportan los beneficiarios”, Para el resultado c) “Fortalecer la oferta de ca-
se plantearon los siguientes indicadores: pacitación laboral”, se utilizaron los siguientes
indicadores:
• Jóvenes que consideran que han desarrolla-
do habilidades de comunicación gracias al • Número de empresas con las que las ECAP
programa. hacen acuerdos de práctica laboral.
• Jóvenes que consideran que mejoró su au- • Número de ECAPs que han actualizado los
toestima. perfiles ocupacionales tras la concertación
con las empresas.
• Jóvenes que consideran que fortalecieron su
capacidad para relacionarse. • Número de ECAPs que han incorporado nue-
vas metodologías pedagógicas y la práctica
• Jóvenes que tienen interés en continuar o laboral como parte de la formación.
profundizar la capacitación recibida.
• Número de ECAPs que han dado un énfasis
• Jóvenes que consideran que su comporta- a la formación humana y a las competencias
miento cambió (lo cual les permite superar los básicas del trabajador.
71
• Percepción de las ECAP respecto a si encuen- de un diseño muestral estratificado por tipo de
tran que han experimentado algún nivel de empresa (según sector económico y tamaño).
fortalecimiento a partir de su participación
en el programa. El análisis de la información cuantitativa siguió
una metodología que permitió obtener resulta-
• Percepciones generales sobre el programa, dos basados en la muestra completa de todas las
motivaciones y expectativas de trabajo. convocatorias consideradas, se utilizó un diseño
estratificado de elementos. La estratificación para
Fijar una meta para estos indicadores los jóvenes consistió en una clasificación por
convocatoria en la que participaron, por grupos
En este aparte es necesario observar las metas de ECAPs según tipo, por clase de capacitación
que tenía el programa Jóvenes en Acción en los recibida, por tipo de empresa donde se hizo la
indicadores planteados para lograr los resultados práctica y por nivel de educación previa. Se buscó
a), b) y c) y si éstas eran numéricas concretas o una representatividad proporcional según estas
si simplemente aluden a mejorar la situación de variables, con probabilidad igual de selección.
los beneficiarios del programa en cada uno de En esta etapa del trabajo se enfatizó en los re-
estos aspectos. sultados y no en el impacto del programa, por lo
que no se compara la situación de estos jóvenes
Identificar la información necesaria para medir con un grupo de control, aunque sí se trata de
estos indicadores e identificar cómo puede ser hacer comparaciones con algún referente y con
recolectada la situación anterior a la exposición a JeA, de
manera que se puedan intuir algunos posibles
La información necesaria se obtuvo a través de resultados. Sin embargo, como se menciona en
encuestas estructuradas de tipo cuantitativo que los puntos anteriores, en una evaluación de re-
se hicieron a jóvenes egresados, ECAPs y empre- sultados no se puede, en rigor, atribuir los efectos
sas. La información de tipo cualitativo por medio con certeza al programa mismo ya que también
de entrevistas y grupos focales con los tres tipos podrían deberse a causas diferentes que no están
de actores del programa. Además se recogieron siendo controladas.
resultados basados en la información existente
en las bases de datos de JeA, así como en otros El componente cualitativo requirió de información
estudios y evaluaciones existentes. primaria detallada para el análisis de los resulta-
dos de las primeras convocatorias del programa,
Para la recolección de la información cuantitativa que se recolectó a partir de la conducción de 18
se diseñaron encuestas estructuradas para los tres grupos focales con jóvenes, 11 con ECAPs y 9 con
agentes involucrados en el programa: Jóvenes, empresas; 12 entrevistas con ECAPs y 6 estudios
ECAPs y empresas, éstas fueron aplicadas durante de caso con empresas, todos ellos en las áreas
el mes de diciembre del 2003. Para los jóvenes, metropolitanas de Bogotá, Medellín y Cartage-
la muestra estadística incluyó egresados de las na. Se prepararon instrumentos especialmente
primeras convocatorias que en el momento de diseñados tanto para la obtención, organización
la encuesta tenían entre 6 y 18 meses fuera del y presentación de la información. Ésta se obtuvo
programa - según la convocatoria a la cual asistie- aplicando metodologías de investigación social
ron. Se encuestaron de manera presencial a 1.037 dirigidas a explorar, describir y explicar aspec-
personas. En cuanto a las ECAP, se encuestó el uni- tos seleccionados de carácter sociológico en el
verso de instituciones que impartieron cursos en contexto de JeA. Se buscó comprender ciertos
alguna convocatoria realizada. Para las empresas, hechos y el significado que los protagonistas les
inicialmente se había diseñado un esquema de atribuían a ellos. Con los resultados se espera
encuesta para ser aplicado telefónicamente pero facilitar la comprensión de los procesos e inte-
se optó por hacerlo con visitas presenciales. Se racciones sociales, pero no se pretende hacer
obtuvieron 686 encuestas efectivas provenientes generalizaciones sobre un hallazgo sino más bien
72
profundizar en sus dinámicas e implicaciones. Todos los actores participantes del programa
De esta manera, utilizando como insumo básico coincidieron en que un resultado del mismo
la percepción de los actores sociales sobre su es el cambio que opera en los jóvenes con
experiencia y el sentido que le asignan a ésta, su paso por JeA. La formación en diferentes
se espera encontrar hallazgos que contribuyan temas de desarrollo personal (“proyecto de
a una mejor toma de decisiones. vida”) logró mejorías en sus habilidades de
comunicación, autoestima y comportamientos,
Analizar y reportar los resultados lo cual les permitió superar obstáculos para
acceder al mercado de trabajo y a un mundo
Tanto los jóvenes, como las ECAP y las empresas del cual el joven, por su condición social, se
coincidieron en identificar como principal resul- sentía totalmente excluido.
tado del programa el cambio que se dio en los
jóvenes a raíz de su paso por éste. Los egresa- • Mejorar su capacidad de vinculación al tra-
dos, además de adquirir conocimientos que les bajo: JeA se constituyó en parte del proceso
sirven para el trabajo, recibieron capacitación formativo de los beneficiarios que deseaban
y formación en diferentes temas de desarrollo seguir educandose. Por esta razon, se resalta
personal que JeA aglomeraba bajo el nombre de el efecto de integración social que produjo el
“proyecto de vida”. programa, llegando a sectores de la población
que necesitaban del apoyo de la Sociedad
• Cobertura de JeA: Los beneficiarios de las para vencer los obstáculos que a este respecto
primeras convocatorias de JeA representa- confrontan. Por otro lado, para la gran mayoría,
ron un 93% de los jóvenes Sisben 1 y 2. Los casi un 90% de los beneficiarios de JeA, la
mayores índices de cobertura se presentaron práctica laboral fue su primera experiencia
en Manizales y los menores en Barranquilla. con un trabajo formal. La labor de introducción
Entre las características de los jóvenes vale al mercado formal de trabajo fue uno de los
la pena destacar mayor presencia relativa principales resultados de JeA.
de mujeres, y entre ellas de aquellas con
hijos, entre los beneficiarios de 18 a 25 años. Los principales aspectos analizados con res-
Cabe subrayar que el rasgo de cobertura más pecto a la empleabilidad fueron la proba-
significativo se da por el nivel educativo de bilidad de emplearse, los tipos de empleo,
los beneficiarios del programa, 75% de los los salarios y la duración de empleo. Se
cuales tiene educación secundaria completa encontraron tres aspectos en los cuales la
mientras que para la población objetivo de empleabilidad mejoró, particularmente en
JeA, jóvenes Sisben 1 y 2, solamente el 10% el caso de los hombres.
cuenta con secundaria completa o más estu-
dios. Esto apunta a que el proceso de alguna Los resultados encontrados respecto a la
manera presentó autoselección de los más probabilidad de emplearse mostraron que
educados, bien sea por las preferencias por un 40% de los beneficiarios se encontraban
parte de los jóvenes, la selección de las ECAP empleados al momento de la encuesta. Sin
o las condiciones del mercado de trabajo. embargo, debe tenerse en cuenta que la co-
yuntura del mercado laboral para personas
• Desarrollar habilidades básicas en los jóvenes: similares que no asistieron a JeA tampoco
Los jóvenes comentaron que después de fue estimulante. Frente a estos últimos, los
JeA conocieron nuevas posibilidades para egresados del programa presentan una situa-
continuar capacitándose o estudiando, lo ción igual a la del total de jovenes de 18-25
cual se confirmó al observar el número de años. En general, la proporción de benefi-
beneficiarios que efectivamente han hecho ciarios que consiguieron empleo fue mayor
nuevos cursos en el corto tiempo transcurrido después de egresados (55,45%) que antes
después de haber completado JeA. (51,78%), aunque esta relación se observó
73
tanto para hombres como para mujeres fue salarial de corto plazo al programa, esto sólo
significativamente mayor para los hombres. se podrá corroborar con certidumbre en la
Adicionalmente, fue significativa en una de evaluación de impacto.
las siete áreas metropolitanas y para los
jóvenes que tienen secundaria completa. Finalmente, en otros aspectos de la empleabi-
Un 42,6% de los jóvenes consiguió empleo lidad, resulta aparente que el tiempo de espera
durante los primeros seis meses después de para conseguir un trabajo es razonablemente
salir del programa. Esta proporción fue mucho corto mientras que la permanencia media en
mayor para los hombres (58,9%) que para las sus trabajos, los cuales generalmente son
mujeres (36,1%). temporales, es del orden de los seis meses.
Al observar la empleabilidad de los jóvenes • Fortalecimiento de la oferta de capacitación:

según el tipo de ECAP donde se capacitaron, Jóvenes en Acción tuvo éxito en identificar,
se encuentra que fue significativamente mayor movilizar y seleccionar un conjunto de ECAPs
para los egresados de las ECAPs medianas que, salvo posibles casos excepcionales den-
(200 a 500 alumnos) pero no se presentan tro de su gran heterogeneidad, contaron con
otro tipo de diferencias. En cuanto a las la infraestructura, experiencia y los recursos
prácticas, las probabilidades de enganche técnicos y humanos requeridos para pre-
de los beneficiarios después de realizarlas, sentar una oferta calificada de capacitación,
y su permanencia en la misma compañía susceptible de participar en la ejecución de
una vez finalizada, son claramente mayores programas de capacitación laboral en el con-
en empresas privadas con ánimo de lucro texto de un Sistema Nacional de Formación
en los sectores de industria, comercio y ser- Profesional cuyo eje es el SENA.
vicios, que en entidades sin ánimo de lucro
que ofrecen servicios comunales o sociales La experiencia de participación en el progra-
(educación, salud, servicios públicos, etc) o ma, con su mecanismo de identificación de
en la administración pública, donde las ta- oportunidades de práctica laboral como señal
sas de enganche y retención son bajas. Las de pertinencia, estimuló en las ECAP procesos
empresas pequeñas, y en menor grado las de diversificación, por innovación y adapta-
medianas, parecían más dispuestas que las ción, en su oferta ocupacional y orientación
grandes a emplear a sus practicantes. Algo sectorial. Esto se reflejó en el aumento que
similar ocurre en los sectores de fabricación hubo en el número de empresas con las que
de bienes y prestación de servicios a privados las ECAP hacen acuerdos de práctica laboral
con respecto a los demás sectores. tras la experiencia inicial adquirida en JeA.
Tales cambios parecen tener un potencial de
La diferencia más importante que se observó sostenibilidad dado que hay evidencias que
entre la situación antes de JeA y después de indican que en general las ECAP operaron
haber asistido al programa fue el número re- respondiendo a las señales del mercado de
lativamente grande de egresados que ahora capacitación y que éste (en sus vertientes
tienen un empleo como asalariado formal y pública y privada, y/o comercial y filantrópica)
que antes no lo tenían. En términos salariales les permitió a la mayoría sostenerse como
parece haberse mantenido un nivel muy cer- oferentes especializados de capacitación
cano al salario mínimo legal para la mayoría laboral.
de los empleos en todos los sectores. Sin
embargo, para los hombres empleados el En las ECAP participantes en JeA se tomó
salario después de haber participado en JeA conciencia de la necesidad de una relación
está 15% por erncima del mínimo. Dadas las cercana e interactiva con el sector empresarial
condiciones del mercado laboral correspon- como factor clave para asegurar la pertinencia
diente es difícil poder atribuir este efecto de su oferta, la experiencia en el programa
74
tuvo el efecto de ampliar su red de relaciones diseño y la operación de las siguientes convo-
empresariales. El mecanismo de la práctica catorias de JeA. También sirvieron de insumo
laboral obligatoria como requisito para la para afinar el levantamiento de la información
formulación de sus propuestas a JeA, fue el inicial para la evaluación de impacto de la cuarta
estímulo concreto que les llevó a intensificar convocatoria.
tales relaciones.
En términos de la operacion regular del progra-
Parece entonces existir consenso de que tan- ma se recomendó una mejora en los medios de
to las ECAP con nuevos programas como las comunicación utilizados hasta el momento, o la
ECAP existentes que adaptaron sus programas, utilización de nuevos mecanismos para dar una
además de contribuir a una ampliación de la mayor cobertura a la información sobre la oferta
oferta, se fortalecieron en aspectos que inci- de cursos, para que los jóvenes pudieran elegir
den en la calidad como son la actualización el curso que más se ajustara a sus preferencias
de los perfiles ocupacionales por efecto de y un incremento en la asistencia de orientación
la concertación con las empresas, la incorpo- profesional a los jóvenes participantes, princi-
ración de nuevas metodologías pedagógicas, palmente por parte de las ECAP.
la adopción de la práctica laboral como parte
de la formación y el énfasis en la formación Otra lección que se desprendío de este análisis
humana y en las competencias básicas del fue la conveniencia de que el sistema de infor-
trabajador. mación de JeA se complementara con un sistema
de autoevaluación continua. Las experiencias y
Uso de los resultados enseñanzas que sugirieron los resultados del
estudio indicaron la importancia de aprovechar-
Se esperaba que los resultados que se presen- las correctamente para el perfeccionamiento del
taron en el informe fueran utilizados para el programa.
75
CAPÍTULO VI
Capítulo VI
Kavram
“La evaluación de impacto estudia si los cambios • Identificar efectos no previstos en los bene-
en el bienestar son efectivamente debidos a la ficiarios, ya sean positivos o negativos.
intervención y no a otros factores” (Khandker, S.
Koolwal, G & Samad, H., 2010). Para lo cual responde, entre otras, a las siguientes
preguntas:
La evaluación de impacto es una evaluación
ex-post, es decir, posterior a la ejecución del • ¿Qué le habría pasado a los beneficiarios de
programa, pues los impactos de un programa se la intervención si el programa no hubiese
observan determinado tiempo después de su existido?
implementación.
• ¿Qué tanto de los efectos sobre los benefi-
“La evaluación de impacto es un tipo de evaluación ciarios se le pueden atribuir al programa y
que se utiliza para medir el impacto o efecto de qué tanto a otros factores?
un programa en un grupo de individuos, hogares
o instituciones y examinar si esos efectos son • ¿Qué tan efectivo fue el programa en lograr
atribuibles específicamente a la intervención sus objetivos? ¿Hubo cambios, y de qué
del programa”. (Baker, 2000). magnitud, en los problemas atacados por el
programa?
Este tipo de evaluaciones tienen como fin:
• ¿Se justifican los costos?
• Atribuir impactos a un programa y examinar
si está generando los efectos deseados. • ¿Se podría modificar el diseño del programa
para mejorar sus efectos?
• Tener evidencia concluyente para la toma
de decisiones de política, así como en la • ¿Hubo efectos inesperados?
priorización y justificación en el uso de los
recursos. Por ejemplo
• Estudiar aspectos de un programa para cam-

biar su diseño y mejorar su efectividad. a. En un programa de subsidios condicionados
para mejorar nutrición y asistencia escolar
• Comparar el impacto de un mismo programa en los beneficiarios podría preguntarse:
para diferentes tipos de población o diferentes • ¿En cuánto disminuyó la desnutrición cróni-
contextos. ca de los niños beneficiarios del programa?
79
año para poder detectar impactos tempranos y

• ¿En cuánto aumentó la talla promedio es recomendable realizar otros levantamientos
de los niños gracias al programa? de información para las mismas variables en
años posteriores para determinar impactos de
• ¿En cuánto redujo el programa la pro-
mediano y largo plazo.
babilidad de padecer diarrea?
• ¿En qué proporción mejoró la asistencia 6.1 Características y Usos

a la escuela gracias al programa?
• ¿En cuánto contribuyó el programa a La evaluación de impacto tiene como objetivo

disminuir los años repetidos? poder determinar cuál es el efecto de la inter-
vención a través de la identificación de lo que le
• ¿En cuánto se incrementó el consumo habría pasado a los beneficiarios si el programa
en alimentos gracias al programa? no hubiese existido.
b. En un programa de capacitación laboral Para tratar de responder a esta pregunta, se tiene

de jóvenes desempleados podría pre- que observar a la persona con y sin el programa.
guntarse: Sin embargo, es imposible observar a la misma
persona en ambas circunstancias. Esto implica que
• ¿En cuánto mejoró el programa la proba- se deben calcular los efectos de los participantes
bilidad de conseguir empleo, el período en el programa en ausencia de la intervención.
de búsqueda de empleo y la duración Este escenario es lo que se conoce como contra-
del empleo? factual o grupo de control.
• ¿En qué magnitud el programa incremen-
tó la calidad del empleo y los ingresos A través del contrafactual una evaluación de
de los beneficiarios? impacto busca definir a dos tipos de poblacio-
nes a observar, comparando el estado de los
beneficiarios con y sin intervención gracias a un
grupo de control:
La evaluación de impacto se adelanta una vez
• Grupo de Tratamiento (beneficiarios): grupo
ha terminado la fase de implementación del
programa. Sin embargo, planear la evaluación y de personas, hogares o instituciones objeto
construir la línea de base (el primer levantamiento de la intervención del programa o política,
de información) desde la etapa de diseño del pro- sobre los cuales se espera percibir un impacto
grama proporciona más opciones metodológicas producto de su exposición ante ésta.
para desarrollar la evaluación, lo que contribuye
a hacer un ejercicio más confiable, robusto y • Grupo de control: grupo de personas, hogares
económico. Si la evaluación no se planeó desde o instituciones que no participan en el progra-
el principio del programa, es necesario ver qué ma y que tienen las mismas características del
opciones metodológicas se ajustan a sus obje- grupo de tratamiento (la única variable que
tivos y alcance, y cuáles son las restricciones de los diferencia con el grupo de beneficiarios
tiempo y recursos disponibles. es la intervención).
Si se llega a la conclusión que para responder A menudo, se simplifica la evaluación comparando

las preguntas planteadas lo más indicado es sus situaciones de manera directa. Sin embargo, la
una evaluación de impacto, es necesario tener diferencia entre los estados de ambos grupos no
en cuenta el cronograma de ejecución del pro- sólo responde al programa sino a múltiples facto-
grama. Por ejemplo, en el caso de programas de res que pueden llegar a explicar las divergencias,
nutrición, educación o desarrollo cognitivo, es por lo que las conclusiones que resultan de este
necesario que la intervención lleve al menos 1 tipo de comparación no son del todo precisas.
80
En la Gráfica se explica de manera visual el con- acumulación de capital humano rompe con la
trafactual. Se puede observar que antes de la transmisión intergeneracional de la pobreza.
intervención los grupos de control y de tratamiento
comienzan en el mismo estado de bienestar: Ei Los modelos se construyen para interpretar
Gc y Ei Gb. Luego de la intervención, el grupo de la realidad de manera simplificada mediante
control llega a un estado de bienestar Ef C y el variables y relaciones lógicas. Existen va-
grupo de tratamiento a Ef Gb. El contrafactual riables que no se pueden observar o medir
muestra el estado que habría alcanzado el grupo directamente por lo que se usan variables
de tratamiento en ausencia del programa, Ef C, Proxy (que son una aproximación al parámetro
proveyendo el punto de referencia necesario para de interés).
determinar el éxito del programa. Con la medi-
ción de Ef C frente a Ef Gb, el evaluador puede • Muestreo y recolección de datos: es nece-
establecer el impacto debido exclusivamente al sario definir cómo y qué tipo de muestra se
programa. va a recolectar. El muestreo y recolección de
datos se pueden hacer con diversas técnicas.
Análisis del Contrafactual • Análisis de datos: el análisis de los datos re-

colectados para alimentar el modelo diseñado
Estado
se puede efectuar con métodos cualitativos
Ef Gb
y cuantitativos.
Impacto
Ef C
6.2.1 Diseñar el modelo
ctual
rafa
Ei Gc Ei Gb Con
t Cada diseño de evaluación de impacto tiene que
estar adaptado al contexto en el cual se desarrolla
Programa el programa, al tipo de intervención y a los actores
Ti Tf Tiempo
involucrados. Por lo tanto, no hay una aproxima-
ción estándar para delinear una evaluación de
Fuente: Khandker, S. Koolwal, G. & Samad, H. (2001). Adaptación
impacto. Sin embargo, las metodologías utilizadas
del Autor. en los diseños de evaluación recurren a métodos
tanto cuantitativos como cualitativos.
Para realizar este proceso es fundamental con- Entre los métodos de origen cuantitativo se
tar con una serie de indicadores que puedan encuentran los diseños experimentales, consi-
encapsular y cuantificar de forma válida y fiable derados como la solución óptima, y los diseños
los impactos del programa, al igual que una hi- cuasi-experimentales, que pueden dar resultados
pótesis lógicamente válida que postule, en forma confiables si se hacen de manera adecuada. Para
convincente, por qué los cambios observados los métodos de origen cualitativo existen los
en los indicadores de resultados e impacto del diseños no experimentales.
proyecto son realmente consecuencia de éste y
no de otros factores ajenos al mismo. Cada diseño de evaluación responde a factores
como el tipo de programa, las preguntas de evalua-
6.2 Desarrollo de la Evaluación ción, la información disponible y las restricciones
políticas, presupuestales y temporales. Según el
Para llevar a buen término una evaluación de caso en particular, las evaluaciones pueden com-
impacto se deben seguir tres pasos específicos: binar métodos cuantitativos y cualitativos que,
sumados a un óptimo diseño de evaluación y una
• Diseñar el modelo: el modelo es la represen- información muy completa, arrojan resultados lo
tación teórica de los procesos. Por ejemplo, la más confiables posibles.
81
Esta guía se enfocará en explicar cada una de • Criterio Ético: la selección aleatoria deja a
estas aproximaciones, planteando sus fortalezas algunos individuos por fuera del programa
y debilidades1. aun cuando son elegibles para el mismo.
6.2.1.1 Diseño Experimental • Criterio Político: en algunos casos es políti-

camente difícil otorgar los beneficios de la
Es un diseño de evaluación de impacto en el intervención a un grupo de personas y no a
cual el grupo de tratamiento de la intervención otros.
de la política se selecciona de manera aleatoria
entre un grupo de personas homogéneas de • Criterio de Cobertura: si la intervención es
determinado tamaño. Es más factible realizar masiva, y se quiere cubrir a toda la población
una evaluación de impacto de tipo experimental elegible, no queda un grupo que pueda servir
cuando ésta es concebida al mismo tiempo que de control.
se formula el programa, no se tienen limitaciones
éticas o políticas, o hay un límite de cobertura • Criterio de Cambio: por circunstancias ajenas
del programa. al programa es posible que las personas del
grupo de control cambien ciertas caracte-
El diseño experimental: rísticas que los identifican con el grupo de
tratamiento, lo que podría dañar o contaminar
• Crea un Contrafactual Perfecto, su ventaja los resultados. El diseño del programa también
principal, dado que el grupo de control y de debe permanecer sin alteraciones para que
tratamiento son estadísticamente equivalen- la evaluación del programa sea robusta.
tes (si las muestras cumplen con el requisito
de ser del tamaño adecuado). • Aleatoriedad: aunque la aleatoriedad sea
exitosa otras variables distintas al tratamien-
• Tiene un grupo de tratamiento y control con to pueden estar determinando el resultado
la misma distribución de características por los efectos heterogéneos. No siempre
observadas y no observadas al comienzo del se logra hacer la aleatoriedad sobre grupos
programa. homogéneos. Incluso en diseños aleatorios
ideales no todos los participantes recibirán
• Evita el sesgo de selección; es decir, garantiza el tratamiento planeado (no-adherencia/
que las diferencias de puntuación del impacto inconformidad) o no todos los participantes
después de la intervención no se deben a completarán el tratamiento (deserción).
diferencias iniciales entre los grupos.
Algunos de estos problemas se pueden con-
• Son viables con un solo levantamiento de trarrestar con un diseño de evaluación trans-
información (no es necesario levantar un parente. Hacer la distribución aleatoria de los
panel). grupos de tratamiento y control de manera
pública y abierta puede ser de gran ayuda para
• Se pueden calcular los impactos con una los criterios ético y político mencionados an-
diferencia de medias. teriormente. En algunos casos también se dan
premios o se hacen rifas para compensar a los
El diseño experimental2 puede presentar, entre individuos que participan pero que no quedan
otros, los siguientes problemas: en el grupo de tratamiento.
1 Esta guía explica las metodologías más utilizadas. Para mayor detalle sobre otras metodologías referirse a: Baker, Judy (2000).
2 Ibid.
82
Para el criterio de cobertura, si el programa es diferir por factores, variables o características

implementado en etapas es posible manejar no observables omitidas.
al grupo de tratamiento y control de manera
escalonada, asignando a este último los futuros • Es más flexible. Con un adecuado diseño de
beneficiarios. De esta forma se puede justificar evaluación y un buen levantamiento de infor-
dar el tratamiento a unos primero y a otros ha- mación puede tener resultados confiables.
cerlo de manera posterior. En este caso se debe
planear exactamente cuándo recibe cada grupo Por las características mencionadas, este tipo
el tratamiento y hacer una primera medición de diseño es el que se ha utilizado con más fre-
comparando a los grupos con y sin tratamiento. cuencia para el desarrollo metodológico de las
En mediciones subsecuentes se puede evaluar evaluaciones de impacto en Colombia.
la diferencia en intensidad del tratamiento para
cada grupo. Por ejemplo, comparar los que llevan
1 año de tratamiento versus los que llevan 2 años Ventajas y desventajas del diseño
permitiría valorar los efectos de la intervención cuasi-experimental
según el tiempo de exposición al programa.
Ventajas
Este tipo de diseño ha sido poco utilizado para las • Puede basarse en datos se-
cundarios, por eso podrían ser
evaluaciones de impacto realizadas en Colombia menores sus costos y más rápida
su realización.
por los problemas anteriormente mencionados. • Puede llevarse a cabo luego de
que el programa se ha imple-
mentado.
6.2.1.2 Diseño Cuasi-Experimental
Es un diseño de evaluación de impacto en el cual Desventajas

la selección del grupo de control de la interven- • Reducción en la confiabilidad de
los resultados dado que la meto-
ción se hace de manera no aleatoria. dología es menos robusta.
• Los métodos pueden ser estadís-
ticamente complejos.
Para la realización de la evaluación de impacto • Conlleva un problema de sesgo
de selección.
con un diseño cuasi-experimental se utilizan
técnicas estadísticas que buscan generar un gru-
po de comparación lo más parecido al grupo de Fuente: Baker, J. (2000). Adaptación del Autor.
tratamiento en sus características observadas.

Los investigadores recurren a este diseño cuando
no se puede aplicar uno experimental. En el diseño de una evaluación de impacto es
clave tener en cuenta los sesgos que se presen-
Por lo tanto, del diseño cuasi-experimental se tan y que pueden influir en el comportamiento
puede decir que: de las variables. A continuación, se exponen los
diferentes tipos de sesgos con los que un eva-
• Es menos robusto dado que la selección luador se podría encontrar.
del grupo de tratamiento no se hace de
manera aleatoria, sino que se utilizan técni- • Sesgo de selección: existen características ob-
cas econométricas como el emparejamiento servables y no observables de los individuos
por probabilidad de similitud, las variables que explican tanto la decisión de participar
instrumentales y la doble diferencia, entre en el programa como la variable resultado.
otras, para que el grupo de control sea lo más
parecido posible al grupo de tratamiento. • ¿Cómo evitarlo? Si las variables del indivi-
duo que explican tanto la participación en
• Tiene sesgos en la creación de los grupos de el programa como la relación con la variable
control y de tratamiento ya que estos podrían resultado son observables y están contenidas
83
en la base de datos, se deben introducir en deserción es muy alta (alrededor del 90%)
la regresión para eliminar el sesgo. la muestra debe ser ampliada o se debe
complementar con otras bases de datos.
Por ejemplo
Por ejemplo
Suponga que para ingresar en el programa los
individuos deben decidir si participan o no. Si
Si los que se van del grupo de control son los
los individuos más pobres son aquellos que
de mejor (peor) desempeño, las mediciones
deciden enrolarse en el programa, mientras
de impacto estarán sobrestimadas (subesti-
que los menos pobres deciden no hacerlo, se
madas) ya que la comparación se hará con
incluye una variable como el ingreso de las
beneficiarios con cambios muy pequeños
familias en la regresión para eliminar el sesgo
(grandes) en los resultados.
de selección.
• Sesgo por la intervención de otros programas,

• Sesgo por anticipación o expectativas: ocu-
transferencias o beneficios (co-intervention
rren cambios en el comportamiento (deci-
bias): existen cambios en las variables del
siones) de los futuros beneficiarios (grupo
programa como resultado de la injerencia de
tratamiento) producto de saber que van a
otras políticas.
participar en el programa aunque éste no se
haya puesto en marcha.
• ¿Cómo evitarlo? Recoger información su-
ficiente que permita identificar el acceso a
• ¿Cómo evitarlo? Levantar la línea de base
otras intervenciones.
antes de la inscripción al programa, utilizar
información retrospectiva o utilizar informa-
Por ejemplo
ción ya recogida en otras fuentes.
Por ejemplo Los beneficiarios del programa pueden hacer

parte de otros que les pueden ayudar a cumplir
Suponga que la inscripción en un programa los objetivos mucho más rápido.
se lleva a cabo en octubre de 2010 pero que
sólo se recibirá el subsidio 3 meses después. • Sesgo por efectos de desbordamiento (spi-
Pueden existir cambios en las decisiones dadas llovers): los efectos del programa sobre los
las expectativas de mayores ingresos de los beneficiarios pueden generar repercusiones
beneficiarios. en los no beneficiarios. Si no se las tiene en
cuenta pueden invalidar el diseño de evalua-
• Sesgo por desgaste de la muestra (attrition ción (incluyendo el experimental). Cuando su
bias): se presentan alteraciones en la compo- tamaño es grande, se deben estimar como
sición de la muestra si algunos beneficiarios parte de la evaluación.
desertan (probablemente) porque no requie-
ren el programa o porque no pueden cumplir • ¿Cómo evitarlo? Pensar sobre la presen-
las condiciones de éste. cia y la importancia del desbordamiento
antes del programa; construir un diseño
• ¿Cómo evitarlo? Si la deserción no es muy de evaluación que pueda considerarlo y
alta, lo primero que se debe hacer es una estimarlo; recolectar datos sobre elegibles
comparación entre las características de los y no elegibles en grupos de Tratamiento y
desertores y no desertores. Si no se eviden- Control; recolectar información para estudiar
cian diferencias muy grandes, una opción específicamente los mecanismos detrás del
es recalcular los factores de expansión; si la desbordamiento.
84
Por ejemplo La información que se compila por medio de

este tipo de diseño se puede cuantificar pero no
Las madres que van a controles de crecimien- generalizar, pues no es estadísticamente repre-
to con sus hijos pueden incentivar a madres sentativa. Es necesario complementar este tipo
que no son beneficiarias a adoptar buenas de diseño con otros métodos para determinar
prácticas. relaciones de impacto medibles y generalizables.
6.2.1.3 Diseño No Experimental 6.2.2 Muestreo y Recolección de

información
Es un diseño de evaluación que permite anali-
zar el impacto del programa centrándose en la A continuación se enuncian sólo algunas de las
percepción que tienen los individuos o grupos técnicas más comunes de recolección de infor-
estudiados de los procesos, comportamientos y mación, para un mayor detalle ver el capítulo 11
condiciones de la intervención (Valadez y Bam- (Anexos) y la sección 6.4 (Construcción de Líneas
berger, 1994). El diseño no experimental se basa de Base). Estos métodos son aplicables a todo
en métodos diferentes al escenario contrafactual tipo de evaluación, no sólo a las de impacto. Se
para realizar una inferencia causal (Mohr, 1995). En encuentran, entre otros:
general, debido a que el diseño no experimental
es subjetivo y no se pueden generalizar las con- • Encuestas directas a los beneficiarios.
clusiones de percepción del programa más allá
de la población entrevistada, se complementa • Datos secundarios de encuestas nacionales
con otras técnicas de evaluación. de hogares, censos o estudios similares rea-
lizados en la misma época en que comenzó
El diseño no experimental: el proyecto, que pueden ayudar a identificar
a la población beneficiaria y aportar datos
• Permite estudiar las percepciones de un pro- pertinentes sobre esa población o sobre
grama y cómo éste afecta a la comunidad. grupos de comparación potenciales.
• Funciona muy bien cuando se quiere hacer un • Registros administrativos recopilados por el
análisis descriptivo de procesos o de cambios. proyecto pueden proporcionar datos de referen-
cia sobre los participantes en el proyecto, pero
• Es el diseño más flexible y adaptable a las casi nunca sobre los grupos de comparación.
circunstancias para de la evaluación, la reco-
pilación de datos y el análisis (Baker, 2000). • Registros de instituciones locales en donde se
implementó el programa pueden contener datos
Entre los problemas del Diseño No Experimental, de referencia sobre el grupo de comparación.
se encuentran que:
• Información retrospectiva de la población
• Presenta un alto grado de subjetividad en la beneficiada de su situación antes de la im-
recopilación e interpretación de datos. plementación.
• Los resultados no se pueden generalizar, por
la falta de un grupo de comparación y de 6.2.3 Métodos Cuantitativos para el
solidez estadística. análisis de la información3
• Los datos resultantes pueden ser difíciles de El análisis de la información de una evaluación de
procesar y analizar. impacto dependerá del diseño que la evaluación
3 Para profundizar en cada uno de los métodos, ver referencias en capítulo de bibliografía. Entre otros ver Baker, Judy (2000); Bamberger,
Michael (2006); Khander, S. Koolwal, G & Samad, H. (2009).
85
tome, de las características de la intervención 6.2.3.2 Diseño Cuasi-Experimental:

y de las restricciones a las que se enfrente el
evaluador. En el diseño cuasi–experimental, se presentan
cuatro aproximaciones principalmente:
En esta sección se presentan los métodos
más utilizados para el análisis de datos en la • Método de Pareo, Emparejamiento o Corres-
evaluación de impacto. Estos pueden comple- pondencia (Matching):
mentarse entre sí y en algunos casos se reco-
mienda el uso de métodos mixtos (cualitativos Método en el que la selección no aleatoria
y cuantitativos) para dar mayor robustez a los de los participantes del programa implica
resultados. Cuando se recurre a tres o más una muestra con características que no son
perspectivas estadísticas distintas, cualitativas necesariamente homogéneas, lo cual hace
o cuantitativas, se habla de una triangulación. que los miembros de los grupos no tengan
A veces se recomienda este ejercicio pues se la misma probabilidad de participar en el
logran resultados más robustos utilizando dife- programa.
rentes técnicas. Es posible entonces combinar
aproximaciones cuantitativas para el diseño del En consecuencia, el emparejamiento busca
modelo y la construcción del contrafactual, con calcular una probabilidad de similitud de las
técnicas tanto cualitativas como cuantitativas características observables de los individuos
para el levantamiento de información y análisis en cada grupo y con base en ésta se seleccio-
de las variables. nan dos sub-grupos de tratamiento y control,
que según dicha probabilidad resultan ser los
Los métodos cuantitativos expuestos a continua- más parecidos entre sí. Al conjunto total de
ción son específicos a la evaluación de impacto, observaciones aptas de ser comparadas, según
dado que tienen el objeto de construir el con- su probabilidad de similitud, se le denomina
trafactual para permitir la comparación de los el rango común y es con éste que se realiza
grupos con y sin intervención. el análisis.
6.2.3.1 Diseño Experimental o Aleatorio: La correspondencia puede hacerse en los

diferentes niveles en los que se efectúa una
El método más usado es el de Comparación de evaluación de impacto.
Medias (Comparison of means), que:
• Método de Regresión Discontinua (Regression
• Utiliza los datos en un sólo momento del tiem- discontinuity):
po para dos grupos muestrales (tratamiento
y de control). Este método busca establecer los impactos
del programa basándose en unos parámetros
• Calcula el impacto del programa como la de elegibilidad que no sean determinados por
diferencia entre el valor medio de la variable la población beneficiaria; para lo cual estima
resultado en ambos grupos. el efecto de una política por debajo de un
puntaje específico de una variable de la in-
• Supone que el grupo de control refleja la tervención que se comporta como un umbral
situación que habría tenido el de tratamiento o pauta para la asignación del programa.
si no hubiese participado.
La idea básica es comparar a las personas,
La principal debilidad de esta técnica es que colectividades o unidades que se sitúan
se basa en el supuesto que las características justo encima del umbral y que, por ende,
de los grupos comparados son iguales o muy no pueden incluirse en el proyecto (grupo
similares. de control) con las que se encuentran justo
86
abajo del umbral y sí pueden ser participes no son exclusivas a la evaluación de impacto,
(grupo de tratamiento). se pueden utilizar en todo tipo de evaluaciones.
• Método de la Doble Diferencia (difference- Técnicas cualitativas4

in-differences):
Este método utiliza los datos en dos momentos • Evaluaciones Participativas Rápidas
del tiempo para los dos grupos muestrales (EPR)5: son una serie de métodos con
(tratamiento y control). La primera diferencia participación de los beneficiarios quienes
es la comparación entre el grupo de tratamien- proporcionan información sobre su situa-
to y el de control antes de la intervención. La ción, los problemas de la colectividad y los
segunda diferencia es la comparación entre cambios que se producen con el tiempo.
el grupo de tratamiento y de control después
de la intervención. • Grupos focales: son un conjunto de per-
sonas que documentan informalmente
El impacto es la diferencia entre la primera un tema específico relacionado con el
y la segunda diferencias. Esta técnica puede programa que se esta evaluando. Cada
ser aplicada tanto a datos transversales como grupo tiene un moderador quien lleva un
a datos panel. guión de los temas a desarrollar, pero no
existen preguntas de respuesta cerrada
• Método de Variables Instrumentales como en el caso de los cuestionarios.
(Instrumental variables): Los participantes expresan sus puntos de
vista y el moderador puede explorar las
Se usa cuando la inclusión en el programa razones y la intuición detrás de estos.
es endógena, es decir que los individuos
se autoseleccionan y por tanto no se puede • Entrevistas en profundidad: permiten
identificar alguna característica particular obtener información sobre el punto de
que los hace participar. Las “variables ins- vista y la experiencia de las personas,
trumentales” se usan primero para predecir instituciones o grupos.
la participación en el programa y luego para
observar la variación del indicador de resul- • Estudios de caso6: es un método de análi-
tados con los valores proyectados. sis de una situación compleja. Se basa en
el entendimiento de ésta (tomada como
un conjunto y dentro de su contexto7), el
6.2.4 Métodos Cualitativos para el análisis
cual se obtiene a través de su descripción
de la información y análisis.
Los métodos cualitativos son otro medio por el • Paneles de expertos: es una revisión
cual el evaluador puede construir las relaciones por pares, o por un grupo de referencia,
causales de impacto del programa sobre la po- compuesto de expertos externos para
blación objetivo que recibió la intervención. Sin proporcionar insumos en temas técnicos o
embargo, como se mencionó anteriormente, estas de otra índole cubiertos por la evaluación8.
relaciones se refieren más a la percepción de los
beneficiaros frente al programa. Estas técnicas
4 Ver en Gorgens y Kusek (2009) el capítulo acerca de “How to analyze qualitative data”. (pg. 437).
5 Ver referencias adicionales en capítulo Bibliografía.
6 Dependiendo del alcance, los estudios de caso pueden ser costosos.
7 Morra y Friedlander (2001).
8 PNUD (2009).
87
6.2.5 Integrando métodos cuantitativos y No hay información de

cualitativos factores de contexto que
Pueden obtenerse estima- ayuden a interpretar los
ciones cuantitativas de la resultados o las variaciones
La integración de métodos cuantitativos y cuali- magnitud y distribución de en el comportamiento entre
tativos de análisis de información y recolección impactos. hogares con características
de datos se ha venido empleando con mayor económicas y demográficas
frecuencia puesto que permite tener una visión similares.
integral de lo que está pasando con el programa. Pueden obtenerse estima-
Además, el uso de aproximaciones cuantitativas y Los métodos de encuesta
ciones cuantitativas de los
pueden predisponer a los
cualitativas por separado tiene sus fortalezas pero costos o beneficios de las
encuestados.
también sus debilidades, tal y como lo muestran intervenciones.
las tablas presentadas a continuación9: Puede proveer documen-
tación clara sobre el conte- Los estudios son caros y
De acuerdo con talleres de evaluación de pro- nido y la aplicación de los demorados; los resultados
instrumentos de la encuesta no están disponibles a ve-
yectos10, la utilización de métodos mixtos puede para que otros investigado- ces sino después de largos
traer ventajas como: la obtención de diferentes res analicen la validez de los períodos de tiempo.
perspectivas para el análisis del programa; el resultados.
chequeo en la consistencia de los resultados de Utilizan métodos estándar lo
Los métodos de investiga-
las variables claves; la posibilidad de desarrollar que permite que el estudio
ción son inflexibles porque
el análisis en diferentes niveles por temas o tipo produzca resultados compa-
el instrumento no puede
de actor; la oportunidad de tener retroalimenta- rables y pueda ser replicado
ser modificado una vez
en diferentes áreas o a través
ción para ayudar a interpretar los resultados de del tiempo.
comienza el estudio
las encuestas; el potencial de hacer chequeos de
Es posible controlar por efec-
outliers (respuestas diferentes a las comunes);
tos de variables que puedan
entre otras. conducir hacia causalidades
erróneas
Fortalezas y debilidades frecuentemente citadas
de los métodos cuantitativos de investigación Bamberger (1999).
Fortalezas Debilidades Fortalezas y debilidades frecuentemente citadas

de los métodos cualitativos de investigación
Muchos tipos de informa-
Conclusiones de los estudios
ción son difíciles de ob-
se pueden generalizar a la Fortalezas Debilidades
tener (especialmente en
población para la cual son
lo que se refiere a temas
requeridas. Flexibilidad en la aplicación La implementación de mu-
sensibles como ingreso).
de los métodos y facilidad chos métodos no está bien
en su adaptación a circuns- documentada, haciéndolos
Muestras de individuos, co- tancias cambiantes. difíciles de validar y replicar.
munidades u organizaciones
Muchos grupos son de di-
pueden ser seleccionadas Entrevistados son a menu-
fícil acceso (por ejemplo
para asegurar que los resul- do escogidos sin el uso de
mujeres, minorías o niños). Considerados por muchos
tados sean representativos muestreo (o de algún criterio
de la población estudiada. como más rápidos y más
claro definido), por lo que
baratos de hacer.
los resultados pueden ser
Pueden ser analizados facto- difíciles de generalizar.
res estructurales que deter-
La información puede ser Más fácil de llegar a po-
minan cómo las inequidades Es difícil atribuir respuestas
inexacta o incompleta. blaciones de difícil acceso
(por ejemplo la de género) se a individuos específicos en
como minorías, mujeres de
producen y reproducen. una entrevista de grupo.
ciertas culturas, etc.
9 Bamberger (1999).
10 Idem.
88
Esquema de Subsidios
Los métodos de investiga-
ción pueden ser adaptados Es difícil controlar si el en- Tipo de Monto de Edad de Beneficiarios
a la cultura de los entrevista- trevistador está imponiendo Condición
subsidio subsidio atención a 2007
dos. Respuestas no escritas las respuestas. Asistencia a
y no verbales son posibles. 1.680.005
controles de
Nutricional $46.500 0 - 6 años niños menores
crecimiento
de 7 años
y desarrollo
Las respuestas pueden si- Es difícil analizar e interpre-
1.118.831
tuarse en un contexto cul- tar un número grande de Escolar
$14.000 7 - 11 años niños entre 7 y
Asistencia
tural y político. casos de estudio. primaria escolar
11 años
960.783 jóve-
Escolar Se- 12 - 17 Asistencia
La mayoría de los métodos Algunos métodos pueden $28.000 nes entre 12 y
cundaria años escolar
17 años
de investigación no imponen no ser apropiados cultural-
respuestas. mente. Fuente: Programa Familias en Acción (2008).
Se puede obtener informa-

ción tanto de grupos como
de individuos Finalmente, todos los pagos son entregados a
las madres titulares de los núcleos familiares
Bamberger (1999). inscritos en el Programa.
En un primer momento, el Programa se focalizó

6.3 Estudio de caso: en los municipios de menos de 100.000 habi-
Familias en Acción11 tantes que: i) no fueran capital de Departamento;
ii) tuvieran suficiente infraestructura de salud y
• Evaluación de impacto del programa Familias educación; y iii) tuvieran alguna entidad banca-
en Acción, primera etapa12 ria. En cada municipio se consideraron elegibles
• Consultor: Unión Temporal Econometría-SEI- todos los hogares del nivel 1 del Sisbén a 31 de
IFS diciembre de 1991 con niños de 0 a 17 años.
• Contratación en febrero de 2002 A partir de 2006 el Programa se amplió a otras
• Finalización en diciembre de 2006 ciudades y en 2008 se presentaron esquemas
• Costo: USD $2.000.000 diferenciales y ampliación del programa a la
población desplazada.
6.3.1 El Programa
6.3.2 Objetivos y alcance de la evaluación
El Programa Familias en Acción fue concebido
inicialmente como parte de una estrategia del El objetivo de la evaluación era captar los impactos
Gobierno Nacional para incrementar el nivel en la población beneficiaria del Programa Familias
de vida de la población más pobre del país. En en Acción13, estableciendo:
particular, buscaba elevar los niveles de salud y
nutrición de los niños de las familias más pobres • El grado de impacto de las intervenciones
(Sisbén 1). en la salud, nutrición y educación de los
beneficiarios.
El Programa tiene dos componentes de subsidios
condicionados, uno nutricional y otro escolar: • Los factores asociados, condicionantes o
explicativos más relevantes, cuantificando
su importancia o efecto.
11 Para otros estudios de caso ver Baker, J. (2000).

12 Cartilla de Evaluaciones estratégicas. Resultado de evaluaciones 2002-2008. DNP, DEPP.
13 Informe metodológico. Evaluación del Impacto del Programa Familias en Acción – Subsidio Condicionados de la Red de Apoyo Social.
Unión Temporal IFS – Econometría S.A. – SEI. Mayo de 2002.
89
• El impacto del programa en la comunidad y primero ingresaría inmediatamente al programa,

en la reducción de la pobreza. el segundo un año después y el tercero transcurri-
dos dos años. Este esquema hubiera garantizado
Adicionalmente, se plantearon otros objetivos municipios tratamiento y control estadísticamente
a resolver mediante otros tipos de evaluación: idénticos; sin embargo, no pudo ser implemen-
tado por diferentes motivos. En consecuencia se
• Realizar análisis sobre temas de interés com- implementó una metodología cuasi-experimental
plementario del programa y sobre aspectos con el método de Pareo.
operativos de su implementación, variables
como: la focalización del programa en la La idea básica consistió en seleccionar los mu-
población objetivo, el cumplimiento de las nicipios tratamiento de acuerdo con criterios
operaciones cruciales del programa, la trans- predeterminados y luego tratar de encontrar
parencia en la identificación de las familias municipios con características similares para
elegibles y los procesos de participación recolectar los datos de la muestra de control. En
comunitaria. este caso, el posible desequilibrio que resultaría
en las muestras, en términos de características
• Garantizar los datos requeridos para el aná- observables, podría ser corregido utilizando
lisis de costo beneficio, de costo efectividad métodos de pareo: “El método compara los
y de visión estratégica del programa. resultados promedio de participantes y no-
participantes, condicionados a las características
En este caso nos vamos a centrar en las preguntas individuales observadas de los participantes
de evaluación de impacto. y las características del entorno en que estos
están ubicados. Si la condicionalidad en las
6.3.2.1 La metodología variables observables vuelve la selección dentro
del programa condicionalmente independiente
Se utilizaron métodos cuantitativos y cualitativos en las medias de los resultados potenciales, la
para evaluar el impacto. diferencia en los promedios condicionales de los
grupos de control y tratamiento mide el impacto
El diseño fue de carácter cuasi-experimental y promedio del programa”. (Heckman, Ichimura,
se basó en la comparación de los hogares que Smith y Todd, 1997) 14. En otras palabras, la
recibieron el beneficio del programa (Grupo muestra de control se debía ponderar de tal
Tratamiento) y con hogares que no recibieron manera que la distribución de sus caracterís-
el programa (Grupo Control). ticas se emparejara con las de la muestra de
tratamiento. En este caso, cualquier desviación
Los datos recolectados con entrevistas en 11.500 ocasionada por los efectos de composición
hogares permitieron comparar grupos de bene- observables podía ser eliminada.
ficiarios y no beneficiarios en los años 2002,
2003 y 2006. 6.3.2.2 Los métodos de recolección
de información
La primera etapa en la conformación de las mues-
tras de tratamiento y control fue la identificación Los métodos de recolección de información
del universo de municipios que pudieran ser fueron: i) Encuestas técnicamente diseñadas y
incluidos. En un principio, se consideró la posibi- validadas para la obtención estandarizada de
lidad de aleatorizar la entrada de los municipios información mediante preguntas realizadas por
al Programa para hacer una evaluación experi- encuestadores profesionales, con alternativas
mental. Lo anterior implicaba la distribución al de respuesta prestablecidas y precodificadas; y
azar de los municipios elegibles en 3 grupos: el ii) Medición cualitativa para captar información
14 Ver también Cochran (1968), Rosenbaum y Rubin (1983), y Heckman, Ichimura, y Todd (1998).
90
complementaria y de percepción, mediante 6.4 Construcción de Líneas de Base

diálogos y discusiones colectivas e individuales
con diversos tipos de actores del Programa. La línea de base es “el valor de un indicador de
Técnicas de recolección de información: desempeño, antes de la implementación de pro-
yectos o actividades” (USAID, 2010) que “describe
• Encuesta de Hogares a las muestras de fami- la situación previa a una intervención para el
lias clasificadas en el nivel 1 del SISBEN, con desarrollo, en relación con la cual puede medirse
niños y/o jóvenes de 0 a 17 años, tanto en el avance o pueden efectuarse comparaciones”
los municipios tratamiento como en los de (OECD, 2002). Esto permite contrastar el estado
control. de los indicadores antes de la implementación
del programa con los resultados planeados en
• Encuesta a los enlaces municipales de los determinado lapso de tiempo, convirtiendo a la
municipios tratamiento. línea de base en una poderosa herramienta para
la gestión y evaluación de políticas públicas.
• Encuesta a los directores de los establecimien-
tos de salud muestreados en los municipios Por consiguiente, este instrumento de recolec-
tratamiento y control. ción de información tiene como objetivo central
determinar cuál es la situación inicial antes de
• Encuesta a los directores de los estable- una intervención, para:
cimientos educativos muestreados en los
municipios tratamiento y control. • Ayudar a los gestores de política y a los geren-
tes de los programas a establecer el avance
• Encuesta a los alcaldes municipales y otros en el logro de los productos y los resultados
tres informantes clave de los municipios planeados.
tratamiento.
• Identificar la magnitud del cambio en los
• Encuesta a las madres comunitarias, niños indicadores de gestión, producto, resultado
menores de 5 años (peso y talla) y a algunos e impacto.
de los padres de estos niños en una muestra
de Hogares Comunitarios del ICBF en los • Apoyar la toma de decisiones informada en
municipios tratamiento. los procesos de seguimiento y evaluación.
• Grupos focales a diversos tipos de madres En consecuencia, una Línea de Base responde
beneficiarias del Programa en municipios fundamentalmente a tres preguntas:
tratamiento.
• ¿Cuál es la situación inicial de la población
• Talleres para agentes municipales del pro- o entidad que va a recibir la intervención?
grama, agentes regionales (UCR) y agentes
nacionales (UCN). • ¿Qué se debe medir para hacer seguimiento
y evaluación de la intervención?
• Entrevistas colectivas a madres elegibles, no
beneficiarias, y a madres con niños en los • ¿Cuál es realmente el esfuerzo en gestión que
hogares comunitarios del ICBF en municipios el Gobierno se propone realizar (planeación)
tratamiento. o que ha logrado (seguimiento y evaluación)
en la consecución de las metas de la inter-
• Entrevistas individuales a enlaces munici- vención?
pales e informantes clave de los municipios
tratamiento. Aunque esta es una herramienta genérica que se
emplea en múltiples instancias de los sistemas
91
de seguimiento y evaluación, su proceso de • Cuando se recoge después de la intervención

construcción es particularmente complejo y su es importante tenerlo en cuenta en el aná-
utilización ampliamente acogida en las evaluacio- lisis de evaluación, por ejemplo incluyendo
nes de impacto, por lo que resulta conveniente preguntas que permitan, hasta cierto punto,
ilustrar sus características, usos y desarrollo con determinar cómo era la situación antes del
este tipo de evaluación. programa o metodologías que permitan co-
rregir los sesgos generados por su puesta
6.4.1 Características y Usos en marcha. Este no es el escenario ideal,
sin embargo puede ocurrir si en el diseño
Idealmente, la información de la línea de base se del programa no se contempla o planifica la
debe recolectar antes del inicio del programa o, en evaluación del mismo.
su defecto, al poco tiempo de su implementación.
• En ambos casos se debe considerar el sesgo
Cuando se hace antes de la intervención es ne- por anticipación o expectativas que seña-
cesario recoger información similar a lo largo del la que se pueden presentar cambios en el
proyecto para que se pueda comparar y determinar comportamiento de los actores involucrados
el grado de avance. Se deben usar las mismas antes de que la intervención comience. Si por
fuentes, la misma metodología de recolección y alguna razón la línea de base (LB) lo ignora, se
los mismos indicadores en los siguientes levan- pierden estos efectos y se crea una imagen
tamientos de información. distorsionada de la realidad por lo que es
necesario recuperarlos usando el recuerdo
Por ejemplo o entrevistas a informantes clave.
Estrategias para reconstruir una Línea de Base

Construcción de una línea de base
en una evaluación de impacto cuando no se encuentra disponible15
Suponga que la variable de interés es el ingreso (Y) y

se quiere observar cómo cambia, a lo largo del tiempo • Usar datos secundarios: existen diferentes
y con la ayuda del programa. El levantamiento de la fuentes de datos secundarios que pueden
información en t0 (línea de base) se hace tanto para el ser útiles para recuperar la información de
grupo de tratamiento/beneficiarios (línea continua) LB. Los censos, la Encuesta de Calidad de
como para el grupo de control/no-beneficiarios (línea Vida, otras encuestas que lleven a cabo los
en negrilla punteada) antes del inicio del programa.
Ministerios, instituciones, universidades o
Una vez éste arranca, se hace seguimiento al ingreso
las ONG permiten en algunos casos tener
en diferentes momentos del tiempo para evaluar el
impacto del programa sobre los beneficiarios (Y2 – Y1). grupos de control con métodos de Empa-
rejamiento (Matching). Sin embargo, estas
La línea de base dentro de una evaluación de impacto encuestas, en ocasiones, tienen muestras
muy pequeñas o con un nivel de detalle
Y2
Beneficiarios que no es suficiente para construir los
Impacto
grupos. Por consiguiente, los datos deben
Y1
Control ser examinados con gran detenimiento.
Ingreso
Y0 Línea de base
• Usar datos administrativos de la interven-
ción: muchos programas recogen informa-
Programa
ción administrativa o de seguimiento de
t0 t1 Tiempo
la población objetivo.
Fuente: Khander, S. Koolwal, G & Samad, H. (2009).
15 Bamberger (2010).
92
Representativa: debe reflejar de manera adecuada

• Usar el recuerdo: esta técnica se usa es- la población que se va a describir.
pecialmente para tener información de
personas o grupos acerca de sus condi- Pasos para levantar una Línea de Base
ciones sociales, como: acceso a servicios,
pobreza, demografía, ingresos o cualquier
otra situación de la comunidad en un mo- Se debe definir el tiempo (horas, meses, días)
mento específico de tiempo. que va a tomar cada paso, planeando desde
el principio las etapas necesarias para cada
• Informantes clave: pueden proveer infor- uno. Algunos de los pasos más comunes son:
mación sobre una determinada institución,
grupo o población. Permite combinar in- • Determinar objetivo del estudio.
formación factual con su punto de vista
por lo que es importante entrevistar a • Diseñar el estudio.
personas con diferentes perspectivas.
• Seleccionar la muestra.
• Grupos focales: se utilizan para recolectar
información de características socioeco- • Diseñar el cuestionario y cartas de pre-
nómicas, actitudes y comportamientos de sentación.
grupos que comparten atributos.
• Desarrollar prueba piloto.
Existe un consenso acerca de las características
• Revisar cuestionario.
que debe cumplir una línea de base, independien-
temente de la fuente de sus datos, para que sea
• Imprimir cuestionario.
de calidad y apoye los procesos de seguimiento
y evaluación16:
• Encontrar la muestra.
Relevante: debe enfocarse en levantar y construir • Salir a trabajo de campo, enviar cuestio-
información clave para determinar si la interven- nario por correo o realizar llamadas.
ción se desarrolla según lo esperado17.
• Intentar encontrar a los individuos que
Precisa: debe garantizar que los datos recolec- no respondieron.
tados en efecto midan lo que se quiere medir18.
• Editar los datos encontrados y codificar
Fiable: debe ser robusta, estable y consistente preguntas con respuestas abiertas.
para que el evaluador pueda confiar en los datos
recogidos y utilizarlos para analizar, evaluar y • Ingresar los datos y verificar.
difundir el desempeño de la intervención.
• Analizar los datos.
A Tiempo: la información debe ser recolectada
en el momento indicado y con la frecuencia su- • Preparar el reporte de LB.
ficiente, para ser pertinente y útil en el proceso
de toma de decisiones19. • Entregar el reporte.
16 Morra y Rist (2009), Patton (2002), Jackson y Agrawal (2007), Ramírez (2009) y USAID (2010).
17 Jackson y Agrawal (2007) han desarrollado una matriz de diseño para asegurarse de que los datos recogidos serán relevantes.
18 Patton (2002).
19 USAID (1998).
93
6.4.2 Desarrollo de una Línea Base realizables, pertinentes y con plazos definidos
para su cumplimiento.
El desarrollo de una línea de base implica surtir
ciertas etapas: Objetivos “SMART”
• Construir indicadores y metas. Specific (Específico): El objetivo debe ser preciso

S sobre cómo, dónde y cuándo va a cambiar la situa-
ción de los beneficiarios.
• Diseñar los instrumentos de recolección de
información. Measurable (Medible): El objetivo debe establecer
M
metas y beneficios que se puedan medir.
Achievable (Realizable): El objetivo debe poderse
• Diseñar la muestra necesaria para la repre- A
cumplir.
sentatividad requerida.
Relevant (Relevante): El objetivo debe ser perti-
R
nente y crucial.
• Hacer una prueba piloto. Time-bound (Limitado en el tiempo): El objetivo
T debe estar acotado en un periodo de tiempo para
• Salir a trabajo de campo. su alcance.
Fuente: Menon, S. Karl, J. & Wignaraja, K. (2009).

• Presentar Informe de trabajo de campo.
• Presentar Informe de Línea de Base. Tras un ejercicio de este tipo para la definición
de objetivos, se determinan los indicadores.
Es importante tener en cuenta las etapas en un Una de las metodologías más utilizadas es la
proceso de levantamiento de información, pues “CREMA” construida por el Banco Mundial20
cada una depende de la anterior. A continuación que, de acuerdo con ciertos criterios y una
se describen con mayor nivel de detalle. lista de chequeo, permite verificar y escoger
los mejores indicadores que se pueden aplicar
6.4.2.1 Construir indicadores y metas para medir los cambios en los objetivos de
un programa21.
Esta fase abarca las siguientes tareas:
Indicadores “CREMA”
• Definir los indicadores del programa: de-
pendiendo de los objetivos del programa, Claro:
C
Preciso e inequívoco.
se definen indicadores de gestión, producto,
resultado o impacto. Para cada indicador es Relevante:
R
Apropiado al tema en cuestión.
necesaria una medición observable.
Económico:
E
Disponible a un costo razonable.
Como se menciona en las Guías metodoló- Medible:
gicas de los diferentes Tipos de Evaluación M
Abierto a validación independiente.
(Resultados, Productos y Procesos) y de Se- Adecuado:
guimiento al Plan Nacional de Desarrollo, A Ofrece una base suficiente para estimar el des-
existen varias metodologías de construcción empeño (resultados).
de indicadores. Una de las que relaciona los
Fuente: Kusek y Rist (2004), adaptación de la DSEPP-DNP.
indicadores con la construcción de objetivos
se denomina “SMART”, que plantea que los
Es necesario que los indicadores estén do-
objetivos deben ser específicos, medibles,
cumentados, se encuentren explícitas las

21 Para mayor desarrollo sobre el tema de indicadores ver “Guía metodológica para la formulación de indicadores”. Departamento Na-
cional de Planeación, 2009.
94
variables que los componen, el tipo de fuen- tentes, mediciones, observaciones, encuestas,
tes que los conforman, así como su fórmula, grupos focales y opinión de expertos. No hay
información necesaria y método de cálculo. una alternativa privilegiada de recolección de
la información, la decisión sobre qué método
• Identificar las metas: Las metas se pueden utilizar depende de:
identificar según los objetivos que haya fijado
la intervención. Estas son el reflejo concreto • Lo que usted necesita saber.
de lo que se espera lograr con el programa22.
Existen metas finales, que son los valores • Dónde se encuentran los datos.
esperados que se quieren alcanzar cuando la
intervención se acabe y metas intermedias, • Los recursos y el tiempo disponible para el
que son las que el programa se propone lograr levantamiento de la información.
en determinados puntos en el tiempo. Se
pueden fijar metas cuantitativas o cualitativas. • La complejidad de los datos que deben re-
cogerse.
El programa debe haber identificado sus me-
tas en la etapa de diseño antes de iniciar su • La frecuencia de recolección de los datos.
implementación. Sin embargo, es posible que
no se tengan metas claras o priorizadas por • La forma como se prevé llevar a cabo el aná-
lo que será necesario hacer el proceso junto lisis de la información.
con los actores involucrados (stakeholders)
en la intervención. Morra y Rist (2009) definen un conjunto de reglas
que los evaluadores deben aplicar para recoger
• Priorizar las metas: El programa puede tener los datos en una línea de base:
numerosas metas y de diferente tipo (interme-
dias o finales) pero no todas son relevantes • Aplicar múltiples métodos de recopilación
para lograr sus objetivos estratégicos. de datos cuando sea posible.
6.4.2.2 Diseñar los instrumentos de recolección • Usar indicadores o datos disponibles en lugar
de información de generar nuevos, dado que es más rápido,
menos costoso y más fácil construir sobre lo
Posteriormente, se identifica qué información construido.
es necesaria para construir estos indicadores
que capturarán si el programa efectivamente • Para determinar si se pueden utilizar los da-
está realizando las actividades para lograr los tos disponibles, se debe conocer cómo los
resultados esperados y se indaga si ya se tienen evaluadores van a definir las variables clave
cifras o características de los beneficiarios reales. del estudio. Adicionalmente, esto permite
Este ejercicio se realiza con la entidad o grupo saber si es necesario recolectar algún tipo
de entidades objeto del seguimiento o evalua- de información en especial.
ción y con agentes externos relacionados con
el tema o que sean proveedores/usuarios de la • El proceso de recolección de la información
información23. debe responder a procedimientos y protocolos
de muestreo y construcción de bases de datos.
Los datos de la línea de base pueden recogerse Se deben mantener registros precisos de las
de muchas formas incluidos los registros exis- definiciones y codificaciones de los datos.
22 Para mayor detalle sobre el diseño de metas ver USAID, “TIPS - Baselines and Targets” (2010).
23 DANE (2004).
95
A continuación, se presenta un resumen de al- Tips sobre las Encuestas

gunos elementos que usualmente se tienen en
cuenta a la hora de escoger o diseñar la técnica • El cuestionario de la encuesta es muy im-
de recolección de información de la línea de base. portante, su diseño debe estar en línea
directa con los objetivos del estudio.
• Periodicidad en el levantamiento de infor-
mación: La periodicidad del levantamiento • Entre más corto el cuestionario mayor tasa
de información dependerá del tipo de indica- de respuesta habrá, por lo que con determi-
dores que se vayan a medir. Si son de gestión nadas excepciones debe procurarse hacer
o de producto, se pueden recoger de manera un cuestionario conciso.
semanal, mensual o trimestral, pero si son de
resultado o de impacto es necesario prever • Las preguntas deben tener un lenguaje
más tiempo entre el levantamiento de la in- sencillo y directo.
formación de la línea de base y los sucesivos
levantamientos, por ejemplo periodicidades • Las preguntas no deben guiar al encuestado
semestrales o anuales, dada la complejidad a dar una interpretación específica.
del ejercicio.
• Es importante que el encuestador esté pre-
• Naturaleza de las encuestas: Entre las he- parado y capacitado antes de salir a trabajo
rramientas de recolección de información de campo.
más utilizadas se encuentran las encuestas
estructuradas y los cuestionarios, en ambas • Necesidades de información: Para que una
se pueden tener: Línea de Base pueda servir como un buen
insumo para una evaluación, Morra y Rist
– Preguntas cerradas: el encuestador plan- (2009) recomiendan que su construcción no
tea todas las respuestas posibles, por sólo incorpore datos cuantitativos sino que
ejemplo haciéndolas dicotómicas (sólo también contenga información cualitativa, que
2 alternativas, sí o no) o de selección ayude a definir el escenario de comparación.
múltiple.
Aproximación a la información según las
– Preguntas abiertas: el encuestador deja características de los datos.
en libertad al encuestado para que éste
responda lo que quiera.
Tipo de datos en
Características
En general las encuestas se componen de una línea de base
tres partes: Se desea llevar a cabo un
análisis estadístico.
– Se identifica el cuestionario. Se necesita conocer las
Datos cuantitativos formas de medición de la
– Se hacen unas preguntas básicas de información.
identificación y caracterización del en- Se desea cubrir una pobla-
cuestado. ción objetivo muy grande.
Se desean construir las
– Se diseña el cuestionario de preguntas
narrativas de la política
relacionadas con el tema que se evalúa.
Datos cualitativos pública.
Se busca profundizar en la
información cuantitativa.
Fuente: Morra y Rist (2009)
96
Es importante entender que la aproximación Por ejemplo:

a la información en una línea de base marca
pautas que definen su utilidad y finalidad. Las Considere una evaluación de impacto en un
ventajas que ofrecen los datos cuantitativos programa de subsidios, en dónde hay:
se asocian a que fortalecen los análisis es-
tadísticos y econométricos en la evaluación 901 municipios beneficiados
de política pública. Una LB que tenga como 71.000 familias beneficiarias
fortaleza un enfoque cuantitativo implica que
a partir de ella se puede: construir indicadores Con base en esto se puede calcular una muestra
que muestren el cambio y la evolución de aproximada para los grupos de tratamiento y
la intervención, tener mecanismos de acu- control:
mulación de los datos a través del tiempo y
generar una plataforma para poder evaluar Porcentaje
Total Tratamiento Control
Universo
el programa. Por otro lado, las ventajas que
1,0% 710 473 237
ofrece el enfoque cualitativo se centran en ha-
cer manifiestas las narrativas implícitas en las 1,5% 1.065 710 355
poblaciones beneficiarias. Esto permite que 2,0% 1.420 947 473
la evaluación no se haga desde lo abstracto,
sino que se conozca en detalle el plan, pro- Planteando dos escenarios, el primero con 1%
grama o proyecto, así como las preferencias y del universo encuestado y el segundo con un
comportamientos de los agentes involucrados. 1,5%, se obtiene un monto aproximado de lo
De la misma manera, éste enfoque permite que va a costar el levantamiento de información:
profundizar en la información cuantitativa.
Costo de la encuesta
50
La información de una línea de base puede (US$)
combinar ambas perspectivas en diferentes Escenario 1

Total encuestas
1.420
(1% de pob)
niveles de composición de la información, se
aconseja que en ésta prevalezca el enfoque Total 71.000
que esté más acorde con el objetivo con el
que se diseñó la LB. Costo de la encuesta
50
(US$)
• El Costeo: Las restricciones de recursos pue- Total encuestas

Escenario 2 2.130
(1,5% de pob)
den limitar las opciones de métodos de reco-
lección de información. Los ítems a tener en Total 106.500
cuenta para costear el levantamiento de una
línea de base incluyen el costo del personal Teniendo en cuenta los recursos presupuesta-
(director, consultores especializados, profe- dos para el ejercicio se puede seleccionar el
sionales, encuestadores, etc.) el tamaño de la escenario más viable. Sin embargo, para tener
muestra (que abarca los grupos de tratamiento el costeo completo habría que adicionar los
y control si aplica), el costo por encuesta y el rubros de: número de levantamientos adicio-
número de levantamientos (ver ejemplo). nales necesarios, costo del personal, viáticos,
pasajes e imprevistos.
En el anexo 11.1 se presenta una tabla que resume

las tecnicas de recolección de información más
utilizadas por el PNUD, que se adaptan en gran
medida a los métodos utilizados en seguimiento
y evaluación.
97
6.4.2.3 Diseño de la muestra terminar los estratos relevantes al estudio y

su representación en el universo. Luego, se
La muestra es un segmento representativo de selecciona una muestra suficiente de manera
la población objetivo del programa evaluado. aleatoria en cada estrato. “Suficiente” quiere
Este instrumento se usa cuando el universo decir que la muestra es lo suficientemente
(totalidad de individuos, familias, entidades, grande para representar el universo. Este
etc.) es demasiado grande para ser encuestado método se utiliza cuando uno o más de los
o existen restricciones de tiempo/dinero para el estratos en el universo tiene una baja inci-
levantamiento de información. dencia relativa a los otros estratos.
Los métodos de muestreo se clasifican en pro- De otra parte, el muestreo no probabilístico in-
babilísticos o no probabilísticos24. cluye los métodos por conveniencia, por juicio
de valor, por cuota y por bola de nieve. En estos
En el muestreo probabilístico cada miembro del tipos de muestreo el error es desconocido:
universo de población tiene alguna probabilidad
de ser elegido. Esto tiene la ventaja de que per- • El muestreo por conveniencia: se usa cuando
mite calcular el error de muestra, definido como el investigador busca una aproximación no
el grado en que la muestra difiere del universo costosa. La muestra se selecciona porque es
de donde fue tomada. Los métodos probabilís- práctica o cómoda y es utilizada a menudo
ticos incluyen el muestreo aleatorio, sistemático durante esfuerzos preliminares para tener
y estratificado: una estimación inicial de los resultados en
corto tiempo y con pocos recursos.
• El muestreo aleatorio: es el método más puro
de muestreo probabilístico. Cada individuo • El muestreo por juicio de valor: es una prác-
de la población tiene la misma probabilidad tica común pues el investigador selecciona la
de ser elegido para conformar la muestra. muestra según su juicio de valor. Usualmente
Cuando el universo es muy grande pueden es una extensión del muestreo por conve-
existir sesgos. niencia. Por ejemplo, un investigador decide
incluir en la muestra sólo una ciudad, así el
• El muestreo sistemático: es utilizado frecuen- universo contenga varias ciudades. Cuando
temente en vez del aleatorio. Después de que el evaluador utiliza este método debe estar
se calcula el tamaño de la muestra requerida, seguro que la muestra escogida es represen-
se divide el universo por ese valor obteniendo tativa del universo.
un numero X de grupos y al interior de estos
se selecciona cada enésimo ítem, lo que • El muestreo por cuota: es el equivalente no
arroja el numero total de observaciones de probabilístico al muestreo estratificado. El
la muestra. Este puede funcionar si la lista de investigador primero identifica los estratos
beneficiarios no tiene un orden conocido. y sus proporciones en el universo. Después
por conveniencia o juicio de valor escoge el
• El muestreo estratificado: es usado común- número de observaciones requerido por cada
mente pues se considera superior al aleatorio estrato.
debido a que reduce el error de muestra, dado
que los estratos son subconjuntos de pobla- • El muestreo por bola de nieve: es un método
ción que comparten al menos una caracterís- especial, usado cuando las características de
tica común. Ejemplos de estratos pueden ser la muestra son raras, es muy difícil encontrar
el género, los niveles de educación o niveles a las personas o los costos de hacerlo son
de ingreso. El investigador debe primero de-
24 Los párrafos sobre muestreo probabilístico o no probabilístico son extraídos de Walonick (1997) y adaptados al caso.
98
muy altos. Se basa en referencias de sujetos

iniciales para generar sujetos adicionales. – Bogotá: que tiene características que
Esta técnica puede tener muy bajo costo pero ameritan un análisis aislado de Cundi-
introduce sesgos porque reduce la probabili- namarca.
dad de que la muestra represente una buena
parte del universo. • Para cada una de las subdivisiones de análisis
se calcularon alrededor de 30 tamaños de
Por ejemplo muestra, en función de los valores esperados
para las variables centrales de la evaluación
(antes y después del tratamiento).
Una muestra para una evaluación de impacto
en un programa de Vivienda de Interés Social25: • Los tamaños de muestra necesarios osci-
laron entre un mínimo de 60 hogares y un
• El universo de tratamiento está representa- máximo cercano a 2.500 hogares. Debido
do por los 17.913 hogares que recibieron a las restricciones presupuestales de la
asignación de subsidios para compra de consultoría, se seleccionó un tamaño de
vivienda nueva o construcción en sitio muestra intermedio (1.600 hogares), que
propio; esos hogares están distribuidos permite obtener resultados confiables (95%
en 293 municipios. de confianza estadística) para la mayoría de
las variables centrales de la evaluación.
• El universo de control, por su parte, co-
rresponde a los hogares urbanos que Dada una tasa de no respuesta prevista del
cumplen las condiciones para acceder a 20%, el tamaño de muestra total del grupo de
los subsidios pero que no han participado tratamiento requerido para la evaluación se
en el Programa. estimó en 2.000 hogares. Debido a la intención
inicial de realizar un pareo uno a uno, el tamaño
• La regionalización de la evaluación incluyó de la muestra de control se asumió equivalente
cinco categorías que agrupan a los depar- al de la muestra de tratamiento.
tamentos según su proximidad geográfica,
de la siguiente manera:
6.4.2.4 Hacer una prueba piloto
– Atlántica: Atlántico, Bolívar, Cesar, Cór-
doba, La Guajira, Magdalena y Sucre. Una prueba piloto permite hacer un estudio
preliminar, en una escala menor, del diseño de
– Central: Antioquia, Caldas, Caquetá, muestra que se tenga. Sus objetivos son probar27:
Huila, Quindío, Risaralda y Tolima.
• Si la estrategia de muestreo es la adecuada.
– Oriental: Arauca, Boyacá, Casanare,
Cundinamarca, Guainía, Guaviare, • Si los instrumentos de recolección de infor-
Meta, Norte de Santander, Santander mación son los idóneos.
y Vichada26.
• Si los procedimientos funcionan.
– Pacífica: Cauca, Chocó, Nariño, Putu-
mayo y Valle. • Si el cronograma es viable.
25 DEPP, DNP (2006).

26 Por localización geográfica Amazonas está incluido en esta región, pero está por fuera del universo de beneficiarios de subsidios de
bolsa ordinaria y esfuerzo territorial.
27 Carol Cutler Riddick y Ruth V Russell (2008).
99
• Si las técnicas de análisis de datos son las 6.4.2.7 Presentar informe de Línea de Base
apropiadas.
Después del procesamiento y análisis de datos, se
• Si el análisis se hace de la forma correcta. elabora el informe de línea de base. Sus resultados
pueden servir para conocer la caracterización de
• Si los recursos previstos son los necesarios. la población o instituciones beneficiarias antes
de la intervención.
• Si el proceso es factible.
Informe de Hogares Comunitarios de Bienestar
La prueba piloto hace un levantamiento de infor-
mación de una muestra reducida, esto permite a. Evaluación de impacto28
revisar y corregir los instrumentos antes de que
se haga el levantamiento de la muestra completa. El objetivo del informe de línea de base para
este programa es presentar los resultados
6.4.2.5 Salir a trabajo de campo descriptivos de los datos recolectados durante
el trabajo de campo realizado entre Febrero
La duración del trabajo de campo generalmente 27 y Julio 31 de 2007 por Profamilia para la
depende de la amplitud de la muestra, del número evaluación de impacto del programa Hogares
de municipios o regiones incluidos y del número Comunitarios de Bienestar (HCB) del Instituto
de preguntas del cuestionario. Es importante Colombiano de Bienestar Familiar (ICBF), con
prever una tasa de no respuesta de alrededor acompañamiento de la DEPP del DNP.
del 20%, especialmente, en los levantamientos
de información en los que la población objetivo En particular, se presenta la descripción de
pueda ser difícil de encontrar. la muestra total que se encuestó y las prin-
cipales características por grupo. Se reporta
En esta etapa es importante verificar que el le- además una caracterización general de los
vantamiento de información se haga conforme a niños beneficiarios y no beneficiarios, sus
lo estipulado por el diseño muestral y la prueba familias, los HCB y las madres comunitarias
piloto, para garantizar que los datos sean útiles (MC).
para el análisis.
Finalmente, se incluye una descripción de los
principales indicadores de salud, vigilancia
6.4.2.6 Presentar informe de trabajo de campo
nutricional y alimentación, desarrollo psico-
social, desarrollo cognitivo, conocimiento de
El informe de trabajo de campo debe incluir al
las madres y MC sobre desarrollo infantil y
menos una descripción detallada del proceso de
disciplina que se utilizaron posteriormente
recolección de información, con un balance del
en la evaluación de impacto.
tipo de muestra y del número de encuestados
por grupos. También se deben pormenorizar las
b. Caracterización general de la muestra
dificultades operativas encontradas y la manera
cómo se resolvieron. Finalmente, se especifica La evaluación tuvo como objeto medir el
la muestra efectiva que se levantó, las implica- efecto del programa sobre un conjunto de
ciones que esto tiene para el análisis y las reco- variables de resultado (en particular nutrición
mendaciones para los futuros levantamientos y alimentación, salud, desarrollo psicosocial
de información. y desarrollo cognitivo) en el grupo de niños
participantes en el programa.
28 Unión Temporal Universidad de los Andes – Profamilia (2007).
100
Con este objetivo, se diseñó una evaluación El informe se organizó según los grupos a
de tipo cuasi-experimental que consiste en caracterizar y dentro de cada grupo se hizo
la comparación de las variables de resultado el levantamiento de información de los in-
de dos grupos de niños: un grupo de niños dicadores necesarios:
participantes en el programa HCB (llamado
grupo de tratamiento) y un grupo de niños • Caracterización de los niños de la muestra.
no participantes en el programa (llamado
grupo de control) con características socio- • Caracterización de las madres comunita-
demográficas similares al grupo de niños rias: Sobre la madre comunitaria; Carac-
participantes. terización del ambiente de cuidado en el
HCB.
La forma de construcción de la muestra se
puede ver en detalle en el informe meto- • Indicadores de Salud.
dológico de la evaluación. Básicamente, el
grupo de tratamiento provino de una muestra Así mismo, se exponen los resultados del
nacional de HCB escogida aleatoriamente. análisis descriptivo:
Por otra parte, el grupo de control provino
de dos sub-muestras diferentes. La primera • Indicadores de Vigilancia Nutricional y
(que se denominó Control 1 o G1) consistió Alimentación: Descripción de prácticas
en un conjunto de niños no asistentes a HCB, alimentarias y del estado nutricional; Cum-
seleccionados aleatoriamente de una muestra plimiento de los lineamientos del ICBF para
estratificada de hogares con al menos un niño los HCB.
en la edad relevante residente alrededor de
un HCB. La segunda (que se denominó Control • Indicadores de Desarrollo Cognitivo: Los
2 o G2) consistió en un conjunto de niños indicadores de desarrollo cognitivo utili-
no asistentes, seleccionados aleatoriamen- zados; Resultados del análisis descriptivo.
te de una muestra estratificada de hogares
con al menos un niño en la edad relevante • Indicadores de Desarrollo Psicosocial: Los
residente en sectores donde no existían HCB, indicadores de desarrollo psicosocial utili-
pero comparables en términos geográficos zados; Resultados del análisis descriptivo.
y socioeconómicos a aquellos donde había
presencia de HCB. • Conocimiento de las Madres sobre Desa-
rrollo Infantil: Los indicadores utilizados;
Resultados del análisis descriptivo.
El tamaño total de la muestra final fue de
27.470 niños entre los 0 y los 6 años de edad.
• Conclusiones.
En particular, 12.925 niños en el grupo de
tratamiento, es decir, el 47% de la muestra
total, 13.329 niños en el grupo de control G1
(alrededor del 48,5%) y finalmente, 1.216
niños en el grupo de control G2 (alrededor
del 4,4%).
101
CAPÍTULO VII
Capítulo VII
Evaluación costo-beneficio
Chrisroll
La evaluación costo-beneficio “es un análisis que para determinar si los objetivos económicos y de
compara todos los costos y beneficios de una eficiencia se lograron.
intervención, en el cual a los costos y beneficios
se les asigna un valor monetario. La ventaja del En la DSEPP, este tipo de evaluación se ha utilizado
análisis costo-beneficio frente a un análisis de en conjunto con las evaluaciones de impacto, pues
costo-efectividad, es que puede manejar múltiples los impactos resultantes de la evaluación son un
resultados, y permite comparaciones para gastar insumo bastante preciso para dar un estimativo
en diferentes sectores (por lo que contribuye a la de los beneficios del programa.
eficiente distribución de recursos)” (3ie, 2009).
7.1. Definiciones, usos y aplicación
La evaluación costo-beneficio es un análisis eco-
nómico para la toma de decisiones, usado tanto 7.1.1. Definiciones
en el gobierno como en la gestión de empresas,
con el fin de estandarizar los resultados de un Una definición que abarca los conceptos prin-
programa o proyecto en términos de su valor cipales de la evaluación costo-beneficio es la
monetario1. de la Iniciativa Internacional para Evaluaciones
de Impacto (International Initiative for Impact
En evaluación, el análisis costo-beneficio per- Evaluations-3ie)3 citada al comienzo de esta
mite cuantificar –en términos monetarios- tanto sección. Sin embargo, también existe el concepto
los costos como los beneficios posibles de un de costo-efectividad que es distinto al primero.
programa, incluyendo ítems para los cuales el A continuación se plantea la definición de costo-
mercado no tiene medidas de valor económico. efectividad para tener claridad en la diferencia
Adicionalmente, permite comparar los costos de entre ambos conceptos:
medidas alternativas que produzcan resultados
o que cumplan objetivos similares. Este análisis Definición 1 - Análisis costo-efectividad
se hace antes y después de la implementación
de la política, programa o proyecto2: tanto en la El análisis costo-efectividad “es un análisis del
fase de planeación para justificar el programa costo de hacer un cambio de una unidad en el
en términos económicos, como al final de ésta,
1 En el documento se equipara el término evaluación costo-beneficio a análisis costo-beneficio.

2 En adelante se va a utilizar el término “programa” de manera genérica para referirse al Evaluado (programa, política, proyecto, producto,
servicio, organización) (Davidson, 2005).
3 Otras definiciones que van en la misma línea son las de The Green Book del Tesoro de Gran Bretaña (HM Treasury): el análisis cos-
to-beneficio “cuantifica en términos monetarios todos los costos y beneficios posibles de una propuesta factible, incluyendo ítems para
los cuales el mercado no provee una medición satisfactoria de su valor económico”; el análisis costo-efectividad “compara los costos
de diferentes alternativas de producir el mismo o productos similares”.
105
resultado. Su ventaja, comparado con el análisis • ¿Son los beneficios económicos mayores a
costo-beneficio, es que a menudo los valores los costos del programa?
controversiales del resultado se evitan. Se puede
utilizar para comparar la eficiencia relativa de los • ¿Cómo se comparan los costos actuales con
programas para lograr el resultado de interés” los de otros programas similares?
(3ie, 2009).4
• ¿Cuál es la forma más económica y eficiente
Ejemplo: Costos y beneficios para un sistema de de lograr los resultados esperados?
información
• ¿Cuáles son las consecuencias financieras de
integrarse?
En una evaluación costo-beneficio de un
sistema de información: • ¿Cuáles son los costos de replicar el programa
evaluado en un ambiente diferente?
• Los costos incluirían ítems como: el precio
del sistema de información, el costo de
los servidores para alojar la información, • ¿Vale la pena realizar el programa que se está
el costo de la instalación y el costo de la evaluando?
capacitación a los funcionarios, entre otros.
• ¿Cómo afectan los costos la sostenibilidad y
• Los beneficios incluirían la cuantificación resultados del programa evaluado?
de resultados como: la mayor disponibilidad
de información confiable, la disminución 7.1.3. Aplicación
de tiempos de consulta, la disminución de
costos de personal asociados a verificar, De acuerdo con el Treasury Board de Canadá
validar y consolidar la información, entre (1998) el análisis costo-beneficio se puede aplicar
otros. en la evaluación de programas cuando:
• Se pueden identificar diferentes alternativas.

7.1.2. Usos
• Se pueden definir las alternativas de una ma-
La evaluación costo-beneficio permite:
nera que permita una comparación equitativa
entre ellas.
• Estimar y cuantificar los costos de un programa.
• Se pueden estimar los costos y beneficios
• Estimar y cuantificar los beneficios de un
del programa, identificando su tiempo de
programa.
ocurrencia para calcular el valor presente
neto del proyecto.
• Proporcionar una medida de rentabilidad de
un programa.
A nivel de características, una evaluación cos-
to-beneficio se destaca por6:
• Elegir la mejor alternativa entre programas
similares.
• Determinar la productividad de un programa
en términos económicos.
Esto es posible respondiendo a las siguientes
preguntas, entre otras5:
4 Se utiliza a menudo en el sector de la salud, donde puede ser inadecuado monetizar sus efectos.
5 UNICEF, IPEN (2006).
6 UNICEF (2008).
106
• Comparar el valor presente y futuro de las es tener un claro entendimiento del resultado
alternativas. esperado del programa. Es necesario examinar
las necesidades que se esperan suplir con el
• Informar de manera estructurada a los tomado- programa, definir las restricciones existentes y
res de decisiones gracias a las comparaciones formular los objetivos con el propósito de esta-
costo-beneficio. blecer el punto de vista desde el cual se van a
medir los costos y los beneficios.
Su fortaleza se encuentra en poder establecer
el retorno de la inversión, y su debilidad es la La definición de los objetivos del programa se
dificultad de asignar un valor monetario a los hace con la ayuda de herramientas como el marco
resultados de algunos beneficios. lógico o cadena de resultados.
7.2. Desarrollo de la Evaluación Ejemplo: Definición de objetivos para el caso de

Familias en Acción.
Costo-Beneficio
Aunque no existe una fórmula única para reali- Los principales objetivos que el programa de
zar un análisis costo-beneficio, pues todos los subsidios condicionados Familias en Acción,
programas son diferentes, se sugiere seguir una de acuerdo con su formulación inicial y su
secuencia de pasos estándar para tener coherencia desarrollo posterior, ha buscado cumplir son8:
y poder comparar entre un análisis y otro7:
• Mejorar los niveles de salud y nutrición de
1. Identificar los objetivos del programa. los niños y niñas de hasta 17 años
2. Definir otras alternativas. • Aumentar la asistencia escolar de esta misma
población
3. Establecer el marco de referencia conceptual.
Por lo tanto, la evaluación costo-beneficio
4. Estimar el valor económico de los costos y se va a dedicar a identificar y cuantificar ex-
beneficios mediante una metodología. clusivamente los costos asociados con estos
dos objetivos, a pesar de que el programa
5. Estimar el valor presente neto. ha podido identificar otros adicionales, es
necesario definir cuáles son los prioritarios.
6. Estimar la relación costo-beneficio.
7. Estimar la rentabilidad. Al definir el objetivo del programa, es importan-

te definir lo que va a representar un costo o un
8. Uso de los resultados. beneficio para dicha intervención pública.
A continuación se describen uno a uno estos pasos. 7.2.2 Definir otras alternativas
7.2.1 Identificar los objetivos del programa Para definir los programas/alternativas con los
cuales se va a comparar el programa a evaluar, es
Según Argirous (2009), el primer paso para la importante9 tener en cuenta lo siguiente:
comprensión de cualquier problema analítico
7 Treasury Board of Canadá (1998).

8 DAPR, FIP, DNP (2006).
9 Ibídem.
107
• Escoger una variedad significativa de progra- (2009), es importante distinguir y catalogar los
mas similares para asegurar su comparación recursos reales versus los pecuniarios, y los cos-
con las mejores alternativas. tos y beneficios directos de los indirectos. Esto,
con el fin de no contar dos veces algún costo o
• Definir las alternativas a comparar de una beneficio.
forma transparente.
También se debe tener en cuenta que los costos
Cumplir con esos dos requerimientos garantiza y beneficios se distribuyan en el tiempo con una
que la comparación del costo-beneficio entre el unidad de medición válida equivalente. El Treasury
programa y las alternativas genere resultados Board de Canadá (1998) hace énfasis en que las
válidos para la toma de mejores decisiones. personas tienen preferencias intertemporales que
se deben considerar en el análisis. Por ejemplo,
7.2.3 Establecer el marco de referencia existen un costo de oportunidad asociado con el
conceptual hecho de recibir los ingresos en el presente o si
estos se posponen hasta una fecha futura; asimis-
Este marco permite explicar los supuestos de la lite- mo, no es lo mismo pagar los costos al comienzo
ratura así como los de otros programas de referencia o al final. Además de esto, es importante tener
con los que se van a calcular los beneficios y los en cuenta el valor de la unidad de medición que
costos del programa de acuerdo con sus indicadores cambia debido a la inflación, lo que conduce a la
de resultado o impacto esperados definidos. pérdida del poder adquisitivo. La inflación y la
preferencia temporal son ajustes que se hacen
Con el fin de determinar todos los costos y bene- de manera independiente.
ficios involucrados en el proyecto según Argyrous
Ejemplo: Definición del Marco de referencia conceptual para el programa Familias en Acción
Marco de referencia conceptual Programa Familias en Acción, componente nutricional10:
En el marco de referencia se enuncian: i) en una primera columna, los impactos potenciales que
tiene el subsidio del programa y los indicadores asociados a esos impactos, ii) en la siguiente
columna, se discuten, de acuerdo con la literatura económica y su evidencia, los diferentes be-
neficios asociados al logro de estos impactos, enunciando los más relevantes, iii) en la tercera
columna se hace referencia a los costos, tomando aquellos en los que incurren el Estado y los
beneficiarios, como el caso de los costos de operación del programa en este componente y
los costos privados de los beneficiarios para acceder a los subsidios, finalmente, en una cuarta
columna se hacen observaciones importantes a tener en cuenta para el análisis. A continuación
se muestra una tabla resumen de este ejercicio:
108
Programa Familias en Acción. Marco de referencia conceptual para la evaluación costo-beneficio

del componente de salud y nutrición
Indicadores de impacto
medidos con relación
Observaciones para el cálculo
a la población de Beneficios Costos
costo-beneficio
control (diferencias en
diferencias)
• Los beneficios y costos son aditivos y
• Reducción del cuidado
• Costos de operación del se miden durante los primeros años
neonatal.
programa en el subcom- de vida de los niños y durante su vida
• Reducción de costos de
ponente de salud y nutri- laboral (18 a 60 años).
tratamiento de enferme-
ción para recién nacidos. • Se descuentan a una tasa constante
dades crónicas asociadas
• Costos privados de los del 10%.
al bajo peso al nacer.
beneficiarios o de sus • Los beneficios se miden como una
• Reducción de la morta-
familias para acceder a mejora en los ingresos futuros es-
lidad infantil.
los beneficios. perados.
• Reducción de los cos-
• Costo financiero alterna- • Los aumentos en ingresos se calculan
tos de enfermedades de
tivo de uso de los recur- suponiendo que las personas ganan
Disminución de los índices niños.
sos de las transferencias un salario mínimo durante su vida
de bajo peso al nacer (apli- • Aumento de productivi-
o subsidios (incluye los laboral.
ca a la población de niños dad por mayor estatura.
intereses del crédito • El beneficio del 3er punto es de muy
recién nacidos) • Aumento de productivi-
externo). largo plazo y se propone no medir.
dad por mayor destreza.
• No se contabiliza el va- • Es difícil separar los costos de ope-
• Beneficios para las si-
lor de los subsidios o ración según cada componente y
guientes generaciones.
transferencias a los be- subcomponente, razón por la cual
• El indicador de beneficio
neficiarios como costos se efectuará un cálculo separado de
medido en la evaluación
del programa, dado que beneficios de cada componente, los
(diferencias en diferen-
lo que es un costo para cuales se sumarán y compararán con
cias) es el aumento en el
el gobierno es un be- los costos totales.
peso en gramos al nacer
neficio para las familias • Para análisis C-B por componentes se
en cada grupo de 1000
beneficiarias. presentarán escenarios de asignación
niños recién nacidos.
de costos a cada componente.
• Iguales a los anteriores

• Costos de operación del • Los beneficios netos puntos 3 a 6 son
excepto los dos primeros
Programa en el subcom- similares y aditivos a los anteriores.
que no aplican.
ponente de salud y nutri- • Parte de los subsidios son contabi-
• Los indicadores de im-
ción para niños y niñas lizados como costos privados, como
pacto son los cambios en
Disminución de los indi- hasta seis años. es el caso de los costos de transporte
el Z score, especialmente
cadores de desnutrición • Costos de mejora en las para atender las capacitaciones y
en los más vulnerables,
y morbilidad (aplica a los IPSs que atienden niños. controles de salud y nutricionales.
o el aumento en talla o
niños de 1 a 6 años) • No se contabilizan las • Un aspecto importante para discutir
peso en cada grupo de
transferencias o subsi- en la evaluación es el supuesto de
1000 niños participantes
dios como costos. permanencia en el tiempo de las ga-
en el Programa. También
• Costos privados para nancias por mejor nutrición y menor
son indicadores la reduc-
acceder a los beneficios. morbilidad.
ción en EDA e IRA.
Fuente: DAPR, FIP, DNP (2006).
7.2.4 Estimar el valor económico de los supuestos y parámetros adoptados se cuantifican

costos y beneficios mediante una los costos y beneficios de un programa en térmi-
metodología preestablecida nos del valor económico que estos representan.
En la sección 7.3 se describen con mayor detalle
De acuerdo con el marco de referencia conceptual las metodologías más utilizadas para valorar los
presentado, y con la disponibilidad de información, costos y beneficios de un programa.
109
Ejemplo: Valoración económica de los beneficios en el inicio del programa (t0) o en el momento
asociados al programa Familias en Acción del análisis (ta)” (Treasury Board, Benefit-Cost
Analysis Guide, 1998).
Componente de nutrición - Programa Fami- Con el valor presente neto se pueden sumar y/o
lias en Acción11 restar todos los beneficios y los costos reduci-
dos a una misma unidad, para poder tomar una
El principal beneficio de este componente decisión y dar una recomendación. La fórmula
son las ganancias salariales futuras de los para calcular el VNP se presenta a continuación:
niños beneficiarios, por lo que es importante
determinar el impacto promedio del total VPN = Valor inicial de la inversión
de menores beneficiados por el programa + suma de los VPN de los beneficios
resultados estadísticamente significativos de todos los períodos del tiempo
de mejor nutrición y salud. – ∑VPN de los costos de todos los
períodos de tiempo.
Programa Familias en Acción. Impactos y
beneficios tenidos en cuenta en la evaluación Ejemplo: Cálculo del valor presente neto para un
Costo-beneficio de nutrición programa.
Impacto Beneficio
Si la inversión inicial de un programa fuera
Gramos ganados en mayor $100 y los beneficios fueran $75 y los costos
Incremento del 5% en el in-
peso al nacer: 420 gr. (Para un
greso laboral futuro por cada $30 por 3 años a una tasa de descuento12 del
total de 24,089 niños menores
0.4 Kg. de mayor peso al nacer
de 1 año) 10% el VPN sería13:
Indicador de talla para la edad:
Incremento del 2% en el in-
0.25 z-score (Para un total de
greso laboral por un aumento
VPN = -$100 + ($75 - $30)/(1 + 0,1)1 +
251,533 niños entre 0 y 6
años)
de 0.25 z-score en el indicador ($75 - $30)/(1 + 0,1)2 + ($75 - $30)/(1 + 0,1)3
Fuente: DAPR, FIP, DNP (2006). VPN = -$100 + $40,91 + $37,19 + $33,81
VPN = $11,91
7.2.5 Estimar el valor presente neto
a. Análisis de sensibilidad del valor presente
Para poder dar una recomendación es necesario
neto
tener uno o varios criterios de decisión. Estos
criterios de decisión se encargan de determinar si
En los análisis de costo-beneficio los resultados
un programa es rentable o cuál de los programas
están sujetos a la incertidumbre, por lo cual es
es más rentable. Con este fin, se calcula el valor
importante saber en qué medida puede llegar a
presente neto (VPN) que se define como:
influir cada variable en el resultado del modelo, y
para este fin se utiliza un análisis de sensibilidad.
Definición 2 - Valor presente neto
Éste se define como:
“El valor presente de todos los beneficios, descon-
Definición 3 - Análisis de sensibilidad
tados a la tasa de descuento apropiada, menos el
valor presente descontado de todos los costos a
“Un análisis que determina qué tan sensible es
la misma tasa de descuento. Un VPN es siempre
el resultado de la evaluación costo-beneficio al
específico a un determinado punto en el tiempo,
modificar los valores de una variable mantenien-

12 Tasa de descuento: medida financiera que se aplica para determinar el valor actual de un pago futuro.
13 Treasury Board, Benefit-Cost Analysis Guide, 1998, Pág. 40.
110
do las demás constantes, buscando dar un mejor Ejemplo: Cálculo del valor presente neto para el
entendimiento del programa” (Treasury Board of componente de nutrición del programa Familias
Canadá, 1998). en Acción15.
Según Medina & Correa (2008) este análisis Teniendo en cuenta que los mayores ingresos
se debe desarrollar teniendo en cuenta que el laborales se proyectan en un horizonte de
comportamiento del programa no es lineal, por trabajo de los 18 a los 60 años, tomando como
lo que si se produce un cambio en alguna de sus base de incremento de ingresos el salario
variables, es de esperarse que el resto sufran mínimo legal vigente, se ajustan los valores
alguna variación, según sea su relación. con una tasa de desempleo de largo plazo
ponderada según ubicación rural-urbana de
b. La incertidumbre y el riesgo en el valor los beneficiarios del programa en 7,4% (pro-
presente neto medio ponderado rural-urbano 2004-2006).
Considerando lo anterior, los beneficios del
Según Argyrous (2009), el análisis costo-beneficio programa en VP de los impactos de este com-
normalmente requiere la estimación de benefi- ponente se presentan en la siguiente tabla.
cios y costos futuros. Su estimación puede variar El cálculo se realiza en dólares constantes y
de acuerdo con la incertidumbre existente y la con una tasa de descuento de 10%.
de la tasa a la cual se descuenta los valores en
diferentes periodos de tiempo. En la sección 7.3 Valor presente de los beneficios atribuibles al
se describen con mayor detalle las herramientas Programa Familias en Acción en su componen-
para cuantificar la incertidumbre relacionada te de nutrición. Valores en millones de US$
con el riesgo. Se sugiere seguir estos pasos para
Valor Distribución
desarrollar un análisis de riesgo14: Beneficio
presente porcentual
Ganancias en ingre-
1. Elaborar un modelo para calcular el valor sos laborales futuros
US$ 21,6 19,3%
presente neto. por mayor peso al
nacer
2. Vincular al modelo la información de variables Ganancias en ingre-
sos laborales futu-
con incertidumbre como sus valores máximos ros por reducción en
US$ 90,2 80,7%
y mínimos y la probabilidad de encontrarse desnutrición
en estos. Beneficios totales de
US$ 111,8 100,0%
nutrición
3. Correr muchas repeticiones del modelo para
obtener resultados del VPN para cada esti-
mación.
El cálculo de los costos incluye los gastos
4. Realizar una tabla de frecuencia para identifi- privados del hogar –como el mayor gasto
car el VPN que más se repite y la probabilidad promedio anual en alimentos- y el gasto
de cada uno. adicional en la recepción del subsidio (trans-
porte, alimentación, alojamiento, ingreso
5. Utilizar una regla o criterio de decisión para laboral dejado de recibir). También incluye
dar una recomendación de los resultados los costos públicos de administración y de
obtenidos. operación del programa teniendo en cuenta
el pago de intereses del crédito externo que
financió el programa.
14 Treasury Board, Benefit-Cost Analysis Guide, 1998, Pág. 58.

111
7.2.7 Estimar la rentabilidad

A continuación se muestra el resultado del
cálculo de los costos en valor presente. Un programa se considera rentable si la relación
beneficio/costo es positiva. Además, es necesario
Valor presente de los costos atribuibles al compararla con otras estimaciones de rentabilidad
Programa en su componente de nutrición de programas similares. En el cálculo de la rentabi-
Valores en millones de US$ lidad del programa se incluye una explicación de
los costos y beneficios que se dejaron por fuera
Valor Distribución del cálculo antes de los cálculos de rentabilidad
Costo
presente porcentual
en valor presente de cada uno de sus objetivos
VP Costo asociado con la
recepción del subsidio
principales con una tasa de descuento.
US$ 6,0 8,9%
del Programa - Compo-
nente nutrición 7.2.8 Uso de los resultados
VP Mayor gasto directo de
US$ 52,5 78,0%
los hogares en alimentos
Los objetivos principales de realizar un análisis
VP Costo administrativo costo-beneficio son proporcionar una medida de
del Programa - Compo- US$ 8,8 13,1%
nente nutrición rentabilidad de un programa y permitir elegir la
Costos totales del com-
mejor alternativa entre programas similares. De
US$ 67,3 100,0% esta forma, después de haber realizado el análisis
ponente
costo-beneficio, se debe mirar el resultado del
mismo (VPN) y de los programas similares y reco-
mendar según sea su criterio o regla de decisión.
7.2.6 Estimar la relación costo-beneficio
Ejemplo: Uso de los resultados de una análisis
Cuando se tienen los valores en valor presente costo-beneficio
neto, tanto para los beneficios como para los
costos del programa, se estima la relación costo-
Se tienen 3 programas con los siguientes
beneficio. Esta relación se obtiene dividiendo el
VPN de los beneficios y costos: programa #
beneficio obtenido con el programa por el costo.
1 VPN Beneficios = $20, y VPN costos = $5
programa # 2 VPN beneficios = $8 y VPN
Ejemplo: Estimación de la relación costo-bene-
costos = $8, y programa # 3 VPN beneficios =
ficio para el programa Familias en Acción en el
$12 y VPN costos = $1 y la regla de decisión
componente de nutrición16
es la relación beneficio/costo.
Relación beneficio-costo = Relación beneficio/costo de los programas y

US$111,8/US$67,3 = 1,66 su VPN se presenta a continuación:
Los valores de beneficio y costo para el • Programa # 1: VPN = $20-$5 = $15 y relación
componente de nutrición dan una relación beneficio/costo = $20/$5 = $4
de 1,66. Este valor es alto, aunque está sus-
tentado en estimativos conservadores porque • Programa # 2: VPN = $8-$8 = $0 y relación
no considera otros posibles beneficios. Esto beneficio/costo = $8/$8 = $1
quiere decir que por cada dólar invertido
en el programa, se obtienen 1,66 dólares • Programa # 3: VPN = $12-$1 = $11 y relación
de retorno. beneficio/costo = $12/$1 = $12
112
Dado el criterio de relación beneficio/costo, VP Costo administrativo y ope-

se recomienda el programa # 3; es decir, éste rativo del Programa – Compo- US$ 8,8 5,4%
nente de nutrición
es aquel que proporciona mayores beneficios
por cada costo del programa. Es importante VP Gasto directo de los hogares
US$ 5,6 3,4%
resaltar que el programa que genera mayor en educación
valor presente neto es el # 1 pero se está VP Costo asociado con la recep-
tomando la decisión de acuerdo a otro criterio ción del subsidio del Programa US$ 10,6 6,6%
– Componente de educación
previamente definido.
VP Gasto público en financiar
los costos de educación se- US$ 59,4 36,4%
Ejemplo: Uso de los resultados de una análisis cundaria de los beneficiarios
costo-beneficio para el programa Familias en VP Costo administrativo y ope-
Acción en su componente de nutrición17 rativo del Programa - Compo- US$ 20,1 12,3%
nente de educación
VP de los costos totales del
US$ 163,0 100,0%
El cálculo consolidado de rentabilidad del Programa
programa incluye los beneficios y costos calcu-
lados en los componentes de nutrición, salud Fuente: DAPR, FIP, DNP (2006).
y educación. Se calcula el valor presente neto
y la relación beneficio-costo con una tasa de La proporción de beneficios generados más alta
descuento de 10% (valor que refleja el costo es en educación con un 57% de los beneficios
de oportunidad de los recursos invertidos en del programa, mientras que en los costos, los
el programa). En la siguiente tabla se muestran más significativos son los generados por el gas-
los beneficios y costos consolidados: to público en financiar los costos en educación
secundaria. Finalmente, en la siguiente tabla
Valor presente de los beneficios y costos totales se resumen los indicadores de rentabilidad
del Programa - Millones de US$ del programa por componentes y para el total.
Distri- Valor presente neto y relación C-B por compo-

Valor bución nentes y total del Programa - Millones de US$
Beneficios y costos totales
presente porcen-
tual
Indicador Valor
VP Ganancias en ingresos labo-
rales futuros por mayor peso US$ 21,6 8,3% Componente de educación
al nacer
Valor presente neto US$ 51,9
VP Ganancias en ingresos labo-
rales futuros por reducción en US$ 90,2 34,8% Relación Beneficio-Costo 1,54
desnutrición
Componente de salud y nutrición
VP Ganancias en ingresos la-
borales futuros por los años US$ Valor presente neto US$ 44,6
56,9%
netos ganados en educación 147,6
secundaria Relación Beneficio-Costo 1,66
VP de los beneficios totales del US$ Resultados para el total de Programa

100,0%
Programa 259,4
Valor presente neto US$ 96,4
VP Costo asociado con la recep-
ción del subsidio del Programa US$ 6,0 3,7% Relación Beneficio-Costo 1,59
- Componente de nutrición
VP Mayor gasto directo de los Fuente: DAPR, FIP, DNP (2006).
US$ 52,5 32,2%
hogares en alimentos
113
en resumir la cuantificación de los resultados,

El análisis consolidado muestra una relación efectos y/o impactos logrados como beneficio
beneficio-costo del programa de 1,59. Este de los usuarios directos del proyecto. Para
valor es alto y muestra la rentabilidad del ello se construye un vector con los distintos
programa. Adicionalmente, presenta un va- tipos de beneficios (financieros, económicos,
lor presente neto de US$ 96,4 millones, los sociales, medioambientales, políticos). Para
cuales son un beneficio para la sociedad y este análisis, se excluyen beneficios indirec-
las familias beneficiarias del programa. tos, tales como los que obtendrán futuras
generaciones. Por el lado de los costos, se
cuantifican los costos directos (presupues-
7.3 Metodologías utilizadas to) del proyecto. Finalmente, se calculan
las relaciones entre los beneficios y costos
A continuación se presentan ciertas metodologías
y, con base en relaciones comparativas con
utilizadas comúnmente para desarrollar algunas
proyectos similares, se sacan conclusiones
de las etapas del análisis costo-beneficio.
acerca de si en general los beneficios directos
superan a los costos directos. Este análisis es
7.3.1 Los enfoques más robusto que el anterior y puede realizarse
para los proyectos cuyos resultados puedan
De acuerdo con el manual de evaluación BOT ser cuantificados. Sin embargo, mantiene
(2004), existen 3 opciones principales para cons- algún elemento de juicio de valor por parte
truir las relaciones beneficio/costo. Los términos del Equipo Evaluador. Al igual que con la
de referencia del Equipo Evaluador deberán opción anterior, puede ser fortalecido con
especificar la opción deseada. las consideraciones del Comité Directivo.
a. La primera opción es un análisis cualitativo. c. La tercera opción es la evaluación econó-

Por un lado, consiste en hacer un análisis mica de proyectos, también conocida como
cualitativo de los beneficios. Algunos pro- evaluación social de proyectos. En ella, tanto
yectos cuyos resultados sean difíciles de los beneficios como los costos de cualquier
cuantificar pueden requerir un análisis de tipo (financiero, económico, social, medioam-
este tipo. El Equipo Evaluador debe resumir biental, político) son convertidos en variables
los objetivos, resultados y/o efectos más sig- pecuniarias con el uso de metodologías tales
nificativos logrados por cada alternativa. Por como la disponibilidad de pagar18, entre otras.
el lado de los costos, este análisis consiste en Se pueden incluir en el análisis tanto los bene-
cuantificar los costos directos (presupuesto) ficios y costos directos como los indirectos19.
del programa, plan o proyecto y hacer una Son de crucial importancia para este tipo de
valoración cualitativa de los costos indirectos. análisis las correcciones de precio sombra para
Finalmente, se aplica un juicio de valor sobre elementos como la tierra, la mano de obra y
si los beneficios totales superan a los costos los bienes importados, los exportados y los
totales del proyecto. Dicho juicio puede ser no intercambiables. El resultado de este tipo
fortalecido con las apreciaciones del Comité de análisis es una tasa de retorno económico
Directivo. Las principales debilidades de esta o social. Si la tasa supera ciertos rangos acep-
opción es que es muy poco robusta y que se tados comúnmente por diversos sectores o
limita a establecer algunas percepciones para tipos de proyectos, se considera que tiene
emitir sus conclusiones. una relación beneficio/costo aceptable. Esta
opción es la más robusta y, aunque incluye
b. La segunda opción es el análisis de los bene- muchos supuestos, éstos se hacen de una
ficios y costos directos. Por un lado consiste manera explícita con una justificación técnica
18 En inglés el término es willingness to pay.

19 Los costos indirectos también son referidos como costos de oportunidad.
114
que puede ser abiertamente discutida. Sus

debilidades principales radican en que no • Comparación # 1: 4 reforestaciones vs. 6
todas las personas están dispuestas a aceptar siembras de palma (horizonte de tiempo
que se apliquen valores monetarios a ele- de 24 años)
mentos como un árbol, un bono alimenticio
o aún una vida humana. Adicionalmente, se • Comparación # 2: 2 reforestaciones vs. 3
ha comprobado que el ser humano puede siembras de palma (horizonte de tiempo
tomar decisiones con un vector de variables de 12 años)
por lo cual no es necesaria la conversión del
mismo en una única medición pecuniaria20. Con horizontes de tiempos iguales se pueden
comparar las alternativas de forma justa.
Es posible que las tres opciones presentadas no
sean mutuamente excluyentes –dadas las parti- • Estandarizar por escala: consiste en tener
cularidades de la disponibilidad de información alternativas que necesitan diferentes niveles
y del diseño mismo del proyecto- y el Equipo de inversión, por lo cual los resultados del
Evaluador opte por hacer uso de las tres opciones. VPN se deben ajustar según una escala que
represente niveles de inversión equivalente
7.3.2 Herramientas para construir para compararlas.
alternativas susceptibles de
Ejemplo: Estandarización por escala de dos
comparación
alternativas
De acuerdo con el Treasury Board de Canadá
(1998), para estandarizar alternativas compara- Se tiene un programa de reforestación con una
bles, es importante tener en cuenta factores como inversión de $100 y un programa de siembra
el tiempo, la escala y los recursos ya poseídos. de palma con una inversión de $50. Para
A continuación se explican cada uno de estos poder comparar las alternativas sería válido:
factores.
Comparación: reforestaciones vs. 2 siembras
• Estandarizar por tiempo: cuando dos alter- de palma (Inversión de $100 para ambas
nativas tienen duraciones o se dan en hori- alternativas)
zontes de tiempo diferentes, éstas deben ser
estandarizadas para poder ser comparadas. Con escalas de inversión similares se pue-
Para ello, normalmente se utiliza el horizonte de comparar los VPN de las alternativas de
de tiempo más largo para ambas o se llevan a forma justa.
una escala de tiempo comparable que incluya
los costos y beneficios en toda la ventana de
tiempo definida. • Estandarizar por componentes ya poseídos:
en este caso, si la inversión por parte de la
Ejemplo: Estandarización por tiempo de entidad incluye recursos que ya son de su
dos alternativas. propiedad, el análisis realizado debe incluir
lo que pasaría con este recurso en cada una
Se tiene un programa de reforestación que de las alternativas de inversión.
dura 6 años y un programa de siembra de
palma que dura 4 años. Para poder comparar
la alternativas sería válido:
20 Por ejemplo al comprar un carro una persona tiene en cuenta variables como el color, el diseño y los caballos de fuerza además del
precio. Para la toma de su decisión no otorga un valor monetario a cada una de estas variables.
115
Ejemplo: Estandarización por componentes ya valor menor al precio de mercado, obteniendo

poseídos de dos alternativas21 una ganancia adicional a la esperada.
c. Valorar costos y beneficios con precios de

Si el gobierno posee un inmueble y una de las mercado posiblemente distorsionados: cuan-
alternativas es renovarlo, el análisis de cada do los precios de mercado existen pero están
una de las alternativas debe incluir lo que distorsionados por alguna razón, se debe
pasa con el inmueble. Para poder comparar realizar una estimación de cuál sería el precio
las alternativas es necesario tener en cuenta de mercado sin esta distorsión. Esto, con el fin
los siguientes aspectos de este tipo de bienes: de ajustar los precios de mercados actuales.
Algunas situaciones en que los precios se
• No necesariamente tienen la tasa estándar encuentran distorsionados son:
de retorno.
• Cuando la moneda está valorada erró-
• No son elementos que no tienen costo. neamente por efectos de los controles
de cambio extranjeros.
• Es necesario incluirlos en todos los esce-
narios, no solamente en el que son más • Cuando los salarios están inflados por
relevantes. uniones artificiales o la legislación.
• Cuando existen condiciones anti-com-

7.3.3 Herramientas para valorar costos y
petencia como los monopolios.
beneficios22
• Cuando los impuestos o tarifas son aplica-
Los costos y beneficios de un porgrama se pue- dos directamente a los bienes o servicios.
den valorar por medio de varias herramientas, las
cuales se pueden utilizar de forma simultánea o • Cuando el gobierno subsidia o regula los
independiente. Entre éstas se encuentran: precios.
a. Valorar costos y beneficios por medio del d. Valorar costos y beneficios cuando no existen
valor de mercado: consiste en otorgarle el precios de mercado: los valores de los costos
valor que cada costo o beneficio tiene en o beneficios pueden ser difíciles de calcular
el mercado, ignorando cualquier otro valor cuando no existen precios de mercado que
agregado que tenga para el consumidor o reflejen el valor del bien o servicio. Algunos
beneficiario del programa. ejemplos de estos casos son:
b. Superávit del consumidor y productor como • El valor de ahorrar tiempo de viaje.
componente adicional de valor: esta herra-
mienta parte de la idea que el valor de mer- • El valor de seguridad y salud.
cado otorgado a un beneficio o un costo es
el mínimo beneficio social producido por el • El valor del medio ambiente.
resultado de un programa, dado que, de hecho,
algunos consumidores estarían dispuestos • El valor de la creación de trabajos.
a pagar más por el resultado del programa
que su precio de mercado. De igual forma, el Para cada uno de estos, se debe estimar un valor
productor podría incurrir en este superávit al de mercado que represente el costo o beneficio
estar dispuesto a producir lo mismo por un del mismo. Para lo anterior, se sugiere revisar
21 Ejemplo del documento del Treasury Board (1998).

22 Treasury Board, Benefit-Cost Analysis Guide, 1998.
116
bibliografía como: “Benefit-Cost Analysis Guide”

(1998), Argyrous (2009), UNICEF (2008). E(VPN) = (0,6) ($100) + (0,4)(–$50)
E(VPN) = $60 + (–$20)

Algunas recomendaciones para valorar costos y
beneficios cuando no existe un precio de mercado: E(VPN) = $40
• Cuando no existan precios de mercado o estos Según el valor esperado calculado, se reco-
estén distorsionados, los métodos principales mendaría realizar el programa dado que el
para estimarlos están basados en la disposi- valor esperado del VPN es positivo.
ción de pago del consumidor o disposición
de venta del productor.
Por medio de los valores esperados se plantean
posibles escenarios para las diferentes alterna-
• Los métodos de dar valor económico a los
tivas y se busca identificar aquella con el mayor
costos y beneficios pueden ser aprendidos en
valor esperado del VPN.
corto tiempo. Por otro lado calcular el costo
o beneficio específico es un tema infinito y
b. Tasa de descuento ajustada por el riesgo:
se debe mirar con cuidado en cada caso.
es la tasa básica más un componente extra
ajustado por el riesgo; para ajustar los dife-
• Los libros y la literatura pueden proveer
rentes beneficios o costos en los cuales se
aproximaciones y valoraciones de costos o
puede incurrir en el tiempo.
beneficios para los cuales existen valores de
mercado o métodos de estimarlos de fácil
c. Análisis de riesgo a través de una simula-
cálculo.
ción: esta es la única herramienta práctica
para trabajar el riesgo y la incertidumbre.
7.3.4 Herramientas para cuantificar la La simulación permite predecir los posibles
incertidumbre relacionada al riesgo23 resultados de un modelo de análisis de costo-
beneficio, dadas las variables que afectan los
Existen tres aproximaciones para cuantificar la resultados. Este proceso permite una visión
incertidumbre y el riesgo en la evaluación costo- más completa para poder generar una reco-
beneficio: mendación del programa o sus alternativas.
Para realizar esta simulación es necesario un
a. Valor esperado: Se calcula para costos y software especializado que debe cumplir dos
beneficio su valor esperado o equivalente funciones específicas:
certero teniendo en cuenta las probabilidades
de que obtenga uno u otro valor. – Seleccionar el set de valores para varia-
bles inciertas, acorde con las probabili-
Ejemplo: Valor Esperado dades obtenidas del análisis de los datos
de estas mismas variables.
Se tiene un VPN de $100 con una probabilidad
del 60% y un VPN de -$50 con una probabili- – Utilizar los sets de datos de las variables
dad del 40%. De acuerdo a esta información, inciertas para correr el modelo y calcular
el valor esperado del programa sería: y analizar los posibles resultados del
análisis costo-beneficio.
23 Treasury Board, Benefit-Cost Analysis Guide, 1998
117
7.4 Estudio de caso: el nivel 1 del Sisbén a 31 de diciembre de 1991

y que tuvieran niños de 0 a 17 años. A partir de
Familias en Acción24
2006 el Programa se amplió a otras ciudades y en
2008 se presentaron esquemas diferenciales y
Resumen Programa Familias en Acción ampliación del programa a población desplazada.
Familias en Acción: Impactos en capital Municipios atendidos

Nombre de la
humano y Evaluación Beneficio-Costo
evaluación
del Programa
Consultor Unión Temporal Econometría-SEI-IFS Municipios
Año Esquema de atención
atendidos
Fecha de con-
Febrero de 2002
tratación 2002 691 Tradicional
Fecha de finali-
Diciembre de 2006 2006 848 Tradicional
zación
Costo USD $2.000.000
2008 1091 Esquemas25
7.4.1 El Programa Fuente: Programa Familias en Acción (2008)
A continuación se explica un poco más el programa 7.4.2 La evaluación

y las conclusiones del análisis costo-beneficio del
ejemplo mencionado a lo largo del documento. El objetivo de la evaluación fue captar los impactos
en la población beneficiaria del Programa Familias
El Programa Familias en Acción fue concebido en Acción en temas de educación, salud, nutrición,
inicialmente como parte de una estrategia del oferta laboral, pobreza, ingresos, focalización del
Gobierno Nacional, con acciones específicas programa, consumo y realizar un análisis riguroso
sobre la población más pobre del país, con el de Beneficio-Costo (B-C) del programa.
fin de incrementar su nivel de vida. En particular,
busca elevar los niveles de salud y nutrición de La metodología empleada fue de carácter cuasi
los niños de las familias más pobres (Sisbén 1). El experimental y se basa en la comparación de los
Programa tiene dos componentes de subsidios, hogares que recibieron el beneficio del programa
uno nutricional y otro escolar: Finalmente, todos “beneficiarios” (Grupo Tratamiento) y con hogares
los pagos son entregados a las madres titulares que no recibieron el programa (Grupo Control).
de los núcleos familiares inscritos en el Programa.
Los datos recolectados de entrevistas con 11.500
En un primer paso, el Programa se focalizó en los hogares permitieron comparar grupos de benefi-
municipios de menos de 100.000 habitantes. Las ciarios y no beneficiarios en diferentes momentos
condiciones para esta calificación incluyeron tam- del tiempo (2002, 2003 y 2006), mediante las
bién: a) que no fueran capital de Departamento; técnicas más rigurosas y avanzadas de evaluación.
b) que tuvieran suficiente infraestructura de salud Adicionalmente, se recolectó información de las
y educación; y c) que tuvieran alguna entidad ban- condiciones de los municipios, sus escuelas y sus
caria. En cada municipio, se consideraron elegibles establecimientos de salud, y sobre otra variedad
para el Programa todos los hogares clasificados en de instituciones.
24 Sistema Nacional de Evaluación de Resultados de la Gestión Pública (2007).

25 La intervención con esquemas se implementó a partir de 2008 y busca dar un tratamiento diferencial de subsidios de acuerdo a los
tamaños de grandes centros urbanos en los cuales se realiza en estos momentos la ampliación del Programa Familias en Acción. La
idea que está detrás de una intervención de este estilo es la de establecer cuál esquema es el más efectivo.
118
Esquema de subsidios
Monto de sub- Edad de Beneficiarios a

Tipo de subsidio Condición
sidio atención 2007
1.680.005 niños Asistencia a controles de
Nutricional $46.500 0-6 años
menores de 7 años crecimiento y desarrollo
1.118.831 entre 7 y
Escolar primaria $14.000 7-11 años Asistencia Escolar
12 años
960.783 jóvenes
Escolar secundaria $28.000 12-17 años Asistencia Escolar
entre 12 y 17 años
Fuente: Programa Familias en Acción (2008).
7.4.3 Análisis Costo-Beneficio • En nutrición, los beneficios por mayor nutri-

ción de los niños de 1 a 6 años son más de
• Los resultados muestran una relación bene- cuatro veces mayores que los derivados de
ficio-costo (B-C) global para el Programa de un mayor peso al nacer.
1,59 y un valor presente neto de US$ 96,4
millones. Ambos valores son altos, a pesar • Los beneficios de educación (56,9% del total),
de las previsiones realistas y conservadoras son ligeramente mayores a los de nutrición. La
adoptadas para su cálculo. Esto demuestra la razón de la alta rentabilidad del componente
alta conveniencia y oportunidad que tuvo la de educación se encuentra en la significativa
destinación de recursos públicos a financiar generación de mayores años de escolaridad
Familias en Acción. en secundaria rural y urbana que muestra
como impacto neto el Programa, factor que
• En nutrición, la evaluación muestra una rela- se compara muy favorablemente con el costo
ción B-C de 1,66. de lograrlos.
119
CAPÍTULO VIII
Capítulo VIII
Evaluación institucional
Kavram
Un programa necesita de una institucionalidad Pero además, es importante conocer las reglas
eficiente que le permita cumplir con su misión y legales, normas, relaciones interinstitucionales
sus objetivos. No sólo es importante entender y y arreglos que inciden en su implementación.
documentar los resultados del programa frente
a sus beneficiarios, sino también documentar su Las instituciones, como reglas de juego en una so-
oferta, la cual depende del desempeño de los ciedad, son sistemas de ejecución de las políticas
individuos y la institucionalidad1 responsables. que estructuran los incentivos en la interacción
Estudiar las razones por las cuales falla la capaci- entre los individuos, reduciendo la incertidumbre y
dad institucional en los programas permite mejorar en esa medida influyendo en el desempeño de las
su gestión y proveer de manera más efectiva sus economías (a través de los costos de transacción).
bienes o servicios. Douglas North (1996) define a las instituciones
como las reglas del juego y a las organizaciones
Dentro de este marco, la evaluación institucional como los jugadores.
se ubica en la ejecución de corto y mediano plazo
del programa, situándose más adelante en el ci- La institucionalidad que soporta un programa
clo del programa que la evaluación de procesos puede tener uno o varios actores involucrados
u operaciones (ver capítulo de Generalidades). en su coordinación y ejecución:
No se trata sólo de examinar los procedimientos
de gestión de la institución, sino también deter- • Entidades del gobierno (ministerios, progra-
minar si estos llevan al logro de los objetivos mas, hospitales, colegios, entidades nacio-
planeados. Además, para su análisis, se sitúa el nales, regionales y locales, etc.).
programa dentro de un sistema y contexto más
amplios, no solamente el de una organización • Organizaciones del sector privado (financie-
responsable. ras, negocios, grandes, medianas y pequeñas
empresas, etc.).
Para el desarrollo de una evaluación institucional,
al igual que para llevar a cabo cualquier tipo de • Organizaciones no gubernamentales (ONG´s)
evaluación, es necesario entender la lógica con la locales, nacionales e internacionales y otras
que se creó e implementó el programa, su misión, organizaciones civiles.
visión, objetivos y cada uno de sus componentes.
• Cooperativas comunitarias.
1 En este documento se utilizan los términos “institucionalidad” y “capacidad institucional” con el mismo significado.
123
• Redes o asociaciones de organizaciones. provisión de los servicios, estructura, cultura

organizacional y sostenibilidad3.
• Partidos políticos.
Algunos Tips
La evaluación institucional, entonces, es un tipo
de evaluación que permite medir el grado de Existen similitudes y diferencias entre la
capacidad institucional que se tiene para llevar evaluación de procesos y la evaluación ins-
a cabo determinado programa. titucional:
• Las dos hacen un análisis del uso de los

La capacidad institucional o institucionalidad recursos del programa de acuerdo con
de un programa incluye las reglas legales los objetivos y resultados planeados.
(ej. regulación de empleo y adquisiciones),
• Sin embargo, la evaluación de procesos
las normas entendidas (ej. de igualdad de
hace un análisis de los procesos de-
oportunidades o competencia abierta), la
sarrollados en determinado programa,
gobernabilidad (ej. rendición de cuentas
estudia si se están llevando a cabo y
democrática y división de responsabilidades
de qué manera afectan el logro de los
entre gobierno y sociedad civil) al igual que
productos y los resultados (ver capítulo
los arreglos administrativos y organizacionales
de Evaluación de Procesos).
(ej. estructura y recursos de organizaciones)2.
• La evaluación institucional, por otro lado,
hace un análisis de la capacidad institu-
Los principales objetivos de una evaluación
cional para cumplir con el objetivo de
institucional son:
un programa, lo que incluye examinar
las reglas del juego, factores exógenos
• Determinar el grado de capacidad institucio-
y endógenos a la entidad, políticas de
nal actual del programa para llevar a cabo
desarrollo institucional y organizacional,
acciones futuras.
actores, procesos, actividades, objetivos
y flujos de recursos, entre otros.
• Identificar las fortalezas de la institucionali-
dad así como los obstáculos y debilidades a
remover o eliminar. De esta forma, las principales preguntas a la que
responde son:
• Incrementar la efectividad del programa en
la provisión de los productos y el logro de su • ¿Qué capacidad institucional tiene el programa
misión. para cumplir con sus objetivos?
• ¿Es la capacidad institucional del programa

• Establecer los efectos de las reformas es-
viable o sostenible?
tructurales en la capacidad institucional del
programa para alcanzar sus objetivos y utilizar • ¿Cómo está funcionando la capacidad insti-
sus recursos. tucional? ¿Entrega servicios de calidad y de
manera eficiente?
• Fortalecer la capacidad institucional mediante
la mejora del desempeño de las entidades • ¿Qué debilidades u obstáculos tiene la ins-
en diversos aspectos como: funciones ad- titucionalidad para cumplir con la misión del
ministrativas y de gestión, efectividad en la programa?
2 Evalsed (n.d).
3 USAID, Center for Development Information and Evaluation (2000).
124
• ¿Qué tarea o actividad de la institucionalidad quiere saber cómo están afectando las rela-
no está funcionando como debería? ¿Por qué? ciones inter o intra institucionales el logro
de sus resultados.
• ¿Entiende y opera la capacidad institucional
con el entorno? • Se quiere examinar el adecuado cumplimien-
to de las reglas de juego establecidas que
• ¿Qué cambios se requieren para que mejoren influyen en el desarrollo del programa y de
los aspectos de la capacidad institucional que sus resultados.
presentan un desempeño deficiente?
• Se quieren tomar decisiones estratégicas
8.1 Características y Usos acerca del fortalecimiento institucional y de
gestión de un programa.
La evaluación institucional se hace en la etapa
ex-post del programa, en la que el diseño del • Se quieren tomar decisiones organizacionales
programa se ha completado. Permite evaluar si la en un programa.
institucionalidad es apta para la implementación
y entrega de los bienes y servicios planeados. Los • Se quieren tomar decisiones financieras en
indicadores de desempeño para evaluar la capa- un programa.
cidad institucional se pueden recoger de manera
periódica a través de un sistema de seguimiento, 8.2 Desarrollo de la Evaluación
que sirve como insumo para la evaluación.
Escoger la metodología para el desarrollo de una
La evaluación institucional se caracteriza por: evaluación institucional depende de lo que se
desea evaluar dentro de la institucionalidad de
• Determinar dónde o por qué un área o acti- un programa. Sin embargo, existen unos pasos
vidad no está funcionando y plantear correc- comunes que deben estar claros antes de aplicar
tivos. una técnica de análisis:
• Analizar actores, procesos, actividades, obje- • Identificar la perspectiva de la evaluación

tivos, flujos de recursos y factores exógenos institucional.
y endógenos a la entidad.
• Especificar la unidad de análisis: nivel de
• Establecer una línea de base para proponer política, organización, programa, proyecto,
metas de mejoramiento de la capacidad actividad, tarea.
institucional.
• Determinar la metodología a utilizar para el
• Identificar si las políticas de desarrollo insti- análisis.
tucional y organizacional generan incentivos
hacia la productividad y mejor uso de los • Plantear y desarrollar las herramientas de
recursos. levantamiento de información necesarias.
• Realizarse en el mediano plazo. 8.2.1 Perspectiva de la evaluación
Por lo tanto, una evaluación institucional es per- En primer lugar, es importante definir desde qué
tinente cuando, entre otras: perspectiva se va a abordar la evaluación:
• Se tiene un programa que funciona con la • ¿Es el objetivo evaluar la capacidad institu-
intervención de varias organizaciones o de cional de una organización o un grupo de
múltiples áreas en una misma entidad y se organizaciones para lograr una misión común?
125
¿Se van a medir los productos y resultados • Información sobre el programa a evaluar.
que esta institucionalidad provee? En este
caso, la capacidad institucional es el medio • Alcance de evaluacioón determinado por la
para lograr los resultados esperados, los cua- perspectiva.
les se miden con indicadores cuantitativos y
cualitativos. Se recomienda desarrollar una • Tiempo disponible para la evaluación.
evaluación institucional complementada con
una de productos o resultados. • Recursos disponibles para la evaluación.
• ¿Se va a examinar cómo funciona la estructura Con la ayuda de estos insumos se identifica si es
organizacional interna y cómo se encuentran posible analizar cada tarea implicada en el logro
distribuidas las funciones del programa? de los resultados o si, ante la falta de tiempo/
Esta evaluación se puede complemetar con recursos, se puede hacer el análisis a nivel de
la revisión de los procesos internos de cada actividad, programa o de organización involucrada.
componente (recursos humanos, financieros,
administrativos, etc.) de las organizaciones Según la perspectiva del análisis de la capacidad
involucradas. Este enfoque de evaluación per- institucional se puede acotar la información que
mite mejorar el funcionamiento organizacional se necesita de la siguiente manera4:
y, de esta forma, la entrega de los productos.
En este caso se recomienda desarrollar una a. Análisis de la capacidad institucional a nivel
evaluación institucional complementada con micro (individuo): la información necesaria
una evaluación de procesos. para este nivel hace alusión al recurso hu-
mano dentro de la organización, programa o
• ¿Se va a hacer el análisis del uso de determi- política. Entre ésta se encuentra:
nados recursos como leyes, reglas, normas o
relaciones interinstitucionales? • Motivación de los individuos en la insti-
tución.
• ¿Se va a evaluar la capacidad financiera y
física de las agencias ejecutoras, su viabilidad • Misión y objetivos del trabajo realizado
y sostenibilidad? por los individuos en la institución.
• ¿Se van a revisar las políticas de personal, • Incentivos financieros y no financieros.

sistema de recompensas o capacidad indi-
vidual de los participantes en las agencias • Habilidades y perfiles de los individuos
involucradas en el programa? de la organización.
Para las tres últimas se recomienda desarrollar b. Análisis de la capacidad institucional a nivel
una evaluación institucional del programa en el de la(s) organización(es): la información nece-
aspecto enunciado. saria se centra en la capacidad de gestión, y el
desempeño de tareas y funciones específicas.
8.2.2 Unidad de análisis Es importante tener información sobre:
Para determinar la unidad de análisis se profun- • Misión de la(s) organización(es).

diza un poco más en la perspectiva de la capa-
cidad institucional a evaluar, de acuerdo con los • Procesos y funciones que realiza(n), como
siguientes elementos: los hace(n) y cuáles son sus resultados.
4 Rosas (2008). “Una ruta metodológica para evaluar la capacidad institucional”. Revista: Política y Cultura. Vol. 30. Págs. 119-134.
México.
126
• Relaciones entre organizaciones y otros pero adicionalmente se requirió que la evaluación

programas. analizara cómo estos resultados fueron factores
generadores de un mejor estado de desarrollo
• Recursos (físicos y financieros) con los institucional. En consecuencia, se desarrolló una
que cuenta(n) para cumplir con sus tareas evaluación de resultados en conjunto con la insti-
y funciones. tucional. Para información más detallada acerca
de la evaluación, se recomienda ver el documento
c. Análisis de la capacidad institucional a nivel de Evaluación Final del Programa.
macro (contexto institucional): se requiere
información de la(s) organización(es) y su rela- Por otro lado, vale la pena recalcar que la informa-
ción con el entorno en el que se desempeña(n): ción que es necesaria levantar también depende
de la metodología escogida para realizar la eva-
• Régimen jurídico que rige el sector (nor- luación institucional, como se verá más adelante
mas, leyes, cambios legales, reformas en la seccion 8.3 (Metodologías).
constitucionales, etc.).
8.2.4 Levantamiento de información
• Régimen económico.
Existen diferentes métodos de recolección de
De esta manera se identifica la unidad de analisis información que dependen del tipo de infor-
y se delimita el tipo de información que ésta re- mación requerida y de los recursos disponibles.
quiere, para proceder a seleccionar la metodología En este tipo de evaluación se puede usar infor-
de análisis y las herramientas de levantamiento mación tanto de la oferta como de la demanda
de información. del programa. En el anexo 11.1 se presenta una
tabla que resume las tecnicas más utilizadas por
8.2.3 Metodología de análisis el PNUD, que se adaptan en gran medida a los
métodos utilizados en seguimiento y evaluación.
A partir de la información de insumos, actividades,
productos, resultados e impactos del programa, es Entre ellos existen algunos métodos que son par-
necesario identificar la metodología adecuada para ticipativos e incluyen a gran parte de los actores
el análisis de los componentes de la capacidad involucrados en la organización durante su imple-
institucional. El evaluador debe hacer un balance mentación. Esto crea un sentido de pertenencia
de los objetivos y el alcance de la evaluación, de y promueve acciones conjuntas que pueden ser
la perspectiva y la unidad de análisis y escoger más sostenibles que acciones tomadas de manera
una metodología apropiada poder establecer de individual. Sin embargo, estos métodos demandan
qué manera influyó la capacidad institucional del mayor esfuerzo y dedicación de tiempo, así como
programa en el logro de sus objetivos. un aplicado estudio de los actores involucrados
para que todos se encuentren debidamente re-
Por ejemplo presentados. Por lo general, para complementar
este análisis interno se incluye un enfoque de
Este ejercicio se puede ver en la evaluación de la las percepciones que tienen los beneficiarios
capacidad institucional del Programa de Apoyo y no beneficiarios del programa en cuanto a su
al Fortalecimiento de la Procuraduría General de capacidad institucional.
la Nación (PGN)5, que analizo los cambios en las
habilidades de la Procuraduría para ejercer de Una vez se conoce el tipo de información que
una mejor manera sus funciones misionales. La se necesita para determinar la evolución de las
evaluación encontró los factores que explicaban la tareas, actividades, programas u organizaciones,
obtención de los resultados del Programa en la PGN, es importante plantear la manera más eficiente de
5 PGN, BID, DNP (2008).
127
recolectarla dentro de las restricciones existen- 8.3 Metodologías utilizadas

tes, aspectos como: el tipo de organización, si la
evaluación se va a hacer interna o externamente La selección de la metodología depende de
y la disponibilidad de información secundaria, ciertos factores7:
archivos, información primaria como encuestas
o grupos focales, etc. • Tipo de organización u organizaciones dentro
de la institucionalidad a evaluar.
8.2.5 Análisis de la información
• Facilidad de comparación entre organiza
Después de tener la información de cada unidad ciones.
de análisis recolectada, se examina mediante la
metodología si la capacidad institucional cumplió • Facilidad de comparación en el tiempo.
los objetivos planteados, haciendo explicitas cuá-
les son sus debilidades y fortalezas. Es posible que • Modo de recolección de información.
se desarrolle una triangulación, lo que significa
el uso de tres o más perspectivas estadísticas • Objetividad de los instrumentos de medición.
distintas, cualitativas o cuantitativas.
• Uso de medidas cuantitativas y/o cualitativas.
• Evaluación es interna o externa.
El uso de los resultados en este tipo de evalua-
ciones al interior de la(s) institución(es) permite:
• Practicidad y simplicidad de las medidas.
• Estudiar tanto los aspectos organizacionales
A continuación, se presentan unas de las meto-
como los estructurales que interviernen en
dologías más conocidas para la evaluación de la
el logro de los objetivos del programa.
capacidad institucional.
• Identificar la capacidad institucional actual
para lograr ciertos objetivos o entregar de- 8.3.1 La metodología SADCI
terminados productos6.
El Sistema de Análisis de Capacidad Institucional
• Encontrar puntos débiles e implementar (SADCI) fue creado por Alain Tobelem8 con el
cambios en la organización. objetivo de:
• Formular actividades, procedimientos o nuevas “Identificar el grado de capacidad institucional

estructuras institucionales para optimizar la actual para llevar a cabo determinadas acciones;
entrega de productos. evaluar los obstáculos y debilidades a remover o
eliminar y establecer las acciones y planes reque-
• Comparar las diferentes organizaciones que ridos para ello”9.
prestan el servicio.
8.3.1.1 El proceso
• Proponer correctivos en las relaciones orga-
nizacionales. La metodología propone examinar el programa
con una estructura similar a la del marco lógico
• Mejorar la entrega de bienes y servicios. o cadena de resultados, lo que implica10:
6 CNC para DEPP, DNP (Mayo 2010).

8 Véase Alain Tobelem (1992).
9 Ozlak y Orellana (2000).
10 Para mayor detalle y explicación acerca de la metodología, ver Ozlak y Orellana (2000).
128
• Determinar el objetivo general del programa A continuación, se muestra un ejemplo del tipo
u organización analizada: establecer lo que de formularios de acuerdo con los niveles a ana-
el programa contribuye a lograr en el mediano lizar. En primer lugar, está el Formulario A donde
o largo plazo. se describen los objetivos específicos, cada uno
de los indicadores cuantitativos que les hacen
• Plantear los objetivos particulares de cada seguimiento, el impacto esperado y los benefi-
componente del programa u organización: ciarios directos o indirectos.
comprobar si contribuyen al objetivo ge-
neral y si se pueden medir con indicadores Formulario A: Objetivos específicos13
cuantitativos (ej: ¿cuánto se va a entregar?),
cualitativos (ej: ¿para qué?) o cronológicos 01
Objetivo Específico Formulario A
Empresas pequeñas y medianas en áreas tradicionalmente dinámicas y exportadoras
(ej: ¿cuándo?). 04 asistidas por el programa.
Indicadores Cuantitativos
• Describir las actividades o subcomponentes 1800 empresas que pasaron a exportar como resultado de proyectos integrales de exportación
y algún porcentaje adicional quedan vinculadas de alguna forma con elmercado trasnacional.
de cada objetivo: estos son definidos como Impacto Esperado

Aumento de la cantidad de empresas certificadas internacionalmente.
“el conjunto de procesos que permiten la Generación de una cultura exportadora (efecto imitación).
Diversificación de mercados/productos.
transformación de los insumos básicos del Beneficiarios/víctimas
proyecto en productos concretos”11. Beneficiarios

• Empresarios y empleados de las exportadoras y de los servicios de consultoria.
• Fisco nacional y provincial.
• Cámaras
• Detallar las tareas de cada actividad o sub-

Fuente: Ozlak y Orellana, 2000.
componente: éstas son definidas como “ac-
ciones, asignadas a una agencia o individuo
responsable, con fecha de finalización precisa El Formulario B descompone los objetivos espe-
y un producto intermedio concreto”12. cíficos en actividades.
La formulación de objetivos, actividades y tareas Formulario B: Actividades

del programa es clave en la evaluación, pues va a por objetivos específicos
permitir identificar los problemas que se encuen-
tran en cada uno de los niveles. A partir de allí, la 01:00
Descripción del Objetivo Específico Formulario B
Empresas pequeñas y medianas en áreas tradicionalmente dinámicas y exportadoras
01:01
metodología señala las condiciones a resolver para 01:02
01:03
asistidas por el programa.
que las tareas y actividades se puedan desarrollar 01:04

01:05 01
Código de Actividad:
exitosamente, pues la presencia de dificultades 01:06
01:07 Descripción de Actividad
01:08
va a repercutir en el logro del objetivo. De esta 01:09
04:00
240.000 h/h y un número de h/h a determinar destinadas a estudios de prefactibilidad
de proyectos de reconversión presentados por los PYMES y para la preparación de
forma, se descubren los déficit y se propone una 04:01
04:02
proyectos integrales.
estrategia para superar la brecha de capacidad. 04:03

04:04
04:05
04:06
04:07
Para localizar los déficit, se aplican entrevistas y en- 04:08
cuestas a los actores clave de la(s) organización(es)

involucrada(s), que posteriormente se transcriben
en varios formularios o un software específico.
Esto posibilita presentar la información de manera El Formulario C desagrega las tareas de cada ac-
estructurada y clasificar los déficit encontrados tividad con un gran nivel de detalle: el producto
en el programa. esperado, la fecha de conclusión, las unidades
responsables y un resumen de los déficit de
capacidad. Esta minuciosidad es la que permite

12 Íbidem.
13 El objetivo también puede empezar con un verbo en infinitivo, sin embargo, para ser fiel al ejemplo, se toma de manera literal del
documento de Ozlak y Orellana (2000).
129
determinar los déficit que se manifiestan en los 8.3.1.2 Los productos

problemas existentes en la ejecución de tareas,
dado que “si éstas no se encuentran detalladas Los productos resultantes de esta metodología
al máximo, es probable que escondan problemas son:
u obstáculos de diferente gravedad”14.
• Identificación de los déficit de capacidad
Formulario C: Tareas por Actividad institucional en varias áreas, examinando
sus posibles causas. El déficit equivale a las
01.
Descripción de la actividad Formulario C brechas entre lo deseado (objetivos de la or-
01.
005.
240.000 h/h y un número de h/h a determinar destinadas a estudios de prefac-
tibilidad de proyectos de reconversión. ganización a nivel de programas) y lo obtenido
010.
015. Código de Tarea: 01.01.005 institucionalmente (lo que las instituciones
020.
025.
Descripción de Tarea
efectivamente consiguen).
02. En función de los proyectos presentados luego de la campaña publicitaria prevista,
005. se derivan a esta actividad los
010.
015.
Producto Esperado
Inserción y establecimiento del vínculo entre la empresa y el Programa.
• Listado de las brechas que representan obs-
020.
03. Fecha de conclusión: táculos para la realización de las tareas y la
005.
010.
Unidades Responsables consecución de los objetivos del programa.
015. 09 PYME X.X. 10 Ejecutivo de cuenta
020. Sumario de Déficit de Capacidad:
04.
005.
DCI 1: [ S ]
DCI 4: [ S ]
DCI 2: [ S ]
DCI 5: [ S ]
DCI 3: [ S ]
DCI 6: [ S ]
• Clasificación de los deficit en diferentes tipos
de acuerdo con sus posibles causas.
• Propuesta de Componentes de Desarrollo

Con una revisión meticulosa de los obstáculos Institucional (CDI) para fortalecer la institución
que impiden la terminación de las tareas, se y solucionar los déficit.
identifican los principales problemas y sus causas.
Clasificación de tipos de déficit
Al final, se proponen las estrategias para la supe-
ración de las brechas existentes entre lo planeado
y el actual cumplimiento de tareas, actividades • Leyes, reglas, normas - “reglas de juego”:
y objetivos. trabas normativas, factores culturales o pau-
tas de interacción socialmente aceptadas
Este ejercicio se puede complementar con en- que se convierten en restricciones para las
cuestas a la población beneficiaria del programa, tareas a desarrollar.
con el propósito trazar la ruta crítica de imple-
mentación del programa evaluando la coherencia • Relaciones interinstitucionales: existencia
entre el análisis de oferta y el de demanda. Esta de competencias superpuestas o duplica-
metodología propone orientar el análisis a tres ción de esfuerzos, acciones que dependen
tipos de escenarios en la aplicación del programa: de otras organizaciones, requisitos para
cumplimiento de las tareas.
• Casos exitosos.
• Estructura organizacional interna y distri-
• Casos promedio. bución de funciones: responsabilidades no
están claramente delimitadas, distribución
• Casos no exitosos. de funciones no es la óptima, unidad res-
ponsable no tiene recursos o estructura.
Con base en los insumos mencionados se esta-
blecen las fortalezas, debilidades y oportunidades
para lograr el éxito de la aplicación del programa.
130
La metodología SADCI se puede utilizar tanto

• Capacidad financiera y física de las agencias
para analizar los déficit de gestión en una or-
ejecutoras: falta de recursos o insumos para
lograr los objetivos. ganización como su relación con los resultados
del programa.
• Políticas de personal y sistema de recom-
pensas: políticas de personal y desempeño 8.3.2 La metodología PROSE15
de las personas con tareas gerenciales o
técnicas. La metodología de Autoevaluación Participativa,
Orientada a Resultados (PROSE – Participatory,
• Capacidad individual de los participantes Results-Oriented Self-Evaluation) fue desarro-
en las agencias involucradas en el proyecto: llada por una ONG llamada Pact y el Centro
capacidad individual de implementación de del Desarrollo para la Educación (Education
cada una de las tareas. Development Center). Tiene como objetivo eva-
luar y mejorar las capacidades institucionales
Los formularios de captura de los déficit son simi- y hacer comparaciones entre organizaciones
lares para los tipos de déficit 1 a 5 y se organizan relacionadas, a las cuales se les llama cohorte.
de la siguiente forma: También mide y caracteriza en el tiempo cómo
las actividades de fortalecimiento institucional
afectan la capacidad organizacional. Adicional-
Formulario D: Déficits por Tarea
mente permite construir capacidades al interior
Descripción de tarea de una organización así como seleccionar, im-
015.
020. plementar y seguir el cambio organizacional y
05.
005. Descripción de tarea Grado 3 las estrategias de desarrollo.
010. Para todas las tareas de la actividad, los exportadores argentinos no cuentan con
015. una cultura cambio e innovación que
020.
06. DCI relativos a relaciones interinstitucionales Grado 5 Uno de los instrumentos utilizados en este
005.
010. método es la DOSA (Discussion-Oriented Or-
015. DCI relativos a org. interna/dist. de funciones Grado 2
020. El Ministerio de Economía y Obras y Servicios Públicos, especialmente en el ámbito
ganizational Self-Assessment, Autoevaluación
07.
005.
de su Secretaría de Comercio e
Organizacional Orientada a la Discusión), un
006.
010.
DCI relativos a capacidad física y financiera Grado 5 cuestionario con preguntas tanto de discusión
015.
020. DCI relativos a políticas de personal Grado 5 como individuales y las instrucciones para res-
021.
ponderlas16.
8.3.2.1 El proceso
Dentro del formulario, cada déficit debe estar
codificado y relacionado con su respectiva tarea, Esta herramienta permite evaluar una unidad
actividad y objetivo específico. de análisis específica dentro del programa, una
organización o un grupo de organizaciones. Los
El seguimiento de los objetivos, actividades, tareas pasos a seguir para su desarrollo son:
y evolución de los déficit se puede hacer con el
mismo sistema computacional, incluyendo en él • Definir la cohorte de organizaciones que
un módulo de monitoreo con las tareas a desa- participan en el cumplimiento de la misión
rrollar para corregir los déficit con el mismo nivel del programa.
de detalle que las otras tareas. De esta forma se
mantiene al día la información de monitoreo en • Reunir a las organizaciones involucradas
todas las áreas. Para mayor información respecto en un taller para diseñar la herramienta de
a este método ver Ozlak y Orellana (2000). evaluación.
15 Ibídem.
16 Para ver un ejemplo e información detallada al respecto, ver página web de USAID.
131
• Determinar las tareas, actividades o capaci- – Aprendizaje organizacional (trabajo en

dades críticas para cumplir con el objetivo y equipo, manejo de información).
que se quieren medir o resaltar.
– Manejo estratégico (planeación, gober-
• Diseñar dos tipos de preguntas, para discusión nabilidad, misión del programa, sosteni-
e individuales. Las preguntas para discusión bilidad).
permiten que el grupo reflexione acerca de
aspectos clave minimizando el sesgo; las – Entrega del servicio (procesos de entrega
preguntas individuales capturan la opinión y sostenibilidad).
de los miembros del grupo sobre estos temas
en una escala ordinal. • Calificar estos temas de acuerdo con las res-
puestas de los cuestionarios en una escala
• Una vez el instrumento está diseñado se ordinal hasta que haya acuerdo en el grupo
aplica a cada una de las organizaciones de acerca de los puntajes.
la cohorte.
• Analizar los resultados estadísticamente.
• En caso de que se use la herramienta DOSA,
el facilitador maneja un grupo de discusiones 8.3.2.2 El producto
con respuestas individuales a cuestionarios
de 100 ítems. Los participantes responden Son dos tipos de informes de calificación, uno
de manera anónima evaluando las prácticas de capacidad institucional en el que se pueden
en las siguientes áreas (1=fuerte desacuerdo; ver reflejadas sus fortalezas y debilidades en
2=en desacuerdo; 3=neutral; 4=de acuerdo; cada una de las tareas o actividades, y otro de
5= fuertemente de acuerdo): consenso que muestra el grado de homogeneidad
en las respuestas de calificación la capacidad
– Relaciones externas (comunicaciones, institucional.
entre otras).
Por lo tanto, el DOSA es un instrumento que
– Gestión de recursos financieros (presu- permite identificar las actividades o tareas
puestación, manejo de recursos). críticas para el logro de los objetivos en las
cuales hay consenso en torno a su funciona-
– Gestión de recursos humanos (capacita- miento (Tabla, todo el cuestionario en Levinger
ción, supervisión). y Bloom, 1997).
Cuestionario DOSA
Preguntas 3 y 4 - área de Recursos Humanos
Fuertemente Fuertemente
Desacuerdo Neutral De acuerdo
en desacuerdo de acuerdo
Tenemos las competencias

del personal apropiadas 1 2 3 4 5
para lograr nuestra misión
Tenemos el adecuado
número de personas para 1 2 3 4 5
lograr nuestra misión
Fuente: Levinger y Bloom (1997).
132
Debido a que el proceso de construcción de • Se asigna una calificación a cada área de

las calificaciones es participativo, puede tomar capacidad (ej: 1 = necesita atención urgente
bastante tiempo llegar a los resultados de la y mejora; 2 = necesita atención; 3 = necesita
evaluación. Esta calificación se hace en sesiones mejora; 4 = necesita mejorar en aspectos
de trabajo para responder a los cuestionarios definidos; 5 = espacio para alguna mejora;
individuales y a los cuestionarios con preguntas 6 = no hay necesidad de mejora inmediata).
para discusión. Se puede considerar como una Las áreas de capacidad definidas son:
autoevaluación, pues son los actores de la or-
ganización los que evalúan su propio trabajo y – Gobernabilidad (junta, objetivo, liderazgo,
las preguntas se pueden enfocar a evaluar cómo arreglos institucionales).
está funcionando la capacidad institucional en el
logro de los resultados del programa. – Prácticas de gestión (estructura organi-
zacional, manejo de información, pro-
8.3.3 La metodología OCAT17 cedimientos administrativos, personal,
planeación, desarrollo de programas,
La metodología OCAT (Organizational Capacity reporte de programas).
Assessment Tool – Herramienta de Análisis de – Recursos humanos (desarrollo, funciones,
Capacidad Organizacional) es una técnica de organización del trabajo, prácticas de
Monitoreo y Evaluación Participativa (PME) desa- supervisión, salario y beneficios).
rrollada por la ONG Pact, debido a la necesidad
de evaluar su impacto en las actividades de – Recursos financieros (contabilidad, pre-
construcción de capacidad organizacional. Esta supuesto, inventario, reportes, control).
herramienta se utiliza para diagnosticar las forta-
lezas y debilidades de una organización y provee – Entrega de servicios (experiencia sectorial,
una línea de base para mejorar las intervenciones análisis de impacto).
en sus resultados.
– Relaciones externas (relaciones públicas,
colaboración entre organizaciones).
“El desarrollo organizacional es un proceso
continuo que optimiza el desempeño de una – Sostenibilidad (del programa, del be-
organización en relación con sus objetivos, neficio, organizacional, financiera, de
recursos y entorno”18. recursos).
• El análisis se desarrolla con el apoyo de un

8.3.3.1 El proceso equipo evaluador y otro equipo de personas
externas a la organización que pueden dar una
Puede hacerse de manera interna o externa a la mirada objetiva e independiente. Resulta útil
organización utilizando formatos de análisis con incluir tantos participantes como sea nece-
siete áreas de capacidades, cada una de éstas sario dependiendo de su conocimiento o de
con otros elementos adicionales. Los pasos a la necesidad de que entiendan las fortalezas
seguir son: y debilidades de la capacidad institucional.
También se pueden añadir personas al equipo
• El equipo evaluador emplea diversas técnicas de acuerdo al objetivo de la evaluación.
de recolección de información como grupos
focales o entrevistas para recoger la informa- • En un formato de evaluación se califican en
ción necesaria para el análisis. conjunto las diferentes áreas, con base en
17 Booth, W. y R. Morin (1996).

18 Ibídem.
133
información recolectada. Los puntajes indican ción y su gestión, como para examinar la capacidad
los aspectos a mejorar. que tiene la organización u organizaciones para
la entrega de bienes o servicios.
Monitoreo y Evaluación Participativa
(Participatory Monitoring and Evaluation - PME) PACT – OCAT
Ejemplo hoja de evaluación –
parte B - Prácticas de Gestión
“Es un proceso democrático para examinar los
valores, progreso, restricciones y logros de pro-
1. Estructura organizacional
yectos por parte de los actores involucrados.
a. Tiene estructura organi-
Reconoce y valora las contribuciones sutiles
zacional con líneas de-
de personas a nivel local y las empodera para 1 2 3 4 5 6
finidas de autoridad y
involucrarse y contribuir al proceso de desa- responsabilidad
rrollo”19. Sus principales características son:
2. Sistemas de informa-
• Origen y objetivo de las preguntas: las ción
preguntas de evaluación emergen de los a. Existen los sistemas para
1 2 3 4 5 6
intereses y prioridades de los participantes. levantar, analizar y difun-
dir datos e información
• Utilidad y aplicación: los participantes 3. Procedimientos admi-
desarrollan un entendimiento de los ob- nistrativos
jetivos e importancia de la evaluación y a. Existen procedimientos
de la habilidad de conducir evaluaciones 1 2 3 4 5 6
administrativos y manua-
significativas. les y son adoptados
b. Son los manuales y pro-
• Desarrollo de habilidades: a través de la 1 2 3 4 5 6
cesos actualizados de
participación en la actividad de evaluación, manera permanente
se desarrolla la habilidad de levantamiento,
análisis y utilización de la información. 4. Personal
a. Las prácticas de empleo
• Lugar de control: participación en activida- de personal se encuen-
1 2 3 4 5 6
des de monitoreo y evaluación empodera tran claramente definidas
a los participantes para que se hagan y son adoptadas
responsables por analizar y articular el 5. Planeación
impacto que un proyecto está teniendo a. Planes de operación son
1 2 3 4 5 6
de acuerdo con sus prioridades. desarrollados, revisados,
actualizados y reflejan un
plan estratégico
8.3.3.2 El producto20 b. Recursos son planeados
1 2 3 4 5 6
El OCAT provee clasificaciones numéricas para y asignados de manera
cada área de capacidad y además permite des- correcta
cribir estas últimas según estados progresivos c. Insumos para los inte-
1 2 3 4 5 6
de desarrollo organizacional. Adicionalmente, grantes están incluidos
en la planeación
identifica las fortalezas y las debilidades que se
d. Personal está involucrado
encuentran en la capacidad de la organización. Se 1 2 3 4 5 6
en la planeación
puede emplear tanto para evaluar una organiza-
19 Booth y Morin (1996).

20 Para ver un formulario completo y mayor explicación: http://www.pactworld.org/ocat.html Pact.Washington.
134
6. Desarrollo del programa programa, y señalar los procesos/actividades/

a. Actores y personal están tareas que la componen para poder desagre-
involucrados en el dise- 1 2 3 4 5 6 garla.
ño, planeación y evalua-
• Diseñar una serie de indicadores que reflejen
ción del programa
el desarrollo de estos procesos y darles una
b. Existe un sistema de M&E
ponderación en el logro del objetivo o la
que incorpora la identifi-
misión.
cación de indicadores y 1 2 3 4 5 6
procesos para modifica- • Calificar cada indicador usando métodos de
ción de programas recolección de información como entrevistas,
7. Reporte del programa información secundaria, grupos focales, entre
a. Reporta regularmente ac- otros.
1 2 3 4 5 6
tividades y resultados de
la evaluación • Al final, si aplica, también se pueden agregar
b. Publica y difunde repor- para lograr una calificación de toda la capa-
1 2 3 4 5 6 cidad institucional.
tes en lecciones apren
didas
8.3.4.2 El producto
Fuente: Booth y Morin, 1996.
Una tarjeta de puntuación o Scorecard que enu-

La OCAT es una auto-evaluación organizacional mera y califica los principales indicadores de
participativa, aunque se puede adaptar para ser procesos/actividades/tareas de la capacidad
desarrollada de manera externa. institucional. Si existe un resultado que se refiere
a múltiples organizaciones puede ser útil hacer un
8.3.4 La Lista de chequeo Sí/No o Tarjeta de indicador en términos del número o porcentaje
puntuación (Scorecard)21 de las organizaciones que llegan o superan un
determinado nivel, o calificar un mismo indicador
Este tipo de herramienta se puede utilizar para para cada organización.
analizar procesos, productos o características de
una organización o un arreglo institucional. Por Estos procesos deben estar enunciados sin ambi-
lo que para ser aplicada en la evaluación institu- güedades, de manera transparente y concisa, y la
cional de un programa, es necesario que la lista calificación debe tener muy clara la respuesta de
califique aspectos de la capacidad institucional Sí o No. La tarjeta de puntuación puede ser una
existente frente a sus productos resultantes. En herramienta fácil y no costosa pues no requiere
la tarjeta de puntuación o Scorecard se enuncian de intermediario para procesar los datos o de
una serie de características o actividades de la un experto en el tema, se puede hacer interna o
institucionalidad que se quiere evaluar, a las externamente y se puede levantar información
cuales se les aplica una calificación de sí o no, a través de entrevistas, observación o documen-
para después agregarlas a nivel de programa. tos. El resultado es una lista de características o
indicadores clave de una organización califica-
8.3.4.1 El proceso dos. Esta se utiliza para: hacer comparaciones
entre entidades o seguimiento a indicadores a
• Determinar lo que se quiere medir, la capa- través del tiempo, medir áreas de capacidad bien
cidad institucional para el desarrollo de un definidas con base en criterios determinados,
135
contrastar las percepciones con observaciones de manera progresiva, integral y focalizada,

empíricas, tener calificaciones cuantitativas en reconociendo el papel de los agentes privados
áreas de capacidad institucional. Estos insumos y la sociedad civil organizada en el mercado
permiten proponer correcciones a las áreas que habitacional.
mostraron indicadores con avance restringido y
hacer seguimiento al progreso de estos. • Fortalecer las capacidades de las instituciones
del nivel nacional para que ejerzan un rol más
activo en la implementación de la PVPD y el
8.4 Estudio de caso: Política de papel de las entidades territoriales como sus
Vivienda y Tierras para PD ejecutores, a partir de la dinamización de las
herramientas de gestión y la adopción de un
Evaluación de la Capacidad Institucional de los sistema efectivo de incentivos.
componentes de Vivienda y Tierras de la Polí-
tica de Atención a la Población en Situación de • Minimizar los costos de transacción, tanto en
Desplazamiento22 (2010). las barreras de acceso para la PSD como en
los trámites asociados en los que incurren los
8.4.1 La Política actores que intervienen en la materialización
de una solución de vivienda.
El objetivo general de la política propuesta por
el gobierno nacional era garantizar el derecho a En relación con la política de tierras, el gobierno
la vivienda adecuada a la población desplazada nacional ha desarrollado lineamientos con base
de manera progresiva, en consideración con sus en un diagnóstico que aborda tres problemas
condiciones culturales y de vulnerabilidad, a principales23:
través de instrumentos que permitan avanzar en
la satisfacción del goce efectivo de los derechos. • La magnitud del despojo de tierras frente
Para lograrlo, se establecieron los siguientes a un universo de hogares para restituir sus
objetivos específicos: derechos, que es cercano al medio millón.
• La complejidad que supone la misma resti-

• Mejorar la articulación de la Política de Vi- tución, por cuanto se reconoce que existen
vienda para la Población Desplazada (PVPD) distintos tipos de víctima y por ende distintos
con los componentes de la política de aten- derechos o expectativas de derechos. Por cada
ción integral a la Población en Situación de predio normalmente hay reclamos de distintas
Desplazamiento (PSD), a través del fortale- víctimas y los procesos de cada víctima están
cimiento de los sistemas de información, la interrelacionados pero no necesariamente
comunicación entre las entidades del Sistema ocurren al mismo tiempo.
Nacional de Atención Integral a la Población
Desplazada (SNAIPD) y la continuidad de las • Una limitada capacidad institucional por
intervenciones, de tal forma que se brinde lo que, en primer término, las víctimas no
una atención integral, sostenible y progresiva. cuentan con asistencia permanente para
la compilación de información y pruebas.
• Adecuar los instrumentos de la PVPD a las Tampoco se ha logrado una adecuada coordi-
condiciones específicas de vulnerabilidad de nación de funciones, que actualmente están
dicha población y los grupos poblacionales dispersas, y finalmente, la entrega material
que la componen, para asegurar el acceso de enfrenta dificultades por falta de seguridad
la PSD a una solución de vivienda adecuada, y suficiente gestión institucional.
22 Informe metodológico e Informe Final de la Evaluación de la capacidad institucional de los componentes de vivienda y tierras de la
política de atención a la población en situación de desplazamiento. Centro Nacional de Consultoría (C.N.C) para Dirección de Evaluación
de Políticas Públicas, Departamento Nacional de Planeación. Mayo a diciembre de 2010.
23 Síntesis con base en los documentos publicados por el gobierno nacional de lineamientos de política pública en materia de tierras.
136
En este marco, la nueva política se ha planteado protección, la reparación y la formalización).

como objetivo general contribuir a restablecer Contempla, a su vez, la tipología de las víctimas
el goce efectivo de los derechos de la población entendidas bajo las categorías de la vinculación
desplazada, en riesgo de desplazamiento y otras con la tierra en calidad de propietarios, posee-
víctimas del despojo de la tierra y el territorio, me- dores, ocupantes, tenedores y la vinculación
diante un enfoque de acceso a la justicia integral y de las comunidades étnicas con sus territorios
diferencial. La nueva política en materia de tierras indígenas y afrocolombianos, así como el em-
ha definido los siguientes objetivos específicos: prendimiento de gestiones integrales para la
restitución y el acceso a la justicia.
• Restituir los derechos y las expectativas de
derechos sobre la propiedad de la tierra y • El segundo corresponde a la adecuación y
los territorios a las víctimas del despojo, ajuste de un marco normativo para la resti-
atendiendo a la magnitud y complejidad de tución integral, que incorpore los criterios
este fenómeno, y contribuyendo al esclare- de las nuevas formas de justicia transicional
cimiento de la verdad de las modalidades y y el fortalecimiento jurisdiccional para la
efectos del despojo. restitución tierras.
• Desarrollar programas para la restitución de
• El tercero está relacionado con los ajustes
tierras y territorios de manera integral y con
institucionales necesarios para la gestión inte-
enfoque diferencial, incluyendo acciones
gral de la restitución, a partir de la adecuación
de prevención, protección, formalización y
institucional de unidades especializadas para
garantías de no repetición.
el cumplimiento de dicho propósito, el forta-
• Diseñar y poner en marcha un sistema de lecimiento de las funciones de las entidades
atención a las víctimas, oportuno, ágil y de encargadas de la gestión de la restitución y
bajos costos, que facilite su acceso a la justi- la creación de la comisión intersectorial de la
cia, en articulación con la política de verdad, política de tierras para la población desplaza-
justicia y reparación. da, la población en riesgo de desplazamiento
y otras víctimas de del despojo.
• Adecuar y fortalecer la administración de jus-
ticia relacionada con la política de restitución 8.4.2 La evaluación
de tierras y territorios.
El objetivo de la evaluación era: “Valorar si la ca-
• Contribuir a reparar el menoscabo a la po- pacidad de gestión de las instituciones es suficiente
blación afectada por la pérdida del uso de para responder de manera eficiente y oportuna a la
la tierra objeto del despojo. realización de los derechos de las víctimas, en otras
palabras, si las entidades valoradas están dotadas
• Contribuir a mejorar las condiciones de vida de los correspondientes recursos y si en consecuen-
de la población objetivo de esta política cia pueden responder a la demanda creciente de
mediante su articulación con otras políticas, servicios de una población altamente vulnerable
especialmente las de verdad, justicia y repa- que representa cerca del 10% de la población del
ración, vivienda y generación de ingresos. país, para el caso concreto a efectos de garantizar
el derecho a la reparación integral de las personas
El enfoque dado a la política por parte del go- desplazadas a través de vivienda y tierras”.
bierno nacional se concentra básicamente en tres
puntos articuladores: 8.4.3 Metodología
• El primero de ellos se relaciona con la concep- La metodología adoptada para el desarrollo de la

ción integral de la restitución (las modalidades evaluación institucional fue el Sistema de Análisis
de la restitución en sí misma, la prevención, la de Capacidad Institucional (SADCI)24.
137
Para el desarrollo del estudio, el Centro Nacional sentó un porcentaje por encima del 85% en esos
de Consultoría empezó haciendo un diagnóstico aspectos. Se destaca el caso de las Oficinas de
general de la política de atención a la PSD, con Registro e Instrumentos Públicos (ORIP) donde se
el propósito de tener un dimensionamiento del encontró un reducido 38%, explicado principal-
problema y un análisis de la institucionalidad mente por ausencia de normatividad concerniente
vigente, debido a la complejidad del problema a acciones concretas frente a personas que no
y de las entidades vinculadas a estas políticas. son poseedores.
Posteriormente se realizaron unos mapas institu-
cionales y fichas técnicas de cada organización, Después de analizar las problemáticas con tablas,
para luego aplicar la metodología SADCI con el se realizó un resumen del total de instituciones
desarrollo de una evaluación desde la óptica de que participaron dentro de la implementación de
la oferta y la demanda. la política de tierras. Se observó que la entidad
que evidenció las mayores brechas en capacidad
Las mediciones de los déficits institucionales fue- institucional para dar una respuesta adecuada a
ron el resultado de entrevistas adelantadas a las las necesidades fueron las ORIP, con un acumulado
instituciones de acuerdo con un instrumento de de cerca del 58%, seguidas por la Fiscalía General
captura de información que calificó una serie de de la Nación con un 43,3%. A pesar de que las
criterios acordados de antemano con el Departa- otras instituciones analizadas presentan menores
mento Nacional de Planeación (DNP), los puntajes brechas se destaca que ninguna de ellas alcanza
variaron entre 1 y 5, en donde 1 correspondió a la una capacidad cercana al 100%, sólo Acción Social
calificación más baja y 5 a la calificación más alta. se ubicó por encima del 80%, el restante tiene
El análisis de estas entrevistas permitió identificar en promedio un 40% de brecha en capacidad.
una serie de logros y cuellos de botella (déficits)
con respecto a la normatividad, las relaciones Posteriormente se identificaron una serie de lo-
interinstitucionales, la organización interna de gros y cuellos de botella (déficits) con respecto
cada programa, su capacidad financiera y física, a la normatividad, las relaciones interinstitucio-
y su política de personal. El análisis se presentó nales, la organización interna de cada programa,
por institución. su capacidad financiera y física, y su política de
personal.
A continuación se exponen, a manera de ejemplo,
los resultados de la metodología con respecto a Finalmente, con base en la información de las
la normatividad. En este caso, la mayoría de las entrevistas y el análisis de los déficits, la firma
instituciones manifestó tener deficiencias en el realizó una propuesta institucional para la política
tema normativo, sólo el Ministerio Público pre- de atención a la población desplazada.
24 Oszlak, O. y E. Orellana. La capacidad del Análisis Institucional: Aplicación de la Metodología SADCI. Documentos TOP sobre gestión
Pública. Buenos Aires, Centro de Desarrollo y Asistencia Técnica en Tecnología para la Organización pública., 2000.
138
Problemática relacionada con la normatividad

(datos en porcentajes, donde 1= 0% y 5=100%)
SNR ORIP INCODER IGAC CNRR FISCALÍA MIN. PUB. ACCIÓN SOC.
Criterios
1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5
Todas las funciones están definidas en la normatividad X X X X X X X X
Cuenta con instrumentos para materializar la norma X X X X X X X X
Los empleados conocen las normas X X X X X X X X
Los empleados implementan las normas X X X X X X X X
La normatividad actual es suficiente y facilita las tareas X X X X X X X X
Las normas son de fácil aplicación X X X X X X X X
La normatividad recoge con claridad la competencia

X X X X X X X
del programa
La normatividad que cubre este programa tiene un en-

X X X X X X X X
foque diferencial
La normatividad que cubre este programa tiene un en-

X X X X X X X X
foque territorial
Conocimiento de la PTPD propuesta X X X X X X X X
Cambios de normatividad requeridos para ajustar sus

X X X X X X X X
actividades a la PTPD propuesta
Promedio 59.1 38.6 59.1 72.7 68.2 70.5 88.6 75.0
Fuente: C.N.C. para DEPP – DNP (2010).
Déficits por aspectos evaluados

(datos en porcentajes, donde 1= 0% y 5=100%)
Interinstitu- Org. Cap. Finan. Polit.

Instituciones* Normativo Promedio
cional Interna y Física Personal
Snr 59,1 70,8 65,0 68,8 70.8 66.9
Orip 38,6 37,5 65,0 18,8 50.0 42.0
Incoder 59,1 66,7 60,0 68,8 58.3 62.6
Igac 72,7 62,5 65,0 50,0 54.2 60.9
Cnrr 68,2 75,0 85,0 68,8 79.2 75.2
Fiscalía 70,5 62,5 75,0 25,0 50.0 56.6
Ministerio
88,6 70,8 90,0 56,3 70.8 75.3
Público
Acción Social 75,0 87,5 90,0 75,0 83.3 82.2
Fuente: C.N.C. para DEPP – DNP (2010).

Nota: SNR: Superintendencia Notariado y Registro; CNRR: Comisión Nacional de Reparación y Reconciliación.
139
CAPÍTULO IX
Capítulo IX
Glosario
Gkuna
Actividades: lo que el programa hace con sus Ciclo de vida de la intervención: período temporal
insumos para lograr su misión. Las actividades que abarca desde que se concibe y diseña la in-
del programa resultan en productos. tervención hasta que se manifiestan sus impactos.
Actores implicados o involucrados: Instituciones Comité de seguimiento de la evaluación: estruc-

o Entidades públicas o privadas, organizaciones tura formal de apoyo a la gestión del proceso
no gubernamentales, universidades, asociacio- evaluativo que facilita y propicia la participación
nes profesionales y empresariales o empresas de los actores clave.
privadas, entre otros, que participan, directa o
indirectamente, en la planificación, ejecución, Efecto: cambio, intencionado o no, debido directa
seguimiento y evaluación de una política. o indirectamente a una intervención.
Benchmarks (punto de referencia): son datos de Enfoque estructurado: este enfoque tiene como
desempeño usados para hacer comparaciones. Un objetivo hacer la recolección de todos los datos
programa puede usar su información de línea de de manera homogénea y similar. Ver Ramirez
base para comparar con un segundo levantamiento (2009) y Menon Et Al (2009).
de información o contra otro programa.
Enfoque semi-estructurado: este enfoque hace la
Beneficiarios: el grupo específico de personas recolección de los datos de manera heterogénea,
(físicas o jurídicas) que se benefician directa o con la utilización de instrumentos diferentes. Ver
indirectamente de una intervención, también Trochim (2006).
llamado grupo beneficiario o tratamiento.
Insumos: recursos financieros, humanos y ma-
Beneficios: es el valor o la utilidad de los resultados teriales empleados en una intervención. En un
de una intervención. Estos serán generalmente programa, los insumos son el soporte de las
los objetivos finales del programa, pero puede actividades.
también aludirse a aquellos beneficios que no
sean imputables directamente al programa en sí. Intervención: cualquier programa, plan, política u
otra forma de planificación diseñada para producir
Cadena de resultados: es la secuencia causal de cambios en la población objetivo.
una intervención de un programa que estipula
la secuencia para lograr los objetivos deseados, Jerarquía de objetivos: clasificación de objetivos
comenzando con los insumos, pasando por las a distintos niveles; por ejemplo: objetivos finales,
actividades y los productos, y culminando en el objetivos específicos y medidas de resultado y
efecto directo, el impacto y la retroalimentación. realización.
143
Muestreo: selección de una proporción de indi- motores de la evaluación para impulsar su puesta
viduos o casos a partir de una gran población. en marcha. Pueden tener su origen en un mandato
reglamentario o en otro tipo de motivaciones. A
Objetivo del proyecto o programa: se refiere a los partir de ellos se define el objetivo general de
resultados físicos, financieros, institucionales, so- la evaluación.
ciales, ambientales o de otra índole que se espera
que el proyecto o programa contribuya a lograr. Proyecto: nivel más concreto de programación
o unidad mínima de planificación. Intervención
Objetivo específico: es la razón inmediata de un planificada destinada a lograr ciertos objetivos
proyecto, el efecto que se espera que el proyecto específicos con un presupuesto dado y dentro
vaya a lograr si se completa con éxito y a tiempo. de cierto período de tiempo.
Objetivo final: declaraciones específicas me- Rango de un conjunto de información: se defi-

diante las cuales se considera el cumplimiento ne como la diferencia entre la observación más
deseado de los programas de intervención social. grande y la más pequeña. No obstante, aunque
Las razones principales por las que un programa/ es una medida muy fácil de calcular, el problema
política existe. Se encuentran en el primer nivel del rango es que desconoce toda la información
de la jerarquía de objetivos. que se encuentra entre las observaciones que
acotan la muestra.
Productos: son el resultado de las actividades
del programa. Los productos del programa de- Resultado o efecto: efectos directos e inmediatos
ben generar los resultados deseados para sus producidos por la ejecución de una intervención.
participantes.
Seguimiento: proceso continuo y sistemático de
Programa: grupo de proyectos o servicios rela- recolección de datos para verificar lo realizado
cionados y dirigidos hacia el logro de objetivos y sus resultados, tanto en términos físicos como
específicos. financieros. Ofrece información necesaria para
mejorar la gestión y aplicación de la intervención
Propósitos de la evaluación (motivaciones para así como para su evaluación.
evaluar): razón o razones que motivan a los pro-
144
CAPÍTULO X
Capítulo X
Bibliografía de apoyo
Jean-Pierre Chretien
Acción Social (2007, Octubre). Informe Final de Resultados, Banco Asiático de Desarrollo, Operations Evaluation De-
Evaluación del Programa Red de Seguridad Alimentaria partment (OED). “Guidelines to Avoid Conflict of Interest
RESA. Informe desarrollado por el Centro de Estudios in Independent Evaluations”, Abril 2005. Disponible
Regionales Cafeteros y Empresariales (Crece) para en: www.adb.org/documents/guidelines/evaluation/
Acción Social, Presidencia de la República. Bogotá. independent-evaluation.pdf
Anderson, A. (2007). The Community Builder’s Approach Banco Mundial (2006). “Consulting Service Manual
to Theory of Change: A Practical Guide To Theory 2006: A Comprehensive Guide to the Selection of
Development. USA. New York. The Aspen Institute Consultants”, Washington DC. Disponible en: si-
Roundtable on Community Change. teresources.worldbank.org/INTPROCUREMENT/
Argyrous, George (2009). Evidence for Policy and Decision- Resources/2006ConsultantManual.pdf
Making: A Practical Guide. Sydney, NSW, AUS: UNSW Banco Mundial, “Sourcebook for Evaluating Global and
Press. Regional Partnership Programs: Indicative Principles
Arrow, Kenneth, Maureen Cropper, George Eads, Robert Hahn, and Standards”, Grupo de Evaluación Independiente y
Lester Lave, Roger Noll, Paul Portney, Milton Russell, Red del CAD. Disponible en: siteresources.worldbank.
Richard Schmalensee, Kerry Smith & Robert Stavins org/EXTGLOREGPARPRO/Resources/sourcebook.pdf
(1996). “Is There a Role for Benefit-Cost Analysis in En- Barber, Michael (2009). Instruction to Deliver: Tony Blair,
vironmental, Health, and Safety Regulation?”. Science. the Public Services and the Challenge of Achieving
Ascott, Elizabeth (2006). Benefit Cost Analysis of Wonderworld Targets. UK. Politico’s Publishing Ltd; illustrated edition.
Drive Overpass in San Marcos, Texas. Applied Research Beck T. (2006). “Evaluating Humanitarian Action Using OECD/
Project. Texas State University. DAC Criteria”.
Asian Development Bank (2007). Guidelines for Preparing a Bent Flyvbjerg, Mette K. Skamris Holm & Søren L. Buhl (2002).
Design and Monitoring Framework. En: Project Perfor- “Underestimating Costs in Public Works Projects: Error
mance Management System (Second edition). or Lie?” Journal of the American Planning Association,
vol. 68, no. 3, Summer 2002.
B.O.T. (2004). “Manual de evaluación expost de proyectos:
Bent Flyvbjerg, Mette K. Skamris Holm & Søren L. Buhl
Versión 1, para Convenio Andrés Bello”. Bogotá.
(2005). “How (In)accurate Are Demand Forecasts in
Baker, Judy (2000). Evaluación del impacto de los proyectos
Public Works Projects? The Case of Transportation.”
de desarrollo en la pobreza: Manual para profesionales.
Journal of the American Planning Association, vol. 71,
Washington: Banco Mundial, IEG, Poverty Analysis,
no. 2, Spring 2005.
Monitoring and Impact Evaluation Thematic Group.
Bent Flyvbjerg, Nils Bruzelius & Werner Rothengatter (2003).
Bamberger, Michael (2006). Conducting Quality Impact
Megaprojects and Risk: An Anatomy of Ambition.
Evaluations under Budget, Time and Data Constraints.
Cambridge University Press.
Washington: Banco Mundial, IEG, Poverty Analysis, Best, Joel (2001). “Damned Lies and Statistics: Untangling
Monitoring and Impact Evaluation Thematic Group. Numbers from the Media, Politicians, and Activists”.
Bamberger, Michael (2010). “Reconstructing Baseline data University of California Press.
for impact evaluation and results measurement”. The Bliss, M. & Emshoff, J. (2005). Workbook for Designing a
World Bank, Prem Notes. November 2010, Number 4. Process Evaluation. Atlanta (Georgia), Department of
Special series on The Nuts and Bolts of M&E Systems. Economy-Georgia State University.
Bamberger, Michael (Editor) (1999). Integrating quantitative Blundell, Richard & Monica Costa Dias (2000). Evaluation
and qualitative research in development projects. Methods for Non-experimental Data. Fiscal Studies,
Washington: World Bank. Directions in development. 21 (4): 427-468.
Bamberger, Rugh & Mabry (2006). Real World Evaluation: Boardman, A; Greenberg, D; Vining, A & Weimer, D (1996).
Working under Budget, Time, Data, and Political Cons- Cost-Benefit Analysis: Concepts and Practice. Upper
traints. Thousand Oaks (California), Sage Publications. Saddle River, N.J. Prentice Hall.
147
Booth, W. & R. Morin (1996). “Assessing Organizational Capa- vity Performance and Effectiveness”. Department for
city through Participatory Monitoring and Evaluation International Development.
Handbook”. Preparado para Pact Ethiopian NGO Sector DEPP (2010). Metodologías DEPP: Selección de la evaluación.
Enhancement Initiative. Washington, USAID. Documento para discusión. DEPP, DNP. Bogotá.
Boyle, P.; Lyons, K. & Bamberger, M. (2007). Strengthening DEPP (n.d). “Lineamientos metodológicos, la Evaluación
Results-based Evaluation in Colombia. DNP, Social Ejecutiva (E2)”. Dirección de Evaluación de Políticas
Impact. Públicas. Secretaría Técnica de Sinergia, Departamento
Campbell & Stanley (1963). “Experimental and Quasi- Nacional de Planeación. Colombia.
Experimental Designs for Research”. DEPP, DNP (2006). “Evaluación Ejecutiva: Informe Final”.
Cavanos, G. (1999). “Applied probability and statistical Dirección de Evaluación de Políticas Públicas. Secre-
methods”. McGraw Hill. Virginia Commonwealth Uni- taría Técnica de Sinergia, Departamento Nacional de
versity. Planeación. Colombia.
Centro Nacional de Consultoría (2010, Diciembre). “Informe DEPP, DNP (2006, Marzo). “Informe de Línea de Base reali-
Final de la Evaluación de la capacidad institucional de zado para la Evaluación intermedia del programa de
los componentes de vivienda y tierras de la política Vivienda de Interés Social Urbana”. Crece, Manizales.
de atención a la población en situación de desplaza- DEPP, DNP (2010). Evaluación Ejecutiva (E2) Programa “Estra-
miento”. Dirección de Evaluación de Políticas Públicas, tegia Territorios Digitales: Aprovechamiento de las TIC
Departamento Nacional de Planeación. en Colombia”. Consultoría realizada por Julio Villarreal.
Centro Nacional de Consultoría (2010, Mayo). “Informe DEPP, DNP (2011). Diplomado en monitoreo y evaluación
metodológico de la Evaluación de la capacidad insti- de políticas públicas. Módulo Evaluaciones.
tucional de los componentes de vivienda y tierras de Desrosieres, Alain (2004). “The Politics of Large Numbers: A
la política de atención a la población en situación de History of Statistical Reasoning”. Harvard University
desplazamiento”. Dirección de Evaluación de Políticas Press.
Públicas, Departamento Nacional de Planeación. DNP (2009). “Guía Metodológica para la formulación de
Chakravarty, Sukhamoy (1987). “Cost-benefit analysis”, indicadores”. Departamento Nacional de Planeación,
The New Palgrave: A Dictionary of Economics, v. 1, Bogotá.
pp. 687–90. Duflo, Esther, Rachel Glennerster & Michael Kremer (2008).
Charles, A.; Steve, J. & Lawrence, K. (2001). Quality Manage- Using Randomization in Development Economics
ment for Industrial Process. En: Quality Management Research: A Toolkit. En: Handbook of Development
Review. Economics, vol. 4, ed. T. Paul Schultz & John Strauss,
Comité Conjunto de Estándares para la Evaluación Educati- 3895-3962. Amsterdam: North-Holland.
va, “Programme Evaluation Standards: How to Assess Dupuit, Jules (1969). “On the Measurement of the Utility of
Evaluations of Educational Programmes”, 2ª ed., Sage Public Works”. En: Readings in Welfare Economics, ed.
Publications, Thousand Oaks, CA. “Managing for De- Kenneth J. Arrow & Tibor Scitovsky.
velopment Results (MfDR) Initiative”. Disponible en: Eckstein, Otto (1958). Water-resource Development: The
www.mfdr.org Economics Of Project Evaluation. Harvard University
Cutler, Carol & Russel, Ruth (2008). “Using mixed methods Press, Cambridge.
in pilot testing”. ESCAP (2009). “Evaluation Guidelines”. ESCAP Monitoring
DANE (2001). “Metodología para la formulación de planes and Evaluation System. United Nations, Economic and
estadísticos”. Bogotá. Social Commission for Asia and the Pacific (ESCAP).
DANE (2002). “Consideraciones metodológicas para la cons- Evalsed (n.d). “Los recursos para la evaluación del desarrollo
trucción de indicadores”. Mimeo. Bogotá. socio-económico”. Comisión Europea. http://ec.europa.
DANE (2004). “Aspectos Metodológicos de la Planificación eu/regional_policy/sources/docgener/evaluation/
Estadística”. Dirección de Regulación, Planeación, evalsed/index_en.htm
Normalización y Estandarización - DIRPEN, Bogotá. Feinstein O. & G. Ingram (2003). “Lessons Learned from World
DANE (2004). “Línea Base: aspectos metodológicos”. Bogotá. Bank Experiences in Joint Evaluation”, Documento de
Danida (1998-1999). Guidelines for an Output and Outcome sala sometido a la Red de Evaluación, OCDE, París,
Indicator System. Copenhagen, Danida. Francia. Disponible en: http://www.oecd.org/dataoecd/
Danida (1999, Noviembre). “Output and Outcome Indicators secure/15/13/31736431.pdf
System Manual”. Copenhagen, Danida. Fenton, Dave (2008). “Three key relationships in the service
DAPR, FIP, DNP (2006, Diciembre). Informe final Evaluación delivery chain”. Achieving Superior Delivery Chain
de impacto del programa Familias en Acción – Subsi- Management: Information Management Magazine.
dios condicionados de la red de apoyo social. Unión Ferrara, A. (2010). Cost-Benefit Analysis of Multi-Level Gover-
temporal IFS, Econometría y SEI. Bogotá. nment: The Case of EU Cohesion Policy and US Federal
Davies, Rick (2003). “Network Perspective in the Evaluation Investment Policies. London & New York, Routledge.
of Development Interventions: More than a Metaphor.” FIDA (Fondo Internacional de Desarrollo Agrícola), “Conflict
Paper presented at the EDAIS Conference “New Direc- of Interest of Consultants and Widening the Pool of
tions in Impact Assessment for Development: Methods Evaluation Specialists”.
and Practice,” November 24–25. Folland, Sherman; Allen C. Goodman & Miron Stano (2007).
Dearden, E. & Jones, E. (2002). “Tools for Development: A The Economics of Heath and Health Care. Fifth ed.
Handbook for Those Engaged in Development Acti- Pearson Prentice Hall, New Jersey.
148
Fondo del Medio Ambiente Mundial, “Monitoring and Eva- Kosub, Jeffry (2010). “Transitioning to a Greener Fleet: A Cost-
luation Policy”, Febrero de 2006, Disponible en: http:// Benefit Analysis of a Vehicle Fleet Program at the Texas
www.undp.org/gef/05/documents/me/GEF_ME_Poli- General Land Office in Austin, Texas” (2010). Applied
cies_and_Precedures_06.pdf Research Projects. Texas State University, Paper 329.
García, Sandra. (2009). Evaluaciones ejecutivas en el contexto Disponible en: ecommons.txstate.edu/arp/329http://
de la evaluación. Bogotá, Universidad de los Andes- ecommons.txstate.edu/arp/329
Escuela de Gobierno. Kusek, J. & Rist, R. (2004). Ten Steps to a Results-Based
Gestión para Resultados de Desarrollo (GpRD), “Second Monitoring and Evaluation System. A Handbook for
International Roundtable Marrakech 2004; Annex 1: Development Practitioners. Washington, World Bank.
Promoting a Harmonized Approach to Managing for Kusek, Judy & Gorgensen, Marelize (2010). Making Monitoring
Development Results: Core Principles”. Disponible en: and Evaluation Systems Work: A Capacity Development
www.mfdr.org/documents/2CorePrinciples05Feb04. Toolkit. Washington, World Bank.
pdf Kusek, Judy & Rist, Ray (2005). “Manual Para gestores del
Girishankar, Navin (2001). “Evaluating the Public Sector Re- Desarrollo. Diez Pasos hacia un Sistema de Seguimiento
form. Guidelines for Assessing Country-Level impact of y evaluación basado en resultados”. Banco Mundial,
Structure Reform and Capacity Building”. Operations Washington.
Evaluation Department. Washington, The World Bank. Kusters, Cecile et al. (2011). Making Evaluations Matter: a
GNUD (2007). “CCA and UNDAF Guidelines”. Disponible en: practical guide for evaluators. Centre for Development
www.undg.org/?P=232 Innovation, Wageningen University & Research centre.
GNUD (2007). “CCA/UNDAF Monitoring and Evaluation Lettieri, J. & Nelson, E. (2004). Theory of Lean Production.
Guidelines”. Disponible en: www.undg.org/index. Washington, National Academy of Business.
cfm?P=259 Levinger, B. & E. Bloom (1997). Introduction to DOSA: An
GNUD, “Human Rights Based Approach to Development”. Outline Presentation. Disponible en: www.edc.org/
Disponible en: www.undg.org/index.cfm?P=74 int/capdev/dosafile/dosintr.htm
Gómez, Ana (2007). Metodología de evaluaciones estratégicas Lindley, D. V. (1985). Making Decisions, 2.ª edición, John
(Documento de discusión). DNP-Sistema Nacional de Wiley & Sons.
Evaluación de Resultados de la Gestión Pública, Bogotá. Little, I. M. D. & Mirrlees, J. A. (1994). The Costs and Benefits
Görgens, Marelize & Kusek, Jody (2010). Making Monitoring of Analysis: Project Appraisal and Planning Twenty
and Evaluation Systems Work: A Capacity Development Years On. En: R. Layard & S. Glaister (eds), Cost Benefit
Toolkit. Washington, World Bank. Analysis 2nd ed., Cambridge University Press.
Gupta, Anju (2002). Review of Impact Evaluation Methodo- Lusthaus Charles, Marie-Hélène Adrien, Gary Anderson &
logies Used By the Operations Evaluation Department Fred Carden (1999). “Enhancing Organizational Per-
Over Past 25 Years. Banco Mundial-IEG, Poverty Analysis, formance: A toolbox for self assessment”. International
Monitoring and Impact Evaluation Thematic Group, Development Research Centre, Canadá.
Washington. Maass, Arthur (ed) (1962). Design Of Water-resource Systems:
Hacking, Ian (1990). The Taming of Chance. Cambridge New Techniques For Relating Economic Objectives,
University Press. Engineering Analysis, And Governmental Planning.
Heyer, Molly (2001). “A Bibliography for Program Logic Mo- Cambridge, Harvard University Press.
dels/Logframe Analysis”. Evaluation Unit, International Mackay, Keith (2007). Cómo crear sistemas de SyE que
Development Research Centre. contribuyan a un buen gobierno. Banco Mundial-IEG.
Hirshleifer, Jack (1960). Water Supply: Economics, Techno- Poverty Analysis, Monitoring and Impact Evaluation
logy, and Policy. Chicago, University Of Chicago Press. Thematic Group, Washington.
HM Treasury. The Green Book, Appraisal and Evaluation in Malik, Khalid (2002). Manual de seguimiento y evaluación de
Central Government. London, The Stationery Office. resultados. Nueva York, Oficina de Evaluación del PNUD.
International Development Association (2002). “Measuring Mark M.; Henry G. & Julnes G. (2000). “Evaluation: An Inte-
Outputs and Outcomes in IDA Countries”. Disponible grated Framework For Understanding, Guiding, And
Improving Public And Nonprofit Policies And Programs”.
en: siteresources.worldbank.org/IDA/Resources/Semi-
Jossey-bass.
nar%20PDFs/measuring%20outputs.pdf
McCawley, P. (2001). The Logic Model for Program Planning
Kellogg Foundation (1998). “Evaluation handbook”.
and Evaluation. Moscow, University of Idaho.
Kellogg Foundation (2004). “Evaluation Logic Model Deve-
McKean, Roland N. (1958). Efficiency In Government Through
lopment Guide: Using Logic Models to Bring together
Systems Analysis: With Emphasis On Water Resources
Planning, Evaluation, and Action”.
Development. New York, Wiley.
Khandker, S.; Koolwal, G & Samad, H. (2009). Handbook on
McNamara, Carter (2006). “Basic Guide to outcomes-based
Quantitative Methods Of Program Evaluation. Banco
evaluation for nonprofit organizations with very limited
Mundial-IEG, Poverty Analysis, Monitoring and Impact
resources”, adaptado de: “Field Guide to Nonprofit Pro-
Evaluation Thematic Group, Washington.
gram Design, Marketing and Evaluation”. Authenticity
Khandker, S.; Koolwal, G & Samad, H. (2010). Handbook
Consulting, LLC, Minneapolis, Minnesota.
on Impact Evaluation. Banco Mundial-IEG, Poverty
McNamara, Carter (2006). “Basic Guide to Program Evalua-
Analysis, Monitoring and Impact Evaluation Thematic
tion”. Disponible en: managementhelp.org/evaluation/
Group, Washington.
program-evaluation-guide.htm
149
Medina, Eva. (2002). Modelos econométricos e información OCHA (2007). “Guidelines: Results-Oriented Planning &
estadística. UNAM, Facultad de economía. Monitoring”, pág. 11. Naciones Unidas, “‘Resolution
Menon, S.; Karl, J. & Wignaraja, K. (2009). “Handbook On Adopted by the General Assembly: Triennial Com-
Planning, Monitoring And Evaluating For Development prehensive Policy Review of Operational Activities
Results”. United Nations Development Programme, for Development of the United Nations System”, A/
New York. RES/59/250, Agenda del 59º Periodo de Sesiones,
Mikel, H. & Schroeder, R. (2004). Six Sigma: The Breakthrough Punto 90 (b).
Management Strategy. New York, McGraw Hill. OECD (1999). “Improving Evaluation Practices: Best Practice
Mishan, E.J. (1982). Cost-Benefit Analysis, Third Edition. Guidelines for Evaluation and Background Paper”.
George Allen & Unwin Ltd, London. OECD (2002). Glosario de los principales términos sobre
Mohr, Lawrence B. (1995). Impact Analysis for Program Eva- evaluación y gestión basada en resultados. En: Eva-
luation. Thousands Oaks (California), Sage Publications. luation and aid effectiveness, No. 6. Development
Morgan, Peter (1999). An Update on the Performance Moni- assistance Committee.
toring of Capacity Development Programs. What are Ozlak, O. & Orellana E. (2000). “El análisis de la capacidad
we Learning?. Paper presented at the meeting of the institucional: aplicación de la metodología SADCI”,
DAC Informal Network on Institutional and Capacity Documentos TOP sobre gestión Pública. Buenos Aires,
Development held in Ottawa, May 3-5. Centro de Desarrollo y Asistencia Técnica en Tecnología
Morra, L. & Friedlander, A. (2001). Evaluaciones mediante para la Organización pública.
estudios de caso. Departamento de Evaluación de Patton, Michael Q. (1997). “Utilization- Focused Evaluation
Operaciones del Banco Mundial, Washington. – The New Century Text”. 3th ed., Sage Publications.
Morra, L. & Rist, R. (2009). The Road to Results: Designing Patton, Michael Q. (2002). Qualitative Evaluation and Re-
and Conducting Effective Development Evaluations. search Methods, 3rd ed. Thousand Oaks (CA), Sage
Washington, World Bank. Publications.
Morse, Janice M. & Lyn Richards (2002). “The Integrity of Patton, Michael Q. (2008). Utilization-Focused Evaluation,
Qualitative Research”. En: Read Me First for a User’s 4th ed. Thousand Oaks (CA), Sage Publications.
Guide to Qualitative Methods, J. M. Morse & L. Richards Patton, Michael Q. (2009). Outcome Mapping: Building,
(eds). Thousand Oaks (CA), Sage Publications. Learning and Reflection into Development Programs.
National Audit Office & Vose, D. (1996). Measuring costs Ottawa, International Development Research Centre.
and benefits: A guide on cost benefit and cost effec- Pawson, Ray (2006). Evidence-Based Policy: A Realistic Pers-
tiveness analysis. pective. New Brunswick (New Jersey), Sage Publications.
North, Douglas (1996). “Institutions, institutional change and Pearce, David & Markandya, Anil (1989). “Contingent Va-
economic performance”. Cambridge University Press. luation”. En: Environmental Policy Benefits: Monetary
OCDE (1991). “DAC Principles for Evaluation of Develop- Valuation, OECD.
ment Assistance”, Comité de Asistencia al Desarrollo PMA (2000). “WFP Principles and Methods of Monitoring
(CAD). París, Francia. Disponible en: www.oecd.org/ and Evaluation”, período de sesiones anual de la Junta
dataoecd/21/32/41029845.pdf Ejecutiva. Roma, 22 a 26 de Mayo.
OCDE (2000). “Effective Practices in Conducting a Multi-donor PNUD (1997). “Monitoreo y evaluación orientados a la obten-
Evaluation”. París, Francia. Disponible en: www.oecd. ción de resultados: Manual para los administradores
org/dataoecd/10/28/2667318.pdf de programas”. Oficina de Evaluación y Planificación
OCDE (2002). “Glossary of Key Terms in Evaluation and Estratégica.
Results-Based Management”, Comité de Asistencia al PNUD (2006). “La política de Evaluación del PNUD”, Docu-
Desarrollo (CAD). París, Francia. Disponible en: www. mento de la Junta Ejecutiva DP/2005/28. Disponible
oecd.org/dataoecd/29/21/2754804.pdf en: www.undp.org/eo/documents/Evaluation-Policy.pdf
OCDE (2005). “DAC Workshop on Joint Evaluations: Cha- PNUD (2007). “Ensuring Quality Control and Policy Cohe-
llenging the Conventional Wisdom the View from rence: BDP Quality Assurance and Clearance Process”.
Developing Country Partners”. Comité de Asistencia al
Dirección de Políticas de Desarrollo. Disponible en:
Desarrollo (CAD), Nairobi, Kenya. Disponible en: www.
intra.undp.org/bdp/clearance_process.htm
oecd.org/dataoecd/20/44/34981186.pdf
PNUD (2007). “Guidelines for an Assessment of Development
OCDE (2006). “DAC Guidance for Managing Joint Evalua-
Results (ADR)”, Oficina de Evaluación, Nueva York.
tions”, Comité de Asistencia al Desarrollo (CAD).
Disponible en: intra.undp.org/eo/documents/ADR/
París, Francia. Disponible en: www.oecd.org/da-
framework/ADR_Guide.pdf
taoecd/28/14/37484787.pdf
PNUD (2007). “Standard Third-Party Cost-Sharing Agree-
OCDE (2008). “Guidance on Conflict Prevention and Pea-
ment”. Dirección de Alianzas. Disponible en: content.
cebuilding Activities: Working Draft for Application
undp.org/go/groups/brsp/Non-Core/Formats/?g11n.
Period”. Disponible en: www.oecd.org/secure/pdf-
enc=ISO-8859-1
Document/0,2834 ,en_2157136130097720_3977
PNUD (2007). “The Evaluation of Results Based Management
4574_1_1_1_1,00.pdf
at UNDP”. Oficina de Evaluación, Nueva York.
OCDE. “Criteria from Evaluating Development Asístan-
PNUD (2008). “Practice Note on Capacity Assessment”.
se”, Comité de Asistencia al Desarrollo (CAD). Dis-
PNUD (2008). “Programme and Operations Policies and
ponible en: www.oecd.org/document/22/0,2340,
Procedures”. Disponible en: content.undp.org/go/
en_2649_34435_2086550_1_1_1_1,00.html
userguide
150
PNUD (2008). “UNDP Strategic Plan, 2008-2011: Accelerating Sistema Nacional de Evaluación de Resultados de la Gestión
Global Progress on Human Development”. Documen- Pública (2007, Octubre). “Metodología de evaluaciones
to de la Junta Ejecutiva DP/2007/43 (en virtud de estratégicas”. Versión para discusión.
DP/2007/32), reedición. Social Impact (2008). “Strengthening Results-based Eva-
PNUD (2009). “Assessment of Development Results (ADR) luation in Colombia”. Prepared for the Departamento
Guidelines”. Oficina de Evaluación, Nueva York. Dis- Nacional de Planeación by Social Impact, Inc. Dr. Philip
ponible en: intra.undp.org/eo/documents/ADR/ADR- Boyle, Karen Lyons & Dr. Michael Bamberger.
Guide-2009.pdf Squire, Lyn & Van der Tak, Herman G. (1995). Economic Analy-
PNUD (2009). “Manual de planificación, seguimiento y eva- sis of Projects, A World Bank Research Publication, 8th
luación de los resultados de desarrollo”. Programa de Edition. The Johns Hopkins University Press, Baltimore.
las Naciones Unidas para el Desarrollo, Nueva York. Suchman, Edward A. (1967). Evaluative Research: Principles
PNUD (n.d). “Knowing the What and the How, RBM in UNDP: and Practice in Public Service Action Programs. New
Technical Note”. Disponible en: www.undp.org/eo/ York, Russell Sage Foundation.
documents/methodology/rbm/RBM-technical-note.doc Talbot, Colin (2010). “Performance in Government: The
PNUD. “RBM in UNDP: Technical Note”. Evolving System of Performance and Evaluation Mea-
PNUD. “Supporting Capacity Development: The UNDP surement, Monitoring, and Management in the United
Approach”. Disponible en: www.capacity.undp.org/ Kingdom”. Independent Evaluation Group - ECD,
indexAction.cfm?module=Library&action=GetFile&- Working Paper Series No. 24, November. The World
DocumentAttachmentID=2141 Bank, Washington.
Portney, Paul R. (1950). Benefit-Cost Analysis. En: The Library Taylor-Powell, E. & Henert, E. (2009). Developing a logic
Of Economics and Liberty. Proposed Practices For Eco- model: Teaching and training guide. University of
nomic Analysis Of River Basin Projects. Washington, Wisconsin-Extension.
U.S. Govt. Print. Off. Tevfik F. Nas (1996). Cost-Benefit Analysis: Theory and
Procuraduría General de la Nación (PGN), Banco Interame- Application. Thousand Oaks (CA), Sage.
ricano de Desarrollo (BID), Departamento Nacional The International Initiative for Impact Evaluation (3ie) (2009).
de Planeación (DNP) (2008, Agosto). “Programa de “Impact Evaluation Glossary”
apoyo al fortalecimiento de la Procuraduría General Tijms, Henk (2004). “Understanding Probability: Chance
de la Nación, Contrato de Préstamo BID 1459 OC-CO”. Rules in Everyday life”. Cambridge University Press.
Evaluación Final del programa. Bogotá. Tobelem, Alain (1992). “Institutional capacity analysis and
Purdon, S.; Lessof, C.; Woodfield, K & Bryson, C. (2001). development system (ICADS)”. LATPS Occasional Pa-
Research Methods For Policy Evaluation (National per Series N°9. Public Sector Management Division,
Centre for Social Research. Department for Work and Technical Department Latin America and the Caribbean
Pensions Research Working Paper No. 2). Region of the World Bank.
Ravallion, Martin (2008). Evaluating Anti-poverty Programs. Treasury Board of Canada Secretariat (1998). “Benefit-Cost
En: Handbook of Development Economics, vol. 4, T. Analysis Guide”. Ottawa.
Paul Schultz & John Strauss (eds.), 3787-3846. Am- Trochim, William & Donnelly, James (2006). “The Research
sterdam, North-Holland. Methods Knowledge Base”, 3rd Edition.
Robertson, D. & Smith, H. (2005). Six-Sigma Methodology UNDP (1999). “Selecting Key Results Indicators, Suggestions
Applied to Industrial Process. En: Quality Management and Practical Advice from EO and OSG”. Disponible
Review. en: stone.undp.org/undpweb/eo/evalnet/docstore3/
Rosas, A. (2008). “Una ruta metodológica para evaluar la yellowbook/documents/key_indicators.pdf
capacidad institucional”. Revista: Política y cultura. UNEG (2005). “Norms for Evaluation in the UN System”.
Vol. 30. Pág. 119-134. México. Disponible en: www.unevaluation.org/unegnorms
Rossi P.; Lipsey M. & Freeman H. (2004). Evaluation: A Sys- UNEG (2005). “Standards for Evaluation in the UN System”.
tematic Approach. Sage publications. Disponible en: www.unevaluation.org/unegstandards.
Salmen, Lawrence F. (1987). Listen to the People: Participant UNEG (2007). “Ethical Guidelines for Evaluation”. Dis-
Observation Evaluation of Development Projects. New ponible en: www.uneval.org/search/index.
York, Oxford University Press. jsp?q=ethical+guidelines
Scriven, Michael (1991). Evaluation Thesaurus, Fourth edition. UNEG (2007). “Role of Evaluation in RBM: Final Report”,
Sage Publications. Reunión General Anual. Disponible en: cfapp1-
Servicio de Calidad a la Atención Sanitaria-Sescam (2002). “La docs-public.undp.org/eo/evaldocs1/uneg_2006/
gestión por procesos”, disponible en: www.chospab.es/ eo_doc_722014901.pdf
calidad/archivos/Documentos/Gestiondeprocesos.pdf UNEG (2007). “The Role of Evaluation in Results-Based
Shadish, Cook & Campbell (2002). Experimental & Quasi- Management”. Disponible en: www.unevaluation.
Experimental Designs for Generalized Causal Inference. org/papersandpubs/documentdetail.jsp?doc_id=87
Boston, Houghton Mifflin. UNEG (2008). “UNEG Training—What a UN Evaluator Needs
Sigler, Stephen M. (1990). “The History of Statistics: The to Know?”, Módulo 1.
Measurement of Uncertainty before 1900”. Belknap UNEG, “Guidance on Integrating Human Rights and Gender
Press/Harvard University Press. Equality Perspectives in Evaluations in the UN System”.
151
UNFPA (2000). “Institutionalization of Results-based Ma- USAID (2010). “Performance Monitoring and evaluation TIPS,
nagement at UNFPA”. Disponible en: www.unfpa.org/ Baselines and Targets”. No. 8, second edition.
results/index.htm Valadez, J. & M. Bamberger (ed.) (1994). Monitoring and
UNFPA (2000). “RBM at UNFPA”. Oficina de Gestión Basada Evaluating Social Programs in Developing Countries.
en los Resultados. Disponible en: www.unfpa.org/ Washington, D.C.: Economic Development Institute of
results/index.htm the World Bank Series, World Bank.
UNFPA (2004, Agosto). Programme Manager’s Planning Volle, Michel (1984). “Le métier de statisticien” 2.ª ed.,
Monitoring & Evaluation Toolkit. Tool Number 6: Pro- Económica.
gramme Indicators. Part I: Identifying Output Indicators World Bank (1996). Performance Monitoring Indicators. A
- The Basic Concepts. Division for Oversight Services. Handbook for Task Managers. Washington, Operations
Disponible en: www.hfrp.org/publications-resources/ Policy Department.
browse-our-publications/indicators-definition-and- World Health Organization (2000). Outcome Evaluation.
use-in-a-results-based-accountability-system United Nations Development Programme, New York.
UNICEF (1991). “EVALUATION – A UNICEF Guide for Monito- World Health Organization (2000). Process Evaluation. United
ring and Evaluation – Making a Difference?”. Oficina Nations Development Programme, New York.
de Evaluación. Zaltsman, Ariel (2006). Desarrollo de la capacidad de eva-
UNICEF (1998). “Democratic Evaluation: A proposal for luación: Experiencias con la institucionalización en
strengthening the evaluation function in International cinco países latinoamericanos. Serie Documentos de
Development Organizations”. Documento de trabajo Trabajo, no. 16. Washington, Banco Mundial.
#3, Mayo.
Unicef (2008). “Toolkit on evaluation”. United Nations Muestreo (Sampling)
Childrens´s Fund/ Egypt Country Office.
Unicef, International Program Evaluation Network-IPEN (2006). Adèr, H. J., Mellenbergh, G. J., & Hand, D. J. (2008). Advising on
“New Trends in Development Evaluation”. Evaluation
research methods: A consultant’s companion. Huizen,
Working Papers, Issue # 5. UNICEF regional Office for
The Netherlands: Johannes van Kessel Publishing.
CEE/ CIS and IPEN.
ASTM E105 Standard Practice for Probability Sampling Of
Unión Temporal IFS – Econometría S.A. – SEI (2004). “Informe
Materials
análisis de resultados de las primeras convocatorias
ASTM E122 Standard Practice for Calculating Sample Size to
de programa Jóvenes en Acción”. Consultoría para
Estimate, With a Specified Tolerable Error, the Average
la evaluación de impacto del Subprograma Jóvenes
for Characteristic of a Lot or Process
en Acción.
ASTM E1402 Standard Terminology Relating to Sampling
Unión Temporal Universidad de los Andes – Profamilia
ASTM E141 Standard Practice for Acceptance of Evidence
(2007). “Evaluación del impacto del programa Hogares
Comunitarios de Bienestar del ICBF, Informe de Línea Based on the Results of Probability Sampling
de Base”. DEPP, DNP. ASTM E1994 Standard Practice for Use of Process Oriented
United Way of America (1996). “Measuring Program Outcomes: AOQL and LTPD Sampling Plans
A Practical Approach”. Alexandria, Virginia. ASTM E2234 Standard Practice for Sampling a Stream of
United Way of America. “Outcome measurement What and Product by Attributes Indexedby AQL
why? An overview”. Outcome measurement resource Bartlett, J. E., II, Kotrlik, J. W., & Higgins, C. (2001). Organiza-
network. Disponible en: www.liveunited.org/Outcomes/ tional research: Determining appropriate sample size
Resources/What/OM_What.cfm for survey research. Information Technology, Learning,
UNSSC, “Draft Technical Brief: Outcomes”. and Performance Journal, 19(1) 43–50.
USAID (1996). “Selecting Performance Indicators”. En: Per- Chambers, R L, and Skinner, C J (editors) (2003), Analysis of
formance Monitoring and Evaluation. TIPS, No. 6. Survey Data, Wiley, ISBN 0-471-89987-9
Disponible en: www.dec.org/pdf_docs/pnaby214.pdf. Cochran, William G. (1977). Sampling Techniques (Third ed.).
USAID (1996). Establishing Performance Targets. En: Per- Wiley. ISBN 0-471-16240-X.
formance Monitoring and Evaluation. TIPS, No. 8. Deming, W. Edwards (1966). Some Theory of Sampling. Dover
Disponible en: www.dec.org/pdf_docs/pnaby226.pdf. Publications. ISBN 0-486-64684-X. OCLC 166526.
USAID (1997). Performance Monitoring and Evaluation, Deming, W. Edwards (1975) On probability as a basis for
TIPS, No. 11. action, The American Statistician, 29(4), pp146–152.
USAID (1998). “Managing for Results at USAID”, ponencia Gy, P (1992) Sampling of Heterogeneous and Dynamic Ma-
preparada por Annette Binnendijk para el Curso práctico terial Systems: Theories of Heterogeneity, Sampling
sobre gestión y evaluación de la actuación profesional. and Homogenizing
Nueva York, 5 a 7 de Octubre. http://www.statpac.com/surveys/sampling.htm.
USAID (1998). Guidelines for Indicator and Data Quality. En: Kish, Leslie (1995) Survey Sampling, Wiley, ISBN 0-471-
Performance Monitoring and Evaluation. TIPS, No. 12. 10949-5
Disponible en: www.dec.org/pdf_docs/pnaca927.pdf. Korn, E L, and Graubard, B I (1999) Analysis of Health Surveys,
USAID (2000). “Measuring Institutional Capacity”, Recent Wiley, ISBN 0-471-13773-1
Practices in Monitoring and Evaluation. TIPS, No. 15. Lohr, Sharon L. (1999). Sampling: Design and Analysis. Dux-
Disponible en: www.dec.org/usaid_eval/#004. bury. ISBN 0-534-35361-4.
152
Pedhazur, E., & Schmelkin, L. (1991). Measurement design The Social Science Research Laboratory (SSRL) - San Diego
and analysis: An integrated approach. New York: Psy- State University.
chology Press. UK Longitudinal Studies Centre - University of Essex
Särndal, Carl-Erik, and Swensson, Bengt, and Wretman, Jan
(1992). Model Assisted Survey Sampling. Springer-
Capacidad organizacional, construcción
Verlag. ISBN 0-387-40620-4.
Smith, T. M. F. (1984). “Present Position and Potential Develo- institucional, fortalecimiento institucional,
pments: Some Personal Views: Sample surveys”. Journal desarrollo organizacional
of the Royal Statistical Society. Series A (General) 147
(The 150th Anniversary of the Royal Statistical Society): Center for Democracy and Governance (1998). Handbook
208–221. doi:10.2307/2981677. http://www.jstor. of Democracy and Governance Program Indicators.
org/stable/2981677. JSTOR 2981677 Washington, U.S. Agency for International Development.
Smith, T. M. F. (1993). “Populations and Selection: Limitations Christian Reformed World Relief Committee (1997). Part-
of Statistics (Presidential address)”. Journal of the Royal nering to Build and Measure Organizational Capacity.
Statistical Society. Series A (Statistics in Society) 156 Grand Rapids, Mich.
(2): 144–166. doi:10.2307/2982726. http://www.jstor. Cooper, S.; and R. O.Connor (1993). Standards for Organi-
org/stable/2982726. JSTOR 2982726 (Portrait of T. zational Consultation: Assessment and Evaluation
M. F. Smith on page 144) Instruments. Journal of Counseling and Development
Smith, T. M. F. (2001). “Biometrika centenary: Sample sur- 71: 651-9.
veys”. Biometrika 88, (1): 167–243. doi:10.1093/ Counterpart International (n.d). CAP Monitoring and Evalua-
biomet/88.1.167. http://biomet.oxfordjournals.org/ tion Questionnaire.
cgi/content/abstract/88/1/167. Counterpart International (n.d). Manual for the Workshop on
Smith, T. M. F. (2001). “Biometrika centenary: Sample surveys”. Development of a Training and Technical Assistance
In D. M. Titterington and D. R. Cox. Biometrika: One Plan (TTAP).
Hundred Years. Oxford University Press. pp. 165–194. Counterpart International (n.d). Institutional Assessment
ISBN 0-19-850993-6. Indicators.
Stuart, Alan (1962) Basic Ideas of Scientific Sampling, Hafner Drucker, P. & C. Roseum (1993). How to Assess Your Nonpro-
Publishing Company, New York fit Organization with Peter Drucker’s Five Important
Walonick, David S. (1997). “A Selection from Survival Statis- Questions: User Guide for Boards, Staff, Volunteers
tics”. ISBN 0-918733-11-1. Published by: StatPac, Inc., and Facilitators. Jossey Bass.
8609 Lyndale Ave. S. #209A, Bloomington, MN 55420 Eade, D (1997). Capacity-Building: An Approach to People-
Whittle, P. (May 1954). “Optimum preventative sampling”. Centred Development. Oxford, Oxfam.
Journal of the Operations Research Society of America Fowler, A.; L. Goold & R. James (1995). Participatory Self As-
2 (2): 197–203. http://www.jstor.org/stable/166605. sessment of NGO Capacity, INTRAC Occasional Papers
Series No. 10. Oxford.
Encuesta (survey) Hatry, H.; L. Blair; D. Fisk; J. Grenier; J. Hall & P. Schaenman
(1992). How Effective Are Your Community Services?
Procedures for Measuring Their Quality. Washington,
De Leeuw, E.D. (2001). I am not selling anything: Experiments
The Urban Institute.
in telephone introductions. Kwantitatieve Methoden, International Working Group on Capacity Building for NGOs
22,41-48. (1998). Southern NGO Capacity Building: Issues and
Dillman, D.A. (1978) Mail and telephone surveys: The total Priorities. New Delhi, Society for Participatory Re-
design method. New York: Wiley. search in Asia.
European Survey Research Association International Working Group on Capacity Building for NGOs
Groves, R.M. (1989) Survey Costs and Survey Errors. New (1998). Strengthening Southern NGOs: The Donor
York: Wiley. Perspective. Washington, USAID & The World Bank.
http://whatisasurvey.info/ Kelleher, D. & K. McLaren with R. Bisson (1996). Grabbing
Joint Program in Survey Methodology (JPSM) - University of the Tiger by the Tail: NGOs Learning for Organiza-
Maryland-College Park and University of Michigan- tional Change. Canadian Council for International
Ann Arbor Cooperation.
Mellenbergh, G.J. (2008). Chapter 9: Surveys. In H.J. Adèr Lent, D. October (1996). What is Institutional Capacity?. On
& G.J. Mellenbergh (Eds.) (with contributions by D.J. Track: The Reengineering Digest, 2 (7): 3. Washington,
Hand), Advising on Research Methods: A consultant’s U.S. Agency for International Development.
companion (pp. 183-209). Huizen, The Netherlands: Lusthaus, C.; G. Anderson & E. Murphy (1995). Institutional
Johannes van Kessel Publishing. Assessment: A Framework for Strengthening Organi-
Methodology and Statistics for the Social and Behavioral zational Capacity for IDRCs Research Partners. IDRC.
Sciences - Utrecht University, the Netherlands Mentz, J.C.N. (1997). Personal and Institutional Factors in
Survey Design and Measurement Initiative Capacity Building and Institutional Development.
Survey Research Methods Section of the American Statistical European Centre for Development Policy Management
Association Working Paper No. 14.
153
Morgan, P. & A. Qualman. (1996). Institutional and Capa- Organizational Capacity Indicator: Christian Reformed World
city Development, Results-Based Management and Relief Committee. Grand Rapids, Mich.
Organisational Performance. Canadian International Smith, P.; L. Kendall & C. Hulin (1969). The Measurement of
Development Agency. Satisfaction in Work and Retirement. Rand McNally.
OECD (2002). “Glosario de los principales términos sobre Hackman, J.R.; and G.R. Oldham (1975). Job Diagnostic Survey:
evaluación y gestión basada en resultados”. Development of the Job Diagnostic Survey. Journal of
Development assistance Committee - Pact (n.d). What is Applied Psychology 60: 159-70.
Prose?. Evaluation and aid effectiveness No. 6. Goodstein, L.D. & J.W. Pfeiffer, eds (1985). Alexander Team
PNUD (2009). Manual de planificación, seguimiento y eva- Effectiveness Critique. The 1995 Annual Developing
luación de los resultados de desarrollo. Programa de Human Resources. Pfeiffer & Co.
las Naciones Unidas para el Desarrollo, New York. Bourgeois, L.J.; D.W. McAllister & T.R. Mitchell (1978). Prefe-
Renzi, M. (1996). An Integrated Tool Kit for Institutional De- rred Organizational Structure: The Effects of Different
velopment. Public Administration and Development Organizational Environments Upon Decisions About
16: 469-83. Organizational Structure. Academy of Management
Renzi, M. (n.d). The Institutional Framework: Frequently Journal 21: 508-14.
Asked Questions. Unpublished paper. Management Kraut, A. (1996). Customer and Employee Surveys and Orga-
Systems International. nizational Surveys: Tools for Assessment and Change.
Sahley, C. (1995). Strengthening the Capacity of NGOs: Cases Jossey Bass Publishers.
of Small Enterprise Development Agencies in Africa. UNDP Capacity Building and CapBuild Software: magnet.
INTRAC NGO Management and Policy Series. Oxford. undp.org
Save the Children (n.d). Institutional Strengthening Indicators: Sustainable development measurement: iisd1.iisd.ca/measure
Self Assessment for NGOs. USAID’s New Partnerships Initiative Resource Guide: www.
UNDP (1997). Capacity Assessment and Development, Tech- info.usaid.gov/pubs/npi
nical Advisory Paper No. 3. Management Development World Bank: www.worldbank.org/html/oed/instdtxt.htm
and Governance Division, New York. International Union for the Conservation of Nature and
Bureau for Policy and Program Coordination (1995). USAID.U.S. Capacity building: www.iucn.org/themes/ssp/
PVO Partnership. Policy Guidance. Washington: U.S. Conservation monitoring: www.wcmc.org.uk/capacity_buil-
Agency for International Development. ding
Office of Private and Voluntary Cooperation (1998). USAID
Support for NGO Capacity-Building: Approaches, Desempeño en el gobierno
Examples, Mechanisms. Washington, U.S. Agency for
International Development.
Office of Private and Voluntary Cooperation (1998). Results Cave, M.; M. Kogan, et al., Eds. (1990). Output and Performance
Review Fiscal Year 1997. Washington, U.S. Agency for Measurement in Government—The State of the Art.
International Development. London, Jessica Kingsley Publishers.
NPI Learning Team (1997). New Partnerships Initiative: A Comptroller and Auditor General (1998). Benefits Agency:
Strategic Approach to Development Partnering. Wash- Performance Measurement. London, National Audit
ington, U.S. Agency for International Development. Office.
NPI Learning Team (1997). Institutional Capacity Needs Comptroller and Auditor General (2000). Good Practice in Per-
Assessment. formance Reporting in Executive Agencies and Non-De-
Whorton, J. & D. Morgan (1975). Measuring Community Perfor- partmental Public Bodies. London, National Audit Office.
mance: A Handbook of Indicators. University of Oklahoma. Comptroller and Auditor General (2001a). Measuring the
World Bank (1996). Partnership for Capacity Building in Performance of Government Departments. London,
Africa: Strategy and Program of Action. Washington. National Audit Office.
World Learning (1998). Institutional Analysis Instrument: An Gershon, P. (2004). Releasing Resources for the Frontline:
NGO Development Tool. Independent Review of Public Sector Efficiency (Ger-
shon Review). London, HM Treasury.
HM Treasury (2001). Choosing the Right FABRIC - A Framework
Herramientas de medición de capacidad for Performance Information. London, HM Treasury.
institucional Jowett, P. & M. Rothwell (1988). Performance Indicators in
the Public Sector. Macmillan.
Discussion-Oriented Organizational Self-Assessment: National Audit Office (2006). PSA Targets: Performance Infor-
www.edc.org/int/capdev/dosafile/dosintr.htm mation Survey Report. London, National Audit Office.
Institutional Development Framework: Management Systems Talbot, C. (1998). Output and Performance Analysis—Time
International. Washington. to Open Up the Debate. Public Money and Manage-
Pact. Organizational Capacity Assessment Tool: www.pact- ment 18(2).
world.org/ocat.html Talbot, C. (2010). Theories of Performance—Organizational
New TransCentury Foundation. Dynamic Participatory Insti- and service improvement in the public domain. Oxford,
tutional Diagnostic. Arlington, Va. Oxford University Press.
154
Aleatoriedad Hoddinott, John & Emmanuel Skoufi (as.) (2004). The Impact
of PROGRESA on Food Consumption. Economic Deve-
lopment and Cultural Change, 53 (1): 37-61.
Abadie, Alberto; Joshua D. Angrist & Guido W. Imbens (2002).
Imbens, Guido & Joshua Angrist (1994). Identification and
Instrumental Variables Estimates of the Effect of Sub-
Estimation of Local Average Treatment Effects. Eco-
sidized Training on the Quantiles of Trainee Earnings.
nometrica, 62 (2): 467-476.
Econometrica, 70 (1): 91–117.
Kish, Leslie (1987). Statistical Design for Research. New
Angrist, Joshua; Eric Bettinger; Erik Bloom; Elizabeth King &
York, Wiley.
Michael Kremer (2002). Vouchers for Private Schooling
Miguel, Edward & Michael Kremer (2004). Worms: Identifying
in Colombia: Evidence from a Randomized Natural Expe-
Impacts on Education and Health in the Presence of
riment. American Economic Review, 92 (5): 1535-1558.
Treatment Externalities. Econometrica, 72 (1): 159-217.
Banerjee, Abhijit; Shawn Cole; Esther Duflo & Leigh Linden
Moffitt, Robert (2003). The Role of Randomized Field Trials
(2007). Remedying Education: Evidence from Two
in Social Science Research: A Perspectiva from Eva-
Randomized Experiments in India. Quarterly Journal
luations of Reforms from Social Welfare Programs.
of Economics, 122 (3): 1235-1264.
NBER Technical Working Paper 295. National Bureau
Behrman, Jere & John Hoddinott (2005). Programme Eva-
of Economic Research, Cambridge, MA.
luation with Unobserved Heterogeneity and Selective
Quandt, Richard (1972). Methods for Estimating Switching
Implementation: The Mexican ‘PROGRESA’ Impact on
Regressions. Journal of the American Statistical Asso-
Child Nutrition. Oxford Bulletin of Economics and
ciation, 67 (338): 306-310.
Statistics, 67 (4): 547-569.
Ravallion, Martin (2008). Evaluating Anti-Poverty Programs.
Behrman, Jere; Susan Parker & Petra Todd (2009). Long-Term
En: Handbook of Development Economics, vol. 4, T.
Impacts of the Oportunidades Condicional Cash-
Paul Schultz and John Strauss (eds.), 3787-3846.
Transfer Program on Rural Youth in Mexico. En: Poverty,
Amsterdam, North-Holland.
Inequality, and Policy in Latin America, Stephan Klasen
Roy, Andrew D. (1951). Some Thoughts on the Distribution
& Felicitas Nowak-Lehmann (eds.), 219–70. Cambridge,
of Earnings. Oxford Economic Papers, 3 (2): 135-146.
MA: MIT Press.
Schultz, T. Paul (2004). School Subsidies for the Poor:
Björ klund, Anders & Robert Moffi tt. (1987). The Estimation
Evaluating the Mexican PROGRESA Poverty Program.
of Wage Gains and Welfare Gains in Self-Selection Mo-
Journal of Development Economics, 74 (1): 199-250.
dels. Review of Economics and Statistics, 69 (1): 42-49.
Skoufias, Emmanuel & Vincenzo di Maro (2007). Conditional
Dammert, Ana (2007). Heterogeneous Impacts of Conditional
Cash Transfers, Adult Work Incentives, and Poverty.
Cash Transfers: Evidence from Nicaragua. Working
Policy Research Working Paper 3973, World Bank,
Paper, McMaster University, Hamilton, ON, Canada.
Washington.
De Janvry, Alain; Frederico Finan; Elisabeth Sadoulet & Renos
Todd, Petra & Kenneth Wolpin (2006). Assessing the Impact
Vakis (2006). Can Conditional Cash Transfer Programs
of a School Subsidy Program in Mexico: Using a Social
Serve as Safety Nets in Keeping Children at School and
Experiment to Validate a Dynamic Behavioral Model
from Working When Exposed to Shocks? Journal of
of Child Schooling and Fertility. American Economic
Development Economics, 79 (2): 349-373.
Review, 96 (5): 1384–417.
Djebbari, Habiba & Jeffrey Smith (2008). “Heterogeneous
Impacts in PROGRESA.” IZA Discusión Paper 3362.
Institute for the Study of Labor, Bonn, Germany. Método de pareo o correspondencia
Duflo, Esther; Rachel Glennerster & Michael Kremer (2008). (propensity score matching)
“Using Randomization in Development Economics
Research: A Toolkit.” En: Handbook of Development
Bryson, Alex; Richard Dorsett & Susan Purdon (2002). The
Economics, vol. 4, T. Paul Schultz and John Strauss
Use of Propensity Score Matching in the Evaluation
(eds.), 3895–962. Amsterdam: North-Holland.
of Active Labour Market Policies. Working Paper 4.
Gertler, Paul (2004). Do Conditional Cash Transfers Improve
Department for Work and Pensions, London.
Child Health? Evidence from PROGRESA’s Control
Caliendo, Marco & Sabine Kopeinig (2008). Some Practical
Randomized Experiment. American Economic Review,
Guidance for the Implementation of Propensity Score
Papers and Proceedings, 94 (2): 336-341.
Matching. Journal of Economic Surveys, 22 (1): 31-72.
Giné, Xavier; Dean Karlan & Jonathan Zinman (2008). The
Chen, Shaohua; Ren Mu & Martin Ravallion (2008). Are There
Risk of Asking: Measurement Effects from a Baseline
Lasting Impacts of Aid to Poor Areas? Evidence for
Survey in an Insurance Takeup Experiment. Working
Rural China. Policy Research Working Paper 4084.
Paper, Yale University, New Haven, CT.
World Bank, Washington.
Heckman, James J. & Edward J. Vytlacil (2000). Local Instru-
Dehejia, Rajeev (2005). Practical Propensity Score Matching:
mental Variables. NBER Technical Working Paper 252.
A Reply to Smith and Todd. Journal of Econometrics,
National Bureau of Economic Research, Cambridge, MA.
125 (1–2): 355-364.
Heckman, James J. & Edward J. Vytlacil (2005). “Structural
Efron, Bradley & Robert J. Tibshirani (1993). An Introduction
Equations, Treatment Effects, and Econometric Policy
to the Bootstrap. Boca Raton (Florida), Chapman & Hall.
Evaluation”. Econometrica 73 (3): 669-738.
155
Fan, Jianqing (1992). Design-Adaptive Nonparametric Regres- En: Handbook of Development Economics, vol. 4, T.
sion. Journal of the American Statistical Association, Paul Schultz and John Strauss (eds.), 3847-3894.
87 (420): 998-1004. Amsterdam, North-Holland.
Fan, Jianqing (1993). Local Linear Regression Smoothers
and Their Minimax Efficiencies. Annals of Statistics,
21 (1): 196-216.
Doble diferencia
Godtland, Erin; Elisabeth Sadoulet; Alain de Janvry; Rinku
Murgai & Óscar Ortiz (2004). The Impact of Farmer- Bell, Brian; Richard Blundell & John van Reenen (1999). Ge-
Field-Schools on Knowledge and Productivity: A Study tting the Unemployed Back to Work: An Evaluation of
of Potato Farmers in the Peruvian Andes. Economic the New Deal Proposals. International Tax and Public
Development and Cultural Change, 52 (1): 129-158. Finance, 6 (3): 339-360.
Hahn, Jinyong; Keisuke Hirano & Dean Karlan (2008). Adap- Bertrand, Marianne; Esther Duflo & Sendhil Mullainathan
tive Experimental Design Using the Propensity Score. (2004). How Much Should We Trust Differences-in-Di-
Working Paper 969. Economic Growth Center, Yale fferences Estimates? Quarterly Journal of Economics,
University, New Haven, CT. 119 (1): 249-275.
Heckman, James J.; Hidehiko Ichimura & Petra Todd (1997). Chaudhury, Nazmul & Dilip Parajuli (2006). Conditional
Matching as an Econometric Evaluation Estimator: Cash Transfers and Female Schooling: The Impact of
Evidence from Evaluating a Job Training Programme. the Female School Stipend Program on Public School
Review of Economic Studies, 64 (4): 605-654. Enrollments in Punjab, Pakistan. Policy Research Wor-
Heckman, James J.; Hidehiko Ichimura & Petra Todd (1998). king Paper 4102. World Bank, Washington.
Matching as an Econometric Evaluation Estimator. Gruber, Jonathan (1994). The Incidence of Mandated Maternity
Review of Economic Studies, 65 (2): 261-294. Benefits. American Economic Review, 84 (3): 622–41.
Heckman, James J.; Robert LaLonde & Jeffrey Smith (1999). Hirano, Keisuke; Guido W. Imbens & Geert Ridder (2003).
The Economics and Econometrics of Active Labor Mar- Efficient Estimation of Average Treatment Effects
ket Programs. En: Handbook of Labor Economics, vol. Using the Estimated Propensity Score. Econometrica,
3,Orley Ashenfelter & David Card (eds.), 1865-2097. 71 (4): 1161-1189.
Amsterdam, North-Holland.
Jalan, Jyotsna & Martin Ravallion (1998). Are There Dynamic
Hirano, Keisuke; Guido W. Imbens & Geert Ridder (2003).
Gains from a Poor-Area Development Program? Journal
Efficient Estimation of Average Treatment Effects
of Public Economics, 67 (1): 65-85.
Using the Estimated Propensity Score. Econometrica,
Khandker, Shahidur R.; Zaid Bakht & Gayatri B. Koolwal
71 (4): 1161-1189.
(2009). The Poverty Impacts of Rural Roads: Evidence
Horowitz, Joel (2003). The Bootstrap in Econometrics. Sta-
tistical Science, 18 (2): 211-218. from Bangladesh. Economic Development and Cultural
Imbens, Guido (2000). The Role of the Propensity Score in Change, 57 (4): 685-722.
Estimating Dose-Response Functions. Biometrika, 87 Ravallion, Martin; Emanuela Galasso; Teodoro Lazo & Ernesto
(3): 706-710. Philipp (2005). What Can Ex-Participants Reveal about
Imbens, Guido (2004). Nonparametric Estimation of Average a Program’s Impact? Journal of Human Resources, 40
Treatment Effects under Exogeneity: A Review. Review (1): 208–30.
of Economics and Statistics, 86 (1): 4-29. Thomas, Duncan; Elizabeth Frankenberg; Jed Friedman;
Jalan, Jyotsna & Martin Ravallion (2003). Estimating the Jean-Pierre Habicht; Mohammed Hakimi Jaswadi;
Benefit Incidence of an Antipoverty Program by Pro- Nathan Jones; Christopher McKelvey; Gretel Pelto;
pensity-Score Matching. Journal of Business and Bondan Sikoki; Teresa Seeman; James P. Smith; Cecep
Economic Statistics, 21 (1): 19-30. Sumantri; Wayan Suriastini & Siswanto Wilopo (2004).
Lechner, Michael (2001). Identification and Estimation of Iron Deficiency and the Well-Being of Older Adults:
Causal Effects of Multiple Treatments Ander the Con- Preliminary Results from a Randomized Nutrition
ditional Independence Assumption. En: Econometric Intervention. Los Ángeles, University of California.
Evaluation of Labor Market Policies. Van de Walle, Dominique & Ren Mu (2008). Rural Roads and
Ravallion, Martin (2008). Evaluating Anti-Poverty Programs. Poor Area Development in Vietnam. Policy Research
En: Handbook of Development Economics, vol. 4, T. Working Paper 4340. World Bank, Washington.
Paul Schultz & John Strauss (eds.), 3787-3846. Am-
sterdam, North-Holland.
Rosenbaum, Paul R. (2002). Observational Studies. New York
Variables instrumentales
& Berlin, Springer-Verlag.
Rosenbaum, Paul R. & Donald B. Rubin (1983). The Central Andrabi, Tahir; Jishnu Das & Asim Ijaz Khwaja (2006). Students
Role of the Propensity Score in Observational Studies Today, Teachers Tomorrow? Identifying Constraints on
for Causal Effects. Biometrika, 70 (1): 41-55. the Provision of Education. Cambridge (Massachussets),
Smith, Jeffrey & Petra Todd (2005). Does Matching Overcome Harvard University.
LaLonde’s Critique of Nonexperimental Estimators? Angrist, Joshua (1990). Lifetime Earnings and the Vietnam
Journal of Econometrics, 125 (1–2): 305-353. Era Draft Lottery: Evidence from Social Security Ad-
Todd, Petra (2007). Evaluating Social Programs with Endoge- ministration Records. American Economic Review, 80
nous Program Placement and Selection of the Treated. (3): 313-335.
156
Blundell, Richard & Monica Costa Dias (2008). Alternative Wooldridge, Jeffrey (2001). Econometric Analysis of Cross
Approaches to Evaluation in Empirical Microeco- Section and Panel Data. Cambridge, MA, MIT Press.
nomics. CeMMAP Working Paper 26/08. Centre for
Microdata Methods and Practice, Institute for Fiscal
Studies, London.
Regresión discontinua
Glewwe, Paul & Hanan G. Jacoby (1995). An Economic Analysis
of Delayed Primary School Enrollment in a Low Income Buddelmeyer, Hielke & Emmanuel Skoufi (as.) (2004). An
Country: The Role of Early Childhood Nutrition. Review Evaluation of the Performance of Regresión Disconti-
of Economic Statistics, 77 (1): 156-169. nuity Design on PROGRESA. Policy Research Working
Heckman, James J. (1997). Instrumental Variables: A Study Paper 3386. World Bank, Washington.
of Implicit Behavioral Assumptions Used in Making Duflo, Esther (2003). Grandmothers and Granddaughters: Old
Program Evaluations. Journal of Human Resources, Age Pension and Intrahousehold Allocation in South
32 (3): 441-462. Africa. World Bank Economic Review, 17 (1): 1-26.
Heckman, James J. & V. Joseph Hotz (1989). Choosing among Galasso, Emanuela & Martin Ravallion (2004). Social Protec-
Alternative Nonexperimental Methods for Estimating tion in a Crisis: Argentina’s Plan Jefes y Jefas. World
the Impact of Social Programs: The Case of Manpower Bank Economic Review, 18 (3): 367-400.
Training. Journal of the American Statistical Association, Hahn, Jinyong; Petra Todd & Wilbert van der Klaauw (2001).
84 (408): 862-874. “Identification of Treatment Effects by Regression
Heckman, James J. & Richard Robb (1985). Alternative Me- Discontinuity Design.” Econometrica, 69 (1): 201-209.
thods for Estimating the Impact of Interventions. En: Ravallion, Martin (2008). Evaluating Anti-poverty Programs.
Longitudinal Analysis of Labor Market Data, James En: Handbook of Development Economics, vol. 4,T. Paul
Heckman and Burton Singer (eds.), 156-245. New Schultz & John Strauss (eds.), 3787-3846. Amsterdam,
York, Cambridge University Press. North-Holland.
Heckman, James J. & Edward J. Vytlacil (2000). Causal Para-
meters, Structural Equations, Treatment Effects, and
Randomized Evaluations of Social Programs. Chicago, Técnicas cualitativas
University of Chicago.
Heckman, James J. & Edward J. Vytlacil (2005). Structural Anfara, Vincent & Norma Mertz (2006). “Theoretical Fra-
Equations, Treatment Effects, and Econometric Policy meworks in Qualitative Research”. Thousand Oaks
Evaluation. Econometrica, 73 (3): 669-738. (California), Sage Publications.
Imbens, Guido & Joshua Angrist (1994). Identification and Barbour, Rosaline (2007). Doing Focus Groups. London, Sage.
Estimation of Local Average Treatment Effects. Eco- Chase, Susan (2005). Narrative Inquiry: Multiple Lenses,
nometrica, 62 (2): 467-476. Approaches, Voices. En: Denzin, Norman and Yvonne
Khandker, Shahidur R. (2006). Microfinance and Poverty: Lincoln (eds.), pp. 651-679. The Sage Handbook of
Evidence Using Panel Data from Bangladesh. World Qualitative Research. Thousand Oaks, London, New
Bank Economic Review, 19 (2): 263-286. Delhi: Sage.
Moffitt, Robert (2008). Estimating Marginal Treatment Effects
Creswell, John W. (2007). Qualitative Inquiry & Research
in Heterogeneous Populations. Economic Working Pa-
Design. London, Sage Publications.
per Archive 539. Johns Hopkins University, Baltimore,
Davies, R. & Dart, J. (2005, abril). Most Significant Change
MD. Disponible en: www.econ.jhu.edu/people/moffi
(MSC) Technique A Guide to Its Use. Disponible en:
tt/welfl s0_v4b.pdf.
www.mande.co.uk/docs/MSCGuide.pdf
Morduch, Jonathan (1998). Does Microfinance Really Help
the Poor? New Evidence on Flagship Programs in Ban- Denzin, Norman & Yvonne Lincoln (eds.) (2005). The Sage
gladesh. Princeton (New Jersey), Princeton University. Handbook of Qualitative Research. Thousand Oaks,
Pitt, Mark & Shahidur Khandker (1998). The Impact of London, New Delhi, Sage.
Group-Based Credit Programs on Poor Households in Denzin, Norman & Yvonne Lincoln (eds.) (2003). Strategies
Bangladesh: Does the Gender of Participants Matter? of Qualitative Inquiry. London, Sage Publications.
Journal of Political Economy, 106 (5): 958-998. Flick, Uwe (1998). An Introduction to Qualitative Research.
Ravallion, Martin & Quentin Wodon (2000). Does Child Thousand Oaks, London, New Delhi, Sage.
Labour Displace Schooling? Evidence on Behavioural Flick, Uwe (2002). Qualitative Research – State of the Art.
Responses to an Enrollment Subsidy. Economic Journal, Social Science Information, 41 (1): 5-24.
110 (462): 158-175. Flick, Uwe (2007). Designing Qualitative Research. London,
Semykina, Anastasia & Jeffrey M. Wooldridge (2005). Estima- Sage.
ting Panel Data Models in the Presence of Endogeneity Kornblit, Ana Lía (coord.) (2007). Metodologías cualitativas
and Selection: Theory and Application. Working Paper. en ciencias sociales: Modelos y procedimientos de
Michigan State University, East Lansing. análisis. Buenos Aires, Biblos.
Todd, Petra (2007). Evaluating Social Programs with En- Kvale, Steinar (2007). Doing Interviews. London, Sage.
dogenous Program Placement and Selection of the Layder, Derek (1993). New Strategies in Social Research.
Treated. En: Handbook of Development Economics, Cambridge, Polity Press.
vol. 4, T. Paul Schultz and John Strauss (eds.), 3847–94. Levin, B. (1993) Collaborative research in and with organi-
Amsterdam, North-Holland. zations. Qualitative Studies in Education, 6.
157
Lewis-Beck, Michael et al. (eds.) (2004). The SAGE Ency- Schwandt, Thomas (2007). The SAGE Dictionary of Qualitative
clopedia of Social Science Research Methods, 3 vol. Inquiry. Thousand Oaks, Sage Publications.
Thousand Oaks, Sage. Valles, Miguel (2003). Técnicas cualitativas de investigación
Marshall, Catherine & Gretchen B. Rossman (1995). Desig- social. Madrid, Síntesis.
ning Qualitative Research. Thousand Oaks, London,
New Delhi, Sage. Evaluación participativa rápida -
Miles, M. B., & A. M. Huberman (1994). Qualitative Data
Analysis: An Expanded Sourcebook. Thousand Oaks Participatory Rural Appraisal (PRA)
(California), Sage Publications.
Patton, Michael (1982). Practical Evaluation. Newbury Park Chambers, Robert (1993). Challenging the Professions:
(California), Sage Publications. Frontiers for Rural Development. London, Intermediate
Patton, Michael (1987). How to Use Qualitative Methods Technology Publications.
in Evaluation. Newbury Park (California), Sage Publi- Chambers, Robert (1983). Rural Development: Putting the
cations. Last First. Essex, Longmans.
Patton, Michael (1990). Qualitative Evaluation and Research Chambers, Robert (1997). Whose Reality Counts? Putting
Methods. Newbury Park (California), Sage Publications. the First Last. London, Intermediate Technology Pu-
Patton, Michael (2002). Qualitative Research and Evaluation blications.
Methods. Sage Publications. Thailand (1987). Proceedings of the 1985 International
Patton, Michael (2003). Qualitative Evaluation Checklist. Conference on Rapid Rural Appraisal. Khon Kaen
Michigan, Western Michigan University. (Thailand): Khon Kaen University.
Rapley, Tim (2007). Doing Conversation, Discourse and Singh, Kamal (2001). Handing over the Stick: The Global
Document Analysis. London, Sage Publications. Spread of Participatory Approaches to Development.
Ruane, Janet M. (2005). Essentials of Research Methods: A En: Edwards and Gaventa (eds.). Global Citizen Action,
Guide to Social Science Research. Malden, Blackwell. pp. 163-175. Boulder, Lynne Rienner Publishers.
158
CAPÍTULO XI
Capítulo XI
Anexos
Valentyna Chukhlyebova
11.1 Métodos más utilizados de recolección de información
Método Descripción Ventajas Retos
Depende de sistemas de
seguimiento y evaluación
que hayan establecido
Usa indicadores de desempeño para Puede ser un método indicadores y objetivos
Sistema de Segui-
medir avances, especialmente los fiable y rentable para de base y que recaben in-
miento y Evalua-
resultados reales en relación con evaluar los avances de formación fiable respecto
ción
los resultados esperados. productos y efectos. a las metas a lo largo del
tiempo, así como datos
relacionados con los in-
dicadores de efectos.
La documentación existente, in-

La evidencia documental
cluida la información cuantitativa
puede ser difícil de codi-
y descriptiva de la intervención,
Documentos ficar y de analizar como
sus productos y efectos, tales como
e informes Son rentables. respuesta a las preguntas
documentos sobre las actividades de
existentes de interés. Dificultad de
desarrollo de capacidad, los informes
verificar la fiabilidad y
de donantes y otras evidencias que
validez de los datos.
sirvan de prueba.
Proporcionan un enfoque estan-

darizado para obtener información Informar sobre uno mis-
sobre un amplio abanico de temas Son útiles para reunir mo puede llevar a sesgos.
de un número grande o diverso de datos descriptivos en Los datos pueden ofrecer
partes interesadas. Normalmente múltiples frentes de una imagen general pero
se emplean técnicas de muestreo manera rápida y con carecen de profundidad.
Cuestionarios
para obtener información sobre sus un costo relativamente Pueden no proporcionar
actitudes, creencias, opiniones, per- bajo. Fáciles de analizar. información adecuada
cepciones, nivel de satisfacción, etc. Ofrece el anonimato a los para el contexto. Están
en relación con las operaciones, encuestados. sujetos a errores de mues-
insumos, productos y factores de treo.
contexto.
Solicitar respuestas individuales a Pueden necesitar más

preguntas predeterminadas diseña- tiempo. Pueden ser difí-
das para obtener información a fondo Facilitan una cobertura, ciles de analizar. Pueden
Entrevistas sobre las impresiones o experiencias variedad y profundidad ser costosas. Potencial-
de las personas, o para saber más mayor sobre un tema. mente, el entrevistador
sobre sus respuestas a cuestionarios puede hacer que las res-
o encuestas. puestas sean sesgadas.
Conlleva el empleo de una forma de

observación detallada para obtener Permite ver las operacio-
Puede ser difícil categori-
información precisa in situ sobre nes de un programa en el
zar o interpretar los com-
cómo funciona el programa (activi- momento en que tienen
Observación portamientos observados.
dades en curso, procesos, debates, lugar. Se puede adaptar
in situ Puede resultar caro. Suje-
interacciones sociales y resultados a los acontecimientos
to a posibles sesgos en la
observables tal y como se pueden en el momento en que
selección (de los sitios).
ver directamente durante el desa- ocurren.
rrollo de una iniciativa)
161
Método Descripción Ventajas Retos
Se entrevista a un pequeño grupo

(de 6 a 8 personas) para estudiar
en profundidad las opiniones de las
Medio rápido y fiable de
partes interesadas, los puntos de
obtener las impresiones
vista similares o divergentes, o sus Puede ser difícil analizar
comunes de las diversas
consideraciones sobre una iniciativa las respuestas. Requiere
Entrevistas partes interesadas. Ma-
o política de desarrollo, así como un facilitador cualificado.
de grupo nera eficiente de obtener
para obtener información sobre sus Puede ser difícil de pro-
información variada y con
comportamientos, su comprensión gramar.
alto grado de profundi-
y percepción de una iniciativa, o
dad en un corto plazo.
para recopilar información sobre
los cambios tangibles e intangibles
resultantes de una intervención.
Entrevistas cualitativas en profun-

Puede proporcionar un
didad, a menudo individuales, con
entendimiento de los
una amplia variedad de partes inte-
problemas y ofrecer Sujeto a sesgos en la
resadas que tienen un conocimiento
recomendaciones para muestra. Requiere tener
Informadores de primera mano de las operaciones
solucionarlos. Puede alguna forma de verificar
clave y el contexto de la iniciativa. Estos
proporcionar diferentes o corroborar la informa-
expertos comunitarios pueden pro-
perspectivas sobre un ción.
porcionar un conocimiento especial
tema único o sobre varios
y una comprensión de los problemas
temas.
y las soluciones recomendadas.
Añade credibilidad. Pue-

de servir como una fuen-
Una revisión por pares o por un grupo Costo de la consultoría y
te más de información
de referencia compuesto de expertos gastos conexos. Requiere
Paneles de (experta) que ofrezca una
externos para proporcionar insumos asegurar la imparcialidad
expertos mayor profundidad. Pue-
en temas técnicos o de otro género y la ausencia de conflictos
de verificar o confirmar la
cubiertos por la evaluación. de interés.
información y los resulta-
dos en un área temática.
Implica un examen exhaustivo me-

diante la comparación cruzada de Requiere un tiempo y re-
casos, para obtener información a Útil para estudiar en ma- cursos considerables, de
Casos de fondo con el objetivo de comprender yor detalle los factores los que generalmente no
estudio la dinámica operacional, las activi- que contribuyen a los disponen las evaluacio-
dades, los productos, los efectos y productos y efectos. nes. Puede ser difícil de
las interacciones de un proyecto o analizar.
programa de desarrollo.
Fuente: PNUD (2009).
162
11.2 Perfiles para evaluaciones de procesos
Requisitos Mínimos
Personal
Experiencia profesional
Educación
especifica
Director y personal de mayor rango
Seis (6) años de experiencia es-

pecífica profesional en temas
Título profesional en economía, relacionados con la formulación
ingeniería o administración. e implementación de reformas
Director institucionales, organizacionales,
Título de postgrado en Ingeniería, estudios de eficiencia en cadenas
administración, gerencia, procesos. de implementación o procesos
de modernización en entidades
públicas o privadas.
Tres (3) años de experiencia espe-

Título profesional en administra-
cífica profesional en procesos de
ción, ingeniería, economía.
reingeniería institucional, modi-
Profesionales con las si- ficaciones a estructuras adminis-
Titulo de postgrado en temas rela-
guientes características: trativas, adecuación de plantas
cionados con gerencia, administra-
de personal ó gestión humana en
ción, procesos, ingenierías o áreas
cualquier organización pública o
administrativas.
privada.
Fuente: DSEPP, DNP.
Algunas precisiones:
• En los casos que se realice una evaluación de procesos, es necesario solicitar un experto en el tema (po-
siblemente ingeniero industrial)
• Se recomienda complementar los métodos cuantitativos con métodos cualitativos y, por lo tanto, contar
con una persona experta en el diseño y análisis de este tipo de herramientas
• No siempre es necesario tener una educación de pregrado acorde con el perfil del experto. Puede ser
suficiente con la maestría o el doctorado.
• Las ciencias sociales mencionadas incluyen ciencias relacionadas con la interacción social como lo son la
Antropología, la Historia, la Economía, la Sociología, la Demografía o las ciencias sociales aplicadas como la
Administración, el Derecho, la Pedagogía y el Urbanismo. Se puede, para mayor claridad, no poner “ciencia
social” y definirla, sino incluir las profesiones de acuerdo con las necesidades de la evaluación.
• La ingeniería incluye la ingeniería ambiental, civil, industrial y de sistemas. Se puede, para mayor claridad,
no poner “ingeniería” y definir a cuáles comprende, sino incluir las profesiones de acuerdo con las nece-
sidades de la evaluación.
163
11.3 Perfiles para evaluaciones de productos
Cargo Estudios Experiencia

Título universitario en Economía, Ad- Mínimo 6 años de experiencia en eva-
ministración de Empresas, Ingeniería, luación y gestión de programas, en el
Un (1) Director del
Ciencias Sociales y Estudios de Maes- diseño o ejecución de políticas públicas
Proyecto
tría culminados en áreas relacionadas en áreas relacionadas con el tema de
con el objeto del contrato. la evaluación.
Un profesional espe-
Título universitario en Economía, Mínimo 3 años de experiencia en des-
cializado en temas de
Administración de Empresas, Inge- empeño, gestión e indicadores y/o
Planificación, desem-
niería, área de las ciencias sociales herramientas de diseño o planificación
peño, gestión, análisis
con postgrado en áreas afines de programas, análisis costo-eficiencia.
costo-eficiencia
Título Universitario en Economía, Ad-
1 o 2 profesionales es- Mínimo 5 años de experiencia en traba-
ministración de Empresas, Ingeniería,
pecializados en cada jos de economía en el área de política
y estudios de postgrado en economía,
uno de los temas clave pública sobre cada uno de los temas
administración pública, y/o otras áreas
de la evaluación clave.
afines al presente proyecto
Personal de apoyo
Nivel profesional, 2 años de experiencia
en trabajo de campo y/o conocimiento
en los sectores del programa a evaluar
Profesionales Título universitario
y/o en evaluación de programas (siste-
mas – manejo de software aplicables a
evaluación social y económica).
Fuente: DSEPP, DNP
• En los casos que se realice una evaluación de procesos, es necesario solicitar un experto en el tema (po-
siblemente ingeniero industrial)
Antropología, la Historia, la Economía, la Sociología, la Demografía o las ciencias sociales aplicadas como la
sidades de la evaluación
164
11.4 Perfiles para la E2+

En general, las E2+ por ser evaluaciones de corto plazo requieren de un proceso rápido de contratación por lo
que están dirigidas a consultores individuales con estudios y experiencia relevante en la gestión y evaluación
de programas y políticas que cumplan con los requisitos enumerados a continuación:
• Perfil con postgrado en administración pública, economía, ciencias sociales o políticas, derecho o áreas
afines, y que acredite experiencia en las siguientes áreas:
– Área 1: Experiencia mínima de tres (3) años en Evaluación y Seguimiento de programas o políticas,
métodos cuantitativos y/o cualitativos, planeación estratégica
– Área 2: Experiencia mínima de cuatro (4) años en diseño, gestión, planeación y/o evaluación de polí-
ticas en el área de la evaluación
Antropología, la Historia, la Economía, la Sociología, la Demografía, o las ciencias sociales aplicadas como la
165
11.5 Perfiles para evaluaciones de resultados

Titulo universitario en Economía,
Mínimo 6 años de experiencia en evalua-
Administración de Empresas, Inge-
ción y gestión de programas, en el diseño
Un Director del Proyecto niería, Ciencias Sociales y Estudios
o ejecución de políticas públicas en áreas
de Maestría culminados en áreas re-
relacionadas con el tema de la evaluación.
lacionadas con el objeto del contrato.
Un profesional especia- Título universitario en Economía,
Mínimo 3 años de experiencia en desempe-
lizado en temas de Pla- Administración de Empresas, Inge-
ño, gestión e indicadores y/o herramientas
nificación, desempeño, niería, área de las ciencias sociales
de diseño o planificación de programas.
gestión con postgrado en áreas afines
Mínimo 3 años de experiencia en uso de
Título universitario en antropología, técnicas cualitativas para el análisis de
Un profesional especia-
sociología, ciencia política, psicología información en el área de evaluación y/o
lizado en métodos cua-
o ciencias sociales y postgrado en coordinación o ejecución de diseño o aná-
litativos40
áreas afines lisis cualitativo en grupos de poblaciones
con características diferentes
Personal de apoyo
Nivel profesional, 2 años de experiencia y
conocimiento en los sectores del programa
Profesionales Título universitario o política a evaluar y/o en evaluación de
programas (sistemas – manejo de software
aplicables a evaluación social y económica).
Fuente: DSEPP, DNP.
• Se recomienda complementar los métodos cuantitativos con cualitativos y, por lo tanto, contar con una
persona experta en el diseño y análisis de este tipo de herramientas
• El perfil del muestrista debe ser en muestreo y no en recolección de información.
• El perfil del coordinador de trabajo de campo en sentido contrario al anterior.
166
11.6 Perfiles para evaluaciones de impacto

Mínimo 10 años de experiencia en eva-
Titulo universitario Ingeniería y Cien- luación y gestión de programas, en el
cias Sociales, y Estudios de Maestría diseño o ejecución de políticas públicas
Un (1) Director del Proyecto
culminados en áreas relacionadas con en áreas relacionadas con el tema de
el objeto del contrato. la evaluación y/o trabajos en métodos
estadísticos y econométricos.
Uno (1) o dos (2) profesio-
Título universitario en Economía, Ma- Mínimo 3 años de experiencia en trabajos
nales especializados en el
temáticas o estadística y estudios de econométricos o estadísticos en el área
área de estadística y eco-
postgrado en estadística o econometría de la evaluación.
nometría
Mínimo 3 años de experiencia en uso
Título universitario en antropología, de técnicas cualitativas para el análisis
1 profesional especializado sociología, ciencia política, psicología de información en el área de evaluación
en métodos cualitativos41 o ciencias sociales y postgrado en y/o coordinación o ejecución de diseño
áreas afines o análisis cualitativo en grupos de po-
blaciones con características diferentes
1 o 2 profesionales espe-
ministración de Empresas, Ingeniería, Mínimo 5 años de experiencia en trabajos
cializados en cada uno de
y estudios de postgrado en economía, de economía en el área de política pública
los temas clave de la eva-
administración pública, y/o otras áreas sobre cada uno de los temas clave.
luación
afines al presente proyecto
Personal de apoyo
en los sectores del programa o política a
evaluar y/o en evaluación de programas
(sistemas – manejo de software aplicables
a evaluación social y económica).
Digitadores, encuestado-
Educación secundaria
res, personal de campo
Fuente: DSEPP, DNP.
• En caso de que la metodología de evaluación sea compleja es bueno requerir un Doctorado, lo cual, bajo
criterio del interventor se puede suplir con años de experiencia.
• En los casos que se realice una evaluación de impacto, es esencial la participación de una persona experta
en la utilización de métodos cuantitativos, y/o econometrista, y/o estadístico
• Para las evaluaciones de impacto se recomienda complementar los métodos cuantitativos con métodos
cualitativos y, por lo tanto, contar con una persona experta en el diseño y análisis de este tipo de herra-
mientas
Antropología, la Historia, la Economía, la Sociología, la Demografía, o las ciencias sociales aplicadas como
la Administración, el Derecho, la Pedagogía y el Urbanismo.
• La ingeniería incluye la ingeniería ambiental, civil, industrial y de sistemas.
167
11.7 Perfiles para Líneas de Base

Personal Directivo
8 años de experiencia en evaluación y
gestión de programas, en el diseño o
Un (1) Director del Proyecto Ciencias Sociales y Estudios de post-
ejecución de políticas públicas en áreas
grado culminados en áreas relaciona-
sociales.
das con el objeto del contrato.
Título Universitario en Economía, Ma-
Un (1) profesional especiali- 3 años de experiencia en trabajos econo-
temáticas o estadística y estudios de
zado en el área de estadística métricos o estadísticos en el área social,
postgrado en estadística o econo-
y econometría financiera, microeconómica o laboral.
metría
Un (1) profesional especiali- 5 años de experiencia en trabajos de
Matemáticas o estadística y estudios
zado en el diseño de política economía en el área de política pública
de postgrado en economía, adminis-
pública social social.
tración pública, y/o otras áreas afines
al presente proyecto
3 años de experiencia en el desarrollo
Un profesional especialista
de evaluaciones cualitativas, manejo
en trabajo social o comu- Título Universitario en ciencias sociales
de trabajos comunitarios, dirección de
nitario
grupos focales
Personal de apoyo
Profesionales Título Universitario
en los sectores de gestión y/o evaluación
de programas sociales
Fuente: DSEPP, DNP.
• En caso de que la metodología de evaluación sea compleja es bueno requerir un Doctorado, lo cual, bajo
criterio del interventor se puede suplir con años de experiencia.
• En los casos que se realice una evaluación de impacto, es esencial la participación de una persona experta
en la utilización de métodos cuantitativos, y/o econometrista, y/o estadístico.
• Para las evaluaciones de impacto se recomienda complementar los métodos cuantitativos con métodos
cualitativos y, por lo tanto, contar con una persona experta en el diseño y análisis de este tipo de herra-
mientas.
• Las ciencias sociales mencionadas incluyen ciencias relacionadas con la interacción social como lo son
la Antropología, la Historia, la Economía, la Sociología, la Demografía, la Ciencia Política o las ciencias so-
ciales aplicadas como la Administración, el Derecho, la Pedagogía y el Urbanismo. Se puede, para mayor
claridad, no poner “ciencia social” y definirla, sino incluir las profesiones de acuerdo con las necesidades
de la evaluación.
168
11.8 Perfiles para evaluación institucional

Título universitario en Eco-
nomía, Administración de
Empresas, Ingeniería, Cien- Mínimo 6 años de experiencia en evalua-
cias Sociales y con nivel mí- ción y gestión de programas, en el diseño
Un Director del Proyecto
nimo de Estudios de Maes- o ejecución de políticas públicas en áreas
tría culminados en áreas relacionadas con el tema de la evaluación.
relacionadas con el objeto
del contrato.
Título universitario en eco-
Mínimo cinco (5) años de experiencia en
nomía, ciencia política, de-
temas relacionados con la estructura y fun-
recho, y postgrado con nivel
Experto en instituciones cionamiento, manejo de procesos, tiempos
mínimo de especialización
y movimientos del Estado colombiano, y/o
en áreas afines con el pro-
derecho administrativo.
yecto.
Título universitario en Eco-
Un profesional especializado nomía, Administración de
Mínimo 3 años de experiencia en temas
en temas relacionados con la Empresas, Ingeniería, áreas
relacionados con la evaluación.
evaluación de las ciencias sociales y con
postgrado en áreas afines
Personal de apoyo
2 años de experiencia y conocimiento en los
sectores del programa o política a evaluar y/o
en evaluación de programas, levantamiento
de información cuantitativa o cualitativa
(sistemas – manejo de software aplicable a
evaluación social y económica).
Fuente: DSEPP, DNP.
con una persona experta en el diseño y análisis de este tipo de herramientas.
169
Agradecemos a todos aquellos que
colaboraron en la realización de esta
cartilla y que por uno u otro motivo
hoy no hacen parte de la Dirección.

Tipos de Evaluación - DNP PDF

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Tipos de Evaluación - DNP PDF

Cargado por

Copyright:

Formatos disponibles

Guía para la Evaluación de Políticas Públicas

Serie de Guías Metodológicas Sinergia

Dirección General Dirección de Seguimiento

Diseño, Diagramación e Impresión

©Departamento Nacional de Planeación, 2012

Impreso y hecho en Colombia

6.4 Construcción de Líneas de Base................................................................................................ 91

8.4.2 La evaluación .................................................................................................................................. 137

Muestreo (Sampling).............................................................................................................................. 152

El seguimiento al Plan Nacional de Desarrollo y la evaluación de Políticas Estratégicas

El componente de evaluaciones de Sinergia tiene como propósitos la consolidación y

ORLANDO GRACIA FAJARDO

La Dirección de Seguimiento y Evaluación de Polí- interior del gobierno. La estrategia se desarrolla

de los tipos de evaluaciones más utilizados en en práctica, efectos, resultados e impactos.

• “… el proceso sistémico de observación, me- • ¿El programa logra su objetivo?

1 Ver mapas de procesos Evaluación de Políticas Estratégicas, DEPP, DNP (2010).

Tipos de evaluación y sus características

Perspectiva Tipo Características

Análisis antes de implementación de programa para determinar efectos que

Alcance Hace un análisis rápido de la articulación y consistencia entre insumos, procesos,

Impacto Determinar el impacto asociado exclusivamente a la intervención de un programa

Compara todos los costos y beneficios de un programa asignado un valor mo-

Participativa Valora la percepción como insumo para identificar el resultado

Fuente: BOT (2004), análisis del autor.

1.3 Definición del alcance de la Análisis de actores

En el proceso de identificar los objetivos, metas

4 Morra y Rist (2009).

ejecutar en el año en curso. Una vez ratificada se

• Justificación de los gastos Para mayor nivel de detalle acerca de la teoría de

5 Kellogg Foundation (2004).

¿Qué preguntas pueden contribuir a diferenciar

• Insumos: ¿Cuántos recursos humanos, finan-

Insumos Procesos Productos Resultados Impactos

Los efectos del programa pueden concebirse como las trans-

Fuente: Menon, S. Karl, J. & Wignaraja, K. (2009). Adaptación del Autor.

Fuente: Grupo de evaluación DSEPP, DNP.

1.3.4 Paso 4: El mapeo de información Ejemplo: Programa Familias en Acción (2004)

El mapeo de información10 de la evaluación en

10 Levantamiento de información secundaria del programa.

1.4.1 ¿Cómo seleccionar el tipo a las que debería responder y la información

Tiempo de implementación vs. Tipo de evaluación

¿Como es la ¿Cuales son los

Evaluar necesidad Monitoreo Institucional Evaluación Resultados

Marco Lógico Procesos Medio Térmico Productos Impactos

¿Son eficientes ¿Cuales fueron

Fuente: Análisis del autor.

1.4.1.2 Etapa de implementación cumpliendo. Teniendo en cuenta lo anterior, se

11 Grupo de evaluación, DEPP.

Actores Información Recursos

Conocer experiencias Cuáles son las prioridades de los

Cuáles serian los impactos poten- Orientar recursos,

Etapa de planeación y diseño del programa

Comparar todos los cos- ¿Son los beneficiarios económicos

Actores que Información Recursos

Antes o durante implemen-

Hacer un análisis de las ¿El programa es capaz de producir lo

Etapa de implementación del programa

Qué capacidad institucional tiene el pro-

Actores que Recursos Interés

Cuáles fueron los produc-

Corto y mediano plazo: se Cuáles son los resultados

Mediano y largo plazo:

Etapa de entrega de Productos y Servicios

s imultánea. Lo importante es saber cuáles Los diagramas de GANTT, diagramas de PERT y