EL MONITOREO Y LA

EVALUACIÓN DE Serie
Planificación y
RESULTADOS Gobierno

GLORIA PATRICIA RAMÍREZ GÁLVIS

0
 EL MONITOREO Y LA
EVALUACIÓN DE RESULTADOS®

Gloria Patricia Ramírez Gálvis

Ciencias y Técnicas de Gobierno

http://planificacionpublicaygobierno.blogspot.com.co/

Versión Septiembre de 2016

Santiago de Cali, Colombia

1

® Todos los derechos reservados. Queda prohibida la reproducción, total o

parcial de este documento, por cualquier medio, sin el previo y expreso
consentimiento de la autora. Se puede citar.
La Autora

Gloria Patricia Ramírez Gálvis.

Economista, Magister en Administración y Especializada en ciencias y técnicas de

gobierno. Docente de los programas de posgrado de Políticas públicas de la
Universidad del Valle. Consultora e investigadora en el área de ciencias y técnicas
de dirección y planificación estratégica pública, específicamente en reforma y
modernización del aparato público, planificación prospectiva, planificación
estratégica para el diseño de políticas públicas y planes estratégicos, monitoreo y
evaluación de la gestión orientada a resultados, balance global de gestión,
participación comunitaria, oficina del dirigente, sistemas de crisis y formulación
de programas de gobierno en campañas electorales. Estas experiencias han sido
realizadas tanto en organizaciones públicas como privadas de Colombia, Brasil,
Panamá y Perú.

2
 CONTENIDO

INTRODUCCIÓN………………………………………………………………………………………………………………………….4

1. LA EVALUACIÓN DE LA ACCIÓN PÚBLICA COMO UN INSTRUMENTO DE

RESPONSABILIDAD DEMOCRÁTICA………………………………………………………………………......6

2. EL SISTEMA DE MONITOREO…………………………………………………………………………………...10

3. LOS SISTEMAS DE DIRECCIÓN ESTRATÉGICA PARA LA MARCHA GLOBAL DE

GEST)ÓN……………………………………………………………………..............................................................42

4. LA EVALUACIÓN DE RESULTADOS: CONCEPTOS FUNDAMENTALES…………………………

5. TIPOS DE EVALUAC)ÓN…………………………………………………….……………………………………..53

6. LA CADENA DE RESULTADOS (O MODELOS LÓGICOS)………………………………………………62

7. MÉTODOS DE EVALUACIÓN: CUANTITATIVOS Y CUALITATIVOS………………………………. 9

8. RED DE PRODUCCIÓN DE UNA UNIDAD ORGANIZATIVA PÚBLICA RESPONSABLE POR

LOS SISTEMAS DE MONITOREO Y EVALUACIÓN DE RESULTADOS…………………………

GLOSARIO…………………………………………………………………………………………………………………...116

BIBLIOGRAFÍA…………………………………………………………………………………………………………….118
3
 INTRODUCCIÓN

El monitoreo y la evaluación, hoy por hoy, han ido adquiriendo gran importancia en las
administraciones públicas. De un lado, como consecuencia de los distintos movimientos de
modernización y reforma del aparato público y, de otro, a raíz de la filosofía y práctica de la
Nueva Gerencia Pública que se ha venido implantando en los últimos años en los gobiernos
Latinoamericanos. Evidencia de esto ha sido la creciente ola de rendiciones públicas de
cuentas como resultado de la exigencia para que los dirigentes y gerentes públicos muestren
una mayor transparencia de su gestión; el aumento de la formalización en la fiscalización de
los recursos utilizados y la cobranza de una sociedad cada vez más consciente del alto
compromiso que el Estado ha asumido con ella para que sus dirigentes cumplan las promesas
de gobierno y muestren resultados efectivos en la solución de los problemas públicos y que
impactan sobre la calidad de vida de la población.

Siguiendo a Rafael Bañón (2003) en su libro La Evaluación de la Acción y de las Políticas

Públicas: El mantenimiento de la legitimidad del sistema político, objetivo de todo gobierno
democrático, requiere de la eficacia de la acción pública, aunque la eficacia por sí misma no
es suficiente para mantener la legitimidad de un sistema y mucho menos para crear
legitimidad a un sistema ilegitimo. La continua búsqueda de esa aceptación social de la acción
y de las políticas públicas se refiere tanto a los rendimientos de las organizaciones y acciones
públicas como a su papel social de proveedor de valores y referentes simbólicos de equidad.
(p. xv). Es así que, buscando la mayor legitimación social de las intervenciones públicas, las
preguntas centrales que giran en torno de la evaluación son: ¿Se lograron los resultados
propuestos? ¿En qué medida se han conseguido los objetivos perseguidos? ¿Cómo se llegó a
esos resultados? ¿A través de qué medios? ¿Qué decisiones deberán o debieron ser tomadas?

El monitoreo y la evaluación se han convertido en potentes herramientas de gestión en tres

vías: (a) posibilitan medir y analizar el desempeño, progreso e impacto de la gestión hacia el
logro de resultados esperados, mejorando así la toma de decisiones en el camino del
mejoramiento del desarrollo humano; (b) como forma sistemática y organizada de rendir
cuentas de la actuación gubernamental y, (c) contar con argumentos fundamentados para
monitorear y evaluar la calidad y el efecto de las intervenciones (Grupo de Evaluación de las
Naciones Unidas - UNEG, 2011).

Fruto de más de veinte años de experiencia como consultora en planificación y gobierno en

instituciones públicas de algunos países de América Latina y de una ardua tarea de
investigación académica, la autora elaboró este documento con el propósito principal de
presentar la naturaleza y carácter de las teorías y enfoques más relevantes, al igual que las
principales técnicas que guían en la actualidad el monitoreo y la evaluación de resultados en
el sector público, desde el proceso de seguimiento hasta pasar por las fases que componen el
sistema de evaluación: la calidad del diseño de una intervención (política pública, plan o
4

programa), su implementación y el impacto final generado.

Es por esta razón que este documento está dirigido a quienes deseen profundizar en el
conocimiento de los modernos conceptos y metodologías del monitoreo y la evaluación de
políticas y programas públicos, partiendo de los enfoques que están siendo utilizados en la
gestión pública de América Latina, y su importancia en la valoración de la eficiencia, eficacia
e impacto para mantener la legitimidad de las instituciones públicas dentro de un sistema de
gobierno democrático.

El presente documento se encuentra estructurado en ocho (8) sesiones:

Sesión 1 – La evaluación de la acción pública como un instrumento de responsabilidad

democrática.

Sesión 2 – El sistema de monitoreo.

Sesión 3 – Los sistemas básicos de dirección estratégica para la marcha global de gestión

Sesión 4 – La evaluación de resultados: Conceptos fundamentales.

Sesión 5 – Tipos de evaluación.

Sesión 6 – La cadena de resultados (o modelos lógicos).

Sesión 7 – Métodos de evaluación: cuantitativos y cualitativos

Sesión 8 – Red de producción de la unidad organizativa pública responsable por los

sistemas de monitoreo y evaluación de resultados.

Al final, se presenta el glosario con los conceptos más significativos del monitoreo y la
evaluación de resultados y, por último, la bibliografía de referencia en el texto.

5
 1. LA EVALUACIÓN DE LA ACCIÓN PÚBLICA COMO UN INSTRUMENTO
DE RESPONSABILIDAD DEMOCRÁTICA

LOS CICLOS DE LA PLANIFICACIÓN ESTRATÉGICA

Ciclo del Conocimiento Ciclo de la Acción

CC1
Diseño CA1
Explicativo Gestión
Gerencial y
Operacional

CC2
Diseño del LA AGENDA
Plan ESTRATÉGICA

CA2
Monitoreo y
CC3 Evaluación
Diseño de la por
Viabilidad Resultados
Estratégica

Fuente: Ramírez & Burbano (2016)

La Agenda Estratégica

Para Kraft & Furlong (2007) la agenda está constituida por aquellos asuntos/problemas que
ganan la atención del dirigente público y se convierten en objetos posibles de acción política.
Ya para Meny & Thoenig (1992), la agenda define el conjunto de problemas que exigen de la
intervención del Estado. Pero para ello, afirman estos autores, debe existir un proceso
selectivo que instituya qué asuntos y/o problemas deben hacer parte de la agenda y cuáles
no. No todos los asuntos y/o problemas identificados pueden estar contenidos en la agenda
porque el dirigente tiene limitación de recursos, incluido el periodo de tiempo de su
administración que le imposibilita enfocar su gestión en todos. Por consiguiente, variables
relacionadas con el tiempo, el presupuesto, la disponibilidad de recursos humanos y el
conocimiento y nivel de experiencia de las personas influencian fuertemente en la definición
de la agenda, tornando imposible concentrar su gestión en todos los problemas.

De acuerdo con las anteriores definiciones, la Planificación Estratégica Pública (PEP)

6

propone que en la conformación de la agenda estratégica se trabaje por problemas como

módulos prácticos de gestión y resultados. Para Roth (2007) un problema es privado o
individual hasta cuando alguien con capacidad e interés tome la vocería y lo declare como
problema público (p. 59). En contraste, si los problemas no son declarados por un actor que
los hace parte de su proyecto de gobierno, serán únicamente una simple necesidad sin
demanda política (Matus, 1993). Los problemas representan la interacción directa del
dirigente con la sociedad, puesto que ésta última reclama del gobierno es precisamente su
enfrentamiento oportuno y efectivo; son necesidades que hicieron parte del debate electoral
y conformaron las promesas de campaña del candidato ganador posicionado ahora en el
gobierno. El dirigente público no debe olvidarse de estos compromisos concretos asumidos
con la población y que ahora deben constituirse en el centro de su gestión.

La Agenda Estratégica se encuentra estructurada por aquellos problemas/asuntos que

fueron definidos como prioritarios en el foco de atención de la gestión de gobierno. La
dificultad se encuentra en identificar cuáles son esos problemas. Sabemos que cada actor en
el juego social identifica problemas y realiza una explicación situacional distinta de cada uno
de ellos, lo que significa que la situación problemática siempre será relativa al actor que la
interprete. Lo que para el dirigente público puede ser un problema que perjudica a la
sociedad, para otros actores sociales puede representar una oportunidad que les beneficia, o
constituirse en amenazas, es decir, en el peligro de perder ventajas o conquistas ya
acumuladas Matus, 99 , p. . Esto sucede porque el tipo de problemas que debe
enfrentar el dirigente público son, en gran parte, problemas cuasiestructurados altamente
complejos, cargados de gran incertidumbre y circundados por fuertes intereses de múltiples
actores con propósitos distintos.

Los problemas establecidos en la agenda estratégica deberán ser sometidos al ciclo del
conocimiento antes de que regresen nuevamente a la agenda en forma de decisiones
estratégicas en el ciclo de la acción de tal modo que oriente la gestión gerencial y operacional.
Sin embargo, esto no descarta la posibilidad de que durante su gobierno el gobernante deba
incluir otros problemas o asuntos en la agenda estratégica, como por ejemplo los casos de
crisis que no dan espera y que deben ser tratados urgentemente. Además, se deberá
establecer el orden de prioridad para el enfrentamiento de los problemas, lo que exige
construir una trayectoria estratégica durante el periodo de gobierno.

Por esta razón, hay que tener el máximo cuidado en la construcción de la agenda estratégica
puesto que ella determina en buena parte la calidad de los resultados y la legitimidad del
gobierno. De acuerdo con Aguilar 99 , la agenda de gobierno es el conjunto de problemas,
demandas, cuestiones y asuntos que fueron seleccionados y ordenados por los gobernantes
como objetos de su acción y, más propiamente, como objetos sobre los cuales decidieron que
ellos debían actuar p. 9 . Una deficiente selección de asuntos y problemas en la agenda
dispersará su de foco de atención de las decisiones y la gestión estratégica del dirigente y de
su equipo de gobierno.
7
Ciclo del Conocimiento

 Diseño Explicativo – CC1:

Se analizan los problemas que han sido identificados y seleccionados en la agenda estratégica
de gobierno desde la perspectiva situacional de un actor concreto que está dispuesto a
enfrentarlos.

 Diseño del Plan – CC2:

Se formula el contenido propositivo del plan de acción o de la pública.

 Diseño de la Viabilidad Estratégica – CC3:

Se centra en la relación entre el DEBE SER y el PUEDE SER (Matus, 1997). Es decir, en la
construcción de la viabilidad del plan o de la política pública en relación a cuestiones que
pueden generar situaciones de conflicto político, técnico, organizativo, etc.

Ciclo de la Acción

 Gestión Gerencial y Operacional – CA1:

Las decisiones estratégicas son traducidas en acciones más específicas y operacionales que
permitan el gerenciamiento del plan o de la política pública.

 Monitoreo y Evaluación por Resultados – CA2

Opera como un sistema sensor que proporciona informaciones relevantes que serán
utilizadas como insumo esencial de la alta dirección y del nivel gerencial en la agenda
estratégica para la evaluación y las subsecuentes correcciones y ajustes que llevarán a los
resultados efectivos de la intervención.

LA EVALUACIÓN EN LA NUEVA GERENCIA PÚBLICA (NGP)

 La evaluación es un campo que hace parte de las nuevas herramientas de gestión

pública.

 El Paradigma Pos burocrático:

- Principios de Eficiencia y Eficacia en la NGP.
- La Alta Responsabilidad como una Cultura: rendir cuentas
- Evaluar y analizar Resultados
- Transparencia en las acciones de gobierno: un gobierno abierto y accesible a los
ciudadanos.

 Proporciona instrumentos para medir y evaluar, en términos generales, la efectividad

y el valor de los programas y políticas públicas y la eficiencia y responsabilidad del
gobierno y sus dirigentes públicos
8
LA EVALUACIÓN EN EL CONTEXTO POLÍTICO DEMOCRÁTICO

 La Responsabilidad.

 La Capacidad de Respuesta.

 Por tanto, EVALUAR ES:

a) HACER DEMOCRACIA

b) RENDICIÓN DE CUENTAS

c) PROFUNDIZAR EN LOS VALORES DEMOCRÁTICOS:

- Transparencia en la actuación
- Participación amplia de la sociedad

(Tomado de Bañón, 2003, p. xxi).

9
 2. EL SISTEMA DE MONITOREO

La formulación de intervenciones públicas como planes, programas o políticas públicas es

una tarea compleja y requiere de tiempo y dedicación considerable tanto de los dirigentes y
funcionarios públicos como de la población que participa en dichos procesos. La formulación
de estas intervenciones debe basarse, en primer lugar, en un análisis de problemas crítico y
riguroso que posibilite conocer las causas a fin de proponer las alternativas estratégicas para
su enfrentamiento y, en segundo lugar, orientar sobre la información que se requiere para
hacer una evaluación permanente sobre el estado y evolución del problema, en relación a los
objetivos y metas que se quieren alcanzar.

Frente a esto último, es necesario recolectar y disponer de datos de alta calidad y

confiabilidad, pero que sean soportados y guiados por un sistema de información sólido que
los integre. Sin embargo, es muy común que los datos estadísticos disponibles en esos
sistemas de información sean difícilmente usados de forma eficiente por los decisores o
gestores públicos. Esta situación se da principalmente por dos motivos. Primero, porque
pueden no comprender su valor para la evaluación, corrección y ajuste de las intervenciones
y, segundo, porque la misma presentación y divulgación de la información dificulta su
utilidad. Frente a esto, puede suceder que los datos sean publicados en la forma de anuarios
estadísticos pesados o, en su forma bruta y sin el acompañamiento de algún análisis valioso
para los decisores. En realidad, los decisores requieren de informaciones claras,
comprensibles y relevantes acompañadas de análisis rigorosos sobre las cuales sustentar sus
decisiones.

La organización debe concebir un sistema de recolección, manejo y análisis de las

informaciones que cumpla el propósito de servir como una herramienta gerencial
indispensable de soporte a la Alta Dirección respecto a la evaluación de las intervenciones y
a la toma oportuna de decisiones. Por este motivo, es esencial contar con un sistema de
monitoreo que facilite el acompañamiento de la gestión con indicadores e informaciones
selectivas.

DEFINICIÓN

El monitoreo, o también llamado como seguimiento, es un instrumento de gestión gerencial

que da soporte al sistema de evaluación de la organización mediante la recopilación y
procesamiento sistemático de datos sobre indicadores determinados que proporcionan
información periódica precisa, confiable y relevante respecto al avance y logro de los
resultados de una intervención (política pública, plan, programa o proyecto). De acuerdo con
el Programa de las Naciones Unidas para el Desarrollo (PNUD), el seguimiento tiene como
principal propósito proporcionar a los gerentes y a los principales interesados, en el
10

contexto de una intervención en curso, indicaciones tempranas de progreso, o de la falta de

progreso, en el logro de resultados
(Oficina de evaluación del PNUD, 2002,
p. 6). Por su parte, el Banco Mundial y la
UNESCO sostienen que el objetivo de
este instrumento de gestión es indagar
y analizar permanentemente el grado
en que las actividades realizadas y los
resultados obtenidos cumplen con lo
planificado, con el fin de detectar a
tiempo eventuales diferencias,
obstáculos o necesidades de ajuste en la
planificación y ejecución S)EMPRO y
UNESCO, 1999).
En este sentido, la implantación de un
sistema de seguimiento o monitoreo en
las organizaciones les permite hacer
acompañamiento a la gestión y a los
resultados de las intervenciones como
parte de un proceso de planificación y
así, destacar las realizaciones o fracasos proyecto esté encaminado hacia el objetivo
de los objetivos y metas alcanzadas a
partir de la recolección, procesamiento
y análisis de informaciones a lo largo de
un tiempo determinado (UN WOMEN, 2015).
Algunas definiciones de monitoreo:
Función continua que utiliza una recopilación
sistemática de datos sobre indicadores
especificados para proporcionar a los
administradores y a las partes interesadas
principales de una intervención para el
desarrollo, indicaciones sobre el avance y el logro
de los objetivos, así como de la utilización de los
fondos asignados.
(Glosario del Comité de Asistencia para el
Desarrollo [DAC] de la OECD)
El seguimiento de productos y resultados del
proyecto como indicadores de efectividad del
proyecto o el alcance que tuvo el proyecto en
cuanto al logro de sus objetivos. (USAID).
El monitoreo constituye un proceso continuo de
análisis, observación y elaboración de
sugerencias de ajustes que aseguren que el
propuesto. (Cerezo y Fernández Prieto, 2011).

El monitoreo actúa, por tanto, como un

PREMISA DEL SISTEMA DE MONITOREO
La información que contiene el sistema de sistema sensor que detecta amenazas y
monitoreo es lo que se requiere para medir la oportunidades e identifica problemas
relacionados con los planes y decisiones
economía, eficiencia, eficacia, efectividad y calidad
de la gestión, permitiendo obtener el de la organización, alimentando y
conocimiento esencial sobre la evolución en los sirviendo de soporte a la evaluación. Por
resultados e impacto de una intervención. tanto, el seguimiento es esencial para que
las organizaciones conozcan la evolución
de la situación que enfrentan, en términos de los progresos, deficiencias y atrasos en la
gestión y en los resultados de sus acciones. Sin embargo, esta tarea requiere de la
construcción de indicadores significativos alimentados y actualizados con informaciones
objetivas y confiables de los diversos aspectos de la realidad en los contextos sociales y
políticos, permitiéndoles así detectar las señales que alimentan la evaluación para la
consecuente corrección y ajuste de las intervenciones. Por esta razón, la premisa de éxito de
un sistema de monitoreo es que las informaciones estén disponibles de forma oportuna para
ayudar en las deliberaciones y toma de decisiones.
11
Información con la evaluación adecuada es una contribución primordial para la toma de
decisiones tanto del dirigente o gerente público como de los distintos responsables por la
intervención pública en la organización Por ese motivo, en el ciclo del diseño del plan deben
ser establecidos los objetivos y metas de manera explícita y concreta con períodos de tiempo
precisos. No obstante, en la determinación de la relevancia y del cumplimiento de objetivos
y metas para el sistema de monitoreo, interactúan diferentes unidades organizativas al igual
que otras instituciones del poder público y/o privado, los cuales pueden estar directamente
involucrados en la realización de compromisos prioritarios en tal intervención, a través de la
recolección de datos y la producción y transferencia o publicación de informaciones.

OBJETIVOS PRINCIPALES DEL MONITOREO

1. Contribuir en la reflexión y evaluación sobre el progreso o avance realizado en los

objetivos y metas de las intervenciones

2. Posibilitar la asertiva toma de decisiones y la realización de las correcciones necesarias

que permitirán alcanzar efectivamente los resultados propuestos en las intervenciones.

Todo eso a través de la obtención, procesamiento y transmisión de informaciones precisas,

confiables y relevantes.

PRINCIPIOS DEL SISTEMA DE MONITOREO

El modelo del sistema de Monitoreo debe ser guiado por principios que definen y condicionan
la posibilidad de su aplicación eficaz, como sigue:

1. Utilidad.
 Garantizar el acceso y utilización de informaciones útiles y pertinentes a fin de atender las
necesidades de evaluación, la toma de decisiones y la corrección del rumbo de las
intervenciones.
 El sistema no puede ser sobrecargado con una enorme masa de informaciones dispersas
que en realidad llegan a desinformar a los decisores, quienes son los que demandan
informaciones específicas para alimentar sus decisiones.

2. Selectividad.
 Alimentar el sistema con informaciones relevantes para usuarios concretos bien definidos,
es decir, para los decisores que demandan informaciones específicas para alimentar sus
decisiones sobre las intervenciones.

3. Filtro.
 Generar los indicadores y señales significativas que deberán guiar la gestión y evaluación
de la intervención.
12
4. Transparencia.
 Asegurar que los datos levantados y las informaciones procesadas y evaluadas en el
sistema de monitoreo sean ampliamente diseminadas cuando sea el caso.

5. Oportunidad.
 Generar información en tiempo eficaz para que pueda ser utilizada en la oportuna toma
de decisiones y en el rápido ajuste de las intervenciones. Información fuera de tiempo vale
tanto como el periódico de ayer.

6. Perecibilidad.
 Puesto que el monitoreo retroalimenta la acción sobre la gestión, la información que
produce es perecible.

7. Credibilidad.
 Las bases de datos que alimentan los indicadores del sistema de monitoreo deben ser
actualizadas permanentemente y provenientes de fuentes fidedignas y reconocidas.
 La información debe ser obtenida y procesada con instrumentos confiables y
científicamente sólidos.

8. Rigurosidad.
 El monitoreo se alimenta con indicadores que representan la rigurosidad de los números
y la cuantificación con fundamento versus las apreciaciones eminentemente subjetivas.

PREGUNTAS CLAVES PARA EL SISTEMA DE MONITOREO

Es el sistema de monitoreo el que va a proporcionar de forma útil una visión global y

sistémica de las informaciones requeridas para la posterior evaluación y toma de decisiones.
Sin embargo, para eso es necesario generar una guía que oriente su concepción y
operacionalización a través de la formulación y respuesta objetiva de dos preguntas básicas:

 ¿Qué tipo de información es necesaria y por qué?

 ¿Quiénes son los usuarios específicos que requieren de informaciones y conocimiento

relacionados con el avance de la gestión y los resultados de las intervenciones?

A partir de estos dos cuestionamientos se desprenden otras preguntas esenciales como:

 ¿Cuáles son las intervenciones que requieren seguimiento?

 ¿Cómo se pueden medir los objetivos, metas y acciones fijadas en las intervenciones
emprendidas por la organización? ¿Qué indicadores se deben construir?

 ¿Dónde se encuentra la información que se requiere para hacer el seguimiento a

13

objetivos, metas y acciones?

AREAS DE INTERVENCIÓN DEL MONITOREO

Existen cinco (5) áreas en las que interviene el sistema de monitoreo (Matus, enero de 1994,
p. 14):

a) Seguimiento a grupos de interés y actores sociales relevantes en la intervención:

Se refieren a los principales actores institucionales y grupos de interés de los sectores público
y privado y grupos beneficiarios involucrados, de forma directa e indirecta, en el desarrollo
de la intervención pública. Los aspectos que principalmente se monitorean de los actores
sociales y grupos de interés son las variables relacionadas con sus cambios de motivación, el
grado de actuación efectiva para el cumplimiento de los compromisos y responsabilidades
definidas en la formulación del plan, programa o política pública y el nivel de respuesta de
los beneficiarios.

b) Seguimiento de la evolución de los problemas que se buscan enfrentar con la intervención

en términos de resultados e impacto:

Acompaña los cambios en los indicadores de resultado y de impacto de los problemas

públicos que se quieren enfrentar con la intervención, posibilitando así hacer la comparación
con los indicadores-meta formulados en el ciclo del diseño. Este monitoreo ofrece, por tanto,
información sobre la evolución de los resultados como producto tanto de las decisiones
tomadas como por el grado de ejecución y cumplimiento de las estrategias de acción que
fueron contempladas en las intervenciones.

c) Seguimiento de los procesos de la intervención o de la gestión realizada:

Se refiere al seguimiento de las actividades relacionadas con la implementación de las

estrategias de acción diseñadas y desarrolladas en la intervención. Este monitoreo acompaña
la evolución de la cadena recursos – producto de cada programa, operación o proyecto, así
como las fechas de su realización en relación al cronograma formulado en las intervenciones.
El monitoreo de los procesos permite evaluar la prontitud, oportunidad, economía, eficiencia,
y eficacia de la intervención.

d) Seguimiento del contexto

Acompaña las circunstancias externas que están más allá de la previsión y control de la
organización pero que son relevantes para el éxito o fracaso de las intervenciones. El
monitoreo de la evolución de los problemas y de la ejecución de las estrategias de acción sólo
pueden ser interpretados correctamente si cada indicador está situado en el contexto
relevante de los distintos escenarios en que se puede desarrollar la intervención y aplicable
al período de tiempo en que está siendo realizado el monitoreo.
14
e) Seguimiento a actos administrativos:

Se refiere a los hechos y decisiones administrativas que permiten avanzar u obstaculizan las
estrategias de acción de la intervención. Son monitoreados especialmente los compromisos
asumidos y recibidos, declaraciones hechas, emisión de directivas, requisitos legales,
aprobaciones administrativas, entrega de recursos, entre otros. El monitoreo de los actos
administrativos permite, por un lado, anticipar futuras deficiencias en el desarrollo de las
estrategias de acción de las intervenciones como, por otro lado, orientar en las correcciones
que deben ser hechas de forma oportuna para evitar el posible incumplimiento de objetivos
y metas.

USO DEL SISTEMA DE MONITOREO POR NIVEL DE DECISIÓN

En el proceso continuo de los ciclos de la planificación estratégica de una intervención

pública participan e interactúan una multiplicidad de actores y órganos institucionales con
diferentes y variadas necesidades de informaciones, y esta es una tarea que debe cumplir el
sistema de monitoreo. Por ejemplo, los decisores públicos de la educación demandan
informaciones relacionadas no sólo con aspectos educativos, sino también sociales,
económicos y demográficos, los cuales tienen relevancia e impacto en el avance de la
educación de la populación. Como una de las funciones del sistema de monitoreo es satisfacer
tales requerimientos de información exigidos por usuarios específicos y variados, el sistema
deberá ser adaptado a cada nivel organizativo a fin de proporcionar informaciones relevantes
de forma accesible y útil, alcanzando así su eficacia.

En general, en una organización responsable por la implementación de una intervención

existen de forma diferenciada tres tipos de usuarios de la información de acuerdo con el nivel
decisorio. Este es un hecho que deberá tener en cuenta la unidad organizativa responsable
por el monitoreo de la intervención en el momento de la definición y construcción de los
indicadores que alimentan el sistema de monitoreo. A seguir se muestra de forma gráfica
estos tres tipos de usuarios por nivel de decisión:

Nivel decisorio de
objetivos, metas y
ALTA estrategias de las
DIRECCIÓN intervenciones

Alcanzar objetivos y
metas predeterminados
GERENCIAL por la Alta Dirección con
creatividad, eficiencia y
eficacia

Ejecución de estrategias,
TÉCNICO- procesos, tareas y
OPERATIVO rutinas
15

Fuente: Elaboración propia.

Se distinguen, por tanto, tres niveles de utilización de la información producida y generada
por el sistema de monitoreo:

 El Nivel Técnico-Operacional. Es el espacio en la organización donde son ejecutadas o

instrumentalizadas las decisiones tomadas en los niveles de la alta dirección y gerencial.
Por tanto, aquí es donde son ejecutadas operaciones, actividades, tareas y rutinas
administrativas. En esta vía, el nivel de detalle y cantidad de información demandada por
este nivel organizativo es mayor. Es decir, las unidades organizativas que cumplen
funciones exclusivamente operacionales demandan una cantidad considerable de
informaciones variadas para atender sus responsabilidades específicas. En conclusión,
como a este nivel micro corresponden tareas operacionales y actividades diarias más
cerca de los beneficiarios y población objeto de la intervención, su decisión tiene un
alcance local e inmediato y, por consiguiente, va a exigir informaciones más detalladas.

 El Nivel Gerencial. Es el espacio compuesto por funcionarios públicos que están en el

comando de la planificación, organización, gestión, control y movilización de actividades,
procesos, recursos y personal; todo esto con el propósito de lograr con creatividad la
eficiencia y eficacia de los objetivos y metas definidos como estratégicos por la alta
dirección. Como el nivel gerencial traduce los objetivos y metas en decisiones
gerenciales, técnicas y operacionales, va a demandar entonces informaciones específicas
para detectar fallas, deficiencias o desvíos a fin de mejorar o redireccionar el uso de los
recursos. Sin embargo, esta demanda de informaciones no es tan detallada como la que
demanda el nivel técnico-operacional, por lo que deben ser agregadas y sintetizadas de
acuerdo con las decisiones de tipo gerencial que deben ser tomadas por este nivel
jerárquico.

 El Nivel de la Alta Dirección. Son los funcionarios públicos responsables por las decisiones
relacionadas con la planificación e implementación de la intervención. Así, la cantidad de
informaciones exigidas por ellos disminuye en la medida en que la información debe ser
más selectiva, agregada y sintetizada, integrando todas las informaciones disponibles
para decidir mucho mejor sobre el direccionamiento de los objetivos, metas,
operaciones, programas y proyectos. Las decisiones en el nivel de la alta dirección son
relevantes y eficientes en la medida en que son sustentadas en informaciones precisas y
confiables proporcionadas por los niveles subsiguientes de la escala jerárquica.

El sistema de monitoreo debe integrar esas relaciones complejas de necesidades de

información de los tres niveles jerárquicos para cumplir su papel de forma eficiente y
oportuna. Para fortalecer las capacidades de gestión, planificación y diseminación de
informaciones hacia estos tres niveles, es necesario:

a) Construir los indicadores relevantes de la intervención de acuerdo con las exigencias

de cada nivel jerárquico, dando prioridad a la construcción y monitoreo de aquellos
indicadores agregados que son de relevancia para la toma estratégica de decisiones
16

de la alta dirección.
 b) Crear las capacidades de recolección, clasificación, procesamiento, almacenamiento,
análisis y divulgación de informaciones con el fin de que la alta dirección y el nivel
gerencial puedan basar sus juicios de evaluación en datos actualizados y confiables.

c) Centralizar y coordinar los esfuerzos dispersos de adquirir, clasificar, procesar,

analizar y difundir la información de la gestión y resultados de la intervención;

d) Racionalizar la naturaleza y flujo de informaciones necesarias para la toma de

decisiones a través de la reducción y eliminación de duplicaciones y lagunas de
información.

e) Articular los diferentes sistemas de información existentes en la organización,

evitando así duplicidad de informaciones que llegan a los distintos niveles
jerárquicos.

f) Integrar y sintetizar en un único sistema las informaciones cuantitativas y cualitativas

de la intervención.

g) Mejorar la recolección de datos, así como el uso y divulgación de informaciones para

la gestión e implementación de la intervención con el propósito de responder a
tiempo con la constante evolución de las necesidades de información.

De acuerdo con todo lo anterior, la producción de informaciones relevantes para los

indicadores se realiza de acuerdo a las necesidades de cada nivel jerárquico en la
organización, como es mostrado en el siguiente gráfico.

Indicadores Según Nivel de Jerarquía

INDICADORES
ESTRATÉGICOS
Alta
Dirección

Nivel
INDICADORES Gerencial
DE GESTIÓN

Nivel
Técnico - Operativo

Fuente: Elaboración propia.

17
COMPONENTES DEL SISTEMA DE MONITOREO

En la configuración de un sistema de monitoreo participan siete (7) componentes funcionales

que operan en un conjunto articulado e interdependiente. Estos componentes son los siguientes:

 Recolección de datos

 Información Primaria

 Sistemas de Información

 Indicadores

 Señales de Atención

 Bandas Taxonómicas

 Ficha Técnica del Indicador

LA RECOLECCIÓN DE DATOS

Para explicar lo que es la recolección de datos, es necesario primero comprender los

conceptos de datos y de información. Aunque los dos términos sean frecuentemente usados
como sinónimos, ambos tienen significados diferentes.

Los datos corresponden a medidas objetivas y detalladas de un atributo, característica o

propiedad de personas, lugares, objetos o eventos. Consisten, por tanto, de observaciones
cualitativas y cuantitativas sobre cantidades físicas, cualidades o descripciones que
relativamente tienen poco significado para quien los usa sino tienen un propósito definido
de información. En contraste, la información se define como un conjunto de datos
significativos y pertinentes que cuantifican o describen un evento o entidad. De esta forma,
los dados se vuelven información cuando adquieren valor agregado a través de su
procesamiento y tienen significado para un usuario final específico. Los datos son sometidos
a un proceso racional de explicación y de comparación para que se conviertan en
información. La pertinencia de los datos se mide por su utilidad para satisfacer necesidades
de información.

La recolección de datos es el enfoque sistemático de obtención y medición de informaciones

de una variedad de fuentes con el propósito de alimentar las variables que componen los
distintos indicadores requeridos en la gestión del sistema de monitoreo. Sin embargo, la
naturaleza de los datos recolectados y su relevancia varían de acuerdo con las necesidades
de información. En general, existen dos tipos de datos: (i) cuantitativos, que representan
18

cualquier dato expresado de manera numérica y basados en la estadística, como por ejemplo
cantidades absolutas, índices, porcentajes, relaciones, entre otros y, (ii) cualitativos, que
describen realidades u ofrecen referencias de clase como, por ejemplo, alto, medio, bajo,
superior, inferior, satisfecho o insatisfecho, aprobación o reprobación, apariencia, olor, color,
entre otros.

La recolección de datos es una actividad

En el banco de datos es donde se
detallada y difícil de organizar que requiere
almacena de forma estructurada todas las
mucho tiempo y que muchas veces su
informaciones necesarias para que el
obtención exige de una onerosa inversión.
sistema de monitoreo las procese y
La confiabilidad del monitoreo de las
analice de acuerdo con las exigencias de
informaciones dependerá en gran parte de
los indicadores construidos. La
la manera en que son recolectados los datos
información se organiza en registros
y de la calidad de esa labor. No obstante,
específicos identificables.
este es un problema que se presenta de
forma general en las organizaciones,
afectando la medición de los resultados de la gestión y de las intervenciones. Por esta razón,
la organización debe comprometerse a fortalecer sus capacidades profesionales y
tecnológicas para realizar con calidad y de forma sistemática y oportuna la recolección de
datos, así como la elaboración de análisis estadísticos. En una intervención pública
relacionada con la ampliación de la cobertura en educación infantil en la ciudad, la
recolección de datos deberá incluir todos los aspectos relacionados con ese nivel educativo
como por ejemplo datos demográficos, datos relacionados con la salud de la población
infantil menor de 5 años o tasas de matrículas, gastos con educación infantil en el municipio,
etc. Pero hay datos también de tipo cualitativo y del contexto necesarios para el análisis y
evaluación de la evolución de la educación infantil.

Principios de la Recolección de datos

Existen algunos principios generales que orientan la recolección de los datos y que ayudan a
determinar el tipo de información que debe ser levantada e integrada en el banco de dados.
La calidad, confiabilidad y utilidad de los datos dependen de la atención prestada a esos
principios.

a. Los datos deben ser oportunos. Estadísticas desactualizadas representan un problema que
casi siempre afecta a los decisores. Muchas veces se presentan períodos largos de tiempo
entre la recolección de los datos y la fecha de su publicación, afectando su utilidad para
el procesamiento de informaciones en el sistema de monitoreo. Estos atrasos extensos
de disponibilidad de informaciones se deben, casi siempre, a la lentitud en la recolección
de datos y en su verificación y corrección. Para evitar o atenuar este problema, la
organización puede, por ejemplo, aumentar el número y/o capacitar a funcionarios y
disponer los recursos materiales y logísticos. Sin embargo, se vuelve más complejo
enfrentar esta dificultad si los datos que se necesitan dependen de la producción y
administración de informaciones de otros actores sociales.
19
b. Los datos deben basarse en definiciones claras desprovistos de toda ambigüedad. Para este
fin, es necesario contar con nociones o conceptos comunes ampliamente aceptados en el
asunto o tema específico que se está planificando. La unidad organizativa responsable
por el monitoreo debe estar consciente del problema de compactibilidad y deberá
utilizar la terminología usada en el ámbito del asunto que trata la intervención para
efectos de poder hacer comparaciones.

c. Los datos deben ser completos. Deberán ser recogidas las informaciones completas para
la totalidad de las variables que componen un indicador construido para el monitoreo.
Por ejemplo, si un indicador trata sobre la tasa de cobertura de la educación infantil, será
necesario contar con el número de alumnos matriculados entre 0 y 5 años y la población
infantil total en esa franja etaria, según el último censo poblacional o sus proyecciones.
En este principio se asume que todas las instituciones de educación infantil completan y
devuelven los cuestionarios que son enviados por el gobierno municipal para registrar
datos de matrícula. Por tanto, un deficiente registro afectaría no sólo el monitoreo como
el fortalecimiento de la capacidad de planificación y gestión de las políticas de educación
en ese nivel educativo.

d. Los datos deben ser exactos. Es importante realizar una labor de detección y corrección
de errores en todas las etapas de recolección y compilación de estadísticas.

e. Los datos deben ser relevantes. Los datos que se recolecten deben responder a la
necesidad de información planteada en el indicador. De este modo, los dados relevantes
van a depender de los indicadores-meta definidos en la intervención.

f. Los datos deben ser suficientemente detallados. Cuando se haga necesario agregar datos,
esta labor debe ser efectuada de modo que no exista pérdida importante de información.

g. Los datos deben ser accesibles. En muchas ocasiones la recolección de datos se puede
volver muy costosa para la organización, especialmente cuando éstas provienen de
fuentes primarias, lo que afecta su fácil accesibilidad. Este caso puede darse cuando hay
la necesidad de conocer datos específicos de los beneficiarios de intervenciones públicas
emprendidas por la institución. Sin embargo, existen situaciones en que la información
se puede adquirir en la red o comprar, si es el caso. Por ejemplo, hoy día existe la
obligación en gran parte de los países de que las organizaciones públicas generen
transparencia y acceso a la información pública en medios físicos como virtuales.

LA INFORMACIÓN PRIMARIA COMO INSUMO DEL MONITOREO

Los datos convertidos en información constituyen la información primaria o insumo del

sistema de monitoreo. La información primaria almacenada y registrada en los bancos de
datos es procesada y sistematizada con el fin de producir agregados significativos para los
20

indicadores. Así, la información primaria es traducida en los indicadores agregados escogidos

por su alta significancia y relevancia, seleccionando unidades de medida adecuadas al
propósito de la información y a su confiabilidad.

La calidad de la información primaria que es almacenada en el banco de dados se centra en

tres dimensiones: tiempo, contenido y forma (O´Brien, 2001). Estas tres dimensiones
contienen varios atributos y cualidades específicas, como es mostrado en el siguiente cuadro.

Atributos y Cualidad de la Información Primaria

ATRIBUTOS CUALIDAD
1. Tiempo
Oportunidad La información debe ser proporcionada en el momento en que se requiere.
Actualidad La información debe ser actual, cuando se proporciona.
Frecuencia La información debe ser alimentada con a frecuencia necesaria.
Período La información puede ser proporciona en períodos pasados, presentes y
futuros, con el fin de evaluar evolución.
2. Contenido
Exactitud La información debe ser libre de errores e imprecisiones.
Robustez Visión suficientemente grande como para no exigir constantes cambios
periódicos.
Pertinencia o La información debe estar relacionada con las necesidades de información
Relevancia de una meta específica para un determinado objetivo.
Integralidad Debe proporcionar todos los elementos de datos necesarias.
Esencialidad La información demandada debe ser proporcionada de forma sintética,
excluyendo aquellos datos que no son necesarios.
Flexibilidad Información con relativa facilidad de modificar y ajustar.
Alcance La información puede ser grande o pequeña en alcance, o tener un foco
interno o externo.
Facilidad Obtención fácil de los valores de los datos.
3. Forma
Claridad La información debe ser proporcionada en un formato con términos de fácil
comprensión.
Detalle La información puede ser proporcionada en un formato detallado o
resumen.
Orden La información puede ser ordenada en una secuencia predeterminada.
Presentación La información puede ser presentada en forma narrativa, numérica, gráfica
u otras formas.
Medios La información puede ser proporcionada en documentos físico o en formato
virtual, en presentaciones de video u otros medios.
Fuente: Adaptado de O´Brien, 2001.

En el proceso del monitoreo se requiere de la recolección de información respecto a la

ejecución de las actividades planificadas que son clave para la gestión y el aprendizaje, los
resultados conseguidos, la consecución de los objetivos de la intervención y sus impactos y
21

el conocimiento sobre el grado de respuesta de los beneficiarios potenciales y específicos de

dicha intervención, a fin de comprobar cuánto se ha avanzado y realizar los ajustes
necesarios de forma oportuna (Di Virgilio y Solano, 2012, pág. 46). Los datos convertidos en
información constituyen la información primaria insumo del Sistema de Monitoreo.

LOS SISTEMAS DE INFORMACIÓN

LOS SISTEMAS DE INFORMACIÓN

Los sistemas de información son, en general, un conjunto de

herramientas, datos estadísticos, personal capacitado, equipos de
informática, comunicaciones y procedimientos organizados que
interactúan para capturar, almacenar, actualizar, manejar, analizar y
desplegar información en un sistema de referencia que enriquezca las
decisiones de una organización. Di Virgilio et al, 2012, pág. 50).

Los sistemas de información constituyen la materia prima informativa que debe ser
procesada por el sistema de monitoreo. Sin embargo, existe una gran confusión conceptual
sobro el significado y propósitos de ambos sistemas, que la Planificación Estratégica Pública
diferencia, define y precisa muy bien (Matus, enero de 1994).

La diferencia entre el sistema de información y el sistema de monitoreo radica

principalmente en que el primero incluye todos los datos estadísticos de un tema en
particular o de varios temas dentro de un banco de datos único y extenso. El criterio es la
exhaustividad de la información. Mientras tanto, como el sistema de monitoreo tiene por
objetivo acompañar la evolución de los resultados de la gestión y de las intervenciones, lo
que hace es que revela, a través de informaciones selectivas, las discrepancias entre los
resultados reales y las metas definidas. Por tanto, muestra los avances, retrasos y omisiones
con el fin de evaluar y reorientar las decisiones asegurando que se alcancen los objetivos
trazados. Los datos del sistema de información alimentan los indicadores del sistema de
monitoreo. Mientras que en el sistema de información hay una extensiva y diversificada masa
de datos estadísticos, en el sistema de monitoreo, por el contrario, el número de
informaciones debe ser reducido, selectivo y filtrado con el propósito de facilitar el
acompañamiento de los indicadores críticos en el objetivo final de sustentar la agilidad y
prontitud en la toma de decisiones de los niveles de la alta dirección y gerencial. De otro lado,
los sistemas de información atienden a una gran variedad de usuarios potenciales con
intereses distintos y con propósitos actuales y futuros. El sistema de monitoreo está diseñado
para atender las demandas precisas de usuarios muy específicos.

Los sistemas de información tienen un atraso permitido de publicación o disposición de los

datos, pues la información estadística no está comprometida para retroalimentar un proceso
22

de gestión organizacional o de evaluar resultados. En cambio, en el monitoreo se requiere de

informaciones oportunas o, en algunos casos, en tiempo casi real. Los datos que generan
periódicamente los sistemas de información, a través de la publicación de informes físicos o
virtuales, no tienen el propósito de monitorear, evaluar cambios y conocer los impactos sobre
los resultados esperados definidos en las metas, sino que informan de manera amplia y
detallada. Es así que la información estadística no tiene demanda perentoria y perecible. Su
valor es histórico, no se degrada con el tiempo y su función es registrar lo que pasó y no
alimentar de forma inmediata la gestión.

En cuanto a la producción y uso, la información estadística tiende a ser muy centralizada

mediante un flujo vertical de producción. No obstante, su uso es generalizado en todos los
niveles. Por otro lado, el tipo de información estadística es principalmente información
primaria, justamente para satisfacer demandas muy variadas de procesamiento de diversos
usuarios. Esa información primaria es posteriormente seleccionada, clasificada y utilizada
por el sistema de monitoreo para su procesamiento en conformidad con los indicadores
construidos para el seguimiento de la gestión y de las metas. De este modo, los datos y las
informaciones generadas por los sistemas de información se constituyen en el insumo del
sistema de monitoreo, el cual procesa y filtra las informaciones y genera las señales
pertinentes.

En conclusión, el sistema de monitoreo debe ser capaz de manejar y filtrar de forma ágil y
flexible toda esa gran masa de informaciones primarias generadas en los sistemas de
información, reduciéndolas a un conjunto selecto de informaciones.

LOS INDICADORES EN EL SISTEMA DE MONITOREO

El monitoreo cumple el rol de ser un proceso continuo y permanente basado en el

seguimiento de informaciones fiables y pertinentes sobre la evolución de los problemas
públicos y sobre el grado de desempeño de la gestión en el desarrollo de los programas y
políticas. Pero para que pueda ser realizada esta tarea de acompañamiento es necesario tanto
de la selección y construcción de indicadores como de la producción de un sistema de señales.

¿Qué Son Los Indicadores?

Son variables de medición específica que proporcionan informaciones cualitativas o

cuantitativas de forma explícita y objetivamente verificables en un determinado período de
tiempo. Cada indicador debe ser evaluado en contexto, puesto que no es simplemente un dato
frío que informa sin considerar la realidad que lo circunda.

Los Indicadores de Desempeño

El DESEMPEÑO mide el grado de eficiencia, economía, eficacia y calidad de la organización

en el cumplimiento o logro de los objetivos y metas definidas previamente en las
intervenciones. De esta forma, los indicadores de desempeño son una representación de la
23

realidad que permiten medir, describir y evaluar, cuantitativa y cualitativamente, tanto el

estado de un problema como el proceso de gestión de una intervención en relación a las
condiciones de atraso, estancamiento o avance.

Funciones de un Indicador

1. Reducir gran variedad y masa de informaciones de difícil manejo y comprensión a

informaciones sintéticas y significativas de fácil manejo e interpretación.

2. Facilitar la verificación de la eficiencia y eficacia de las intervenciones al describir el

estado actual de la realidad contra ciertos referentes comparativos.

3. Diagnosticar tendencias o prever el estado de situaciones futuras.

4. Alimentar y proporcionar el conocimiento para la toma de decisiones estratégicas sobre

el programa o política pública.

Atributos de un Indicador

1. Ser fácilmente medible.

2. Ser claro y específico:

 Grupo-objetivo
 Área o tema a ser monitoreado
 Unidad de medida
 Período de tiempo
 Línea base

3. Conocerse de antemano su finalidad.

4. Ser estable y operacional.

Criterios para el Diseño y Uso de un Indicador

 Relevancia. En las metas y estrategias de los programas y políticas públicas.

 Validez. Represente la realidad que se desea conocer y monitorear para la toma de

decisiones.

 Confiabilidad. Instrumentos y fuentes de medición.

24
 Criterios para la Selección de Indicadores

CRITERIOS DE
QUÉ CONSIDERAR OBJETIVO
SELECCIÓN
¿El indicador expresa de forma Describir la situación de la gestión,
Pertinencia clara y precisa lo que se desea proceso o intervención objeto de la
medir? medición.
¿El indicador puede ser Verificar si el indicador es medible,
Funcionalidad monitoreado continua y operable y sensible a los cambios
sistemáticamente? respecto a la situación inicial.
Construir indicadores a partir de
variables que posean información
estadística, de modo que puedan ser
¿La información del indicador
Disponibilidad consultados cuando sea necesario.
está disponible?
Si no es posible disponer de la
información, pero es importante, se debe
evaluar la forma de levantar los datos.
Los dados deben ser medidos de acuerdo
Confiabilidad ¿De dónde provienen los datos?
con ciertos patrones y normas.
¿Es el indicador relevante para lo Que los resultados y el análisis permitan
Utilidad
que se desea medir? la toma de decisiones.

Fuente: OCDE, 2010.

Clasificación de los Indicadores

1. Indicadores Descriptivos. Describen los componentes de un fenómeno y las relaciones

que existen entre ellos, presentando el estado de la situación en cada momento de su
ejecución, esto es, inicio, durante y al final de su vigencia definida. Se clasifican en los
siguientes componentes:

 Demanda: De volumen, caracterización y dimensión cuantitativa.

 Capacidad instalada: Son indicadores que exhiben los medios por los cuales son
ejecutadas las acciones y actividades de las intervenciones. Por tanto, incluye
variables que describen la composición interna de cada unidad de gestión. Además,
son indicadores que están relacionados con informaciones cuantitativas sobre los
recursos disponibles para ejecutar cada acción o actividad. Por ejemplo, material
(equipos, infraestructura física e insumos); personal (cargo, función, nivel de
conocimiento o preparación para la tarea) y de recursos financieros.
 Resultados previstos: Indicadores relacionados con las metas propuestas en términos
de oferta, demanda, pertinencia y calidad. Permiten dar respuesta a cuestiones sobre
cuáles son los resultados finales esperados como productos de la gestión, cuánto o con
cuáles características.

25

Resultados Obtenidos: Exhiben los resultados reales alcanzados en relación con el

Nivel de eficacia y efectividad. Son variables que ayudan a responder preguntas como
 qué resultados finales fueron obtenidos como producto de la gestión, cuánto, con
cuáles características y con qué nivel de eficacia.

2. Indicadores Explicativos. Son aquellos que, además de describir la acción o actividad,

permiten también identificar de forma muy aproximada los factores causales que
determinan el estado de la situación de los problemas enfrentados por las
intervenciones.

3. Indicadores Simples. Son observables, derivados de la cuantificación de las

características que se desean describir: nivel de formación, n° de alumnos que reciben
beca o tamaño del área en m2.

4. Indicadores Compuestos. Es un indicador sintético puesto que es el resultado de la

aplicación de algún algoritmo, utilizando como insumo la combinación de más de una
variable simple:
 Tasa de mortalidad, tasa de escolaridad, PIB, % de vías en buen estado y Servicio de
la deuda como porcentaje de las exportaciones de bienes y servicios.

5. Indicadores Sincrónicos. Aquellos observados o calculados para el estudio de una

situación en un determinado momento temporal, no mostrando su evolución. Por
ejemplo, los indicadores de eficiencia y eficacia se presentan como informaciones
sincrónicas en un momento determinado.

6. Indicadores Diacrónicos. Aquellos que hacen manifiesta la evolución temporal de un

fenómeno que se desea monitorear. Son importantes para identificar tendencias. Ej: Las
series históricas.

Tipos de Indicadores Según Forma de Cálculo

De acuerdo con el ámbito de medición de los indicadores, es posible distinguir entre

indicadores cuantitativos e indicadores cualitativos. Esa diferenciación va a depender de la
finalidad de lo que se desea medir y del tipo de datos que sea posible recolectar o de
informaciones disponibles.

1. Indicadores Cuantitativos. Comprende un número y una unidad. El número indica la

magnitud y la unidad proporciona al número su significado (¿qué mide?).

2. Indicadores Cualitativos. También llamados como indicadores categóricos. Se utilizan

cuando se desea describir o categorizar juicios, valores, prioridades, actitudes, prácticas,
intereses, percepciones o comportamientos. Los instrumentos de obtención pueden ser
entrevistas, pruebas, talleres, reuniones e investigaciones, etc. Existen innumerables
evidencias de hechos de la realidad, especialmente aquellas relacionadas a factores
sociales, que no pueden ser medidas cuantitativamente. Por ejemplo, ¿cuál es el grado de
26
 percepción de la ciudadanía respecto a la gestión del alcalde del municipio? ¿Aprueba o
desaprueba?

En el siguiente cuadro se muestran algunos ejemplos que caracterizan ambos tipos de

indicadores.

INDICADORES CUALITATIVOS
Características
 Aserciones que satisfacen las condiciones de
verdadero o falso, actos administrativos,
cualidades y descripciones de alguien o algo.
 Puede medirse en niveles o grado de…o en
escalas de clasificación como bueno o alto,
medio o abajo del promedio, entre otros.
INDICADORES CUANTITATIVOS
Tipos
 Relaciones: Comparación entre dos o más
variables de diferente naturaleza.
 Simples: Expresión de por lo menos dos
variables en una fórmula matemática simple.
 Proporciones: Relación en magnitud o grado de
una parte con el todo.
 Razones: Comparación por cociente entre dos
variables de diferente o similar naturaleza.
 Tasa de crecimiento: Ritmo de crecimiento o
decrecimiento de una variable a través del
tiempo.
 Tasa: Expresa la relación existente entre una
variable y la frecuencia de un fenómeno en un
periodo de tiempo.
 Promedios: Media aritmética resultado de la
división entre la sumatoria de varias cantidades
por el dígito que las represente en su totalidad.
 Índices compuestos o sintéticos: Valor
representativo que mide la evolución relativa en • Tasa de inflación.
el periodo t de una magnitud. Representa una
gran cantidad de variables relacionadas que se
agregan en un único resultado en un tiempo t.
Fuente: Elaboración propia.
EJEMPLOS
• Cumplimiento de una directiva: sí, no,
parcialmente.
• Contexto de la intervención: favorable o
desfavorable.
• Fin de un paro profesores: sí o no.
• Alta o baja calidad de la salud.
EJEMPLOS
• Costo $/paciente/año
• Relación alumnos/profesor
• Nº de adultos mayores vacunados
contra la influenza
• Nº total de pacientes atendidos por mes
• Cobertura de la educación infantil
• Razón de camas por médico
• Razón de habitantes por vivienda
• Variación del nivel de cobertura en
salud en la última década.
• Variación de la tasa de inflación en los
últimos cinco años.
• Tasa de mortalidad general
• Promedio de escolaridad de la
población entre 17 y 25 años de edad.
• PIB.
• Índice de Desarrollo Humano (IDH)
27
 Indicadores Según Nivel de Intervención

Indicadores que cuantifican los recursos disponibles

COSTOS E
INSUMOS utilizados para la producción de bienes y servicios:
financieros, organizativos, cognitivos, políticos.

Indicadores que miden el desempeño en términos

PROCESOS
de esfuerzo para la realización de las actividades
programadas.

Indicadores que miden la cantidad y calidad de los

PRODUCTOS bienes y servicios producidos por las actividades
realizadas.

RESULTADOS Indicadores que miden los efectos intencionados y

INTERMEDIOS no intencionados sobre los beneficiarios.

Indicadores que miden el impacto de la intervención

en el mediano y largo plazo tanto en la población
RESULTADOS
DE IMPACTO
beneficiaria como en la sociedad en su conjunto:
¿Cuánto cambió la realidad social por efecto de la
intervención, de forma intencionada o no?

Interrelación de Indicadores Según Nivel de Intervención con Indicadores Según

Grado de Desempeño de la Actuación Pública:

IMPACTO
PROCESOS Y
28

Fuente: DAFP (agosto de 2012) y adaptado de la CEPAL (2005).

 I. Indicadores de Economía:

Verifican si los recursos (insumos) utilizados para la producción de los bienes y servicios se
han adquirido al menor costo posible, en la cantidad y calidad deseada y en el tiempo
oportuno. Por tanto, se alcanza un alto grado de economía cuando los recursos utilizados
fueron adquiridos en la cantidad y calidad esperada, al costo más bajo y en el momento que
se requirió para la producción de los bienes y servicios que debía entregar el programa o
política pública. Así, estos indicadores miden la capacidad que posee la organización pública
para generar, utilizar y movilizar de forma adecuada y oportuna los recursos financieros del
programa.

Ejemplos:
 Ahorros de costos en la contratación de desayunos escolares
 Ahorros de costos en la compra de materiales didácticos para los alumnos de
preescolar.
 Aumento de costos por demoras en la ejecución de las actividades
 Capacidad de autofinanciamiento: cuánta capacidad tiene la institución para generar
ingresos propios dirigidos al programa.
 Capacidad de ejecución: cuánta capacidad tiene la institución para ejecutar el
presupuesto de acuerdo con lo programado en el programa.
 % de recursos financieros obtenidos a través de cooperación internacional
 % de recuperación de créditos realizados a beneficiarios

II. Indicadores de Eficiencia:

Determinan la productividad y optimización de los recursos utilizados para lograr los

productos específicos propuestos.

 La cantidad de recursos públicos que se utilizan para producir un determinado bien o

servicio (OCDE, 2010).
 Hacen también referencia al uso apropiado o racional de los recursos para la ejecución
de cada una de las operaciones, estrategias de acción o proyectos diseñados para
enfrentar las causas críticas del problema.
 Por tanto, permiten verificar que los responsables en los programas estén produciendo
el máximo con el mínimo de recursos, esfuerzo y tiempo utilizado.

Ejemplos:
 % de ejecución del presupuesto asignado al programa
 Costo por hora trabajada
 Costo promedio alumno matriculado
 Costo unitario de producción de alimentos para niños en estado de desnutrición
 Costo alquiler de maquinaria
 Gastos administrativos incurridos frente al total de becas otorgadas
 Costo promedio por vivienda entregada
29
  Costo por kilómetro de carretera construida
 N° de profesionales contratados por campaña de vacunación
 Tiempo promedio de realización de las campañas
 Costos del servicio en relación al N° de usuarios

III. Indicadores de Eficacia:

Miden el grado de cumplimiento de los objetivos y metas estratégicas del programa o política
pública: metas reales Vs metas previstas. De este modo, la eficacia se asocia al cumplimiento
de los resultados esperados previstos en los objetivos y metas propuestos en el diseño de la
intervención. Representan Los requisitos del bien o servicio, de las expectativas y de las
necesidades del beneficiario o población objetivo en términos de calidad, cantidad,
satisfacción, servicio, oportunidad de entrega, pertinencia, cumplimiento, seguridad,
confiabilidad y transparencia. Manual de indicadores de proceso del sistema de mejor
gestión. Evaluación, Medición, Control y Seguimiento de la UNAL).

Existen dos tipos de indicadores de eficacia:

i) Eficacia Intermedia: Este tipo de indicadores evidencian los cambios en el conjunto de

las situaciones descritas en las causas críticas del problema que se desea enfrentar
(metas intermedias).

Ejemplos:
 % de carreteras construidas
 % de niños matriculados en la educación primaria
 % de niños entre 0 y 5 años vacunados
 Tasas de ocurrencia de EDA e IRA
 % de funcionarios capacitados y aplicando sus nuevos conocimientos en evaluación
de programas
 % de niños matriculados
 % de población atendida por el programa de vivienda

ii) Eficacia Final: Evidencian los cambios ocurridos en el conjunto de las manifestaciones
del problema que se desean alterar, y que son foco de atención estratégica de la gestión:
resultados esperados y no esperados (metas finalísticas).

Ejemplos:
 Tasa de cobertura en educación primaria
 Tasa de cobertura en salud pública
 % total de beneficiarios que mejoraron su bienestar de vida por efectos del programa
(población – Objetivo)
 Tasas de pobreza e indigencia
 % de analfabetismo en personas mayores de 15 años
 Tasa de mortalidad general
30
  % de accidentalidad vial en el país
 Tasa de violencia intrafamiliar
 % de la población de estratos 1, 2 y 3 habitando en lugares de alto riesgo
 Participación de la población indígena en la educación superior

La Efectividad. Es la combinación del logro tanto de la eficiencia como de la eficacia.

 Un programa o política pública que ha sido tanto eficiente como eficaz se considera de
alta o gran efectividad.
 La Norma Técnica de Calidad en la Gestión Pública NTCGP 1000 - 2009, define la
efectividad como la medida del impacto de la gestión tanto en el logro de los
resultados planificados, como en el manejo de los recursos utilizados y disponibles.

IV. Indicadores de Impacto:

Evidencian los cambios ocurridos en el bienestar de la población como resultado de la

intervención, aunque pueden no ser intencionados o previstos. Estos impactos pueden
ser positivos o negativos y directos o indirectos tanto para la población objeto de la
intervención como para otros segmentos de la población en general.

Ejemplos:
 Incidencia de la intervención en el nivel de calidad de vida de la población beneficiaria
 Costo/beneficio del programa
 Costo/efectividad del programa
 Incidencia del proyecto sobre el PIB de la región
 Población total beneficiada por efectos del programa (directa e indirectamente)

V. Indicadores de Calidad:

Miden la capacidad de la organización p’blica para responder de forma rápida y directa a

las necesidades de los beneficiarios, usuarios o población – Objetivo , en términos de:
Oportunidad, accesibilidad, precisión y continuidad en la entrega de los servicios,
comodidad y cortesía en la atención y de Atributos o características de los bienes y servicios
entregados. (Bonnefoy y Armijo, 2005). En el siguiente cuadro se presentan algunos
ejemplos:
31

Fuente: DAFP (agosto de 2012, p. 17. Adaptado de la CEPAL (2005),

Otros ejemplos:
 Percepción de seguridad de los ciudadanos
 Sondeos a la opinión pública sobre la eficacia policial

Indicadores del Balance Global de Gestión

VII

Indicadores de Contexto
VI
Indicadores de Actos
Administrativos

I II III IV
Indicadores de Indicadores
Indicadores Indicadores de
Economía y de Impacto
de Eficacia Resultados
Eficiencia

V
Indicadores de
Monitoreo de Actores

Fuente: Adaptado de Matus (enero de 1994).

Las Variables del Indicador

Una vez se ha definido el objeto de medición en un sistema de monitoreo, es necesario ahora

avanzar en el desarrollo del indicador. Para ello se deben establecer las variables que
componen cada indicador y la relación entre ellas, a fin de producir la información que se
requiere. Una variable es un atributo o característica de un individuo, una cosa o una
situación que puede ser medida de forma cuantitativa o cualitativa. Sin embargo, hay que
tener en cuenta que las características o atributos de cada variable identificada pueden
cambiar o variar a lo largo del tiempo y del espacio. Por ejemplo, sexo, edad, nivel de
escolaridad, situación socioeconómica, etc.

Las variables identificadas han de definirse con el mayor rigor posible para evitar la creación
de ambigüedades y discusiones innecesarias, que pueden afectar la medición de los
resultados. Además, debe quedar claro quién produce tales informaciones y cómo las
procesa, procurando mejorar así el criterio de confiabilidad en el indicador.
32
Recomendaciones para el diseño y administración de indicadores

 En el momento de la pre-recolección de datos.

- Evaluar las informaciones disponibles en la actualidad. Una vez definidas las

características de la información a ser utilizada en el diseño del indicador, el próximo
paso es hacer una evaluación de los datos disponibles, tanto de informaciones
primarias como secundarias. La información secundaria es aquella que es obtenida
con base en otras informaciones, tales como las publicadas por instituciones públicas
reconocidas: institutos nacionales de estadística, ministerios, observatorios, etc.
- Establecer y localizar las principales fuentes de suministro de información primaria y
secundaria. Para esta tarea se recomienda desarrollar un directorio de fuentes, donde
sean descritos de forma clara los datos de identificación de cada fuente y la
información disponible de las variables.
- Prever y evaluar la existencia de dados que se constituirán en la base de la información
del indicador. Si no existen algunos datos, se debe evaluar la conveniencia de
reformular el indicador usando otras informaciones disponibles o asegurar la
producción de datos para su construcción.
- Compilar y evaluar informaciones secundarias de varias entidades que estén
relacionadas con el tema o ámbito que se pretende monitorear.
- Determinar la información primaria que debe ser recolectada directamente de las
fuentes. Esta información puede ser obtenida como resultado de una operación
estadística como, por ejemplo: censos educativos o de la salud, investigaciones a
través de muestras probabilísticas o no probabilísticas o registros administrativos.
- Definición de métodos de recolección de acuerdo con atributos específicos. Existen
varios métodos de recolección de datos como, por ejemplo, entrevistas o consultas
directas, auto-diligenciamiento, correos electrónicos, teléfono, etc.

 En el momento de la captura de datos:

- Recolectar datos para el indicador que provengan de la misma fuente. Esto se hace con
la finalidad de evitar la polarización causada por los efectos de los cambios en la
metodología de la medición.
- Verificar que los datos suministrados sigan la misma metodología: Alteraciones
metodológicas pueden hacer incomparables los resultados futuros.
- Aclarar si los datos recolectados en cada período son provisorios o definitivos. Esto se
hace con la finalidad de que los resultados derivados de los datos sean comprendidos
sin inconvenientes.
- Cuando los datos son series de tiempo, deben ser evaluadas alteraciones significativas
de un período para otro. Esto se hace con la finalidad de establecer la causa o
justificación que soporta la variación, de modo a tener elementos que puedan facilitar
el análisis en su evolución y comportamiento a lo largo del tiempo.
33
 En el momento de definir las responsabilidades:

Es preciso definir o verificar los responsables de:

- La producción de informaciones asociadas con el indicador
- La recolecta de informaciones
- El análisis de esas informaciones
- La administración de bancos de datos asociados con esa información
- La preparación de los informes y presentación de las informaciones con los
indicadores

 En el momento de documentar el indicador:

Una vez agotadas las fases anteriores, se debe documentar a continuación el indicador. Es
decir, elaborar su Ficha Técnica (componente que se explicará más adelante en este
documento).

LAS SEÑALES

Las Señales, como instrumento para el monitoreo, son producidas a través del
establecimiento de una relación entre dos distintos tipos de indicadores:

 El Indicador Real, que registra los hechos efectivamente ocurridos.

 El Indicador Norma, que es seleccionado como parámetro para señalar una condición
satisfactoria o aceptable. Se constituye, por tanto, en el objetivo-meta a cumplir.

Su comparación puede indicar tres tipos de señales, de acuerdo con el grado de discrepancia
entre la realidad y la norma:

 Normalidad o conformidad
 Atención
 Alarma

Las señales pueden ser transformadas en íconos de diversa naturaleza con el fin de mantener
un cuadro de señales de fácil interpretación:

Para conocer cuánto se ha avanzado en los resultados y así definir las señales es necesario
establecer primero una Línea de Base, la cual muestra la situación del indicador al inicio de
la intervención.
34
De acuerdo con Matus, en el documento del Sistema Altadir de Monitoreo – SAM (enero de
1994, p. 30), la conversión de una gran cantidad de datos en poca información primaria de
relevancia y significado tiene el propósito final de alimentar los indicadores y éstos últimos
en señales. La mayor parte de la información primaria que se almacena nunca será expuesta
a la alta dirección porque no es relevante para el sistema selectivo de informaciones del
monitoreo y porque podría causar dispersión en su foco de atención. De cualquier forma, esa
gran cantidad de información puede ser almacenada en los bancos de datos de los sistemas
de información.

Por tanto, el procedimiento de transformación de la información a ser seguido en el sistema

de monitoreo se puede representar en la siguiente figura.

Proceso de Transformación de la Información Primaria

en Indicadores y Señales

INDICADORES NORMA

Alarma
INFORMACIÓN INDICADORES SEÑALES
PRIMARIA (selectividad en Atención
(pocas)
(mucha) la Información)
Conformidad

Fuente: Adaptado de Matus (enero de 1994).

Señales e Íconos en el Sistema de Monitoreo

INDICADOR 100% de tasa bruta de

NORMA cobertura en Grado Transición
en 2021

INDICADOR
SEÑALES
REAL SEÑAL DE
33% tasa bruta ATENCIÓN:
de cobertura en 67% lo que es
grado Transición necesario para
en 2016 alcanzar la meta

ÍCONOS
35

Fuente: Elaboración propia.

BANDAS TAXONÓMICAS1

Los Indicadores-Norma son establecidos como escalas de valores aceptables definidos de

acuerdo con un juicio político o técnico en el que se definen escalas de mínimos, máximos o
rangos aceptables Matus, enero de 1994, p. 31). Sin embargo, los valores definidos en los
Indicadores-Norma pueden quedar desactualizados a lo largo del tiempo a medida que la
realidad social cambia y los resultados de las intervenciones evolucionan. Es por esta razón
que deben ser revisados de forma periódica y oportuna.

Los indicadores-norma necesarios para producir las señales que informarán sobre la
situación real de una situación y sus tendencias, son colocados en una banda taxonómica que
se divide en tres escalas que definen los rangos de resultados permitidos y no permitidos en
el proceso de la evaluación. Así, en estas escalas se establecen zonas de normalidad, de
atención o de alarma o fuera del límite. En el procesamiento de estas escalas es necesario
establecer el UMBRAL, el cual se define como el valor mínimo o máximo que debe tener una
señal para ser preservada, reforzada o suprimida (ruido). De esta forma, los valores del
indicador que están por encima del umbral establecido por el Indicador-Norma se colocan en
el valor máximo y aquellos que no están en ese límite, se llevan para el valor mínimo,
eliminando así el ruido causado por alteraciones o cambios no significativos en el indicador.

En el cuadro a seguir se muestra un ejemplo de bandas taxonómicas, en la forma de un

sistema de señales de banda variable para las metas de cobertura de educación infantil, las
cuales evolucionan con el tiempo.

Tasa Bruta de cobertura en Transición

Zona de
ALARMA ≤ 60%
Zona de
ALARMA ≤ 20%
Zona de
ATENCIÓN: 61 a 89%

Zona de
ATENCIÓN: 21 a 40%
Zona de
NORMALIDAD ≥ 90%
Zona de
NORMALIDAD ≥ 41%

Dic. de 2016 Dic. de 2020 Tiempo

Fuente: Adaptado de Matus (enero de 1994).

36

1
El concepto de bandas taxonómicas en el sistema de monitoreo es propuesto por Carlos Matus en el documento
SAM (enero de 1994).
LA FICHA TÉCNICA DEL INDICADOR

La FICHA TÉCNICA es un documento en el que se registran las propiedades y características

técnicas de la información estadística y normativa del indicador. Se constituye así en la hoja
de vida del indicador.

Esta Ficha contiene básicamente cinco elementos:

 Tipo de Indicador
 Descripción Técnica
 Descripción Metodológica
 Descripción de los datos necesarios
 Informaciones Adicionales

Formato de la Ficha Técnica

Tipo de Indicador
Impacto Resultados Eficiencia / Economía

Descripción Técnica del Indicador

Nombre del Descriptor
Nombre del Indicador
Definición
Objetivo del Indicador
Estructura del Indicador (Fórmula)
Unidad de Medida
Descripción de las Variables de la Fórmula
Indicadores Relevantes
Cobertura Geográfica
Frecuencia de la Medición

Descripción Metodológica del Indicador

Fuentes de Medición
Limitaciones en la Medición
Normas Legales de Referencia

Descripción de los Datos Necesarios

Fuente Responsable por la Información
(interna y externa)
Unidad de la Institución Responsable por
la Medición

Informaciones Adicionales
Datos Existentes
Bibliografía/Webgrafía
Observaciones

A continuación, se muestra un ejemplo de ficha técnica para el caso de la tasa de cobertura

en educación preescolar:
37
 Tipo de Indicador
Impacto Resultados Eficiencia / Economía
X

Descripción Técnica del Indicador

Nombre del Descriptor Bajo nivel de atención en educación a niños entre 0 y 5 años.
Nombre del Indicador Tasa bruta de cobertura en la educación preescolar
Mide el total de alumnos matriculados en el nivel de educación preescolar,
Definición independientemente de la edad, en relación a la población en edad escolar
adecuada para la realización de este nivel del enseñanza.
Indicar la capacidad del sistema de educación para matricular alumnos en el
Objetivo del Indicador
nivel de educación preescolar del grupo etario específico.
(Nº de alumnos matriculados en la Educación Preescolar /
Fórmula
Población total con edad hasta 5 años) * 100
Unidad de Medida Porcentaje
 No de alumnos matriculados en la educación preescolar - No
Descripción de las absoluto de niños matriculados en las instituciones de educación
preescolar sin importar su edad, conforme año de la investigación.
 Población total con edad hasta 5 años - No total de niños de la
Variables de la Fórmula
población del municipio con edad hasta 5 años, en el año de referencia.
 Tasa bruta de cobertura en maternal
Indicadores Relevantes  Tasa bruta de cobertura en jardín y pre-jardín
 Tasa bruta de cobertura en transición
Cobertura Geográfica Escuelas públicas y privadas del municipio
Frecuencia de la
Anual
Medición

Descripción Metodológica del Indicador

Fuentes de Medición
Limitaciones en la Medición
Normas Legales de Referencia
 Censo de matrícula de la Educación Preescolar

DANE (población).
 Como el último Censo fue en el 2005, para los otros años
corresponde trabajar con proyecciones de población.
 Migración constante.
Política Pública Nacional de la Primera Infancia.

Descripción de los Datos Necesarios

Fuente Responsable por la
Información (interna y externa) Secretaria Municipal de Educación
Unidad de la Institución
Observatorio de Educación del Municipio
Responsable por la Medición

Informaciones Adicionales
Datos Existentes Población infantil de 0 a 5 años por comunas.
www.dane.gov.co
Bibliografía/Webgrafía
www.mineducacion.gov.co
Solicitar a los establecimientos educativos públicos y privados el
Observaciones
38

registro y comunicación de alumnos que abandonan el sistema.

LA CADENA DE MONITOREO

De acuerdo con Matus, en su documento del SAM (enero de 1994), durante el proceso de
producción de informaciones para el monitoreo se forma una cadena de productores y
receptores que actúan como en una carrera de relevos (p. 25). Cada enlace de la cadena tiene
un responsable por una función específica que debe ser cumplida generando un producto
informativo intermedio, el cual debe ser entregado de forma oportuna al siguiente
responsable en la cadena. De esta manera, la cadena de monitoreo tiene seis (6) eslabones
básicos (adaptado de Matus, enero de 1994, pp. 25-26):

i. Registro primario de las informaciones del problema que se desea enfrentar con la
intervención pública.

ii. Procesamiento de la información primaria que ha sido levantada durante el análisis del
problema.

iii. Definición y diseño del indicador real con una explicación clara de las variables que lo
componen y sus fórmulas de cálculo. Este elemento es clave para orientar la recolección
de la información primaria de forma agregada de tal forma que se convierta en
indicadores con alto grado de significancia y relevancia para el seguimiento de la
gestión de la intervención y los resultados del problema. Por esta razón es fundamental
realizar controles de calidad de la información levantada y que para cada variable del
indicador se recolecte la información pertinente y se revise que las fuentes y cálculos
sean confiables.

iv. Definición de los parámetros cuantitativos y cualitativos que comprenderán las señales.
A partir de aquí se deciden las metas para así establecer la relación entre Indicadores-
Norma e Indicadores-Reales de acuerdo con los objetivos deseados en la intervención.

v. Transformación de las señales en íconos: Cuando sea relevante y necesario, crear una
comprensión gráfica rápida y visual del significado del indicador.

En la siguiente figura se muestra la relación entre estos eslabones básicos que componen la
Cadena de Monitoreo.
39
 Cadenas de Monitoreo

Intervención
Pública Contexto

Registro de
Procesamiento
Informaciones
Primario de la
Primarias de la
Variable A
Variable A

Indicador Norma

PROBLEMA
QUE SE Registro de
Procesamiento
DESEA Informaciones Indicador
Primario de la Señales
ENFRENTAR Primarias de la Real
Variable B
Variable B

Registro de Procesamiento
Informaciones Íconos
Primario de la
Primarias de la Variable C
Variable C

Fuente: Adaptado de Matus (enero de 1994).

Con el diseño de esta cadena de monitoreo se puede conocer de forma explícita cuánto
tiempo de oportunidad o retraso se ha generado entre la emisión de la señal y las decisiones
tomadas por los niveles de la alta dirección y gerencial para ajustar o corregir el proceso o
las estrategias de acción diseñadas en la intervención. Este proceso de decisión en la cadena
de monitoreo se muestra en la siguiente figura.

Proceso de Decisión en la Cadena de Monitoreo

OBTENCIÓN DE LOS ANÁLISIS DE LAS

ELABORACIÓN Y
NUEVOS INFORMACIONES
PRESENTACIÓN DEL
RESULTADOS DE OBTENIDAS EN
INFORME
LOS INDICADORES LOS INDICADORES

CAMBIO EN LA
REALIDAD DEL
PROBLEMA

DELIBERACIÓN DE
ACCIÓN DE
TOMA DE LOS NIVELES DE LA
AJUSTE O
DESICIONES ALTA DIRECCIÓN Y/O
CORRECCIÓN
GERENCIAL
40

Fuente: Adaptado de Matus (enero de 1994).

En conclusión, en el sistema de monitoreo se recolecta, filtra, analiza, produce, visibiliza e
integra toda la información de los indicadores para evaluar la eficiencia, eficacia e impacto
de la gestión pública y sus intervenciones. Sin embargo, todos estos recursos de información
proporcionados por el sistema de monitoreo que sustentan el proceso de deliberación y toma
de decisiones para las correcciones y ajustes van a depender de la producción continua y
oportuna de informes ejecutivos con informaciones relevantes que deberán ser actualizadas
periódicamente.

Para entender mejor este proceso y siguiendo el esquema de la cadena de monitoreo, en la

siguiente figura se muestra el flujo básico del proceso de trabajo en la unidad organizativa
encargada del sistema de monitoreo.

Flujo Básico del Sistema de Monitoreo

PRODUCCIÓN DE
DISEÑO DE INFORMES CON
RECOLECCIÓN DE INDICADORES CON ANÁLISIS DE
INFORMACIONES INFORMACIONES INFORMACIONES DE
RELEVANTES RELEVANTES LOS INDICADORES

ALTA DIRECCIÓN Y
MONITOREO Y CORRECCIÓN Y
NIVEL GERENCIAL
AJUSTE DE LOS AJUSTE DE DELIBERAN Y
INDICADORES ACCIONES TOMAN DECISIONES

Fuente: Elaboración propia.

41
 3. LOS SISTEMAS DE DIRECCIÓN ESTRATÉGICA PARA LA MARCHA
GLOBAL DE GESTIÓN

El Sistema de Planificación Estratégica

El Sistema de Planificación Estratégica debe alimentar y dar soporte a la evaluación de la

gestión institucional y de resultados de la alta dirección y el nivel gerencial mediante la
formulación de intervenciones como son políticas públicas, planes y programas orientados
específicamente a analizar y enfrentar los problemas relacionados con todo aquello que
afecte tanto la gestión como el cumplimiento de su misión institucional. Para este propósito,
en el sistema de planificación se deben:

 Definir las directrices, programas, proyectos y acciones.

 Diseñar los objetivos y metas que deben ser alcanzados.
 Actualizar los resultados de las intervenciones de acuerdo con los cambios de la
realidad.
 Ajustar y corregir las acciones de la intervención.
 Permitir interactuar con las otras unidades organizativas de la organización, con la
finalidad de coordinar acciones de planificación.

El Sistema de Monitoreo y Evaluación

El Sistema de Monitoreo da soporte al Sistema de Evaluación de los resultados alcanzados de

acuerdo con los objetivos y metas definidos en las intervenciones formuladas por en el
sistema de planificación estratégica, buscando así verificar la marcha real de los resultados
de las intervenciones, así como el cumplimiento de la misión institucional y de los objetivos
y directrices de la organización. El sistema de monitoreo y evaluación permite a los niveles
de la alta dirección y gerencial hacer acompañamiento a los efectos e impactos de la gestión
institucional y hacer las correcciones oportunas. Por tanto, debe constituirse en el sistema
sensor de gestión de la organización que proporcione las informaciones que permitirán
refinar la eficacia de las acciones diseñadas en las intervenciones.

El monitoreo y la evaluación de la gestión pública por resultados responde a un principio

elemental:

No se puede conducir con eficacia si la organización no

conoce de manera continua y lo más objetiva posible las
señales vitales que le permiten evaluar los resultados y así
enfrentar los problemas que la población padece
42
En este sentido, el sistema de monitoreo y evaluación trabaja de forma complementaria con
el sistema de planeación, acompañando el desarrollo de la gestión y los resultados de las
intervenciones a través de la operacionalización de un sistema de monitoreo periódico y de
calidad con el propósito de evaluar de forma eficiente eficaz para realizar los ajustes
pertinentes que permitan el cumplimiento de objetivos y metas formulados en el sistema de
planificación.

El Sistema de Cobranza y Rendición de Cuentas por Resultados

El Sistema de Cobranza y Rendición de Cuentas por Resultados ofrece a la alta dirección de la

organización la posibilidad de verificar los resultados de la gestión a fin de evaluar y cobrar
cuentas sobre el cumplimiento de los compromisos asumidos por el dirigente público, el
equipo de gobierno y todos los funcionarios. De esta forma, a diferencia del sistema de
monitoreo, el sistema de cobranza y rendición de cuentas por resultados distribuye
responsabilidades precisando el modo de cobrar los compromisos asumidos para el
cumplimiento de las metas que harán posible el enfrentamiento de los problemas y la
ejecución de las respectivas intervenciones. Además, este sistema establece las reglas,
procedimientos y criterios de evaluación mediante los cuales los distintos responsables
deberán prestar cuentas frente al funcionario de mayor rango por las metas específicas, y
frente al gerente o dirigente público responsable en la organización por el cumplimiento de
las metas generales.

Además, el sistema de cobranza y rendición de cuentas por resultados sustenta la

credibilidad de la palabra del dirigente y de su equipo de gobierno ante la población, bajo el
principio de que todo compromiso debe ser validado con su cumplimiento o con el examen
transparente y riguroso de las causas de su incumplimiento y de las responsabilidades
personales e institucionales correspondientes, haciendo la debida consideración de las
variables fuera de control de los actores comprometidos. Aún más, cuando el gobernante o
dirigente público se ha comprometido con la población y con los diversos actores de la
sociedad en enfrentar sus problemas, sea en su programa de gobierno o en los planes.

Los principales elementos del sistema de cobranza y rendición de cuentas por resultados son
los siguientes:

 La cualificación del desempeño de los responsables de la gestión y las intervenciones.

 La evolución de los problemas públicos mediante la verificación del cumplimiento de las
metas en los principales indicadores de resultado intermedio y de impacto de las
correspondientes intervenciones.
 Realización de las acciones, operaciones, actividades y proyectos comprometidos en las
intervenciones.
 Desarrollo y cumplimiento de los compromisos asumidos en conversaciones
establecidas en reuniones de trabajo: entre el dirigente público y cada uno de los
integrantes del equipo de gobierno y sus funcionarios.
43
 Trabas organizativas relacionadas con procedimientos que no operan eficientemente y
que demoran o dificultan la operacionalización de las intervenciones.
 Circunstancias externar o contexto fuera de control de la organización, relacionados con
decisiones tomadas y acciones emprendidas por otros actores institucionales. Aquí
también se incluyen decisiones y acciones realizadas por otros funcionarios del equipo
de gobierno y sus subalternos.

El sistema de cobranza y prestación de cuentas define la efectiva responsabilidad de los tres

niveles jerárquicos de decisión en la orientación, gestión y operacionalización de las
intervenciones y en lo referente a los compromisos asumidos, sean o no formalizados. Este
sistema soporta la credibilidad de la palabra, en el principio de que cualquier compromiso
debe ser validado con el cumplimiento o con el examen transparente y riguroso de las causas
de su incumplimiento y las correspondientes responsabilidades institucionales y personales,
además de la debida consideración de las variables fuera del control de los actores sociales
involucrados en la intervención.

En el proceso de cobranza y prestación de cuentas por resultados es posible:

 Distribuir responsabilidades de forma clara y evaluar el desempeño de acuerdo con

los compromisos asumidos en las intervenciones.
 Definir el tiempo y procedimientos de evaluación. Esto es, establecer los criterios de
evaluación que serán exigidos a los distintos responsables de la intervención en los
tres niveles jerárquicos de decisión para que se realice con eficacia el proceso de
prestación de cuentas de acuerdo con el nivel de responsabilidad y en periodos de
tiempo previamente planificados.
 Hacer juicios sobre cómo mejorar el desempeño de forma continua.
 Relacionar las estrategias de acción de la intervención con el contexto en que son
alcanzadas las metas.
 Garantizar la articulación coherente y clara de la planificación de los recursos
humanos, materiales y presupuestales con los resultados esperados en las metas de
la intervención.
 Demostrar responsabilidad con la población en relación con los resultados esperados
en las intervenciones (metas).

Es necesario dedicar tiempo en la agenda de la alta dirección y del nivel gerencial para la
reflexión y evaluación y para los elogios y las llamadas de atención. La práctica de la cobranza
y prestación de cuentas por resultados motiva una mejor calidad del monitoreo, de la
planificación y del gerenciamiento. Si el nivel de la alta dirección no es presionado a prestar
cuentas de manera sistemática y, consecuentemente, no demanda a sus funcionarios esta
misma presión, su agenda será dominada por las emergencias afectando negativamente los
resultados de las intervenciones y, en últimas, los sistemas de monitoreo y evaluación
quedarán en segundo plano cumpliendo solamente un papel ritual en la organización.
44
¿Cómo interactúan los sistemas de dirección estratégica?

SISTEMA DE
PLANIFICACIÓN

SISTEMA DE SISTEMA DE COBRANZA

MONITOREO Y Y RENDICIÓN DE
EVALUACIÓN CUENTAS

Fuente: Elaboración propia.

Los anteriores cuatro Sistemas de Dirección Estratégica deben interactuar de forma eficaz
para que la gestión muestre los resultados esperados. En síntesis, esta interacción se produce
de la siguiente manera:

El sistema de planificación contiene las metas con los indicadores que deberán ser
monitoreados en el cumplimiento de los objetivos trazados en las intervenciones. Por su
parte, el sistema de monitoreo es responsable tanto por la recolección de datos de acuerdo
con los indicadores definidos en las metas establecidas en las intervenciones, como por el
procesamiento y seguimiento de las informaciones obtenidas para estos indicadores. De este
modo, en el sistema de monitoreo se elaboran y emiten los informes que darán la información
relevante al dirigente o gerente público y a su equipo de gobierno sobre los avances
alcanzados y los atrasos encontrados en las metas y así sustentar el sistema de evaluación. Y,
el sistema de cobranza y prestación de cuentas por resultados, alimentado por el sistema de
monitoreo, es el medio de verificar el grado de responsabilidad de los funcionarios en el
cumplimiento de los compromisos que fueron evaluados. De esta manera, se emiten los
juicios que llevarán a tomar decisiones fundamentadas orientadas a hacer los ajustes y
correctivos necesarios, dando apoyo de esta forma al sistema de evaluación.

Es esencial que para el cumplimiento de su misión institucional toda organización pública

incorpore y efectivamente materialice esos cuatro sistemas de dirección estratégica:
planeación, monitoreo, evaluación y cobranza y prestación de cuentas. No obstante, la
efectividad de esta incorporación e integración es afectada cuando se presentan las
siguientes situaciones:
45
 Si no hay la cultura del procesamiento de problemas y su correspondiente sistematicidad
de formulación de políticas públicas, programas y planes de acción con metas precisas,
no será posible entonces saber qué es lo que se desea monitorear para evaluar la gestión.
Es decir, sin planificación no hay espacio para la evaluación por resultados.

 Si las políticas públicas, programas y planes de acción existen y son bien definidas las
metas, pero no hay seguimiento que permita verificar su grado de avance, estancamiento
o retroceso, entonces dichas políticas públicas, programas o planes no tendrán sentido
práctico en la gestión y no será posible saber si los problemas que afectan el bienestar de
la población están siendo atacados realmente, así como tampoco será posible evaluar la
calidad de la gestión pública. Por ejemplo, la organización puede crear e implantar un
observatorio con sistemas modernos y sofisticados de información, pero su buen
funcionamiento y real utilidad van a depender de que sea efectivamente demandado por
el Sistema de Planificación. Fuera de eso, sin un Sistema de Monitoreo no es posible que
opere el Sistema de Evaluación como tampoco el Sistema de Cobranza y Rendición de
Cuentas por Resultados. El Sistema de Monitoreo debe permitir que cada responsable de
las acciones, operaciones o proyectos de las distintas intervenciones desarrolle su
iniciativa y creatividad, corrija de inmediato y decida, sin consulta previa, sobre aquellos
aspectos que están incluidos dentro de su espacio de gobernabilidad. De esta forma, será
factible el cumplimiento de los compromisos definidos en las intervenciones y que la
prestación de cuentas pueda ser dada de acuerdo con las promesas realizadas.

 Puede ser también que los Sistemas de Planificación y de Monitoreo y Evaluación

intenten operar, pero los funcionarios que aparecen como responsables en el ámbito
decisorio y operativo de las políticas públicas, programas y planes de acción no sean
cobrados en sus compromisos por parte de la cabeza de la institución. En consecuencia,
si no hay una cobranza sistemática de cuentas por problemas y por resultados que
muestre y sustente las causas del incumplimiento de algunas metas, entonces la
planificación será una práctica de trabajo rutinaria donde quien es responsables no será
evaluado ni cobrado.

 Entre tanto, no es posible la evaluación por desempeño y resultados sin un sistema de

monitoreo que genere los indicadores pertinentes para cada caso. Y tampoco es posible
un sistema de monitoreo sin evaluación y sin planificación. La misma naturaleza de los
indicadores exige planificación, o sea, los indicadores, por sí mismos, no indican nada
significativo. La demanda por monitoreo obliga, por un lado, a mejorar la calidad de las
políticas públicas, programas y planes de acción y, por el otro lado, a elevar a capacidad
de corrección oportuna. La planificación es convertida en una exigencia de la calidad de
la gestión práctica. Como todo eso repercute sobre la calidad de la agenda de la Alta
Dirección, se hace entonces necesario dedicar tiempo para la reflexión, la evaluación y
los elogios y las reprimendas (sistema de premios y castigos). La práctica de la cobranza
de cuentas por desempeño y resultados motiva a una mejor calidad del monitoreo y de
la planificación. Del funcionamiento eficaz del sistema de cobranza y rendición de
46
 cuentas por resultados depende la capacidad del dirigente y su equipo de gobierno de
corregir y alterar oportunamente sus decisiones.

Esas deficiencias se constituyen en desafíos que deben ser enfrentados con estrategias
adecuadas de modernización que den vía a la implantación efectiva de los sistemas de
dirección estratégica. En síntesis, un eficaz Sistema de Planificación es base para el Sistema
de Monitoreo y Evaluación y, a su vez, eficaces Sistemas de Monitoreo y Evaluación son
pilares para el Sistema de Cobranza y Prestación de Cuentas por Resultados.

IMPORTANCIA DEL SISTEMA DE MONITOREO EN EL PROCESO DE EVALUACIÓN DE

RESULTADOS

Los sistemas de monitoreo y evaluación de resultados desempeñan papeles

complementarios y se refuerzan mutuamente.

Las funciones que cumple el monitoreo en el apoyo para el acompañamiento permanente de

una intervención pública, en la emisión de las señales de atención y alarma pertinentes para
determinar si los resultados reales observados en los indicadores son atribuibles por la
intervención o por condiciones del contexto y, en la disposición de una comprensión
profunda del por qué los resultados fueron o no alcanzados, facilitan la efectiva evaluación
de la gestión por resultados y contribuye en la medición del desempeño de cada uno de los
responsables designados en las distintas operaciones o estrategias de acción de la
intervención.

Aunque será tratado de forma más exhaustiva en el siguiente capítulo, la evaluación se define
como un sistema de deliberaciones en el que los niveles de alta dirección y gerencial realizan
juicios sobre el desempeño en los diferentes niveles organizativos y sobre los resultados
alcanzados, con el fin de mantener o corregir el curso de una intervención. Por eso es que es
posible que a través del sistema de monitoreo, el sistema de evaluación haga una valoración
tanto de la calidad de la gestión y de la revisión del cumplimiento en los compromisos
asumidos por los niveles de la alta dirección, gerencial y técnico-operacional.

Por consiguiente, la importancia del sistema de monitoreo en el proceso de evaluación de

resultados se encuentra en que contribuye en el cumplimiento efectivo de los siguientes
objetivos:

a. Verificar sistemáticamente el progreso y cumplimiento de los objetivos y metas

definidas en las intervenciones, así como de la economía, eficiencia y eficacia de la
gestión.

b. Determinar la contribución específica de los funcionarios en el desempeño sobre el

diseño e implementación de la intervención. Esto significa también evaluar la calidad
47
 del desempeño de la gestión de cada uno de los niveles de la alta dirección, gerencial
y técnico-operacional, con base en la verificación del cumplimiento de las metas.

c. Apoyar a la alta dirección y al nivel gerencial en la comprensión de la articulación de

las decisiones como respuesta a la comparación de los resultados esperados con
aquellos resultados obtenidos realmente en las intervenciones.

d. Evaluar cómo el contexto externo puede afectar el desempeño gerencial y la cantidad

y calidad de los resultados esperados en la intervención.

e. Garantizar que sean recolectadas y procesadas informaciones creíbles y confiables.

f. Tomar decisiones informadas para emprender las medidas necesarias orientadas a la

corrección oportuna en las intervenciones y generar aprendizajes para futuras
intervenciones.

Finalmente, aunque exista una correlación muy estrecha entre la eficacia del sistema de
monitoreo y la calidad de la evaluación, ésta última sólo alcanzará su eficacia y utilidad
integral cuando sea acompañada de un proceso permanente de cobranza y prestación de
cuentas por resultados. Por ese motivo, no es posible la evaluación por resultados sin un
sistema de monitoreo que genere los indicadores necesarios en la intervención. Y, no es
posible mostrar la utilidad del sistema de monitoreo sin evaluación y sin cobranza y
prestación de cuentas por resultados.

CRITERIOS DE ÉXITO PARA LA EFECTIVIDAD DEL MONITOREO Y LA EVALUACIÓN DE

RESULTADOS

Los criterios que orientan el monitoreo y la evaluación de resultados son:

a. El monitoreo tiene el propósito principal de generar informaciones sobre el

cumplimiento de metas relacionadas con la calidad, pertinencia, oportunidad,
eficiencia, eficacia e impacto de la gestión pública para la adecuada evaluación y
oportuna toma de decisiones.

b. El monitoreo y la evaluación son un medio para identificar los problemas que

potencial o efectivamente están impidiendo u obstaculizando el cumplimiento de las
metas de las intervenciones y, de este modo, tomar decisiones sobre medidas
correctivas, de ajuste o de eliminación.

c. El monitoreo y la evaluación se deben fundamentar en planes, programas y políticas

públicas técnicamente bien elaborados; es decir, con un buen análisis causal del
problema, con operaciones bien diseñadas que impacten eficazmente en las causas
48
 críticas del problema y con objetivos y metas claramente definidos que permitan
medir el grado de avance o retraso en los resultados y procesos.

d. El monitoreo y la evaluación deben orientarse en términos cuantitativos como

cualitativos, según sea la necesidad expresada en los objetivos y metas de las
intervenciones y en las competencias designadas a los funcionarios responsables.

e. El monitoreo y la evaluación no son procesos aislados y exclusivos de una unidad

organizativa, pues debe contar con la participación y contribución de otras unidades
que estén relacionadas directa o indirectamente con el enfrentamiento del problema
para el que fue diseñada la intervención pública. Adicionalmente, como algunas veces
el proceso de diseño de la intervención es realizada de forma amplia y democrática
con la población, entonces la evaluación debe realizarse con la participación de otros
actores sociales y de grupos de interés.

f. La efectividad del proceso de monitoreo depende del conocimiento profesional, de la

sistematicidad y continuidad y del alto nivel de responsabilidad de la unidad
organizativa principal de monitoreo. Sin embargo, el nivel de compromiso y
responsabilidad de los niveles de alta dirección y gerencial son también esenciales.

g. El monitoreo y la evaluación deben fundamentarse en el uso de modernas tecnologías

de información y comunicación (TICs) y,

h. El monitoreo y la evaluación deben servir a los propósitos de la cobranza y prestación

de cuentas por resultados.

49
 4. LA EVALUACIÓN DE RESULTADOS: CONCEPTOS FUNDAMENTALES

DEFINICIÓN

La Evaluación es una herramienta de Algunas definiciones de evaluación:

gestión que permite apreciar o valorar de
manera sistemática y objetiva los progresos Es la aplicación de métodos sistemáticos para
conseguidos en los resultados de un plan, abordar cuestiones relativas a la utilidad y
programa, política pública o proyecto, con la valor de las operaciones del programa y sus
finalidad de sustentar la toma de decisiones resultados…Esto implica dos razones
respecto al mejoramiento o utilidad de la distintas:
intervención. Así, es una estrategia de a) Es el proceso sistemático de recolección y
aprendizaje valiosa para mejorar los análisis de datos a fin de determinar sí, y en
qué grado los objetivos han sido o están
conocimientos sobre la lógica subyacente
siendo alcanzados…
de las acciones de los Programas y Políticas b) Es el proceso sistemático de recolección y
en curso, así como sobre sus resultados análisis de datos con el fin de tomar una
(Wholey, Hatry & Newcomer, 2010, p. 6). decisión.
(Wholey, et al, 2010, p. 5 y 6).
Es común que las evaluaciones se centren
en medir la gestión en una intervención, en Es la recopilación y análisis sistemático de
lugar de valorar sí los objetivos previstos se información que nos permite emitir juicios –
han cumplido impactando en el también sistemáticos- sobre el mérito y el
mejoramiento del bienestar de los valor del programa evaluado. (Martínez, 2003,
p. 16).
beneficiarios o de la población misma. Por
esta razón, el principal objetivo de la
evaluación debe ser integral puesto que debe hacer posible determinar la pertinencia,
eficiencia, eficacia, impacto y sostenibilidad de una intervención, generando las
recomendaciones y aprendizajes que van a elevar la calidad de las decisiones para sostener,
ampliar, mejorar, reorientar, diseñar o eliminar una intervención (Zall & Rist, 2005).

De manera específica, la evaluación tiene tres fines principales:

(i) Como medio para realizar rendiciones de cuentas ante grupos interesados y
participantes del proceso respecto a los efectos intencionados y no intencionados
generados por las intervenciones.
(ii) Aportar informaciones y evidencias creíbles y confiables que sustentan mejor la
toma de decisiones respecto a la formulación, implementación, funcionamiento de la
intervención y asignación de recursos.
(iii) Proporcionar aprendizajes sobre lo que funciona y no funciona en el proceso de la
50

intervención.
La evaluación cumple en esencia cuatro (4) funciones (Wholey, Hatry y Newcomer, 2010):

(i) Generar retroalimentación o mejoramiento de las áreas o procesos durante la

implementación de la intervención (evaluación formativa).
(ii) Determinar la calidad o el valor de la intervención, es decir, la extensión a la cual
fueron logrados los resultados esperados: qué ocurrió al final del ciclo (evaluación
sumativa).
(iii) Extraer ideas para diseñar o crear nuevas intervenciones.
(iv) Producir los aprendizajes que permitan aprovechar lo negativo y positivo y,
(v) Como un dispositivo de rendición de cuentas.

CRITERIOS QUE DETERMINAN LA EVALUACIÓN DE UNA INTERVENCIÓN

Muchas veces no es posible que a todas las

1. Utilización
intervenciones emprendidas por una
¿Pueden los resultados de la evaluación
organización se les realice un proceso
influenciar decisiones sobre la
evaluativo de forma integral. Existen varias
intervención?
razones de este hecho como son el grado de
importancia de la intervención,
2. Oportunidad
disponibilidad de personal cualificado,
¿La evaluación se puede hacer de forma
tiempo, presupuesto y disponibilidad de
oportuna para que sea útil?
información. Por este motivo, se hace
necesario aplicar algunos juicios o
3. Pertinencia
valoraciones que permitan determinar si es
¿La intervención es lo suficientemente
necesario o importante emprender una
significativa para merecer una
evaluación a una intervención: utilización,
evaluación?
oportunidad, pertinencia e inversión
significativa. En primer lugar, si dirigentes
4. Inversión Económica
y/o gerentes públicos efectivamente
¿Consume una gran cantidad de
utilizarán los resultados de la evaluación para
recursos?
tomar decisiones respecto a mantener,
modificar o finalizar una intervención. En
segundo lugar, si la evaluación se puede hacer de forma oportuna para que sea útil, es decir,
la disponibilidad de la información y el tiempo que tomará recolectar y procesar los datos
necesarios para responder a preguntas claves de la evaluación. Aquí el sistema de monitoreo
cobra gran relevancia en cuanto es la base para un buen sistema de evaluación. Tercero, si la
intervención es pertinente e importante o suficientemente significativa para merecer una
evaluación y, cuarto, si la evaluación va a requerir una inversión significativa en relación con
el presupuesto total de la organización, y si es así, qué alternativas hay para financiar dicha
evaluación (Wholey, et al., 2010; Weiss, 1998).
51
Así, al llevar a cabo una evaluación se deben considerar elementos como (PNUD, 2002):

 El propósito de la evaluación: responsabilidad, rendición de cuentas, conocimiento

sobre lo que está sucediendo o sucedió con la intervención, aprendizaje, entre otros.
 Definición del público objetivo a quien se le presentará la evaluación.
 Si es una evaluación ex ante, de proceso o ex post.
 El tipo de información que se requiere, de acuerdo con el propósito de la evaluación
que fue definido.
 El alcance de la evaluación en términos de tiempo, cobertura geográfica y extensión
de la intervención.
 Existencia o no de un sistema de seguimiento, determinando así los recursos
humanos, financieros y organizacionales con los que se cuenta para recopilar,
procesar y analizar la información.

ÁREAS DE INTERVENCIÓN DE LA EVALUACIÓN

a. Evaluación de Responsabilidades
Se evalúa si las decisiones tomadas por la alta dirección y el nivel gerencial están siendo
implementadas, además del grado de cumplimiento o incumplimiento en la ejecución de las
estrategias de acción formuladas en las intervenciones.

b. Evaluación de Resultados
Se evalúa si los objetivos y metas definidas en las intervenciones están siendo o no
alcanzadas.

c. Evaluación Causal del Problema

Se evalúan los cambios en las relaciones causales del problema procesado para la
intervención. El propósito es conocer si las acciones ejecutadas han tenido impacto en las
causas críticas encontradas en el análisis del problema.

d. Evaluación Descriptiva del Contexto

Busca determinar lo que está sucediendo en el entorno externo y describe los procesos, las
relaciones organizacionales y las distintas visiones de los órganos y actores sociales
involucrados en la intervención.
52
 5. TIPOS DE EVALUACIÓN

EVALUACIONES SEGÚN TEMPORALIDAD

Las evaluaciones pueden ser clasificadas de acuerdo al tiempo o momento del ciclo de vida
de una intervención:

 Evaluación ex ante

Esta evaluación es la que se realiza antes de comenzar una intervención proporcionando

información útil sobre la conveniencia de decidir implementarla o no. De este modo, la
pregunta clave es: ¿Vale la pena emprender esta intervención? Uno de los insumos más
importantes para hacer esta evaluación ex ante es recurrir a los resultados de evaluaciones
anteriores hechas a otras intervenciones similares con la que se quiere comenzar con el
propósito de conocer el grado de eficacia e impacto obtenido (éxito de la intervención). Por
tanto, son tres los elementos que determinan la evaluación ex ante:

i) La posibilidad real de que la intervención permita alcanzar los resultados propuestos

con los recursos disponibles. Esto implica realizar una estimación del costo y la
capacidad de movilización de recursos que tiene la organización tales como
cualificación y nivel de preparación de las personas, tiempo, financieros,
organizacionales, materiales, entre otros.

ii) La actitud y nivel de aceptación de los beneficiarios de la potencial intervención y,

iii) La trascendencia que puede tener la intervención en términos del impacto que se
desea generar. En este caso se requiere hacer un balance para comparar los costos y
beneficios presentes y futuros entre varias alternativas. Este balance de costos y
beneficios se pueden medir en términos financieros, políticos, económicos, sociales y
ambientales (Di Virgilio y Solano, 2012, p. 61).

 Evaluación de proceso

Denominada también como Evaluación Durante porque se realiza en el momento en que la

implementación de la intervención se está llevando a cabo; esto con el fin de estimar si se
está avanzando para cumplir efectivamente con los resultados previstos durante el diseño
(eficacia), si hay racionalidad en el uso de los recursos (eficiencia) y, si se está generando
productividad en su ejecución (relación recursos invertidos - productos alcanzados). De esta
manera, se califica la eficiencia y eficacia que está alcanzando la intervención facilitando
corregir o ajustar con tiempo los cursos de acción. Durante el desarrollo de la intervención
53

se puede programar una o varias evaluaciones de proceso de acuerdo con el tiempo de

duración previsto para su implementación (Di Virgilio y Solano, 2012, p. 62). La condición de
éxito de este tipo de evaluación es que quien dirige o gerencia la organización use la
evaluación para tomar de forma oportuna las decisiones pertinentes que se requieren, si se
desea cumplir con los objetivos y metas propuestos en la intervención.

 Evaluación ex post.

Esta evaluación, llamada también de Evaluación Final, se lleva a cabo al finalizar la

implementación de toda la intervención. Su objetivo principal es determinar cuáles fueron
los resultados que finalmente se lograron, hacer un juicio de valor sobre si dichos resultados
son consistentes con los objetivos propuestos en el diseño de la intervención y analizar las
causas o factores que actuaron a favor o en contra (Briones, 1991). Los resultados de la
evaluación deben ser utilizados para extraer conclusiones sobre el éxito o fracaso, hacer
recomendaciones y realizar correcciones o ajustes a nuevas intervenciones. Adicionalmente,
sirve como medio de generación de aprendizajes.

EVALUACIONES SEGÚN DIMENSIÓN

El proceso de evaluación que se plantea en este documento hace parte de la perspectiva de

la formulación de políticas basada en la evidencia, es decir, un cambio en el enfoque que se
basa solamente en los recursos y productos hacia un enfoque integral que se amplía desde
estos últimos hacia el análisis fundamentado de la relación resultados intermedios y
resultados de impacto. El valor de una evaluación se mide en la fortaleza de la evidencia
producida, en la credibilidad de la evaluación para los decisores gubernamentales y,
especialmente, en el uso de la información de la evaluación para mejorar las políticas y los
programas (Wholey et al, 2010, p. 2).

Este enfoque busca, por tanto:

- Verificar y mejorar la calidad, eficiencia, eficacia y efectividad de las intervenciones

públicas en todo el ciclo de planificación, focalizando siempre en los resultados.
- Mejorar los procesos de cobranza y rendición de cuentas
- Orientar las decisiones de las intervenciones

En esta dirección, las evaluaciones también se pueden clasificar de acuerdo a tres

dimensiones de interés: evaluar la implementación, evaluar los resultados y evaluar el
impacto de la intervención (Gertler, Martinez, Premand, Rawlings, & Vermeersch, 2011):

 Evaluación de implementación

Es una evaluación de tipo descriptiva que busca evaluar lo que está ocurriendo en una
intervención, describiendo los procesos, condiciones, relaciones organizacionales y
54

opiniones y perspectivas de las partes interesadas, al igual que determinar el cumplimiento

de las actividades y si la implementación funciona de acuerdo con lo que fue diseñado
originalmente en la intervención y cumple con los requisitos legales y reglamentarios.

 Evaluación de resultados

Es una evaluación de tipo normativa que compara lo que está ocurriendo (resultados reales)
con lo que debería estar ocurriendo (objetivos y metas propuestas). Es decir, es una forma
de evaluación que valora el grado en que una intervención alcanza sus objetivos orientados
a los resultados. Así mismo, se centra en los productos y efectos (incluyendo efectos no
buscados) para juzgar la efectividad de la intervención al relacionar el proceso de
implementación con los resultados producidos.

 Evaluación de impacto

Es una evaluación de tipo causa-efecto que busca estimar y valorar los cambios generados en
el desarrollo humano o calidad de vida de la población atribuidos por la intervención, tanto
de forma directa o indirecta como intencionada o involuntaria. Así mismo, examina el efecto
neto de una intervención mediante la comparación de sus resultados con una estimación de
lo que habría sucedido en ausencia de éste, es decir, evaluar los resultados sin y con
intervención. Por ello, en este tipo de evaluación se deben considerar los factores externos o
del contexto que influyen en los resultados de la intervención, teniendo cuidado de aislar cuál
sería la contribución de la intervención a la consecución de sus objetivos.

Evaluaciones de impacto bien diseñadas y bien implementadas tienen la capacidad de

proporcionar evidencia convincente y lo más completa posible que se puede utilizar para
fundamentar las decisiones, así como informar a la población y a la opinión pública en general
o a grupos de interés específicos interesados en el desempeño y resultados de la intervención.
En conclusión, la evaluación de impacto proporciona evidencia potente y creíble que no
puede ser ignorada en posteriores decisiones de formulación de políticas o programas.

La aplicación de los tres tipos de evaluación, de procesos, de resultados y de impacto,

permiten tomar las decisiones respecto a recortar o eliminar intervenciones ineficientes o
ineficaces, ampliar o mejorar las intervenciones que funcionan, corregir elementos del
contenido de la intervención, ajustar los beneficios de la intervención y seleccionar entre
alternativas de varias intervenciones.

En la estructura de estos tres tipos de evaluación existe un elemento central que es la

elaboración de las preguntas que orientarán y permitirán dar respuestas en el proceso de
evaluación de la intervención. Dichos cuestionamientos deben ser formulados incluso en el
momento del diseño de la intervención a fin de prepararla para la evaluación desde el ciclo
del inicio de su ejecución. Para ello, se recomienda seguir cinco (5) criterios: pertinencia,
eficiencia, eficacia, impacto y sostenibilidad (PNUD, 2002). A seguir, se presentan a manera
55
de guía algunas preguntas para la evaluación siguiendo cada uno de estos criterios (ONU,
2014, pp. 17-20):

 Pertinencia:
- ¿Los resultados de la intervención son consistentes con los objetivos de la
intervención?
- ¿La intervención define con claridad tanto el problema que se quiere enfrentar
como los objetivos y metas que se quieren alcanzar?
- ¿Se ha definido con claridad y de forma explícita la población destinataria de la
intervención?
- ¿Es necesario modificar o adecuar los objetivos y las metas previamente
establecidas en la intervención?

 Eficiencia:
- ¿Los productos/servicios han sido o fueron entregados de forma oportuna a la
población destinataria?
- ¿Cómo fue la utilización de los recursos presupuestados? ¿Se utilizaron tal como
fueron presupuestados?
- ¿Cómo fue la gestión de los recursos?

 Eficacia:
- ¿Las decisiones tomadas hasta hoy al igual que las acciones planeadas en la
intervención efectivamente han conducido a un enfrentamiento eficaz de los
problemas que se pretenden enfrentar con la intervención, permitiendo ir en
dirección del logro de los resultados propuestos?
- ¿Se lograron o se están alcanzando los resultados propuestos? ¿En qué medida los
compromisos sobre los objetivos y metas previstas en la intervención fueron
cumplidos? ¿Cómo se llegó a esos resultados? ¿A través de qué medios? ¿Qué
decisiones deberán ser tomadas?
- ¿Cuáles son los avances, los errores cometidos y las deficiencias?
- ¿Cuáles son las causas principales del éxito o fracaso de la intervención?
- ¿Cuáles son los obstáculos principales para la implementación de las acciones
definidas en la intervención?
- ¿Qué debe ser corregido? ¿Qué decisiones deben ser tomadas para hacer frente a
las fallas, deficiencias o errores encontrados? ¿En qué se debe perseverar?
- ¿Cuál fue el grado de coordinación y articulación entre los distintos actores
involucrados en la implementación de la intervención?
- ¿Cuál es el peso de las circunstancias del contexto en los pocos avances o fracasos
de la intervención?
- ¿El equipo responsable por la intervención ha realizado de forma oportuna los
ajustes y correcciones necesarias en la intervención?
56
  Impacto:
- ¿Hubo cambios en las situaciones de la población afectada objeto de la
intervención?
- ¿Se ha contribuido significativamente a resolver el problema que dio origen a la
intervención?
- ¿Qué efecto neto ha tenido la intervención en la población beneficiaria mediante
la comparación de los resultados alcanzados con una estimación de lo que habría
sucedido en ausencia de dicha intervención?
- ¿Los receptores de los bienes y servicios que genera la intervención han resultado
realmente beneficiados? ¿Los beneficios están llegando a la población que se
pretende atender?
- ¿Los beneficiarios de la intervención están satisfechos con los bienes y servicios
recibidos?
- ¿Los beneficiarios han experimentado un mejoramiento significativo en su
condición-problema inicial, como consecuencia de su participación en la
intervención?
- ¿Cuáles son las capacidades instaladas al finalizar la intervención en la población
beneficiaria?

 Sostenibilidad:
- ¿Los resultados alcanzados por efecto de la intervención podrán sostenerse una
vez finalice su implementación?
- ¿Qué factores están impidiendo la sostenibilidad de la intervención?
- ¿Qué capacidades se requieren crear, mejorar o fortalecer para generar
sostenibilidad de la intervención?

EL CICLO DEL MONITOREO Y LA EVALUACIÓN

En el proceso de monitoreo y evaluación, las unidades organizativas que se encuentran en

los tres niveles de decisión jerárquica están relacionadas y tienen que trabajar en estrecha
colaboración, a fin de coordinar sus actividades en pro de obtener, procesar, analizar y hacer
juicios de valor sobre indicadores confiables, coherentes y oportunos para la gestión de la
institución. Para ello es indispensable construir un modelo de sistema de monitoreo y
evaluación adecuado que atienda esos requerimientos de coordinación y colaboración. El
modelo propuesto aquí opera en un proceso de ciclo que consta fundamentalmente de seis
(6) fases, como se muestra en la siguiente figura.
57
 Ciclo del Monitoreo y la Evaluación

6 1
Acciones de Definición de
ajuste y metas e
corrección indicadores

2
Recolección,
5
categorización y
Decisiones procesamiento
de
informaciones

3
4
Monitoreo y
Análisis de las evaluación
causas que comparativa de
impiden la resultados con
consecución de indicadores
metas meta

Fuente: Elaboración propia.

A seguir, se describen cada una de estas fases del modelo de monitoreo y evaluación:

FASE 1: Definición de metas e indicadores.

En las intervenciones se deben definir de forma clara las metas en conformidad con objetivos
ya formulados. Por esta razón, cada meta definida en la intervención es una descripción
cuantificable y verificable de los objetivos, dentro de un determinado período de tiempo. Así,
la unidad organizativa responsable de la intervención debe seleccionar y construir para cada
una de las metas aquellos indicadores asociados a ellas.

La construcción de indicadores es una tarea que debe ser realizada con profesionalismo, pues
deberán cubrir adecuadamente el dominio completo implícito en la declaración realizada en
la meta. Es decir, que el número de indicadores definidos en cada meta va a depender del
alcance establecido en el objetivo u objetivos formulados.

FASE 2: Recolección, categorización y procesamiento de informaciones.

Las variables que componen los indicadores definidos en la Fase 1 orientarán de forma
58

cualitativa la recolección de los datos, el procesamiento de las informaciones y el seguimiento

sobre el progreso, atraso o agravamiento de la situación de acuerdo con los resultados
esperados expresados en los indicadores-meta. Por tanto, deberán ser definidas las fuentes
de los bancos de datos y de los sistemas de informaciones tanto de la organización
responsable por la intervención como de instituciones externas que proporcionan también
informaciones necesarias para los indicadores de cada una de las metas. Pero para eso se
requiere categorizar los indicadores con el fin de hacer una agrupación y clasificación de las
informaciones que serán necesarias recolectar. También es necesario tener en cuenta la
relevancia de la demanda de los indicadores de acuerdo con el nivel jerárquico de decisión
en la organización puesto que, como ya se dijo antes, entre más alto sea el nivel
organizacional menor es el número de indicadores que serán demandados. Esto es, el nivel
de la alta dirección va a exigir indicadores agregados y sintetizados que permitan informar y
orientar mejor sus decisiones estratégicas.

El procesamiento de las informaciones contenidas en los indicadores implica elaborar la

Ficha Técnica del indicador, con los elementos recomendados que ya fueron abordados
también antes en este documento.

FASE 3: Monitoreo y evaluación comparativa de resultados con indicadores-meta.

Para llevar a cabo esta fase es necesario definir primero los valores de los indicadores-norma
o indicadores-meta, ya que ellos se constituyen en los referentes para hacer el análisis
comparativo con los resultados reales alcanzados en el indicador. A partir del indicador-
meta, es decir, de la definición del valor cuantitativo o cualitativo deseado para alcanzar el
objetivo previsto en la intervención, es posible elaborar un juicio razonablemente informado
y justificado que permita interpretar posteriormente los resultados obtenidos. Pero eso exige
un proceso de monitoreo constante.

Una vez es realizado el análisis de los indicadores-resultado y los indicadores-meta, es

necesario comenzar a interpretar los resultados encontrados en esta comparación. El asunto
central que fundamenta con rigor la evaluación y reflexión de los resultados de las
informaciones y de las metas es si se está en la dirección correcta para cumplir con los
objetivos y metas deseados. En esa evaluación va a ser posible detectar oportunamente lo
que va mal o tiende a ir mal o, lo que parece anormal. En la reflexión es considerada, por
tanto, la verificación de la eficacia de las decisiones de la alta dirección y del nivel gerencial.
No obstante, la calidad de esa evaluación y de sus consecuentes conclusiones van a depender
principalmente de dos factores:

a. De que la evaluación sea hecha a partir de un análisis que integre tanto las visiones y
conocimientos técnicos como políticos, a fin de lograr una comprensión amplia de los
resultados obtenidos desde múltiples perspectivas situacionales. Así, se podrá
conocer si está siendo asegurada la direccionalidad de la gestión institucional y la
eficiencia y eficacia en el cumplimiento de los objetivos y metas definidas en las
intervenciones.
59
 b. De la calidad de preparación del personal designado para el trabajo de evaluación. En
esta evaluación deben participar no sólo los funcionarios de la unidad organizativa
responsable por esta tarea, sino también aquellos que estén capacitados de otras
dependencias y órganos de la institución. No obstante, las interpretaciones bien
cualificadas serán así mismo fortalecidas con el apoyo de especialistas o expertos de
instituciones públicas y particulares involucrados en el estudio y experiencia en el
ámbito problemático que se pretende enfrentar con la intervención.

Como resultado de este análisis comparativo, será necesario elaborar de forma

periódica informes gerenciales orientados especialmente a la alta dirección para que
delibere y tome las decisiones pertinentes.

FASE 4: Análisis de las causas que impiden la consecución de las metas.

Las informaciones exhibidas en los indicadores pueden generar preocupaciones sobre

deficiencias en los resultados de la intervención. Por tanto, surge la necesidad de estudiar las
causas por las cuales no fueron aún alcanzadas las metas. Esto implica hacer un
procesamiento tecnopolítico de los problemas, en el que se integren criterios políticos,
económicos, técnicos, legales, organizativos y cognitivos. Estos elementos son relevantes
para el análisis y enfrentamiento eficaz de los problemas, para la apreciación de la situación
del gobierno y para la comprensión de la realidad de lo que está sucediendo en el contexto.

En este procesamiento tecnopolítico son precisadas las causas y exploradas opciones de

acción que permitan corregir las deficiencias en conformidad con los objetivos e indicadores-
metas definidos en las intervenciones. Estas tareas de procesamiento y recomendaciones
deben ser realizadas de forma coordinada entre los funcionarios de la institución y de otras
organizaciones definidas como responsables en la intervención.

FASE 5: Decisiones.

Se presenta un informe con el análisis de las causas junto con una evaluación de ventajas y
desventajas de cada alternativa de decisión propuesta. Estos elementos permitirán a la alta
dirección deliberar y tomar decisiones de manera informada y bien respaldadas por un
análisis concienzudo y profundo.

FASE 6: Acciones de ajuste y corrección.

Las acciones de ajuste y corrección son resultados de las decisiones tomadas por la alta
dirección y que fueron sustentadas en evaluaciones, al igual que por el procesamiento de las
deficiencias. Una intervención puede ser responsabilidad de varias dependencias, pero en
ocasiones las acciones de ajuste pueden depender de la competencia de instituciones
externas, públicas o particulares. Esto dificulta la actualización de la intervención.
60
El Monitoreo y la Evaluación como una Repetición Periódica y Constante

El Ciclo de Monitoreo y Evaluación evidencia la repetición periódica y permanente de los

procesos de monitoreo, evaluación, análisis de causas, decisiones y ajuste de acciones e
indicadores, como se muestra en la figura siguiente:

Recolección de datos, Recolección de datos, Recolección de datos,

categorización y categorización y categorización y
procesamiento de las procesamiento de las procesamiento de las
informaciones 1 informaciones 2 informaciones 3

Monitoreo y Monitoreo y
evaluación 1 evaluación 2

TIEMPO

Análisis de Decisión y Análisis de Decisión y

Causas Ajuste Causas Ajuste

Fuente: Elaboración propia.

61
 6. LA CADENA DE RESULTADOS (O MODELOS LÓGICOS)

Eficiencia
 El uso de los medios para alcanzar los objetivos.
 El grado en que un programa o política pública ha sido productivo en relación a los
recursos utilizados.
Eficacia
 El grado en que han sido alcanzados los objetivos propuestos en el programa o política
pública.
Impacto
 El grado en que un programa o política pública ha generado cambios duraderos en el
bienestar o calidad de vida de los beneficiarios.

LA CADENA DE RESULTADOS EN LA EVALUACIÓN

También llamado como CADENA DE VALOR o MODELO LÓGICO, es un método que de forma
gráfica muestra los elementos esenciales y su interrelación para el desarrollo de una política
o programa. Es así que describe los recursos utilizados, la acción planificada y los productos
y resultados esperados de una política o programa a fin de producir un impacto que cambie
la situación negativa en un problema social, en un periodo de tiempo determinado y bajo
ciertas condiciones del entorno. Ayuda a ofrecer un panorama simplificado de toda la
intervención .

Diagrama de una Cadena de Resultados

Inputs Processes Outputs Outcomes Impact

RESULTADOS DE
RECURSOS ACTIVIDADES PRODUCTOS IMPACTO
CP y MP

Estructura del Estructura de

Programa Resultados

CONDICIONANTES

Fuente: Adaptado de Handbook of practical program evaluation. Wholey y otros (Editores). Third Edition. 2010, pág. 57.
62
La Cadena de Resultados vincula los resultados intermedios y de largo plazo con los procesos
y las actividades y con los factores externos e internos que condicionan la obtención de los
productos y resultados.

El modelo vincula los resultados a corto y largo plazo con los procesos y las
actividades y con los supuestos teóricos en que se basa el programa. El modelo
proporciona un marco de planificación, que subraya la manera en que se espera que
se desarrolle el programa, y en qué orden escalonar las actividades, y observa la
forma en que se logran los resultados.
Incluye un análisis de los insumos necesarios para mantener el proyecto en
funcionamiento, y puede contribuir a la elaboración de los indicadores que se
utilizarán para seguir los avances del proyecto hacia las metas y resultados
previstos. UNESCO, , p. .

La Utilidad de la Cadena de Resultados

Permite enfocarse en los elementos importantes que deben ser evaluados en una política o
programa como, por ejemplo:

- Identificar las preguntas de evaluación que deben hacerse;

- Saber qué funciona y qué no funciona ;
- Evidenciar sí los resultados esperados están siendo cumplidos;
- Cuestionar el porqué del estancamiento, avance o retroceso;
- Ayudar en el diseño o mejoramiento de programas o políticas mediante la
identificación de las actividades del programa que son críticas para el logro de las
metas, que son redundantes, o que tienen vínculos inconsistentes o poco plausibles
con las metas del programa.

Además, posibilita diseñar los sistemas de medición del desempeño: Qué Medir para
recolectar los datos necesarios (Indicadores) y qué puede ser usado en cualquier momento
del ciclo de vida de una intervención: durante su fase de diseño, fase de implementación o
después de finalizado.
63
 Elementos de la Cadena de Resultados

Operación o Estrategia de Acción del Programa o Política: XXXX

RECURSOS ACTIVIDADES PRODUCTOS RESULTADOS IMPACTO

Bienes y servicios
Recursos Acciones Es el objetivo
producidos y
organizativos, emprendidas o Uso de los último.
distribuidos.
económicos, trabajo productos o Impacto de largo
políticos y de desempeñado Son producto de productos plazo que busca
conocimiento para producir la ejecución de dirigidos a la enfrentar o
movilizados bienes y/o las actividades población- contribuir a
para apoyar servicios mediante la objetivo. enfrentar un
las actividades (productos) combinación de
problema social
recursos.

Áreas que la entidad pública Resultados que salen del control

responsable por la ejecución directo de la entidad pública y
puede monitorear directamente están supeditados a cambios en el
para medir el desempeño del contexto y en el comportamiento
programa o política. de los beneficiarios del programa.

Fuente: Adaptado de IMPACT EVALUATION IN PRACTICE. Gertler, et al, 2011, pp. 25.

Pasos para el Diseño de una Cadena de Resultados

Una Cadena de Resultados para la evaluación de un programa o política pública es construido

en 6 pasos:

PASO 1. Definición y procesamiento del problema social que se desea enfrentar.

PASO 2. Diseño de la intervención.
PASO 3. Definir los elementos de la Cadena en una tabla.
PASO 4. Articular de forma lógica los elementos de la Cadena
PASO 5. Elaboración de la Ficha Técnica de Evaluación
PASO 6. Verificar la Cadena con los actores pertinentes.

A continuación, se explica de forma detallada cada Paso:

PASO 1. Definición y Procesamiento del Problema

En el procesamiento del problema deben ser identificados:

 Manifestaciones o evidencias del problema e Indicadores de Resultados Terminales.

 Causas Críticas con sus descriptores e Indicadores de Resultados Intermedios.
 Actores relevantes y su gobernabilidad en el problema (Causas Críticas).
64
PASO 2. Diseño de la Política o Programa

En el diseño del programa o política deben ser formulados:

 Objetivos con sus metas (a partir de las manifestaciones e indicadores del problema y de
las Causas Críticas).
 Operaciones o Estrategias de Acción con su respectiva desagregación: acciones, proyectos
y actividades, junto con responsables claramente establecidos.

PASO 3. Definir los Elementos del Modelo en una Tabla

Para cada operación o estrategia de acción diseñada en la política o programa, es necesario

definir en la tabla:

a. Los recursos que requerirá: políticos, financieros, organizativos o cognitivos.

b. Listar las actividades que se emprenderán con el uso de la combinación de esos recursos
a fin de producir unos productos concretos. Recuerde que estas actividades surgen de la
desagregación de la operación o estrategia de acción.
c. Establecer los productos que se esperan obtener de la realización de las actividades. Los
productos son los bienes o servicios que se generan en la misma organización o a nivel
externo (participantes del programa o beneficiarios del mismo).
d. De acuerdo con las metas establecidas para cada Causa Crítica (punto 1 del Paso 2),
colocar los resultados intermedios que se esperan obtener. Aquí se puede incluir
resultados dirigidos directamente a los beneficiarios o población intervenida.
e. De acuerdo con las metas establecidas para cada Indicador de Resultado del Problema
(punto 1 del Paso 2), colocar los resultados de impacto que se esperan obtener.
f. No olvide que al considerar los impactos se deben tener en cuenta no sólo los que se
procuraba obtener sino también los inesperados. Si se prevén esas posibilidades en el
Diseño del programa o política, es posible atenuar los impactos negativos que podrían
producirse.
g. Explore condicionantes del entorno o factores internos y externos que pueden
influenciar de alguna manera el programa o política, afectando su desarrollo y
resultados, por lo que no puede ser ignorado:
h. Sistemas organizativos deficientes o ineficientes, sistema financiero débil, entorno
político, el medio cultural, el clima, la estructura económica, los parámetros
demográficos, el medio ambiente, los antecedentes y la experiencia de los participantes
en el programa, la influencia de los medios de comunicación, las políticas y prioridades
gubernamentales cambiantes, etc.

PASO 4. Articular de Forma Lógica sus Elementos

 Construir enlaces causales entre los elementos que componen la Cadena de Resultados:
- ¿Qué insumos son necesarios para realizar qué actividades? ¿Qué actividades
65

conducen a qué productos?

 - ¿Qué productos se obtienen de cada actividad? O ¿varias actividades generan un solo
producto? O ¿una actividad genera varios productos?
- ¿De qué producto o grupo de productos se obtiene determinado (s) resultado (s)
intermedio (s)?
- ¿Cuáles resultados intermedios conducen a cuáles impactos o resultados de largo
plazo?
 Relaciones sí…entonces... .
 Las conexiones causales pueden ser mediante la construcción de flechas unidireccionales
o bidireccionales y de forma horizontal o vertical. Es importante indicar los circuitos de
retroinformación.
 Son las conexiones causales, y no solamente los insumos, los productos y los resultados,
las que potencializan la utilidad del Modelo Lógico.
 Construir solamente las conexiones causales pertinentes, y de mayor relevancia para los
resultados finales del Programa o Política Pública.

EJEMPLO:
ESTRATEGIA DE ACCIÓN: Programa de Control del VIH/SIDA en Cali.
OBJETIVO: Disminuir los índices de enfermedades de transmisión sexual en la
ciudad de Cali.

RECURSOS ACTIVIDADES PRODUCTOS RESULTADOS IMPACTO

Detección de Disminución en
Personal Disminución
casos de VIH X casos el número de
calificado con en los índices
en Cali. identificados
Inicio de X personas
conocimien- casos de mortalidad
tos altamente presentados por por
programas de iniciando VIH en Cali, por
especializa- transmisión
tratamiento a tratamiento
X personas
dos. Comunas…
Sistemas de
sexual por
35% de las
personas con
finalizando VIH/SIDA en
VIH.
Realización de
información personas Cali: de 40%
tratamiento
X campañas
de salud
Disponibili-
afectadas por para 20%,
fuertes
realizadas. VIH han sido entre el total
campañas de
X condones
dad de curadas de enferme-
concientización
clínicas, completamente dades
en colegios y distribuidos.
laboratorios y
Reducción
infecciosas en
centros de
farmacias.
 $1.400
la ciudad.
salud.
Distribución
significativa de
millones de las cifras de
gratuita de casos de
pesos.
condones en portadores del
colegios, virus, de 10.000
clínicas y para 3.500.
centros
comerciales.

CONDICIONANTES: Deficiente prestación de los servicios de salud; recursos financieros

insuficientes; aumento de la migración a la ciudad; resistencia a los medicamentos del
VIH/SIDA; restricciones por políticas nacionales e insuficiente número de profesionales
y científicos en la ciudad.

PASO 5. Elaboración de la Ficha Técnica de Evaluación

La Ficha Técnica de Evaluación debe contener:

‫ ښ‬Objetivo: determinar lo que se ha de evaluar

‫ ڛ‬Preguntas: formular preguntas apropiadas para la evaluación.
66

‫ ڜ‬Indicadores: saber qué información recolectar para responder a esas Preguntas.

‫ ڝ‬Cronograma: saber cuándo recolectar las informaciones y establecer fechas límites.
‫ ڞ‬Recolecta, estructuración e interpretación de la información organizar indicadores,
identificar fuentes y definir métodos, muestra e instrumentos de recolección de las
informaciones.

El objetivo:

➀ Objetivo:

RECOLECTA,
INDICADORES/ ESTRUCTURACIÓN E
PREGUNTAS CRONOGRAMA
DATOS INTERPRETACIÓN DE LA
INFORMACIÓN

¿Quién tendrá esa información?

¿Qué desea ¿Cómo lo ¿Cómo reunirá la información?
¿Cuándo?
saber? sabrá? ¿Qué instrumentos utilizará?
¿A quién interrogará?

Fuente: http://www.uwex.edu/ces/lmcourse/interface/coop_M1_Overview.htm

Las preguntas:

RECURSOS ACTIVIDADES PRODUCTOS RESULTADOS IMPACTO

PREGUNTAS CLAVES DE LA EVALUACIÓN

¿Se alcanzaron
¿Los recursos los impactos
fueron esperados?
¿Se realizaron ¿Se alcanzaron ¿Se generaron
suficientes y ¿Se generaron
oportunos de
las acciones los productos los resultados
planificadas? esperados? proyectados? impactos
acuerdo con lo indeseados?
planificado?
¿Cuáles? ¿Por
qué?

Estructura del Programa Estructura de Resultados

¿Se presentaron condiciones en el

entorno/contexto que afectaron la
implementación, en su estructura y en los
resultados?

Los indicadores:

 ¿Cómo saber si se han alcanzado las metas y los objetivos de la política o el programa,
tanto a nivel de resultados intermedios como de impacto?
 Un indicador es la prueba del fenómeno sobre el que se está haciendo las preguntas, o
información que lo representa.

67

Los indicadores definen los datos que se recolectarán y deben estar directamente
relacionados con las metas y los objetivos del programa o política pública.
El cronograma:

 Definir el lapso de tiempo posible y eficaz en que deberá ser realizada la recolección y
análisis de la información levantada del conjunto de indicadores. Tenga en cuenta:

- Datos recolectados al inicio del programa o política

- Durante la implementación
- Según un periodo de tiempo determinado (informaciones generadas mensual,
trimestral, semestral o anualmente)
- Después de finalizada la implementación del programa o política
- Cuando se logre empezar a determinar los resultados de impacto.

Recolecta, estructuración e interpretación de la información:

 Defina las técnicas y herramientas de levantamiento, estructuración e interpretación de

la información.
 Estas técnicas pueden ser cuantitativas o cualitativas, dependiendo de la necesidad de
información del indicador.

Ejemplos: Muestreos, entrevistas, estudios de casos, observación, investigación de informes,

aplicación de formularios, mediciones cuantitativas.

68
 7. MÉTODOS DE EVALUACIÓN:
CUANTITATIVOS Y CUALITATIVOS

I. LA EVALUACIÓN EXPLORATORIA

Fuente Principal: Wholey et al, 2010, pp. 81-99.

Es una evaluación que se realiza antes de implementar el programa o política pública. Por
tanto, se denomina también como Trabajo Pre-Evaluativo, puesto que ocurre antes del
proceso de evaluación formal.

Proporciona información valiosa a los decisores y evaluadores al ayudar a identificar

imprecisiones, falencias o vacíos del diseño del programa o política pública, en lo que se
refiere a elementos que deberán ser importantes posteriormente para su evaluación durante
la implementación y después de ella. De este modo, asegura la viabilidad y utilidad de
evaluaciones posteriores ayudando a diseñar evaluaciones más definitivas. Sin embargo, la
evaluación exploratoria debe ser conducida de forma rápida y debe ser de bajo costo.

Tres Enfoques de Evaluación Exploratoria

a) Análisis de Evaluabilidad - AE

Ayuda a responder a la pregunta sobre si un programa o política pública está listo para
evaluaciones futuras útiles. Por tanto, su objetivo no es saber si el programa puede ser
evaluado. Por otro lado, clarifica el diseño del programa y, si es necesario, a rediseñarlo al
permitir que los actores claves lleguen a acuerdos sobre objetivos y metas realistas de la
intervención y sobre los criterios de evaluación. EL AE permite comparar y contrastar las
expectativas de los actores claves con la realidad de las actividades del programa y los
productos y resultados que se esperan, además de estimar la demanda de información que
se requerirá para las evaluaciones futuras y la probabilidad de contar con ella a un costo
razonable.

Una intervención es evaluable en la medida en que cumple los siguientes cuatro criterios:

i. Los objetivos y metas del programa o política pública fueron acordados y son realistas:
- Hay un razonable nivel de acuerdo sobre los objetivos y metas que servirán de
parámetro para la evaluación futura
- Se han abordado los efectos colaterales (intercambio de problemas) más
importantes a través de la definición de objetivos y metas que permitan estimarlos,
controlarlos o potencializarlos.
69

- Los objetivos y metas son realistas en la medida en que los recursos comprometidos
son suficientes y consistentes con las actividades planeadas.
 ii. Las necesidades de información están bien definidas:
- Hay acuerdo sobre las metas de los recursos, actividades, productos, resultados
intermedios y resultados de impacto que serán el foco de evaluación.
- Hay acuerdo sobre el uso intencionado de la información que generarán las
evaluaciones futuras.

iii. Los datos de la evaluación son obtenibles:

- Es posible medir cuantitativa y cualitativamente los recursos, actividades, productos
y resultados.

iv. Los usuarios interesados en la evaluación son conscientes y capaces de usar la

información de la evaluación:
- Tomar decisiones para mejorar la calidad o eliminación del programa o política.
- Fomentar la transparencia y la responsabilidad.

b) Evaluación de Retroalimentación Rápida- ERR

Su propósito es estimar la efectividad del programa o política pública en términos de los

objetivos y metas ya acordados. Por tanto, esta forma de pre-evaluación sólo puede iniciar
después de que se han llegado a acuerdos sobre los objetivos y metas del programa o política
pública. En la ERR se sintetiza la información existente y nueva sobre el desempeño del
programa en términos de estos objetivos y metas, produciendo una evaluación de la
efectividad del programa. Esto incluye pruebas piloto de esquemas de recolección y análisis
de datos que podrían ser usados en trabajos futuros de evaluación. Esto ayuda a:

- Conocer de antemano las necesidades de información para las evaluaciones futuras y

determinar las limitaciones que existen en términos de informaciones disponibles.
- Planificar la recolecta y análisis de las informaciones necesarias, útiles para las
evaluaciones futuras.
- Prever los costos de adquirir la información existente y nueva.
- Indicar el rango de incertidumbre en las estimaciones.

La ERR proporciona a los decisores y evaluadores DOS PRODUCTOS ESENCIALES:

i. Una evaluación del desempeño del programa o política pública en términos de los
objetivos que serán usados para las evaluaciones futuras, indicando la extensión de la
incertidumbre en las estimaciones, y

ii. Un conjunto de opciones de evaluación especificando:

- Los datos que serán recolectados
- Las fuentes de esos datos
70

- Los instrumentos de recolecta que podrían ser usados

- Los tamaños de las muestras
 - Las técnicas que serán utilizadas para analizar las informaciones
- Los procedimientos de control de calidad
- Los planes de trabajo y cronogramas para la recolección de los datos
- Los análisis de los datos
- La forma como será diseminada la información de la evaluación

c) Evaluación de Síntesis

Sintetiza lo que se ha aprendido sobre la efectividad de un programa o política pública ya

implementada, a través de investigaciones previas relevantes y estudios de evaluación ya
realizados. Los evaluadores recolectan estas investigaciones y estudios de evaluación sobre
el programa o política a través de varias fuentes:

- Informes publicados y no publicados

- Informes de monitoreo y auditorías realizadas.
- Estudios cualitativos realizados
- Análisis cuantitativos de descubrimientos de estudios de evaluación.
- Resultados de experiencias anteriores de la aplicación de la política o programa en
la institución o en otras instituciones, a nivel internacional, nacional, regional o local.

¿Qué Enfoque Elegir?

ENFOQUE CARACTERÍSTICA CUÁNDO ES APROPIADO

 Análisis de
 Cualitativo  Programas o políticas públicas
Evaluabilidad
grandes
 Criterios de evaluación poco claros
- AE
 Cuantitativo
 Se construye a  Existe un acuerdo sobre los
 Evaluación de
partir del Análisis objetivos y metas del programa o
de Evaluabilidad política pública
 Produce opciones  Se necesita saber sobre las
Retroalimen-
tación Rápida
de evaluación más necesidades de información y su
– ERR
profundamente grado de disponibilidad.
desarrolladas que  Necesidad potencial para
el AE. evaluaciones más definitivas.

 Investigación  Se necesita saber sobre las

existente sobre necesidades de información y su
 Evaluación de estudios de grado de disponibilidad.
Síntesis evaluación de  Necesidad potencial para
programas y evaluaciones más definitivas.
políticas ya
implementadas.
71
II. LOS ESTUDIOS DE CASO COMO TÉCNICA DE EVALUACIÓN

Fuente Principal: Wholey et al, 2010, pp. 163-181.

Es un método de tipo cualitativo que ofrece una completa comprensión del desarrollo de un
programa o de una política pública, a lo largo de determinado periodo de tiempo, mediante
la descripción y análisis detallado, sistemático y en profundidad del desarrollo de un caso en
contextos o circunstancias reales.

Objetivos de los Estudios de Caso

Obtener un entendimiento amplio de la implementación de una intervención, con el fin de:

1. Analizar problemas o dificultades que se pueden presentar durante su implementación.

2. Determinar/redireccionar/mejorar alternativas o cursos de acción de acción.
3. Tomar decisiones sobre el programa o política pública.

Beneficios de los Estudios de Caso

1. Son análisis multiperspectivos que proporcionan una representación detallada de las

operaciones de un programa o política en un sitio determinado o varios sitios en un
contexto geográfico.
2. Brindan información única que corresponde de forma directa a las circunstancias
reales, puesto que se realizan observaciones en el contexto de la vida cotidiana.
3. Constituyen una estrategia que genera una mayor comprensión de cómo y por qué las
operaciones del programa o política se relacionan con los resultados.

Desafíos en los Estudios de Caso

1. Puesto que es poco probable que los estudios de caso sean estadísticamente
representativos, la generalización de los resultados se vuelve a menudo problemático.
2. Debido a la existencia de múltiples fuentes de datos, a la profundidad del análisis y al
deseo común de incluir múltiples lugares, los estudios de caso demandan una
significativa inversión de tiempo y de dinero, llegando a veces a ser muy costosos.

Tres Categorías de Estudios de Caso

a. Exploratorios (Descubrir):

 Su objetivo es investigar fenómenos poco conocidos.

 Identificar-descubrir aspectos importantes que se pueden dar en la implementación
del programa o política pública.

72

Determinar tendencias.
 Descubrir relaciones potenciales entre variables.
b. Descriptivos (Medir con la mayor precisión posible):

 Presenta y documenta una completa descripción de un evento dentro de su contexto.

 Específica lo que está sucediendo y características importantes de ello.
 Mide diferentes aspectos, dimensiones o comportamientos.

c. Explicativos (Establecer relaciones causa-efecto):

 Se centra en explicar por qué ocurren ciertos fenómenos y en qué condiciones se

manifiestan.

PASOS BÁSICOS DE UN ESTUDIO DE CASO

PASO 1. Diseñar el estudio de caso

1.1 Definir el objetivo del Estudio de Caso

1.2 Identificar las dimensiones de estudio y definir las preguntas de investigación, como
es mostrado en la siguiente tabla:

DIMENSIÓN PREGUNTAS DE INVESTIGACIÓN FUENTES DE DATOS

 Entrevistas con
 Objetivos de la
 ¿Cuáles son los objetivos de la intervención? funcionarios y
Intervención
documentos
 ¿Cuál es la definición del grupo objetivo?
 ¿Cuáles son las características demográficas del
grupo objetivo?  Entrevistas con
 ¿Cómo los aspectos demográficos del grupo gerentes y
 Escala de la objetivo se ajustan a los productos bienes o coordinadores de la
servicios) que ofrece la intervención? intervención y
Intervención y
Grupo Objetivo  ¿Cómo son identificados en realidad los miembros funcionarios claves del
programa
 Datos demográficos de
del grupo objetivo y cómo son informados sobre
los bienes y servicios disponibles?
 ¿Qué tan grande es la intervención? ¿La la Línea de Base.
intervención se ajustó a sus objetivos?
73
 DIMENSIÓN PREGUNTAS DE INVESTIGACIÓN FUENTES DE DATOS
 ¿Qué organización (s) están involucradas en la
planificación e implementación de la intervención?
 ¿Cuáles son las articulaciones de la intervención
con otros proveedores de servicios?
 ¿Cuáles son los obstáculos que podría hacer  Entrevistas con
 Estrategias de
efectiva la coordinación y cómo podrían ser gerentes,
resueltos? coordinadores y
 ¿Qué directrices formales e informales guían la
Gestión y
funcionarios claves
Coordinación
distribución de los bienes /servicios? del programa
 ¿Cómo se dividen las responsabilidades de gestión  Grupos focales
y de coordinación?
 ¿Cómo es el personal de la intervención?
 ¿Cómo es contratado y capacitado?
 ¿Cómo es su desempeño?
 ¿Qué características programáticas fueron  Entrevistas con
implementadas para alcanzar los objetivos de la gerentes, coordinadores
intervención? y funcionarios claves del
 ¿Qué servicios se están ofreciendo? programa
 ¿Cuáles son los plazos para la distribución de los
 Estructura de
bienes o servicios claves?
 ¿Qué servicios especializados se están
Distribución de
proporcionando?
 ¿En qué medida los servicios que se están
los Bienes o
Servicios
brindando responden a las necesidades de los
beneficiarios o destinatarios finales del programa
o política pública?
 ¿Qué métodos de evaluación se están usando?
 ¿Dónde están los servicios provistos? Por ejemplo,
oficinas, visitas de hogar, otros lugares.
 Recepción e  ¿Qué bienes/servicios recibieron los participantes  Datos de la intervención
Intensidad de los de la intervención?  Grupos Focales
Bienes/  ¿Cuál es la duración e intensidad de los servicios?
Servicios  ¿Cuántas horas por semana los participantes se
Ofrecidos en la ocuparon en participar en el trabajo y las
intervención actividades relacionadas con el trabajo?
 ¿Qué factores –incluyendo recursos, personal y  Entrevistas con
 Problemas y
disponibilidad de servicios- afectan la gerentes y funcionarios
implementación de la intervención? claves de la
 ¿Qué problemas se plantearon en la creación y
Desafíos
intervención
internos de
gestión del programa?
 ¿Cómo fueron superados o enfrentados estos
Diseño y Gestión
problemas en la intervención?
 ¿Qué factores externos afectan la implementación  Entrevistas con
 Problemas
de la intervención? gerentes y funcionarios
 ¿Cómo fueron o han sido superados o enfrentados
relacionados con
74

claves de la
el Contexto
estos problemas? intervención
 DIMENSIÓN PREGUNTAS DE INVESTIGACIÓN FUENTES DE DATOS
 ¿Consideran que los servicios fueron benéficos? Es  Grupos Focales
decir, ¿Se alcanzaron los resultados deseados?
 ¿Cómo fue la intervención en comparación con los
 Resultados y
servicios que habían recibido previamente?
 ¿Qué resultados indeseados se generaron o se están
Experiencias de
los Participantes
generando (intercambio de problemas)?
 ¿Cuáles fueron las experiencias más importantes de
los participantes en la intervención?

1.3 Determinar la unidad de análisis

Debe seleccionarse la entidad mayor o representativa que va a ser objeto específico de

estudio en el caso seleccionado, es decir, al qué o quién es objeto de interés en la evaluación
del estudio de caso. Una unidad de análisis puede corresponder a las siguientes categorías o
entidades:
- Personas
- Grupos humanos
- Poblaciones completas
- Unidades geográficas determinadas
- Entidades u organizaciones concretas

Ejemplos:
1) Si el objetivo es dar cuenta de la satisfacción del usuario de un servicio médico, la unidad
de análisis natural es el paciente atendido.
2) Si el objetivo es evaluar cuántas familias recibieron un subsidio en dinero del Estado, la
unidad de análisis son las familias que recibieron las ayudas.
1.4 Elegir un diseño de caso-único o casos-múltiples.

a) Caso Único.

Son apropiados cuando el caso representa una circunstancia única y rara o cuando sirven a
un propósito de revelación. Ejemplo: Los misiles de Cuba.

b) Casos-Múltiples o Multicasos.

Son usados para describir y comparar entre casos, proporcionando información profunda del
problema que se quiere enfrentar con el programa que se está implementando. Se consideran
más convincentes y los descubrimientos más robustos, que en un caso-único.
75
Ejemplo: Los resultados de la implementación de nuevas políticas de innovación o
modernización curricular en la educación básica pueden ser evaluados en varias escuelas, a
nivel de distintos estratos socioeconómicos.

1.5 Seleccionar el caso o casos.

La estrategia utilizada para la selección de casos va a depender de las preguntas de

investigación a las que el estudio se orientará. Con frecuencia se utiliza el método de
Muestreo Intencional, por el que se seleccionan los casos de acuerdo con algún rango de
condiciones:
- Observar lo que está ocurriendo en los extremos
- Examinar los mejores casos o lo que representa un programa eficaz y lo que representa
un fracaso del programa
- Que sea representativo, es decir, seleccionar aquellos casos que representan
importantes variaciones en áreas claves de interés.

PASO 2. Conducir el Estudio de Caso

2.1 Desarrollar protocolos para la recolección de datos

Los protocolos trazan los procedimientos generales para recolectar datos necesarios para el
estudio de caso, enfocándose en aquellos que serán recolectados en el campo. Esos datos
serán usados para guiar a los evaluadores en el estudio.

En el protocolo se abordan:
- Los sitios en el estudio
- Las fuentes de los datos que serán recolectados en cada sitio.
- Los actores clave que serán entrevistados.
- Los planes para completar otros tipos de actividades de recolección de datos, tales
como grupos focales y observaciones de actividades claves del programa, información
sobre el estudio y la confiabilidad de los encuestados.
- Un calendario para completar los procedimientos de recolección de datos en cada sitio.

2.2 Cualificación y capacitación del personal

Los entrevistadores deben ser capaces de discernir lo que es importante y lo que no lo es. El
juicio y las habilidades interpretativas del investigador determinan los descubrimientos y las
conclusiones del estudio. Es importante entrenar al personal que participa en el
gerenciamiento y operacionalización del estudio de caso. Yin R. K. (2003) identifica varias
habilidades comunes que deben poseer los evaluadores de estudios de caso:
- Hacer buenas preguntas
- Ser un buen oyente (incluye ser capaz de leer entre líneas y buscar una línea de
76

investigación que sea necesaria).

 - Ser adaptativo y flexible en situaciones de la vida real (tales como un cambio inesperado
en el momento de las entrevistas, por ejemplo).
- Tener una sólida comprensión de los temas de estudio.
- Ser imparcial.

2.3 Implementar estrategias de recolección de datos:

- Entrevistas
- Revisión de documentos
- Observaciones directas
- Datos del programa o política pública: Inscripción, servicios recibidos, terminación y
resultados del programa.

PASO 3. Analizar los Datos

3.1 Crear una base de datos

3.2 Usar técnicas específicas para analizar los datos.

Estrategias para Organizar y Analizar la Base de Datos:

 Describir cada caso en detalle, y proporcionar un análisis de los problemas o situaciones

que se presentaron.
 Focalizar las dimensiones específicas identificadas como parte del diseño de estudio,
incluyendo tablas analíticas donde sistemáticamente se organicen los descubrimientos
claves en cada sitio.
 Detallar los plazos o cronograma seguido en las distintas etapas claves del desarrollo y
ejecución del programa.
 Elaborar diagramas de los elementos clavel del diseño y operación del programa.
 Mapear el flujo de participantes a lo largo de todo el Programa.
 Realizar reuniones con personal de campo para discutir los descubrimientos, las
interpretaciones preliminares del equipo, las fortalezas y debilidades de distintos tipos de
evidencia, y propuestas de alternativas posibles.

PASO 4. Preparar el Informe

4.1 Determinar la audiencia y la estructura organizacional para el informe

4.2 Incluir contexto y estrategias de recolección de datos.

4.3 Delinear limitaciones o recomendaciones.

Recomendaciones para la elaboración del Informe del Estudio de Caso:

77
 Tratar cada caso en capítulos separados, con un capítulo final donde se hagan conclusiones
cruzadas respecto a todos los casos.
 Tratar el estudio de caso como una serie de eventos cronológicos y describir estos eventos
en secuencia,
 O identificar situaciones o áreas específicas y discutir cada caso dentro de este esquema.

Elementos a ser tenidos en cuenta en el Informe:

 Sitúe cada caso dentro de su contexto o escenario

 Especifique la selección del sitio del caso y las actividades de recolección de datos
 Genere las conclusiones teniendo en cuenta que debe proporcionar explicaciones
explicitas de la evidencia clave utilizada
 Dé una interpretación del significado del análisis proporcionando lecciones de
aprendizaje .
 Delinee las limitaciones encontradas
 Genere algunas recomendaciones.

III. EVALUACIONES MULTISITIOS – EMS (Multisite Evaluations)

Fuentes Principales:
1. Wholey, 2010, pp. 208-236.
2. Hubert (2005).

Es el examen de un programa o política pública que está siendo implementado o que ha sido
aplicado en dos o más sitios. Proporciona información acerca de la experiencia global de la
intervención, generando evidencia fuerte sobre la eficacia de la intervención. Provee un
conocimiento más profundo respecto a las variaciones presentadas sobre los resultados del
programa en cada lugar.

La EMS responde a preguntas como:

1. ¿Qué características de la implementación de la intervención son comunes a todos los

lugares?
2. ¿Qué características varían y por qué?
3. ¿Existen diferencias en los resultados sobre la base de esas variaciones?

Desafíos de las EMS

I. La recopilación de datos debe ser lo más uniforme posible:

Es necesario que los datos sean recogidos de la misma forma para que las comparaciones
78

tengan sentido. Esto requiere personal bien capacitado, acceso a todos los sitios, y la
información suficiente antes de tiempo para diseñar los instrumentos de recolección de
 datos. También se supone que los mismos datos están generalmente disponibles en todos los
sitios. Además, los datos deben ser recogidos con el fin de comprender las diferencias dentro
de cada intervención y sus comunidades.

II. Cada lugar es diferente aun cuando la intervención aplicada haya sido el mismo:

Algunos indicadores pueden ser comparables, por ejemplo, cantidad de recursos invertidos,
tasa de mortalidad infantil, incidencia de las enfermedades infecciosas, tasas de fertilidad,
Utilización de los recursos de atención de salud, pero cada sitio puede tener un enfoque
ligeramente diferente. Los contextos políticos, sociales, económicos y ambientales son
notables en la configuración de la evaluación. Por tanto, la evaluación deberá reflejar el clima
político en el que operan las intervenciones, así como las diferencias culturales que pueden
afectar a la variación en las experiencias y los resultados.

III. Puede ser difícil determinar si las variaciones en la intervención han tenido diferencia:

A veces, las intervenciones tienen diferentes impactos debido a las diferencias en el entorno,
como por ejemplo un liderazgo fuerte de intervención o una comunidad de ciudadanos
activos.

IV. La participación de los interesados es importante, ya que pueden ayudar al evaluador a

comprender mejor la situación local.

Etapas en el Diseño de las EMS

I. Determinar las bases de la EMS.

 Quién liderará la evaluación: un evaluador integral del grupo de sitios y evaluadores en

cada sitio.
 Razones del por qué está siendo conducida la evaluación.
 Identificar los mecanismos de centralización y descentralización de decisiones.
 Determinar la naturaleza de las relaciones entre el equipo de evaluación y los
responsables por el programa, el proveedor de asistencia técnica y los mismos
beneficiarios.
 Definir los mecanismos de comunicación.
 Entrenar a los participantes en la evaluación del programa.

II. Definir el diseño de la EMS.

 Tantos para las evaluaciones de procesos e implementación, como de resultados e

impacto, se debe definir:
 Naturaleza, diversidad y número de sitios.
 Disposición geográfica y espacial en el área de intervención del programa.
 Ingredientes o características comunes entre los sitios.
79
  Dimensiones y preguntas de evaluación.
 Naturaleza del problema que la intervención intenta enfrentar.
 Estructura del programa (algunos programas son desarrollados y evaluados por fases).
 Recursos disponibles para las intervenciones en cada sitio, para las evaluaciones locales
y para las EMS.

III. Definir los sitios representativos de muestreo, cuando sea necesario.

 Aunque la mayoría de las EMS abarcan todos los sitios financiados en una iniciativa de
programa o política pública, a veces es indicado utilizar una muestra representativa de
sitios, especialmente por restricciones presupuestales o por las especificaciones de
diseño del MSE.
 O a veces puede suceder que existan sitios dentro de sitios que deben ser muestreados.
Por ejemplo, definir lugares dentro de una comunidad.

IV. Diseñar los métodos de análisis de la EMS.

 Matrices de categorías que muestra en una tabla elementos comparables de un sitio a

otro (características comunes), previa estandarización de los métodos de recolección de
datos).
 Tablas de frecuencias para mostrar la aparición frecuente de un determinado fenómeno.
 Representaciones gráficas de datos con análisis e hipótesis.
 Series temporales que comparan, entre los distintos sitios, el orden de aparición de los
acontecimientos con el fin de extraer lecciones. Las series pueden explicar por qué una
serie conduce al éxito de los programas cuando otras no lo logran.

Ventajas de las EMS

i. Ofrece la potencia de los resultados que pueden estar por encima de cualquier
investigación aislada.
ii. La evaluación de la implementación y los resultados de un programa o política a través
de múltiples lugares que difieren en geografía, composición poblacional y otras
características del entorno, brinda un aprendizaje mayor acerca de la generalización de
la intervención y sus efectos.
iii. Si el programa sigue algunas directrices generales, pero es implementado de distintas
maneras, habrá también la oportunidad de entender las ventajas y desventajas relativas
de los diferentes tipos de estrategias del programa.

Desventajas de las EMS

i. Son más costosas que una evaluación individual.

ii. Requiere más tiempo de diseño, implementación y análisis de resultados de la
evaluación.
80
iii. Los errores que se generan en las EMS, debido a que son amplificados por el número de
sitios, es probable que sean más graves y de mayores efectos que los errores producidos
en una evaluación en un único lugar.

IV. EVALUACIONES CLUSTER

Son grupos de evaluaciones de impacto que sistemáticamente tratan de evaluar

intervenciones similares en diferentes contextos. La información y conocimiento obtenido
del programa es a nivel agregado y global de los múltiples sitios donde fue implementado el
programa o política pública. Por tanto, ningún programa es identificado de forma individual,
ni se obtiene aprendizaje sobre sitios individuales.

Objetivo de la Evaluación Cluster

Obtener conocimientos respecto a sí se ha hecho algún progreso en el problema que dio

origen al programa público, y si ha sido así, evaluar cuál ha sido ese progreso y por qué
sucedió para determinar las lecciones que ha dejado dicha intervención.

La Evaluación Cluster Responde a Preguntas Como:

1. En general, ¿los cambios ocurridos se han dado en la dirección deseada? ¿Cuál es la

naturaleza de estos cambios?
2. ¿En qué contextos se han producido los diferentes tipos de cambio y por qué?
3. ¿Hay lecciones que se puedan extraer de los fracasos y éxitos con el fin de fundamentar
mejor futuras iniciativas?
4. ¿Qué se necesita para mantener los cambios que valen la pena que continúen?

Técnicas Usadas en la Evaluación Cluster

 Revisión Documental:
Documentación primaria, materiales recogidos durante las visitas de campo y un gran
número de fuentes secundarias, incluyendo evaluaciones anteriores y revisiones.

 Entrevistas:
En campo, en la organización que lidera el programa y mediante entrevistas telefónicas, a
personas seleccionadas por su conocimiento y experiencia en el programa.

• Visitas de Campo:
Uso de técnica de observación directa en los sitios donde ha sido implementado el programa.

• Encuestas:
A los beneficiarios y otros actores que el proceso de entrevista no alcanza a cubrir, puede ser
81

vía web.
Similitudes y Diferencias entre La EMS y la Evaluación Cluster

 Al igual que las EMS, las Evaluaciones Cluster se centran en intervenciones que
comparten una misión, estrategia y población objetivo común.
 Al igual que las EMS, es esencial la participación de los responsables del programa como
de los beneficiarios.
 La diferencia central está en que las Evaluaciones Cluster se centran más en el
aprendizaje integral que en sacar conclusiones sobre la calidad o el valor del programa.

Desafíos de las Evaluaciones Cluster

 Exige coordinación y cooperación entre evaluadores, responsables y beneficiarios.

 Capacidad para producir información agregada y comprensión general de la
intervención del programa en múltiples sitios. Por tanto, una desventaja es que no se va
a obtener conocimiento ni aprendizaje de sitios individuales.

V. EVALUACIONES PARTICIPATIVAS

... Una evaluación colectiva de un programa que se constituye en una experiencia de

aprendizaje tanto para aquellos a cargo de la implementación como para los mismos
beneficiarios Patton, 1997).

Elementos Críticos de la Evaluación Participativa

Fuente Principales: Gariba, (1998) y Aubel (2012).

I. La evaluación como herramienta de aprendizaje:

Este es el objetivo principal que lleva a elegir este método de evaluación. El propósito no es
investigar, sino crear una oportunidad para que todos los actores interesados, incluidos los
beneficiarios, aprendan desde sus distintos roles particulares en el desarrollo del ejercicio de
intervención.

II. La evaluación como parte del proceso de desarrollo:

La actividad de evaluación no es discreta y separable del propio proceso de formulación y
desarrollo de los programas y políticas públicas. Los resultados y las correspondientes
técnicas y metodologías de evaluación se deben convertir, en efecto, en herramientas para el
cambio en lugar de informes históricos .

III. La evaluación como un mecanismo de colaboración y responsabilidad compartida:

Esto está en agudo contraste con la tendencia de los evaluadores de establecer un síndrome
de ¨nosotros¨ los profesionales y ¨ellos¨ los actores y beneficiarios del proyecto. En la
metodología de evaluación participativa del impacto, todos los actores tienen más o menos
82

igual peso. Como describe Gariba, en este contexto, el evaluador pasa de ser un investigador
para convertirse en un promotor y participante activo del proceso al igual que los demás
actores participantes, incluida la comunidad beneficiaria del programa o política pública.

Principios Básicos de la Evaluación Participativa

i) Los facilitadores actúan como recursos para el aprendizaje, y los participantes y

decisores son los evaluadores.

ii) Los implementadores del programa pueden hacer una contribución crítica al proceso
de evaluación basada en sus experiencias con el programa.

iii) El principal enfoque del programa de evaluación se centra en la formulación de

lecciones aprendidas para utilizarlas en el futuro en base tanto a los éxitos como a las
dificultades.

iv) El proceso de evaluación participativa puede contribuir a mejorar la comunicación del

personal del programa.

La Evaluación Participativa Responde a Preguntas Como:

1. ¿Cuáles son los principales objetivos que llevan a realizar una evaluación participativa?
2. ¿Quién liderará la evaluación participativa?
3. ¿Se realizará directamente con miembros de la población, en colaboración con los
actores locales o se apoyará a un participante local que ha empezado ya a realizar una
evaluación? ¿A quién se consultará?
4. ¿Cómo se llevará a cabo la evaluación? ¿Qué técnicas de obtención de datos se utilizarán?

Comparación entre la Evaluación Participativa y Evaluaciones Tradicionales:

Evaluaciones Participativas Evaluaciones Tradicionales

 Enfoque participativo y de apropiación del  Enfoque en los responsables del programa
proceso evaluativo como dueños de la evaluación
 Enfoque en el aprendizaje  Enfoque en la rendición de cuentas y el
juicio
 Diseño flexible  Diseño predeterminado
 Métodos más informales  Métodos formales
 Los especialistas externos son facilitadores  Los evaluadores son especialistas
y tienen el papel de coordinador de externos que dirigen y realizan todo el
evaluación proceso evaluativo.
Fuente: Patton (1997).
83
ETAPAS DE LA EVALUACIÓN PARTICIPATIVA

Fase I: Reuniones de pre-planificacion

Fase II: Taller de planificacion de la evaluacion

Fase III: Trabajo de Campo: preparacion, recoleccion y analisis de la informacion

Fase IV: Taller para la formulacion de lecciones aprendidas

Fase V: Resumen de los resultados de la evaluacion

Fase VI: Desarrollo del Plan de Accion

Fase VII: Finalizacion, Diseminacion y Discusion del )nforme de la Evaluacion.

Fases y Pasos de la Evaluación Participativa:

FASES PASOS
Fase I: Reuniones de pre- Paso 1 Definición de metas y objetivos de la evaluación
planificación Identificación de los miembros del equipo de
Paso 2
evaluación
Planificación de los aspectos logísticos y
Paso 3
administrativos
Paso 4 Desarrollo del marco de trabajo visual del proyecto
Orientación a los facilitadores del taller de
Paso 5
planificación de la evaluación
Fase II: Taller de Organización de los participantes en torno a un grupo
Paso 6
planificación de la de trabajo
evaluación Paso 7 Definición de los aspectos de la evaluación
Identificación de fuentes y técnicas de recolección de
Paso 8
información
Desarrollo de instrumentos para la recolección de
Paso 9
información
Conclusión de muestra de lugares para la recolección
Paso 10
de información y de personas a encuestar
Fase III: Trabajo de Preparación de los equipos de trabajo de campo:
Paso 11
Campo: preparación, Técnicas de recolección de información logística
recolección y análisis de Paso 12 Realización de entrevistas y observaciones
la información Paso 13 Análisis de la información recolectada
Paso 14 Resumen de los hallazgos del trabajo de campo
Fase IV: Taller para la Formulación de lecciones aprendidas para cada
Paso 15
formulación de lecciones pregunta de la evaluación
84

aprendidas Paso 16 Análisis del proceso de evaluación por parte del equipo
 Fase V: Resumen de los
Resumen de los hallazgos y lecciones aprendidas de la
resultados de la Paso 17
evaluación
evaluación
Fase VI: Desarrollo del Desarrollo de un plan de acción en base a los hallazgos
Paso 18
Plan de Acción de la evaluación
Fase VII: Finalización, Paso 19 Redacción del informe de evaluación
Diseminación y Discusión Distribución y discusión de los resultados de la
del Informe de la Paso 20 evaluación con personas que colaboran con el
Evaluación programa
Fuente: Aubel (1993).

VI. EVALUACIONES EXPERIMENTALES

Es un tipo de evaluación que busca comprobar la hipótesis de la existencia de una relación

causa-efecto entre el impacto de los cambios producidos en el bienestar de los individuos
(efecto), por efecto de la implementación de un programa o política pública en particular
(causa).

Sin embargo, como está relación causal no es fácil de verificar ni es observable directamente,
es necesario diseñar una situación hipotética que represente la magnitud del bienestar
alcanzado por los individuos en ausencia de dicho programa o política pública. Para ello se
establecen comparaciones entre la población que fue objeto de la intervención o que
participó del programa con una población con características similares o equivalentes pero
que no recibió el estímulo o beneficio.

Al primer grupo de población se le denomina Grupo de Tratamiento y al segundo, Grupo de

Control o Contrafactual . El Contrafactual permite comparar resultados que ayudarán a
determinar el impacto del programa o política pública.

¿Qué ocurrió con el ¿Qué habría ocurrido sin el

programa? programa (contrafactual)?

Recibe No recibe
beneficios beneficios
del del
programa programa
GRUPO DE GRUPO DE
TRATAMIENTO CONTROL

IMPACTO DEL PROGRAMA:

¿CÓMO HA CAMBIADO LA VIDA DE UN INDIVIDUO
POR EFECTO DEL PROGRAMA?
85
Ambas poblaciones, tanto la del Grupo de Tratamiento como la del Grupo de Control deben
ser seleccionadas de forma aleatoria. Esto se hace a través de la técnica del muestreo
aleatorio.

El Muestreo Aleatorio

Es la extracción al azar de una parte de la población2, sin que refleje preferencias por parte
de quien selecciona. Dicha asignación aleatoria garantiza que todos los individuos incluidos
en el universo de población tengan la misma oportunidad de ser seleccionados en la
muestra3.

La aleatorización permite estimar el impacto de una intervención de un modo más válido que
otras técnicas, puesto que ayuda a que el Grupo de Tratamiento y el Grupo de Control se
encuentren en las mismas condiciones de equilibrio y no difieran de ninguna manera
sistemática. Esto significa que la muestra de población en ambos grupos que participan del
experimento de la evaluación social es homogénea en varios aspectos y están expuestos a
los mismos factores del contexto.

Por tanto, con la aleatorización se busca estimar sin sesgos el impacto del programa o política
que es objeto de evaluación experimental.

El siguiente ejemplo ayuda a ilustrar la técnica de muestreo por aleatorización:

El municipio tiene a su cargo 100 escuelas municipales de educación primaria, las cuales han
obtenido en los últimos años unos bajos niveles de desempeño en los resultados de las
pruebas Saber de 3º y 5º de primaria. Esta situación refleja la deficiente calidad de la
educación pública en el municipio. Para hacer frente a este problema, el gobierno municipal
diseña un Programa de Refuerzo Educativo destinado a los alumnos de educación primaria.
Sin embargo, por razones presupuestales no podrá implementar el programa sino en 25 de
éstas escuelas. Para hacer una adecuada selección, la Secretaría de Educación estableció unos
criterios claros de elección, entre los que se incluye grado escolar, los más bajos resultados
de desempeño, estrato social y situación socioeconómica de la Comuna en que se encuentran
los establecimientos educativos. Como consecuencia, 50 de las 100 escuelas cumplían en su
totalidad dichos criterios. Hasta aquí lo que la Secretaría de Educación hizo fue conferir
representatividad a los resultados de la muestra muestra representativa . Pero como el
presupuesto asignado sólo es para 25 escuelas, la Secretaría decidió hacer una selección
aleatoria entre esas 50 que estaban en iguales condiciones contextuales. Esto significa que de
forma aleatoria tomó la decisión de cuáles serían esas 25 escuelas que participarían del
programa de refuerzo educativo.

Existen diferentes técnicas de muestreo aleatorio (Snedecor & Cochran, 1981):

86

2
La Población es el conjunto formado por los elementos del universo acotados en un tiempo y en un espacio
determinado, con alguna característica común observable o medible.
3
Se entiende así que Muestra es todo subconjunto de elementos de la población.
  Muestreo aleatorio simple
 Muestreo aleatorio sistemático
 Muestreo aleatorio estratificado
 Muestreo aleatorio por conglomerados

i) El Muestreo Aleatorio Simple. El muestreo aleatorio simple es un procedimiento de

selección en el que todos los elementos tienen la misma probabilidad de ser
seleccionados dentro del universo poblacional. Es decir, es la elección de n unidades de
una población de tamaño N de tal modo que cada una de las muestras posibles tiene la
misma oportunidad de ser elegida. Este tipo de muestreo es de gran utilidad cuando el
tamaño de la población no es tan grande. Es muy utilizado en los estudios de evaluaciones
experimentales.

No obstante, existen situaciones en las que el muestreo aleatorio simple suele no ser óptimo
y se debe recurrir a otras técnicas de muestreo:

ii) Muestreo aleatorio sistemático. En este tipo de muestreo se elige un individuo o elemento
al azar y a partir de él, a intervalos constantes y sistemáticamente, se eligen los demás
hasta completar la muestra. Por tanto, este tipo de muestreo sólo es aplicable cuando
todos los elementos de la población se encuentran numerados de manera ordenada. En
lugar de extraer n individuos al alzar (como en el muestreo aleatorio simple) sólo se
selecciona uno, y el resto de elementos de la muestra es determinado automáticamente
al aplicarle a dicha unidad elegida aleatoriamente una regla de elección sistemática. Así,
el procedimiento exige que se defina primero el tamaño del salto sistemático k dado por
k = N/n, donde N es el universo de población y n es el tamaño de la muestra que se desea
extraer. Este valor k, además de ser el tamaño del salto sistemático, representará el
rango de posibilidades para la elección aleatoria de un número i. Así, el número i será un
número al azar entre 1 y k. Este número i elegido al azar representa el punto de arranque
para la selección de todos los elementos que integran la muestra deseada y son los que
ocupan los lugares i, i+k, i+2k, i+3k...,i+(n-1)k, es decir se toman los elementos de k en k.

Siguiendo con el ejemplo anterior del Programa de Refuerzo Educativo, sí hay un tamaño
poblacional formado por 100 escuelas y queremos extraer una muestra de 25 escuelas,
en primer lugar, se debe determinar el intervalo de selección que será igual a 100/25 =
4. A continuación se selecciona el elemento de arranque o primera unidad muestral,
tomando aleatoriamente un número entre el 1 y el 4, del cual se obtendrán los elementos
restantes de la muestra. Aquí se supone que las escuelas se encuentran dentro de un
listado que les permite ser enumeradas del 1 al 100. Así, sí al azar se selecciona el
número 3, se podrán elegir en el muestreo todas las escuelas que estén cada cuatro
números partiendo de la tercera que se encuentra en la lista, esto es: Escuela n3+4:

 Escuela # , escuela # , escuela # , escuela # , Escuela # 9,….., Escuela #

9, Escuela # …..Escuela # 99 , es decir, hasta la sumatoria total de las 25
87

escuelas que entrarán en el programa de Refuerzo Educativo.

iii) Muestreo Aleatorio Estratificado. El muestreo aleatorio estratificado consiste en extraer
una muestra aleatoria dentro de cada estrato y luego combinar la información
proveniente de los distintos estratos, ponderada por el tamaño de los mismos. De este
modo, se divide la población en estratos (subconjuntos de unidades muestrales) y se
escoge, aleatoriamente, un número de elementos o individuos de cada estrato
proporcional al número de componentes de cada estrato. Esta técnica de muestreo es
utilizada cuando las características en investigación no presentan una distribución
aleatoria sobre las unidades muestrales. El patrón de estratificación de las unidades
respecto a la variable en estudio, permite obtener una caracterización más precisa y
homogénea de dicha variable, que sí se utilizara el muestreo aleatorio simple.

Por ejemplo, en las 25 escuelas de la red municipal que hacen parte del Programa de
Refuerzo Educativo, se encuentran matriculados 4.000 alumnos en educación primaria
en los grados 3º y 5º y se desea tomar una muestra de 1.000 alumnos. Se sabe que hay
1.500 alumnos en 3º de primaria y 2.500 cursando 5º de primaria. Por tanto,
1.000 = X1
4.000 1.500

X1 = 375 alumnos del grado 3° de primaria.

1.000 = X2
4.000 2.500

X2 = 625 alumnos del grado 5° de primaria.

De esta forma se obtendrá la muestra deseada de 1.000 estudiantes de una manera

proporcional al número total de alumnos de cada grado: 375 alumnos del grado 3º más
los 625 alumnos de 5º de primaria.

iv) Muestreo Aleatorio por Conglomerados. Cuando las unidades de la población que se
desean muestrear se encuentran muy dispersas de forma natural en ciertas áreas
geográficas, los costos de muestreo pueden ser muy altos. En respuesta a este problema,
la población puede ser agrupada de forma homogénea por subconjuntos, denominados
conglomerados, de tal forma que posibilite la selección de grupos de población del
universo en forma aleatoria para después estudiar todos los elementos pertenecientes a
los conglomerados elegidos. De esta forma, se facilita el acceso a la muestra deseada
puesto que los elementos que la constituyen son reunidos en un conjunto de grupos. Está
técnica de muestreo por conglomerados en realidad puede combinar la aplicación de los
tipos de muestreo explicados anteriormente: aleatorio simple, sistemático o por
estratificación cuando la unidad muestral no son elementos individuales sino grupos de
elementos (Opencourse de la Universidad de Sevilla, 2007).
88
 De acuerdo con el ejemplo que se ha venido desarrollando sobre el programa de
Refuerzo Educativo, puede suceder que, al tratarse de un municipio muy grande, los
barrios donde están localizados las distintas escuelas se encuentren bastante dispersos,
por lo que el levantar las informaciones de las unidades muestrales de los alumnos de
3º y 5º de primaria represente para la administración municipal un alto costo en
términos de tiempo y dinero. Al optar por la técnica de muestreo por conglomerados se
puede, por ejemplo, agrupar las escuelas por comunas. Frente a las escuelas rurales, al
estar localizadas fuera del casco urbano, serían agrupadas por corregimientos. Estas
conglomeraciones en las zonas urbana y rural evitarán la dispersión de las escuelas y
facilitará el estudio individual de la muestra, puesto que podrá ser posible, sí es el caso,
recurrir al muestreo aleatorio simple de las escuelas para posteriormente acceder a las
unidades de análisis de los alumnos de los cursos de 3º y 5º de primaria.

Selección del Grupo de Tratamiento y el Grupo de Control

La Evaluación Experimental busca medir el grado en que los beneficios de cualquier

programa o política pública llegan a los beneficiarios, y el efecto de estos beneficios en su
calidad de vida o bienestar general (impacto). Esto lleva a la formulación de preguntas
esenciales como: ¿En qué medida el programa afectó o tuvo impacto sobre los beneficiarios?
¿El mejoramiento experimentado por los beneficiarios fue efectivamente producto del efecto
del programa o, de cualquier manera, estos beneficios se habrían producido (sin programa)?
Puesto que las respuestas a estas preguntas no son fácil y directamente observables de medir,
es necesario entonces explorar no sólo los factores causales que están directamente
correlacionados con los resultados del programa, sino también estudiar aquellos hechos o
variables externas que también influyeron o se correlacionan directamente con los
resultados alcanzados sobre la población beneficiaria (es decir, que no fueron causados por
el programa objeto de evaluación).

El establecimiento, a través de técnicas de muestreo aleatorio, de grupos de tratamiento y

grupos de control que se utilizan en las evaluaciones experimentales son los mecanismos que
van a posibilitar dar respuesta a estas dudas en los resultados del programa. Por esta razón,
las evaluaciones experimentales se consideran la técnica más confiable y potente para
estimar el impacto de un programa.

El grupo de tratamiento lo componen el conjunto de individuos o elementos que

efectivamente participaron del programa o recibieron los beneficios de la intervención.
Mientras el grupo contrafactual o grupo de control es el conjunto de individuos o elementos
que no participaron del programa ni recibieron ningún tipo de beneficio, pero con los que se
puede construir un escenario simulado alternativo que mostrará lo que habría sucedido si el
programa no se hubiera emprendido nunca y las condiciones de la población continuaran
igual como venían. Por ejemplo, si una escuela pública municipal obtiene un resultado
altamente satisfactorio en las pruebas Saber de 3º de primaria en un año determinado, ¿se
podría afirmar que esta nueva situación es el resultado directo del programa de Refuerzo
89

Educativo o de todas formas el establecimiento educativo habría alcanzado ese resultado?

En este sentido, el grupo de tratamiento debe ser comparado con un grupo de control o
contrafactual que sea estadísticamente equivalente entre sí. Para este propósito la selección
del grupo de control se hace aleatoriamente del mismo universo de población del que hace
parte el grupo de tratamiento. Así, es necesario que la asignación de ambos grupos objeto de
investigación social se haga a través de técnicas de muestreo aleatorio, que eviten posibles
sesgos de selección. Esta es una de las decisiones más complejas e importantes en el diseño
de la evaluación experimental puesto que deben existir semejanzas en las variables que
componen las muestras de ambos grupos y la única diferencia que se acepta es su
participación o no en el programa o política pública. Por este motivo la evaluación se debe
planificar y diseñar bastante bien y con antecedencia.

No es necesario que los dos grupos sean de idéntico tamaño poblacional, pues lo que importa
es que cada grupo sea compuesto por el número suficiente de individuos o elementos, pero
con las mismas características observables (nivel de ingreso, edad o nivel educativo) y no
observables (como por ejemplo motivación, comportamientos irregulares), de acuerdo a una
asignación aleatoria. De esta forma, cualquier diferencia que se genere posteriormente entre
ambos grupos podrá ser atribuida al programa o política pública y no a otros factores.

Nota. La evaluación experimental o aleatoria se puede realizar también en casos en que se

desee emprender proyectos pilotos, con el objetivo de comparar resultados sí se decidiera
no implementar el programa.

MEDICIÓN FINAL
LÍNEA DE BASE

Intervención

División
Aleatoria

Población

Control
Fuente: Elaboración propia.
90
Métodos de Evaluación Experimental

1. Evaluación de Diferencia Simple (Tratados Versus No tratados)

Con este método se compara el grupo que recibió el programa (Grupo de Tratamiento) con
otro grupo que no lo recibió (Grupo de Control o Contrafactual).

Beneficiarios

IMPACTO

Control

Programa

t0 t1
Fuente: J-Pal, 2010.

Por ejemplo, sí se decide evaluar el programa de Refuerzo Educativo después de tres años de
haber sido implementado, la hipótesis sería que las actividades de refuerzo escolar
consideradas en dicho programa posibilitaron que las escuelas de primaria que recibieron
los beneficios evidenciaran un mejoramiento considerable en su rendimiento escolar. Es
posible así que aumente la diferencia o brecha de calidad educacional entre las escuelas
beneficiadas por la intervención (grupo de tratamiento) de aquellas que no fueron incluidas
en el programa (grupo de control). De este modo, se asume que sin el programa los dos
grupos tendrían trayectorias idénticas a lo largo de los tres años transcurridos. Aquí se
presentan dos variaciones, la diferencia en el tiempo y la diferencia de nivel entre ambos
grupos. Por tanto, el grupo de escuelas denominadas de control o contrafactual representa el
estado del mundo o situación que habrían experimentado sí hubieran participado o fueran
beneficiarios del programa.

2. Evaluación Pre – Post (Antes Versus Después)

Es un tipo de evaluación experimental retrospectiva en el que el grupo de control no es

externo al programa, sino que se recurre al mismo grupo beneficiario con el fin de medir el
impacto en su bienestar de vida determinando la diferencia de resultados en la evolución
entre su situación anterior a la implementación del programa y su situación posterior a ella.
Esta evolución en la situación de los beneficiarios se denomina como tendencia secular. La
limitación para emprender este tipo de evaluación va a depender fuertemente de la
disponibilidad de informaciones de la situación de los beneficiarios antes del programa.
91
 Grupo Tratado
Supuesto sobre
Contrafactual

Impacto
Estimado

Programa

t0 t1
Fuente: J-Pal, 2010.

Por ejemplo, al evaluar el programa de Refuerzo Educativo después de tres años de haber
sido implementado, la hipótesis sería que sin las actividades de refuerzo escolar
consideradas en dicho programa los alumnos de 3º y 5º de primaria de las escuelas
participantes no habrían mejorado su rendimiento escolar al mismo ritmo. Así, la evaluación
pre-post permite tomar en cuenta la calidad educativa original de las escuelas (línea de base)
y la compara con la calidad educativa después de la intervención, a través de los resultados
de las Pruebas Saber. Se supone, por tanto, que sin el programa de Refuerzo Escolar durante
ese periodo de tiempo de tres años no se habría dado ningún cambio en los resultados del
grupo beneficiario tratado.

3. Evaluación Diferencias en Diferencias (Diff – In – Diff)

Las evaluaciones experimentales, por lo general, se realizan partiendo de la designación de

dos grupos, el de tratamiento y el de control, bajo la hipótesis que las características de los
individuos o elementos de la población que los componen son idénticos. No obstante, es
también común encontrar características no observables y en los que estos dos grupos
pueden diferir. Sí estas diferencias no son tenidas en cuenta y son tratadas adecuadamente,
con seguridad afectará los resultados de estimación del impacto al igual que las conclusiones
a las que se llegue en la evaluación. Por esta razón, el método de la evaluación diferencias-en-
diferencias resulta bastante pertinente y se ajusta metodológicamente para superar estas
dificultades.

La evaluación diferencias-en-diferencias combina los dos métodos descritos anteriormente, el

de evaluación de diferencia Simple y el de evaluación pre – post. Esto permite mostrar dos
grandes diferencias: (i) las relacionadas con el nivel en que se encuentran ambos grupos y,
(ii) las tendencias seculares o evolución en el tiempo de la situación del grupo de tratamiento
que participó en la intervención. Esto se hace siguiendo el siguiente procedimiento:

1. Se calcula primero el cambio en el tiempo del grupo de tratamiento;

2. Seguido, se calcula el cambio en el tiempo del grupo de control, y
92

3. Posteriormente, se restan ambos resultados.

Siguiendo con el programa de Refuerzo Educativo, la hipótesis implicaría que sin el refuerzo
escolar orientado a los niños de 3º y 5º de primaria, las escuelas municipales hubieran
mantenido igual su desempeño en las Pruebas Saber. Este es el supuesto de tendencias
paralelas. Pero es posible también que sin la intervención algunas escuelas hubieran
mejorado más que otras debido a que venían presentando mejores resultados que otras
instituciones, aun cuando ese desempeño continuara siendo mínimo o insuficiente. En ambas
situaciones no se sabe si la diferencia de la diferencia se debe a las características de las
escuelas, al programa de refuerzo o a una combinación de las dos.

Por tanto, al aplicar la evaluación diff-in-diff o de diferencias-en-diferencias, los resultados

del impacto se muestran con claridad. Antes del Programa, tanto el grupo de escuelas que
tuvo la intervención como el grupo control (que no participó del programa) presentaban un
desempeño insuficiente en el promedio de las Pruebas Saber (200 y 210 respectivamente).
Después de tres años de la intervención, el primer grupo mejoró su desempeño pasando al
nivel satisfactorio (360) mientras que el segundo grupo, aunque mejoró su desempeño, éste
sólo aumentó hasta el nivel mínimo 4. Esta diferencia se da de forma considerable en 120
puntos.

Impacto
Estimado

Grupo Tratado
Grupo de Control
Supuesto sobre
Contrafactual

t0 Programa t1

Fuente: J-Pal, 2010.

A continuación, se muestran los resultados del cálculo mediante el uso de la evaluación diff-
in-diff5, a partir del ejemplo del programa de Refuerzo Educativo.

4
El Ministerio de Educación Nacional estableció para el nivel de primaria (3º y 5º), los siguientes niveles de desempeño
en las Pruebas Saber de acuerdo a rangos de puntajes: Avanzado (397-500); Satisfactorio (331-363); Mínimo (265-
297), e Insuficiente (100-264).
5
Los cálculos pueden realizarse a través de regresión múltiple. Este modelo se usa cuando se desea estudiar la posible
93

relación entre dos o más variables independientes (predictoras o explicativas) y otra variable dependiente (explicada,
respuesta). Los modelos de regresión nos proporcionan información de la presencia de relaciones, pero no del
mecanismo causal.
 Diferencias-en-diferencias en el Programa Refuerzo Escolar

Resultado antes del Resultado después del

programa programa (resultados
Diferencia
(resultados promedio promedio Pruebas
Pruebas Saber) Saber)
Grupo de Escuelas con 360
200 1
intervención (desempeño 160
(desempeño insuficiente)
satisfactorio)
Grupo Control
(Escuelas que no 210 265 2
recibieron el (desempeño insuficiente) (desempeño mínimo) 40
beneficio)
Estimación diff-in-diff: 3
120

Fuente: Elaboración propia.

Pasos a Seguir en la Evaluación Experimental

1. Seleccionar el programa que se desea evaluar con el método de Evaluación Experimental.

2. Elaborar las preguntas que guiarán el cumplimiento del propósito de la evaluación.

3. Definir y seleccionar la población de interés y las principales variables de interés que se

desean medir y evaluar.

4. Determinar el tamaño que se requiere para los grupos de tratamiento y de control y

definir cuáles son las características idénticas que ambos deben poseer, asegurándose
que no exista ninguna diferencia entre ambos grupos.

5. Hacer la asignación aleatoria de los grupos de tratamiento y de control, verificando que

efectivamente dicha asignación generó grupos similares.

6. Recolectar los datos de la Línea de Base. Aunque esta información puede no ser
absolutamente indispensable y algunas veces no está disponible, contar con ella resulta
de todas formas recomendable para la evaluación.
7. Diseño de los instrumentos de medición: entrevistas, encuestas, revisión documental,
visitas de campo, observaciones directas, base de datos del programa o política pública.

8. Implementación del proceso de evaluación de la intervención. Aquí se debe asegurar que

no se cambien de un grupo a otro los participantes que fueron asignados de forma
aleatoria según unos criterios claramente establecidos. Esta situación podría afectar
94

seriamente la estimación de los resultados. Así mismo es necesario que el evaluador

 identifique y evalúe cuáles son las condiciones del contexto que pueden facilitar,
entrabar o generar desviaciones significativas en la evaluación del programa.

9. Recopilar la información pertinente obtenida de los instrumentos de medición, tanto del

grupo de tratamiento como del grupo de control.

10. Procesar (análisis) y monitorear la información recolectada de ambos grupos.

11. Estimar los impactos del programa comparando los resultados promedio del grupo de
tratamiento con los resultados promedio del grupo de control.

12. Determinar si los impactos son estadísticamente significativos.

13. Organización e integración de la información técnica de los resultados que serán

presentados al responsable del programa.

14. Presentación del informe final al responsable del programa.

Sesgos Potenciales en las Evaluaciones Experimentales

Aunque las evaluaciones experimentales se consideran como los métodos de evaluación más
confiables para estimar el impacto de un programa o política pública, su desarrollo no es una
tarea fácil, pues en realidad representa enfrentar grandes desafíos. Dichos retos se
convierten en sesgos potenciales para la evaluación, y pueden ser tanto de orden
metodológico como en términos de valores. Algunos de los desafíos más importantes son:

1. El tamaño de la muestra y composición de los grupos de control y de tratamiento.

Determinar cuántos participantes o unidades deben componer cada grupo al igual que lograr
que sean lo más semejantes posibles, es de vital importancia para el desarrollo eficaz de la
implementación del proceso evaluativo. Según la ley de los grandes números, entre mayor es
el tamaño de los grupos, más alta es la probabilidad de que éstos se asemejen, reduciendo así
los posibles desequilibrios. No obstante, en la administración pública el presupuesto siempre
es restringido y, especialmente, cuando los costos son muy altos para emprender
evaluaciones de programas con grupos bastante numerosos. Por esta razón, se recomienda
el uso del cálculo estadístico para seleccionar tamaños de las muestras que sean lo
suficientemente buenas para hacer las estimaciones de los impactos en las variables que se
desean medir. Un tamaño muestral insuficiente puede no detectar de forma adecuada los
impactos del programa.

2. Sesgos de Selección.

Un elemento crucial en el diseño de la evaluación experimental es asegurar que la selección

95

de los grupos, de tratamiento y de control, sea verdaderamente aleatoria y no permitir la

existencia de preferencias en ningún caso. Estos sesgos de selección pueden conducir a
errores en el estudio que afectarán una efectiva evaluación del impacto del programa. Es
decir, llegar a conclusiones sobre el programa que no son las verdaderas.

3. Riesgo de Contaminación.

Aunque el grupo de tratamiento y el grupo de control cumplan el criterio de haber sido

seleccionados de forma aleatoria, en realidad se presentan riesgos de contaminación de los
participantes, sea por causas generadas por ellos mismos o como consecuencia de
deficiencias en la implementación misma del programa. Puede darse el caso que algunos
participantes del grupo de tratamiento, por diversas razones, no haya o sólo de manera
parcial, hayan recibido los beneficios del programa. Por ejemplo, que en alguna de las
escuelas del grupo de tratamiento no se haya implementado integralmente todas las
actividades contempladas en el programa de Refuerzo Educativo, debido a cuestiones
presupuestales, resistencias de los profesores o de los alumnos, bajo nivel de responsabilidad
de los rectores, o el agravamiento del contexto socioeconómico de la comunidad donde
pertenece la escuela.

Otro factor que también puede poner en riesgo de contaminación los resultados de
estimación del impacto de la intervención sería que algunos de los participantes del grupo de
control hayan tenido acceso total o parcial a algunos de los beneficios dados por el programa.
Por ejemplo, que se haya emprendido en determinada escuela un proyecto piloto de dos
programas alternativos diseñados para mejorar la comprensión lectora de los alumnos de un
grado escolar específico. Con fines de conocer cuál de ellos tendrá mayor o menor impacto,
un programa es aplicado en la mitad del curso, y el otro programa en la mitad restante. Sin
embargo, algunos de los alumnos no se sienten cómodos o tienen preferencias con las
metodologías del otro programa y decidan trasladarse después de éstos programas haber
comenzado. Esta situación también contamina la estimación de los resultados de la
evaluación.

4. Desgaste.

Durante la implementación del estudio de la evaluación experimental pueden presentarse

tasas de abandono o retiro de los participantes en cualquiera de ambos grupos. Por ejemplo,
los participantes del grupo de control pueden sentirse insatisfechos, tristes o desmoralizados
por no recibir o haber recibido los beneficios del programa y decidan abandonar el estudio.
Aunque esto puede ser usual, el evaluador debe asegurarse en mantener el nivel de desgaste
en un mínimo tratando de retener a los participantes. Esto puede hacerse mostrando
claramente a los participantes de ambos grupos que el gran objetivo de la evaluación es
conocer cuáles pueden ser los factores que redundarán en un mejor bienestar de vida para
ellos mismos a través de la medición y diferenciación en los impactos generados por el
programa. Según sea el caso de la previsión de extensión del programa, se podrá explicar a
los participantes que, aunque ahora no son beneficiarios, ellos entran en una lista de espera
96

en el que tendrán la oportunidad de recibir la intervención.

Criticas a las Evaluaciones Experimentales

1. Este tipo de evaluaciones se consideran muy costosas.

Esta visión se debe principalmente a que muchas de ellas requieren la realización de

encuestas y/o entrevistas directamente en campo, las cuales incrementan de manera
considerable los costos de evaluación. No obstante, esta dificultad se ha venido subsanando
con la utilización de tecnologías de sistemas de información gerencial, el uso extendido del
internet y el aprovechamiento del trabajo con actores o personas claves que actúan más cerca
de los beneficiarios, como rectores y líderes comunitarios. Lo importante, en todo caso, es
que la recopilación y registros de información sea fiable y exhaustiva. Por ejemplo, en el
programa de Refuerzo Educativo, es suficiente aleatorizar las escuelas desde una base de
datos centralizada en la secretaria de educación y analizar los resultados a través de los
registros administrativos de la administración escolar. La cuestión es que no todos los
programas brindan esas facilidades y no exista más opción que recurrir al trabajo de campo,
asumiendo los costos. Para ello, los convenios con organismos internacionales que dan apoyo
a países como los nuestros en América Latina representan una excelente opción.

2. Cuestiones éticas.

Algunos consideran que es inequitativo privar a algunos, como por ejemplo a los
participantes del grupo de control, de los beneficios de cualquier programa, en particular
mediante un procedimiento aleatorio en el que arbitrariamente se selecciona al azar quienes
estarán por fuera. La respuesta dada por los evaluadores a esta crítica es que no existe ningún
otro método tan efectivo de evaluación que muestre los beneficios o no del programa sino a
través de la comparación con la privación de la intervención a una parte de la población
potencialmente beneficiaria. Sin embargo, si la intervención se califica como exitosa después
de la evaluación, en el diseño del programa puede prever su implementación gradualmente
de tal modo que todos recibirán los beneficios en un tiempo futuro. Lo que se aleatoriza es el
momento en que los beneficiarios potenciales recibirán los beneficios, no quedando así nadie
por fuera, tal como en el caso real de los programas federales Progresa y Oportunidades en
México. Tanto el Programa Progresa implementado entre 1997 y 2001, como posteriormente
el programa de Desarrollo Humano Oportunidades implementado a partir del año 2002 6,
fueron creados con el fin de enfrentar la pobreza extrema en todo el país. Ambos fueron
objeto de evaluación integral (cualitativa y cuantitativa): el primero fue evaluado
experimentalmente en 1999 y el segundo en el periodo 2007-2008. Las evaluaciones
realizadas se han enfocado en medir el impacto de los programas mediante la identificación
de los cambios que la población beneficiaria ha tenido a partir de su ingreso a ellos.

6
Oportunidades es un programa que tiene como fin mejorar las condiciones de educación, salud y alimentación de las
familias pobres en México. El antecedente de Oportunidades es el Programa Progresa, diseñado en 1995 e
implementado a partir de 1997. A través de Oportunidades se fortaleció el Progresa incluyendo nuevas acciones en
todos los contextos, no sólo en las familias rurales. Su principal propósito es dar apoyo a las familias que viven en
97

condiciones de pobreza extrema mediante el mejoramiento de sus condiciones de educación, salud y alimentación, y
el acceso a mayores oportunidades socioeconómicas y de calidad de vida. (Sedesol, Secretaria de Desarrollo Social de
México, portal del Programa Oportunidades: http://www.oportunidades.gob.mx/Portal/.
Específicamente, en el caso de la evaluación de Oportunidades se han utilizado dos grupos de
estudio: los grupos de tratamiento y los grupos de comparación (individuos y familias sin
programa, por tiempos de exposición).

3. Este tipo de evaluaciones tiene el riesgo de permanecer sólo en la estimación del impacto
sin considerar el proceso de implementación.

Frente a esta crítica, ha habido un notable mejoramiento en las evaluaciones experimentales,

al considerar no sólo la potencial efectividad de las variables de impacto sino también las
variables o factores internos y externos que han afectado los componentes de la intervención.
Esto lleva a una comprensión más amplia y profunda de las razones por las que ha tenido
éxito o no un programa o política pública.

4. El peligro de extrapolar o generalizar los resultados sobre el impacto del programa a

múltiples contextos.

Este riesgo se puede aminorar acompañando las evaluaciones experimentales con

evaluaciones multisite que permitan mostrar las variaciones de resultados y procesos en los
distintos lugares. La segunda opción es mediante un Meta-análisis7 que permita evaluar y
generalizar los resultados obtenidos a todo el universo de población.

VII. EVALUACIONES ANÁLISIS COSTO BENEFICIO Y ANÁLISIS COSTO EFECTIVIDAD

Fuente Principal: Wholey et al, 2010, pp. 493-530.

Las evaluaciones de análisis costo-beneficio y costo-efectividad son métodos de tipo

cuantitativo útiles para la evaluación de la efectividad de un programa o política pública. Se
pueden aplicar en cualquier momento: antes, durante o después de la ejecución del programa
o política.

En la Evaluación de políticas y programas, estos análisis Costo-Beneficio y Costo-Efectividad

se centran en el análisis social, y no financiero. Es decir, toman en cuenta los costos y
beneficios - ya sea monetarios o no monetarios - que se acumulan para toda la sociedad.

1.1 El Análisis Costo-Beneficio (ACB)

Es una técnica que compara los costos con el valor monetario de todos (o la mayoría) de los
beneficios de un programa.

La fórmula que se aplica para obtener los Beneficios Netos de un programa es:
98

7
El Meta-análisis es “la síntesis estadística de datos de estudios separados pero similares (es decir, comparables),
que conducen a un resumen cuantitativo de los resultados combinados”. (Wholey, Hatry & Newcomer, 2010, p. 531).
 Beneficios Netos = Beneficios Totales – Costos Totales

Si los beneficios netos son negativos, se les conoce como costos netos.

1.2 El Análisis Costo-Efectividad (ACE)

Es una técnica que relaciona los costos de un programa con sus principales resultados o
beneficios.

1. Identifica y les asigna valor monetario a los costos totales de un programa.

2. Relaciona estos costos con las medidas específicas de la efectividad del programa,
denominadas Unidades de Efectividad

Así, La Relación costo-efectividad (CE) de un programa se obtiene dividiendo:

Relación Costo – Efectividad = Costo Total / Unidades de Efectividad

LAS UNIDADES DE EFECTIVIDAD, son una medida que expresa el resultado cuantificable
central a los objetivos de un programa.

Ejemplos:

 Un programa de prevención de la deserción escolar puede tener como unidades de

efectividad (o resultados más importantes) el número de deserciones impedidas y el
número de alumnos graduados.
Cuando se aplica la formula, en el que se dividen los costos totales por las unidades de
efectividad, se obtienen: Costo por deserción impedida o Costo por aumento en el
n’mero de alumnos graduados
 Una política obligatoria sobre las bolsas de aire en los automóviles, tendría como unidad
de efectividad el número de vidas salvadas.
La relación costo–efectividad, sería pesos por vida salvada".
 Un programa de disminución de la mortalidad infantil tendría como unidad de efectividad
el N’mero de muertes evitadas o Años de vida ganados . La relación CE sería Pesos por
muertes evitadas

Pasos a Seguir en los ACE y ACB

1. Establecer el marco para el análisis

2. Decidir quiénes y dónde se recibirán, directa o indirectamente los costos y beneficios
3. Identificar y clasificar los costos y beneficios
4. Proyectar los costos y beneficios durante la vida útil del programa, sí se aplica
5. Monetizar los costos (asignar un valor monetario)
6. Cuantificar los beneficios en términos de unidades de efectividad (para ACE), o monetizar
99

los beneficios (para ACB)

7. Descontar los costos y beneficios para obtener los valores presentes
8. Calcular una relación costo - efectividad (para ACE) o un valor presente neto (para ACB)
9. Realizar un análisis de sensibilidad
10. Hacer una recomendación donde sea apropiado.

Aplicación de los Pasos del ACE Y ACB a partir de un Ejercicio Práctico

Programa de Prevención de la Deserción Escolar que tiene como objetivo reducir la

incidencia temprana de la deserción escolar en las escuelas públicas de básica secundaria del
municipio X.

 Objetivo del Análisis:

Evaluar si los costos que se asumieron en el programa han valido la pena frente a los
resultados alcanzados.

 Detalles del Programa

1. La política de prevención de deserción escolar ha supuesto la creación de una academia

especial dirigido a los estudiantes en riesgo de abandonar la escuela.

2. La academia tiene acceso al espacio, los profesores y el equipo de una escuela específica
seleccionada.

3. Para crear el programa, se contrató un consultor que capacitará a los profesores y

proporcionará un plan de estudios curricular para la academia.

4. Fue contratado un profesor de tiempo completo para administrar la academia, y a otros

tres maestros se les pagó una compensación adicional para trabajar en el programa
después de la escuela.

PASO 1. Establecer el marco para el análisis

Decidir hacer un ACB o un ACE

Análisis Costo-Beneficio (ACB):

 Cuando se analiza un solo programa o política para determinar si los beneficios totales del
programa para la sociedad superan los costos.
 Cuando se está comparando programas alternativos para ver cuál consigue el mayor
beneficio para la sociedad.

Limitación: A veces es difícil asignar valores monetarios a todos los costos y beneficios (o a
100

la mayoría).
Análisis Costo-Efectividad (ACE):
 Cuando se conoce el resultado que se desea y se quiere determinar cuál de un conjunto de
programas o proyectos alternativos logra el mayor resultado frente a los costos.
 En los casos en que los principales resultados son intangibles o difíciles de monetizar.

Limitación: No proporciona ningún valor para el resultado, dejándolo a la apreciación

subjetiva de los diseñadores de políticas.

La Línea de Base

 Describir la línea de base para el análisis, es decir, el estado del mundo en ausencia de la
intervención. (status quo).
 Los únicos costos y beneficios que deben ser considerados en un ACB o ACE son aquellos
que se producen por encima de las que se habrían producido sin ningún tipo de acción (en
la línea de base).
 Estos costos y beneficios adicionales son conocidos como los costos o beneficios marginales
o incrementales de una política o programa.

Programa Deserción Escolar:

 La línea de base son todas las actividades y programas regulares de la escuela secundaria
que se produjeron antes de la ejecución del programa.
 De este modo, en el análisis se podrán contabilizar los cambios incrementales en los
costos, la deserción escolar prevenida y otros beneficios que razonablemente pueden
atribuirse al programa.

Momento del Análisis

 Hacer un análisis ex ante (o prospectivo). Cuando se tiene la perspectiva de emprender un

nuevo programa.
 Hacer un análisis in medias res, es decir, en algún momento durante la implementación.
Este análisis proporciona datos sobre si los beneficios actuales del programa justifican los
costos.
 Hacer un análisis ex-post (o retrospectivo), el cual proporciona a los decisores datos sobre
los costos y beneficios totales al finalizar el programa, ayudándoles en la evaluación del
éxito/fracaso global del programa.

Programa Deserción Escolar:

 El Programa fue previsto para ser ejecutado durante 5 años en una escuela de secundaria.
 La decisión de ACB y ACE se realiza cuando el programa ya está en su 5º y último año de
implementación en una escuela de secundaria, a fin de decidir si expandirlo a un mayor
número de escuelas secundarias o pensar en programas alternativos.
101
PASO 2. Decidir quiénes y dónde se recibirán, directa o indirectamente los costos y
beneficios

Alcance del Análisis

 Casi toda política o programa abarca una amplia gama de actores interesados y todo costo
o beneficio en última instancia afecta a un grupo particular de personas o a una parte de
la sociedad, que incluye tanto a quienes reciben los beneficios directos como a quienes
reciben los costos y beneficios indirectos.
 Es así que esa parte de la sociedad debe definirse sobre una base geográfica. La parte de
la sociedad en la jurisdicción que se llevará la peor parte de los costos y recibirá la mayoría
de los beneficios.

Programa Deserción Escolar:

 Se supone que la escuela de secundaria y los contribuyentes municipales pagan la factura,
por lo que se puede justificar una perspectiva a nivel del municipio. Así, se deberá
contabilizar todos los costos y beneficios del programa que se acrediten a los residentes
del municipio.

PASO 3. Identificar y clasificar los costos y beneficios

 A pesar de que no se puede saber a ciencia cierta sobre todos los costos y beneficios, se
debe hacer un esfuerzo para identificar los que tienen las implicaciones más importantes
en la política.
 No todos estos efectos deberán ser evaluados en términos monetarios.
 En la identificación y clasificación, se sugiere la siguiente estructura de costos y
beneficios (Musgrave y Musgrave, 1989):
a) reales versus transferencias,
b) directos e indirectos,
c) tangibles e intangibles,
d) financieros y sociales
a) Beneficios y Costos Reales Versus Transferencias

 Los beneficios y costos reales representan ganancias o pérdidas netas para la sociedad.
Ejemplos: dinero ahorrado y ganado, vidas salvadas y vidas enriquecidas, mayores
ingresos y menores costes para los contribuyentes, ahorro de tiempo y una mayor calidad
de vida.
 Las transferencias sólo alteran la distribución de los recursos dentro de la sociedad, es
decir, algunos beneficios sociales son directamente compensados por otras pérdidas Son
programas gubernamentales que implican intencionalmente la subvención de un grupo
por otro en la sociedad: impuestos y subsidios.
Las transferencias no aumentan el bienestar total, sino que redistribuyen el bienestar de
102

la sociedad.
b) Beneficios y Costos Directos e Indirectos

 Los beneficios y costos directos son los que están estrechamente relacionados con el
principal objetivo del programa. Incluyen los costos de personal, instalaciones, equipo y
materiales, y administración.
 Los beneficios y costos indirectos son aquellos efectos colaterales del proyecto o
programa.

c) Beneficios y Costos Tangibles e Intangibles

 Los beneficios y costos tangibles son los que se pueden identificar fácilmente en términos
unitarios para el ACE y pueden ser convertidos a valores monetarios para el ACB.
 Los beneficios y costos intangibles, incluyen el valor de la vida humana o un mayor sentido
de comunidad. Es muy difícil poner un valor monetario a muchos beneficios intangibles.
Este es quizás el aspecto más problemático del análisis de costo-beneficio, y del por qué el
análisis costo-efectividad se considera más apropiado para algunos tipos de programas.

d) Beneficios y Costos Financieros y Sociales

 Los beneficios y costos financieros son desembolsos de efectivo de la organización de

acuerdo con el programa o proyecto. Ejemplo: Los salarios y beneficios económicos
pagados por una institución para un programa del gobierno son un costo fiscal.
 Los beneficios y costos sociales, los efectos positivos y negativos del programa sobre los
beneficiarios directos, las empresas y la sociedad en particular o en general.

Programa Deserción Escolar:

- Desglose de los costos del programa para la prevención de la deserción escolar:

Los costos para los participantes en el programa:

 Costo de oportunidad para los estudiantes que participan en el programa después de la
escuela: por ejemplo, la pérdida de los salarios de un trabajo a tiempo parcial (indirecto,
tangible y social).
Los costos para la sociedad (incluyendo la escuela):
 Los costos de una sola vez o Costos iniciales (el tiempo de los costos es descrito en el Paso
4)
 El costo del consultor que brindó capacitación docente y la información sobre cómo
configurar el programa académico (directo, tangible, fiscal)
 Programas informáticos adquiridos para ser utilizados en el programa (directo, tangible,
fiscal)
Los costos de la inversión en curso:
 El uso de las instalaciones escolares existentes (directo, tangible, sociales)
 Compra de los ordenadores para su uso en la academia (directo, tangible, fiscal)
103

 Compra de textos académicos que son utilizados por más de un año (directa, tangible,
fiscal)
 Los costos recurrentes:
 Salarios y beneficios de tiempo completo de los maestros dedicados al programa
académico (directo, tangible, fiscal)
 Salarios y beneficios de tiempo parcial para los maestros que reciben una compensación
adicional para los programas después de clases asociado con la academia (directo,
tangible, fiscal)
 Costos de mantenimiento adicionales asociados con uso de las instalaciones después de la
escuela (indirecto, tangible, fiscal)
 Los materiales y suministros, incluyendo libros y otros materiales utilizados durante el
programa (directo, tangible, fiscal)
 Los gastos de viaje para las visitas de campo (directo, tangible, fiscal)
 Los gastos generales, tales como la supervisión general y las finanzas (indirectos, tangibles,
fiscal)
 Aumento de seguros (indirecto, tangible, fiscal)
 Costo de los voluntarios (indirecto, tangible o intangible, social)
 Costo de oportunidad para los padres, como por ejemplo la pérdida de tiempo en el
transporte de estudiantes (indirecto, tangible, social)

- Beneficios del Programa para la Prevención de la Deserción Escolar:

Beneficios para los participantes del Programa

 Mayores ganancias de por vida (directo, tangible, social), reducido por lo siguiente:
- Tendrán que pagar más impuestos
- Recibirán menos prestaciones sociales
 Mayor autoestima (indirecto e intangible, social)
Beneficios para la Sociedad en General
 Disminución de los subsidios del gobierno, por bienestar, salud, etc. (indirecto, tangible,
fiscal)
 Aumento de los impuestos pagados por los participantes del programa (indirecto, tangible,
fiscal)
 Disminución de la delincuencia y otros problemas sociales (indirectos, tangibles e
intangibles, tanto fiscales como sociales)

Explicación:

 Los beneficios se acumulan principalmente en los destinatarios del programa.

 Los graduados de la escuela secundaria, en promedio, ganan más que los que abandonan
la escuela secundaria y hay menos desempleo entre graduados de escuela secundaria.
 Habría algunos beneficios fiscales indirectos para los contribuyentes puesto que los
estudiantes que no abandonan es probable que en el largo plazo tengan menor
dependencia de los subsidios del gobierno y paguen más impuestos. Aunque estos
beneficios indirectos no son la razón principal del programa, estos resultados sí
proporcionan beneficios fiscales para el gobierno y la sociedad.
104
PASO 4. Proyectar los costos y beneficios durante la vida útil del programa, sí se aplica.

Definir el Marco de Tiempo

 Después de identificar todos los C y B, se debe determinar el marco de tiempo a partir de

la vida útil del programa, teniendo en cuenta cómo cambian a lo largo del período de
tiempo del estudio.
 En los ACB y ACE, muchos consideran un marco de tiempo en el rango de 5 a 50 años, pero
en algunos casos, se puede decidir que tan sólo 1 año es suficiente para evaluar los costos
y beneficios.

a) Para un análisis ex ante, se tendrá que prever los impactos durante la vida del proyecto:
¿cada costo o beneficio seguirá siendo el mismo cada año o se incrementarán, disminuirán o
desaparecerán en cada año subsiguiente?

b) Para un análisis ex post, gran parte de esta información puede ser ya conocida, sobre todo
si los costos reales y los resultados han sido reportados anualmente.
 Puede ser útil considerar si los costos y beneficios son iniciales, se acumulan sólo en el
primer año, o si se repiten los costos o beneficios que se producen cada año.

Programa Deserción Escolar:

 Los costos fiscales del programa son en su mayoría iniciales, mientras que los beneficios
(tanto fiscales como sociales) se acumulan durante un largo período de tiempo.
 En el caso de los participantes, el mayor beneficio es su aumento de ingresos durante toda
la vida.
 Los costos totales del programa deben ser examinados durante sus 5 primeros años de
operaciones, pero los beneficios tendrán que ser analizados durante un período
prolongado de tiempo.
 Se elige 30 años para capturar la mayor parte de los beneficios del aumento de los
ingresos, los ahorros fiscales, y otros beneficios a largo plazo.

PASO 5. Monetizar los costos (asignar un valor monetario)

Monetizar los Costos y Beneficios

 Estimar y asignar a cada costo un valor monetario, incluyendo tanto los costos fiscales
como sociales.
 El objetivo es que los costos y beneficios (en el caso de ACB) sean expresados en las
mismas unidades para facilitar la adición y comparación.
 Para cada costo que se le asigne un valor monetario, es importante establecer claramente
su naturaleza, cómo se mide, y todos los supuestos hechos en los cálculos.
105
COSTO DE OPORTUNIDAD: Si un recurso se utiliza para una cosa, no puede ser utilizado para
otra. Es decir, que hace referencia a lo que una persona o institución deja de ganar o de
disfrutar, cuando elije una alternativa entre varias disponibles.

a) Costos de Capital
El costo de los bienes de capital debe ser extendido durante su vida útil esperada.
Normalmente el activo se deprecia igualmente por año durante su vida útil (depreciación en
línea recta). Además, el propietario del activo pierde la oportunidad de utilizar el dinero que
es invertido en el activo depreciado (Costo de oportunidad).

b) Costos Hundidos
Son aquellas inversiones ya incurridas o desembolsos ya hechos antes de iniciar el programa,
independientemente de si éste se realiza o no. Por ejemplo, los estudios relevantes para
obtener la información necesaria que respalde la decisión de implementar o no un proyecto
de construcción de una carretera o una represa.

c) Costos Monetarios Indirectos

Son los costos no asociados directamente al diseño, operación y mantenimiento del
programa. Por ejemplo, los Gastos generales como administración, incluidos los gastos de
supervisión o auditoría, seguros, etc.

d) Costos No Monetarios Indirectos

Transferencia de Costos a otros sectores económicos o sociales. Por ejemplo, cuando el
gobierno traslada los costos para el sector privado, especialmente en la actividad reguladora.

e) Costos sociales para los Participantes y Voluntarios

Aunque no son desembolsos de efectivo, se les considera parte de los costos que deben ser
estimados. Por ejemplo, el costo de oportunidad.

Programa Deserción Escolar:

- Costos del programa:

Costos Financieros (Para la escuela) Estimativo y Método de Valoración

Costos iniciales: El uso de consultores y Los costos reales del programa en su primer año.
programas informáticos. Supongamos $ X para consultores y $ X para el
software.
Gastos de capital: La compra de material Estos costos son generalmente distribuidos en su
con el uso prolongado de un año- vida útil para los ordenadores y textos, de 3 a 5
ordenadores y libros de texto años. Supongamos que Y computadoras a X
dólares por 5 años y Z textos en $X con una
duración de 3 años. Costo anual total: $ X.
106

Sueldos: Salarios tanto de tiempo Supongamos que un docente a tiempo completo

completo y tiempo parcial incluyen los en $X más X% de los beneficios (10.500 dólares),
costos anuales más beneficios más 3 profesores a tiempo parcial durante 9
 meses a $X por mes, más beneficios (a tiempo
parcial.
Costo anual: $X.
Mantenimiento: Los costos extra de Estos serían los costos marginales incurridos
mantenimiento de las instalaciones respecto a aquellos costos que se hubieran
después de las horas normales; puede generado sin el programa. Supongamos $X por
incluir el costo de energía, limpieza y mes durante 9 meses. Costo anual: $X.
mantenimiento.
Materiales y suministros: Papel, lápices, $X por participante por año, con 50 participantes.
marcadores, etc. Costo anual: $X.
Transporte: Costo de pasajes de bus, y así Costos anuales asumidos: $X.
sucesivamente.
Gastos generales: administración, La medida adecuada es el costo marginal, por
incluidos los gastos de supervisión, ejemplo, si el seguro subió por el nuevo programa
seguros. o si el costo del programa de auditoría aumentó el
costo de la auditoría anual. Los costos anuales
asumidos: $X.
Costos Sociales (Para la escuela) Estimativo y Método de Valoración
Instalaciones: El uso del salón de clase El costo de oportunidad de uso en del salón de
después de la escuela clase. Supongamos que no hay otro uso: $ 0.
Costo de los participantes: Costo de Aunque se trata de un costo no presupuestal,
oportunidad del tiempo de los alumnos. representa un costo real para los participantes.
Supongamos $X por participante.
Costo de los padres: Costo de oportunidad Los padres pueden tomar tiempo libre del trabajo
del tiempo de los padres de familia. o puede incurrir en costos adicionales de
transporte. Si este es el caso, su salario promedio
se debe utilizar para valorar este costo. En este
ejemplo se asume sin costo: $ 0.
Costo de los voluntarios: Costo de Este es controversial. Este ejemplo supone que los
oportunidad del tiempo de los voluntarios. beneficios son iguales al costo: $ 0.

PASO 6. Cuantificar los beneficios en términos de unidades de efectividad (para ACE),

o monetizar los beneficios (para ACB)

Cuantificar los Beneficios (para ACE)

i) Identificar el beneficio más importante por el cual se desea medir el éxito del programa.
Por ejemplo, la medida de un programa para mejorar el rendimiento en las escuelas se
puede basar en los resultados de las pruebas Saber a niños de 3º y 5º de Primaria en las
áreas de matemáticas y lenguaje.
ii) Cuantificar el beneficio en términos de las unidades de efectividad que son atribuibles al
programa.
107

Programa Deserción Escolar:

 La medida de efectividad es el número de deserciones prevenidas.
 Análisis ex post, que tiene como fin determinar el número de deserciones impedidas como
resultado del programa, y un analista podría examinar los datos sobre la deserción escolar
en estudiantes de secundaria que están en riesgo.
 El analista determina que de 50 estudiantes de secundaria que están en riesgo, por lo
general son 20 los que abandonan la escuela antes de graduarse. Es decir, 100 estudiantes
en 5 años.
 Pero entre los inscritos en el programa hay mayor propensión a permanecer en la escuela.
 Durante los 5 años del programa, de los 250 participantes, 69 abandonaron antes de la
graduación, en comparación con el resultado esperado de 100 si no existiera ningún
programa. Así, el número de deserciones impedidas por el programa pueden estimarse en
31.

- Análisis Costo – Efectividad del Programa sobre Prevención de la Deserción Escolar:

Año 1 Año 2 Año 3 Año 4 Año 5 Total

Deserción por cada 20 20 20 20 20 100
50 estudiantes en
riesgo
Deserción por cada 17 15 13 12 12 69
50 participantes
Deserción prevenida 3 5 7 8 8 31
Costos Fiscales para $131.386 $127.886 $127.886 $127.886 $127.886 $642.930
la escuela
Costos fiscales por $43.796 $25.577 $18.270 $15.986 $15.986 $20.740
deserción prevenida
Costos totales para la $223,527 $220.037 $220.037 $220.037 $220.037 $1.103.684
sociedad (incluyendo
costos de los
participantes
Costos Totales por $75.509 $44.007 $31.434 $27.505 $27.505 $35.603
deserción prevenida

Monetizar los Beneficios (para ACB)

i) Para un ACB, su objetivo ideal es calcular un valor monetario por cada beneficio principal.
ii) Sin embargo, en la mayoría de los beneficios es muy complicado asignar un valor
monetario.

Principales beneficios a estimar:

a) Bienes y servicios no comercializables. A diferencia de la mayoría de los costos, muchos

beneficios sociales no se reflejan o se estiman fácilmente utilizando los precios de mercado o
108

los presupuestos.
 Precios Sombra: utilizar los precios en un mercado privado similar para asignar un valor
monetario a un bien público. Por ejemplo, monetizar los beneficios de una piscina pública
gratuita, utilizando las tasas que se pagan por una experiencia similar en la natación de
piscina privada.

b) Costos de Prevención. Es el ahorro de costos generado por la implementación del programa.

Por ejemplo, en un programa anticrimen se podrían medir los pesos ahorrados a partir de los
robos evitados y en un programa de prevención de la salud se podrían medir los costos
ahorrados por la atención de pacientes ya enfermos o con salud agravada.

c) Tiempo Ahorrado. Es un beneficio tangible, pero su valor monetario es más subjetivo,

puesto que cada persona puede valorar su tiempo de manera diferente. Un método común
para estimar el valor del tiempo es usando la teoría del intercambio trabajo-ocio de los
economistas. Por ejemplo, cuando la gente tiene control sobre las horas que trabaja, va a
trabajar (incluyendo horas extras) hasta que su valor subjetivo para una hora de tiempo libre
es igual a los ingresos que se beneficiarían de una hora más de trabajo.

d) Incremento de la Productividad. El aumento de la productividad es un objetivo común de

muchos programas de inversión del gobierno - tanto para inversiones de capital, como
carreteras, puentes, acueductos y otras infraestructuras e inversiones en capital humano,
como para la educación y la capacitación laboral. Estos beneficios pueden medirse en
aumento de los beneficios o salarios.

e) Valores de la Propiedad. El aumento de los valores de la propiedad puede o no ser un

beneficio, en función del ámbito geográfico del análisis. Cuanto más estrecho es el ámbito de
aplicación, lo más probable es que el aumento de valor de las propiedades será un beneficio
real del proyecto. Si los valores de la propiedad se incrementan en un barrio a causa de un
nuevo parque comunitario, desde la perspectiva de la vecindad, esto se consideraría un
beneficio.

f) Impuestos. Los impuestos son a veces considerados como un beneficio. Desde una
perspectiva social, los impuestos son transferencias: la ganancia para el gobierno es una
pérdida para la persona que paga los impuestos. El individuo obtiene ganancia de los
servicios que el gobierno ofrece con los impuestos, pero pierde dinero que podría haber sido
gastados en compras privadas.

g) Juego de la Reacción en Cadena. Tanto los beneficios como los costos indirectos deben ser
contabilizados. Por ejemplo, la construcción de una carretera, genera beneficios directos
como reducción de los costos de transporte (tiempo y combustible) y aumento de las
ganancias para restaurantes, hoteles y estaciones de gasolina alrededor. Pero, hay pérdidas
probables para los operadores de trenes ya que algunos de sus clientes se convertirán a los
automóviles como medio de transporte, los negocios en los alrededores de las estaciones de
109

tren pueden sufrir pérdida de beneficios, y el uso creciente de automóviles puede hacer subir
el precio de la gasolina e incrementar los costos a los consumidores de gasolina.
 h) Valor Estadístico de la Vida (VEV). Establece un valor medio para toda la vida humana, ya
sea joven o viejo, rico o pobre. Calcular cuánto una persona promedio podría pagar para
reducir el riesgo de muerte o, por el contrario, la cantidad que se le tendría que pagar a un
individuo para asumir un determinado riesgo. Por ejemplo, salarios más altos a trabajos más
riesgosos o cuánto se estaría dispuesto a pagar por productos de seguridad.

Programa Deserción Escolar:

 El principal beneficio de terminar la escuela secundaria es para los propios alumnos
participantes: un aumento de ingresos de por vida a causa del diploma. Para calcular esta
cifra, se pueden comparar los salarios de las personas que han completado la escuela
secundaria con los de individuos similares que la han abandonado.
 Beneficios y costos indirectos para el resto de la sociedad como resultado de un individuo
completar la escuela secundaria:
 Menos crímenes lleva a menos gastos de prisión o a reducción en los costos de
detención y en el sistema judicial. Ganancia" a las víctimas potenciales.
 Menos apoyo del gobierno (bienestar y otras transferencias) y el aumento de los
impuestos pagados al gobierno.
 Algunos de estos beneficios para el resto de la sociedad son los costos para los
participantes. Así, los impuestos obtenidos por el gobierno son un costo para los
participantes.

PASO 7. Descontar los costos y beneficios para obtener los valores presentes

El costo de oportunidad de los costos y beneficios (Valores Presentes)

i) El dinero tiene un costo de oportunidad, porque la gente valora más los costos y beneficios
incurridos hoy que aquellos que pueda tener en el futuro.
ii) El costo de oportunidad se incorpora en el ACB y en el ACE, convirtiendo todos los valores
monetarios a su valor actual, al comienzo del programa en el año 1.
iii) Pero para calcular el valor actual de los costos y los beneficios se recurre a la tasa social de
descuento (r).

¿Qué es la Tasa Social De descuento?

Refleja en qué medida, desde el punto de vista de una sociedad, un beneficio presente es más
valioso que el mismo beneficio obtenido en el futuro Souto, G. . La selección de la TSD.
Univ. Autónoma de Barcelona. España). Los países desarrollados tienden a utilizar una r entre
3 y 7%, mientras que las naciones en desarrollo utilizan tasas mayores de 8}, lo que refleja el
mayor riesgo y la incertidumbre de las inversiones públicas en los países

La TSD (r) en:

 Colombia y Argentina: 12%
 Chile: 10%
110

 Perú: 14%
 México: entre 16 y 21%

En el Análisis Costo – Efectividad:

 Se toma el valor presente de los costos del programa para utilizar como el numerador en
su relación costo - efectividad.
 Se suman los costos totales en todos los años, teniendo en cuenta los costos de cada año
como Ct, donde t indica el año 1. Es decir, todos los costos se llevan a valores del año 1.
 Para convertir los valores en cada año a su equivalente del año 1, se divide Ct por (1 + r) t-
1 Esto nos dará el Valor Presente de los Costos (VPC).

En el Análisis Costo – Beneficio:

 Se toma el valor actual de los beneficios y se resta con el valor actual de los costos. El
cálculo final se conoce ahora como el valor presente neto (VPN), en lugar de los beneficios
netos.

PASO 8. Calcular la relación costo – efectividad (para ACE) o el valor presente neto
(para ACB)

Calcular la relación C – E

En lugar de utilizar los costos totales (como en la primera ecuación), esta relación sustituye
el valor presente de esos costos. Sin embargo, casi siempre el término costos totales se sigue
utilizando a pesar de que el valor presente se supone).

Se aplica la fórmula de ACE:

Relación CE = VPC / Unidades de Efectividad

Ejemplos: El resultado se expresa en pesos por deserción impedida" o pesos por vida
salvada."

Nota: Al comparar múltiples proyectos, se calcularía por separado el radio CE para cada
proyecto.

Calcular el valor presente neto en el ACB

 Se toma el valor actual de los beneficios y resta el valor actual de los costos. El cálculo final
se conoce ahora como el valor presente neto (VPN), en lugar de los beneficios netos. La
fórmula se convierte en:
111

Valor Presente Neto = Beneficios Totales – Costos Totales

PASO 9. Realizar un análisis de sensibilidad

Análisis de Sensibilidad a los Supuestos: Debido a que los ACE y ACB deben basarse en
supuestos, es esencial realizar un análisis de sensibilidad explícito que discuta los supuestos
claves, haciendo variaciones para ver cómo el cambio afecta el análisis.

Análisis de Sensibilidad del Programa de Prevención de la Deserción Escolar:

Análisis del Caso Base: Valor Presente Neto = $5 millones.

Supuestos y Parámetros Clave del Caso Base

 31 deserciones impedidas en más de 5 años de programa

 Aumento de los ingresos de los graduados de secundaria en $10.079 al año
 Costo de oportunidad para los alumnos en ingresos no percibidos de $1.843 por
participante
 Tasa social de descuento del 3%

Efecto de los Cambios en los Supuestos Claves para VPN

 Una deserción prevenida menos/adicional por año: +/- $ 700,oo

 Las ganancias de los graduados de secundaria: $ 1.000 más/menos que la línea de
base
 Eliminar el costo de oportunidad para los participantes: $ 400,oo
 Tasa de descuento del 1% superior/inferior a la línea de base: +/-$ 800,oo

PASO 10. Hacer recomendaciones

No hay una regla de decisión clara en la evaluación de un programa. El decisor debe usar su
propio criterio.

En el Análisis Costo – Beneficio:

 Si un programa tiene un valor presente neto positivo (sobre todo después del análisis de
sensibilidad), entonces se debe (teóricamente) aplicar la política, ya que aumentaría el
112

bienestar social.
 Si tiene valor actual neto negativo, entonces el proyecto debe ser rechazado.
En el Análisis Costo – Efectividad:

 Cuando dos o más programas se evalúan según las mismas unidades de efectividad, debe
aplicarse la política con la menor relación CE (asumiendo que los proyectos tienen
aproximadamente la misma escala).

CONCLUSIONES

 Los Análisis Costo-Beneficio y Costo-Efectividad no son panaceas que proporcionarán a

los decisores la respuesta a un problema de política pública.

 De hecho, ambas técnicas pueden ser más un arte que una ciencia. Con una serie de
consideraciones y supuestos a veces polémicos, el proceso es mucho más complicado y
potencialmente más sesgado que lo que muchos creen.

 Sin embargo, se puede aprender mucho acerca de un proyecto creando un marco que
considere los beneficios y costos: simplemente tratar de identificarlos, medirlos y
valorarlos puede proporcionar información importante para la toma de decisiones.

 Al agregar un minucioso análisis de sensibilidad y una explicación clara de cada hipótesis

y estimación, los ACE y ACB pueden ser herramientas muy eficaces en la evaluación de
programas.

113
 8. RED DE PRODUCCIÓN DE LA UNIDAD ORGANIZATIVA PÚBLICA
RESPONSABLE POR LOS SISTEMAS DE MONITOREO Y EVALUACIÓN
DE RESULTADOS

Debe existir en la organización pública una unidad organizativa responsable por los sistemas
de monitoreo y evaluación. Dicha unidad es quien cumple el papel de recibir las
informaciones de los diversos sistemas de bases de datos internos y externos, seleccionando
y priorizando aquellas que son relevantes para subsidiar el posterior procesamiento y
análisis de los indicadores de gestión y de resultados. Por ese motivo, la unidad responsable
deberá coordinar todo el monitoreo de informaciones que proporcionará a la Alta Dirección
con resultados detallados presentados en la forma de informes gerenciales que contienen un
análisis explicativo y descriptivo (documentos escritos con gráficos y tablas), posibilitando
emitir así un juicio evaluativo del estado de la situación. Se requerirá la realización de
reuniones periódicas donde sean sustentados y discutidos dichos informes garantizando que
la buena explicación del estado y evolución de los problemas y planes conduzca a las mejores
decisiones. Adicionalmente, la unidad organizativa responsable por el monitoreo y
evaluación deberá publicar a la sociedad los resultados finales de los estudios e
investigaciones y brindar informaciones para la elaboración de estudios y relativas a
cuestiones pertinentes.

De esta forma, el flujo de informaciones en la unidad organizativa estará conformada por

estadísticas básicas, indicadores con informaciones que permitan hacer seguimiento a la
gestión, modelos de análisis, mapas, fotografías, seguimiento a registros de disposiciones
legales y otras formas de visualización física y virtual que posibiliten disponer de
informaciones de forma oportuna. Sin embargo, el levantamiento, clasificación y análisis de
esos datos e informaciones sólo podrán ser hechos a través del montaje de un esquema
organizado de red de procesos que opere al interior de la unidad organizativa. En esta
dirección, es preciso diseñar su red de producción como es mostrado en la siguiente figura.

114
 Red de Producción de La Unidad Organizativa Pública encargada
del Sistema de Monitoreo y Evaluación

Demandas de informaciones de la Alta Dirección según

necesidades, planes de acción y programas

Gestión y coordinación del sistema de Demandas de

monitoreo y evaluación de la gestión y, informaciones de actores
específicamente de planes y programas y población en general

Operacionalización, Operacionalización,
mantenimiento y mantenimiento y
actualización del sistema de actualización del sistema de
informaciones internas. informaciones externas.

Unidades y otros Convenios y Redes de Colaboración y

 ONG´s
sectores específicos de Contacto:

 Sistemas de información gerencial

de la Organización

 Observatorios regionales,
a nivel nacional y regional
Unidades

 Universidades y centros de
Descentralizadas nacionales e internacionales

investigación.

Operacionalización, Mantenimiento y Actualización del

Sistema de Informaciones de la Organización

Monitoreo y Evaluación de Informaciones y Metas

Publicaciones físicas y virtuales Informes Gerenciales Estudios e Investigaciones

115

Toma de decisiones sobre continuación y/o ajustes y cambios de rumbo

en las metas y operaciones de políticas, planes y programas
 GLOSARIO

Actividad. Acciones emprendidas o trabajo desempeñado para generar bienes y/o servicios
(productos) de la intervención.

Agenda Estratégica. Asuntos o problemas que ganan la atención del dirigente público y se
convierten en objetos de acción política: plan, política pública o decisión gubernamental.

Cadena de Resultados. Es un método que de forma gráfica muestra los elementos esenciales y su
interrelación para el desarrollo, seguimiento y evaluación de una intervención. Es así que describe
los recursos utilizados, la acción planificada y los productos y resultados esperados a fin de
producir un impacto que cambie la situación negativa en un problema social, en un periodo de
tiempo determinado y bajo ciertas condiciones del entorno.

Economía. Verifica si los recursos (insumos) utilizados para la producción de los bienes y servicios
se han adquirido al menor costo posible, en la cantidad y calidad deseada y en el tiempo oportuno.

Efectividad. Mide los cambios duraderos generados en el bienestar o calidad de vida de las
personas o beneficiarias, por efectos de la intervención realizada, tanto de forma directa o indirecta
como intencionada o involuntaria.

Efecto. Son los resultados o cambios producidos en los beneficiarios, a corto y mediano plazo, que
ocasionan el conjunto de productos generados exclusivamente por la intervención.

Eficacia. Mide el grado en que la intervención ha avanzado o logrado los resultados o efectos
esperados.

Eficiencia. Mide el grado en que una intervención optimiza los recursos o insumos para generar
los productos específicos propuestos.

Evaluación. “Valoración sistemática e imparcial que ofrece información empírica de carácter

creíble y fiable sobre la medida en que una intervención ha obtenido progresos (o la falta de ellos)
en la consecución de los resultados previstos e imprevistos sobre la igualdad de género y el
empoderamiento de la mujer” (Oficina de Evaluación del PNUD, 2012, p. 4).

Indicador. Variable de medición específica que proporciona informaciones cualitativas o

cuantitativas de forma explícita y objetivamente verificables en un determinado período de tiempo.

Información. Conjunto organizado de datos procesados que son significativos y pertinentes para
el desarrollo, seguimiento y evaluación de una intervención.
116

Impacto. Son los cambios generados en el desarrollo humano o calidad de vida de las personas
como resultado de la intervención, tanto de forma directa o indirecta como intencionada o
involuntaria. “Efectos de largo plazo positivos y negativos, primarios y secundarios, producidos
directa o indirectamente por una intervención para el desarrollo, intencionalmente o no” (CAD
2002, p. 24).

Intervención. Plan, programa, proyecto, acción o política pública emprendida por la

administración pública o por una organización social con el fin de enfrentar problemas que impiden
u obstaculizan alcanzar objetivos de desarrollo humano o bienestar social.

Monitoreo. Es un instrumento de gestión gerencial que da soporte al sistema de evaluación

de la organización mediante la recopilación y procesamiento sistemático de datos sobre
indicadores determinados que proporcionan información periódica precisa, confiable y
relevante respecto al avance y logro de los resultados de una intervención.

Problema. Disconformidad u obstáculo entre lo que es la realidad hoy y lo que se cree debería ser
ésta (Matus, 1993). Según Roth (2007) un problema es privado o individual hasta cuando alguien
con capacidad e interés tome la ‘vocería’ y lo declare como problema público.

Producto. Son los bienes y/o servicios obtenidos de la ejecución de las actividades.

Recursos/Insumos. Son los recursos financieros, organizativos, cognitivos y políticos usados para
la realización de las actividades de la intervención.

Seguimiento. Es una actividad permanente que utiliza la recopilación y procesamiento sistemático

de datos sobre indicadores determinados para proporcionar información periódica precisa,
confiable y relevante respecto al avance y logro de los resultados de una.

Señal. Instrumento de seguimiento de indicadores que permite verificar y alertar sobre la distancia
entre los resultados previstos y los resultados realmente alcanzados (indicador norma vs indicador
real).

117
 BIBLIOGRAFIA

AGUILAR, Luis F. (1994). Problemas públicos y agenda de gobierno. México: Antología de

Política Pública, N° 3.

Ahora o nunca: Es el momento de evaluar las políticas públicas. Informe del Centro de
Innovación del Sector Público de la Fundación de PwC e IE Business School. (2011).

Anexo Metodología Evaluación de Impacto. (Abril 2007). Gobierno de Chile. Ministerio de

Hacienda. Dirección de Presupuestos. División de Control de Gestión. Santiago de Chile.

Apodaca, Pedro M. (1999). Evaluación de los resultados y del impacto. Revista de

Investigación Educativa. Vol. 17, nº 2, págs. 363-377. Recuperado de
https://digitum.um.es/jspui/bitstream/10201/44983/1/Evaluacion%20de%20los%
20resultados%20y%20del%20impacto.pdf

Aubel, J. A. (1993). Guidelines For Planning And Conducting Studies Using The Group
Interview Technique. International Labor Organization, Geneva.

Aubel, Judi. (Febrero 2000) Manual de Evaluación Participativa del Programa. Involucrando
a los participantes del programa en el proceso de evaluación. Edición No. 2. Maryland,
EEUU: Publicación conjunta de Catholic Relief Services, Child Survival Technical
Support y USAID. Recuperado de
http://www.coregroup.org/storage/Monitoring__Evaluation/PartEvalManual.Spanish
.pdf

Bamberger, Michael. (Agosto de 2012). Introducción a los métodos mixtos de la evaluación

de impacto. Notas sobre la evaluación de impacto, Nº 3. The Rockefeller Foundation.
New York Citiy: InterAction.

Bañón i Martinez, Rafael. (2003). La Evaluación de la Acción y de las Políticas Públicas. Madrid,
España: Ediciones Días de Santos S.A. Introducción pág. XV-XXVI.

Bonnefoy, Juan C. y Armijo, Marianela. (2005). Indicadores de Desempeño en el Sector

Público. Ilpes – Cepal. Serie Manuales. N°45.

Briones, Guillermo. (1991). Evaluación de Programas Sociales. 1ª edición. México: Editorial

Trillas.

Cohen, Ernesto y Franco, Rolando. (1992). Evaluación de proyectos sociales. México: Siglo
118

XXI Editores. Recuperado de file:///D:/TRABAJO/A-

UNIV%20DEL%20VALLE/CURSO%20EVALUACION%20DE%20PP/Evaluaci%C3%B3
 n%20PP%20Septiembre%20-
%20Octubre%202016/Lecturas/MODULO%203%20y%204/Cohen%20y%20Franco
%20-%20Evaluaci%C3%B3n%20de%20Proyectos%20Sociales.pdf

Comité de Apoyo Técnico de la Política de Rendición de Cuentas (Julio de 2014). Manual único
de rendición de cuentas. Comité Técnico: Presidencia de la República-Secretaría de
Transparencia, Departamento Administrativo de la Función Pública y Departamento
Nacional de Planeación. Bogotá, Colombia.

Cruz-Rubio, César N. (2014). Hacia el gobierno abierto: Una caja de herramientas.

Departamento para la Gestión Pública Efectiva – OEA.

DAFP (Agosto de 2012). Guía para la construcción de indicadores de gestión. DAFP. Dirección
de Control Interno y Racionalización de Trámites.

Di Virgilio, María M. y Solano, Romina. (2012). Monitoreo y evaluación de políticas,

programas y proyectos sociales. 1ª ed. Buenos Aires: UNICEF-Fundación CIPPEC.

Evaluación de Políticas Públicas (2007). Programa de Vivienda de Interés Social Urbana

Impactos en la calidad de vida y evaluación del proceso de focalización. Departamento
Nacional de Planeación.

Feinstein, Osvaldo. (Noviembre de 2006). Evaluación Pragmática de Políticas Públicas.

Boletín Económico – ICE. Mayo-Junio 2007, Número 836. España.

Fundamentos de Evaluación de Políticas Públicas. 1ª Edición. Madrid: Ministerio de Política

Territorial y Administración Pública. Agencia Estatal de Evaluación de las Políticas
Públicas y la Calidad de los Servicios. Madrid, 2010. Primera Parte: La evaluación de
políticas públicas en el marco de la nueva gobernanza.

García M., Mauricio. (2016) Gestión para resultados en el desarrollo en gobiernos

subnacionales. Módulo 6: Seguimiento y evaluación de los resultados. Indes – Prodev,
BID. Manthra Editores.

Gertler, P., Martinez S., Premand, P., Rawlings, L. & Vermeersch, C. (Editors) (2011). Impact
Evaluation in Practice. Interactive textbook at The World Bank.

Hubert E.Paulmer. (2005). Evaluation Guidelines of International Aid Agencies: A

Comparative Study. University of Guelph, Guelph, Ontario.

Matus, Carlos. (1993). El Plan como Apuesta. Revista PES. Bogotá, Colombia: Fondo Editorial
Altadir.
119
_____________. (Enero de 1994). Sistema Altadir de Monitoreo – SAM. Fundación Altadir:
Caracas, Venezuela.

_____________. (1997). Os Três Cintos de Governo: Gestão, organización e reforma. Caracas,

Venezuela: Fondo Editorial Altadir.

Morra, Linda G. & Friedlander, Amy C. (Enero de 2001). Evaluaciones mediante estudios de
caso. Departamento de Evaluación de Operaciones del Banco Mundial - OED.
Washington D.C: Traducido al español por PREVAL II. Recuperado de
http://preval.org/documentos/0950.pdf

Musgrave RA & Musgrave PB (1989) Public finance in theory and practice. McGraw-Hill, New
York.

Neirotti, Nerio, Evaluation in Latin America: paradigms and practices , en New Directions
for Evaluation, )nc., en prensa . Traducción del autor: La evaluación en América
Latina: paradigmas y prácticas mimeo .

O BR)EN, James A. (2001). Sistemas de Información Gerencial. 4ta. Colombia: Edición. Ed.
Irwin McGraw-Hill.

OCDE. (2010). Estándares de calidad para la evaluación del desarrollo. Serie: Directrices y
Referencias del CAD. Ministerio de Asuntos Exteriores y de Cooperación (MAEC) de
España, para la edición en español.
http://www2.unwomen.org/~/media/headquarters/attachments/sections/library/
publications/2012/11/unw-2012-12-un-women-evaluation-policy-
sp%20pdf.pdf?v=1&d=20141013T121501

Oficina de evaluación del PNUD. (2002). Manual de seguimiento y evaluación de resultados.

Programa de las naciones unidas para el desarrollo. New York: PNUD. Recuperado de
https://www.alcobendas.org/recursos/doc/Cooperacion/1229910506_2910201284
335.pdf

Opencourse de la Universidad de Sevilla, 2007, Recuperado de http://ocwus.us.es/

Patton, M. Q., (1997). Utilization focused evaluation: The new century text. Beverly Hills: Sage
Publications.

Perrin, Burt. (Abril de 2012). Relación entre el monitoreo y la evaluación con la evaluación
de impacto. Notas sobre la evaluación de impacto, Nº 2. The Rockefeller Foundation.
New York Citiy: InterAction.
120

Ponencia Evaluación de Políticas Públicas a través del Estado, la Democracia y el Desarrollo.

III Congreso Argentino de Administración Pública. Repensando las relaciones entre
Estado, Democracia y Desarrollo. (junio de 2005). San Miguel de Tucumán, Argentina.
Ramírez G., Gloria P. & Burbano Z., Luis C. (2016). La Planeación Estratégica: Una
Herramienta de Gobierno en el Diseño y Gestión de Planes y Políticas Públicas. Bogotá,
Colombia: Planificación y Gobierno. Ver: www. planificacionpublicaygobierno.blogspot.com o
https://plus.google.com/113212027665692041622/posts

Rogers, Patricia J. (Marzo de 2012). Introducción a la evaluación de impacto. Notas sobre la

evaluación de impacto, Nº 1. The Rockefeller Foundation. New York Citiy: InterAction.

ROTH D. André-Noël. (2007). Políticas Públicas. Formulación, implementación y evaluación:

Cómo elaborar las políticas públicas, quién decide, cómo realizarlas, quién gana o
pierde. 6ª Ed. Ediciones Aurora. Colombia.

______________ (Oct. 2009). La evaluación de políticas públicas en Colombia: una mirada crítica
a partir de las prácticas evaluativas oficiales de los programas de la Red de Apoyo
Social . Publicado en la Revista del CLAD Reforma y Democracia. No. . Caracas.

SEDESOL, Secretaria de Desarrollo Social de México, portal del Programa Oportunidades.

Recuperado de http://www.oportunidades.gob.mx/Portal/.

SIEMPRO y UNESCO. (1999). Gestión integral de programas sociales orientada a resultados:

Manual metodológico para la planificación y evaluación de programas sociales. Buenos
Aires: Fondo de Cultura Económica. Recuperado de http://metodos-
avanzados.sociales.uba.ar/files/2014/03/Gestion-Integral-de-Programas-Sociales-
SIEMPRO-Parte-1.pdf

Sistema Nacional de Evaluación de Gestión y Resultados – Sinergia. Guía para la Evaluación

de Políticas Públicas. Serie de Guías Metodológicas Sinergia. Departamento Nacional de
Planeación (DNP). Bogotá, Colombia: Editorial Kimpres Ltda.

Snedecor G W y Cochran W. G. (1981). Métodos Estadísticos. México: Compañía Editorial

Continental.

Gariba, Sulley, (1998). Participatory Impact Assessment as a Tool for Change: Lessons from
Poverty Alleviation Projects in Africa In Knowledge Shared: Participatory evaluation in
development cooperation. Bloomfield, CT: Kumarian.

UNESCO (2010). Guía para el seguimiento y evaluación de proyectos comunitarios. Por Buen
Camino. Paris, Francia.

Valdés, Marcos (1999). La evaluación de proyectos sociales: Definiciones y tipologías.

Documento de reflexiones del autor. Recuperado de
http://www.mapunet.org/documentos/mapuches/evaluacion_proyectos_sociales.pdf
121

UN WOMEN - Independent Evaluation Office. (2015). How to manage gender-responsive

evaluation: Evaluation Handbook. New York: UN WOMEN. Recuperado de
 http://www2.unwomen.org/~/media/headquarters/attachments/sections/library/
publications/2015/unwomen-evaluationhandbook-web-
final.pdf?v=1&d=20150423T183815

Weiss, C.H. (1998). Evaluation. Second edition. Englewood Cliffs, NJ: Prentice Hall.

W.K. Kellogg Foundation. (2001). Uso de modelos lógicos para integrar la planificación,
evaluación y acción. Guía de Desarrollo de Modelos Lógicos. Michigan, USA: W.K.
Kellogg Foundation.

Wholey, J., Hatry, H. and Newcomer, K. Editors (2010). Handbook of Practical Program
Evaluation. San Francisco, California: Jossey-Bass Publishers. Chapter 1: Planning and
Designing Useful Evaluations.

Zall, Jody K & Rist, Ray C. Banco Mundial. (2005). Manual para gestores del desarrollo: 10
pasos hacia un sistema de seguimiento y evaluación basado en resultados. Bogotá:
Banco Mundial en coedición con Mayol Ediciones S.A. Recuperado de
http://documents.worldbank.org/curated/en/254101468183894894/pdf/296720SP
ANISH0101OFFICIAL0USE0ONLY1.pdf

122