Curso Mtodos de Anlisis, Diseo y Evaluacin de

Polticas pblicas que generan Innovacin.

ESAP EIAPP-CLAD DNP
Bogot, 23-27 Agosto 2010

Racionalidad y poltica en el anlisis y la gestin del

cambio en las polticas pblicas
Csar Nicandro Cruz
cesarcruz@estudiospoliticos.org

Monitoreo

Evaluacin

SESION 3. Gestin basada en resultados

(60 min. aprox.)

Esquema de exposicin

Anlisis de polticas pblicas monitoreo

y evaluacin
Herramientas M&E para demostrar
resultados y rendir cuentas
implementacin de un sistema M&E
Estudio de caso: - Coneval Mxico
Cambio poltico y gestin del cambio

El poder de la
medicin de
resultados (6
1. Si no se miden resultados, no se
verdades)
puede ver si se ha tenido xito o
2.
3.

4.
5.
6.

fracaso
Si no se puede ver el xito, no se
puede obtener recompensa de ste
Si no se pueden recompensar xitos,
probablemente estemos premiando
fracasos
Si no se puede ver el xito, no se
puede aprender de ste
Si no podemos reconocer fallos, no se
pueden corregir
Si puedes demostrar resultados,
puedes ganar apoyo pblico.

Adaptado de Osborne, D., y Gaebler, T. Reinventing Government: How Entrepenurial Spirit is

Transforming the Public Sector. Colorado: Addison Wesley Publishers. (1994), segn referencia en
Zall Kusek, J., y Rist, R. C. Ten Steps to a Result-Based Monitoring and Evaluation System (Vol.
29672). Washington: The World Bank. (2004)

Qu hacen el monitoreo y la
evaluacin orientada a resultados?
Monitoreo

Clarifica los objetivos del

programa
Vincula las actividades y sus
recursos con los objetivos
Convierte los objetivos en
indicadores de desempeo y
determina objetivos en una o
varias unidades de indicador
(target)
Realiza rutinariamente la
recoleccin de datos de estos
indicadores, compara resultados
actuales con los objetivos
(targets) fijados.
Informa de progresos a los
gestores y les alerta en caso de
problemas

Evaluacin

Analiza por qu los resultados

esperados han sido
alcanzados o no
Valora las contribuciones
causales especficas de las
actividades sobre los
resultados
Examina el proceso de
implementacin
Identifica resultados no
deseados
Proporciona lecciones, resalta
logros significativos o
potenciales, y ofrece
recomendaciones de mejoras

Zall Kusek, J., y Rist, R. C. Ten Steps to a Result-Based Monitoring and

Evaluation System (Vol. 29672). Washington: The World Bank. (2004)

Herramientas M&E

Monitoreo

Evaluacin

Indicadores de desempeo
Matriz de indicadores (marco lgico)
Evaluacin basada en la teora
Encuestas formales
Mtodos de evaluacin rpida
Mtodos participativos
Seguimiento del gasto pblico
Anlisis costo-beneficio y costo-eficacia
Evaluacin de efectos (impacto)
TheWorldBank. (2004). Seguimiento y Evaluacin: Instrumentos, mtodos y enfoques (Desarrollo
de la Capacidad de Evaluacin OED ECD). New York: Banco Mundial.

Herramientas M&E
Indicadores
desempeo
Son instrumentos quede
permiten
medir los insumos, procesos, productos,
resultados y efectos de los proyectos, programas o polticas pblicas
Elementos y
caractersticas

La participacin de las partes interesadas en la definicin de indicadores es

fundamental. Cuando son continuados y estn respaldados por tcnicas y
sistemas acertados de recogida y sistematizacin de datos, ofrecen informacin
til para seguir progresos y demostrar resultados.

Se pueden usar

Fijar objetivos de desempeo

evaluar progresos en su consecucin
Identificar problemas (sistemas de alerta temprana) para poder adoptar
medidas correctivas
Determinar si se precisa de una evaluacin en profundidad

Ventajas e
inconvenientes

Son un medio eficaz para medir resultados y cuantificar progresos

Establecen puntos de referencia, comparativos entre pases, regiones o
periodos de tiempo
Deben estar bien definidos para su pleno y certero uso.
Se tiende a sobredimensionar la cantidad de indicadores

Ejemplos

Eficiencia terminal de educacin primaria

ndice Desarrollo Humano (indicador agregado)

Basado en TheWorldBank. (2004). Seguimiento y Evaluacin:

Instrumentos, mtodos y enfoques (Desarrollo de la Capacidad de
Evaluacin OED ECD). New York: Banco Mundial.

Herramientas M&E
Marco
(matriz
dey gestin de programas y
HerramientaLgico
analtica para
la planificacin
proyectos, orientados por objetivos
indicadores)
Elementos y
caractersticas

El enfoque del marco lgico define la ejecucin de un proyecto como consecuencia

de un conjunto de acontecimientos con una relacin casual interna. Estos se
describen en: insumos, actividades, resultados, objetivo especfico y objetivo global.
Permite determinar los indicadores de desempeo en cada fase de la cadena.

Se pueden
usar

Mejorar la calidad del diseo de los programas, ya que exige la especificacin de

objetivos claros, el uso de indicadores y evaluacin de riesgos.
Resumir proyectos complejos
Para preparar planes operacionales detallados.
Ofrece una base slida y objetiva para el seguimiento y evaluacin de actividades.

Ventajas e
inconvenientes

Reduce incertidumbre, opacidad. Dirige el anlisis y discusin de factores

causales
Permite implicar a los interesados en la planeacin y seguimiento
Si se aplica con rigidez inhibe la creatividad e innovacin
Si no se actualiza puede convertirse en una camisa de fuerza
Su uso y actualizacin exige ciertas capacidades tcnicas

Ejemplos

segn diapositiva

Basado en TheWorldBank. (2004). Seguimiento y Evaluacin:

Instrumentos, mtodos y enfoques (Desarrollo de la Capacidad de
Evaluacin OED ECD). New York: Banco Mundial.

Herramientas M&E
Marco Lgico (matriz de
indicadores)

Fuente: Redinfor Per. Disponible en http://www.youtube.com/watch?

v=Hg4yNT4KYnI
(ltimo acceso: 01 agosto 2010)

Herramientas M&E
Marco Lgico (lgicas verticales y
horizontales)

Fuente: Redinfor Per. Disponible en http://www.youtube.com/watch?

v=NyM44ofliQ4
(ltimo acceso: 01 agosto 2010)

Herramientas M&E
Evaluacin basada en la teora
Permite una comprensin aun ms profunda del la teora o la lgica del
programa, ya que se basa en analizar la causalidad del programa en lugar
de darla por sentada.
Elementos y
caractersticas

Permite identificar los factores de xito del programa y la forma en cmo se

interrelacionan, ya que las relaciones lineales causa efecto muchas veces no estn
claras, sobre todo en problemas complejos o sistemas de problemas.

Se pueden
usar

Determinar el diseo de proyectos complejos

Mejorar la planificacin en general y la gestin del programa en particular

Ventajas e
inconvenientes

Permite conocer desde el primer momento qu funciona o no y por qu, permite

corregir problemas, identificar efectos colaterales (secundarios, no deseados),
identificar prioridades de investigacin y evaluacin.
Su realizacin puede tornarse compleja si la escala de actividades es grande o se
elaboran listas exhaustivas de supuestos y factores.
Puede generar desacuerdo sobre los factores determinantes, ante evidencias no
concluyentes, generando debates no fructferos en la gestin.

Ejemplos

Informes externos de desempeo de programas

Basado en TheWorldBank. (2004). Seguimiento y Evaluacin:

Instrumentos, mtodos y enfoques (Desarrollo de la Capacidad de
Evaluacin OED ECD). New York: Banco Mundial.

Herramientas M&E
Encuestas formales
Instrumentos para recopilar informacin relevante de ndole objetivo y
subjetivo, sobre el desempeo e impacto (y percepciones) sobre un
programa o proyecto.
Elementos y
caractersticas

Se realizan sobre los destinatarios (o beneficiarios) de los programas o proyectos.

Se pueden
usar

Ofrecer datos de referencia para comparar resultados (datos preliminares) de la

estrategia del programa
Analizar cambios entre los grupos de beneficiarios o a travs del tiempo
Comparar condiciones reales con metas establecidas
Describir las condiciones de una comunidad o grupo concreto
Dar pistas para realizar evaluaciones formales exhaustivas

Ventajas e
inconvenientes

Las conclusiones de un grupo son extrapolables al universo

Se pueden hacer estimaciones cuantitativas de los efectos.
Pasa mucho tiempo antes de conocer los resultados definitivos.
La elaboracin y anlisis de datos son procesos lentos y complejos.
Mucha informacin no es posible obtenerse a travs de estos medios.

Ejemplos

Encuestas de hogares (estudios de medicin de niveles de vida)

Cuestionarios sobre indicadores de bienestar
Encuestas de satisfaccin de clientes (valoracin y percepcin ciudadana)
Fichas de calificacin ciudadana (valoracin y percepcin ciudadana)

Basado en TheWorldBank. (2004). Seguimiento y Evaluacin:

Instrumentos, mtodos y enfoques (Desarrollo de la Capacidad de
Evaluacin OED ECD). New York: Banco Mundial.

Herramientas M&E
Mtodos de evaluacin rpida
Instrumentos para recopilar informacin rpida, a bajo coste para la toma
de decisiones.
Elementos y
caractersticas

Son tcnicas sencillas de obtencin de informacin relevante, a fin de cubrir las

necesidades de informacin de los elaboradores de las polticas y de los tomadores
de decisiones.

Se pueden
usar

Obtener de una forma rpida informacin para la toma de decisiones, brindar una
mejor comprensin cualitativa de problemas socioeconmicos complejos, valores o
motivaciones o reacciones personales

Ventajas e
inconvenientes

Bajo costo, rpidas y flexibles al momento de incorporar nuevos derroteros de

estudio.
Poco fiables y crebles que las encuestas formales. Resultados difcilmente
extrapolables al universo (generalizacin).

Ejemplos

Entrevistas a informantes clave: preguntas abiertas a individuos seleccionados

Grupos focales: debate de individuos seleccionados dirigido por un moderador
Entrevistas a grupos comunitarios: preguntas y debate moderados, con guin
Observacin directa: formularios observacin sobre resultados observables
Miniencuestas: cuestionario estructurado a personas seleccionadas o aleatorias

Basado en TheWorldBank. (2004). Seguimiento y Evaluacin:

Instrumentos, mtodos y enfoques (Desarrollo de la Capacidad de
Evaluacin OED ECD). New York: Banco Mundial.

Herramientas M&E
Mtodos de monitoreo y evaluacin
participativa

Herramientas simples, informales y de ndole cualitativo que implican la

participacin beneficiarios y del personal del proyecto en evaluaciones
peridicas que analizan eficacia y relevancia de un proyecto dado
Elementos y
caractersticas

Las metodologas y tcnicas participativas M&E se basan en 4 principios

integradores:
PARTICIPACION: de todos lo implicados, desde la planificacin hasta la evaluacin
APRENDIZAJE: construccin de capacidades locales, uso de informacin
NEGOCIACION: la evaluacin es un proceso social y poltico de negociacin
FLEXIBILIDAD: proceso dinmica y flexible adecuado a las necesidades

Se pueden
usar

Conocer perspectivas y prioridades de los beneficiarios a fin de formular

intervenciones ms flexibles
Identificar problemas y resolverlos durante la implementacin

Ventajas e
inconvenientes

Se examinan las cuestiones ms pertinentes, haciendo protagonistas a los

usuarios
Se establecer asociaciones y una mayor identificacin local, mejorando
capacidades de gestin
Parecen poco objetivos, requieren mucho tiempo de convencimiento generalizado
Posible uso inadecuado a fin de proteger intereses particulares

Basado en:
Gallego, I. (1999). "El Enfoque de Monitoreo y la Evaluacin Participativa
(MEP): Batera de Herramientas Metodolgicas." Revista Espaola de
Desarrollo y Cooperacin(4), 103-136.
TheWorldBank. (2004). Seguimiento y Evaluacin: Instrumentos,
mtodos y enfoques (Desarrollo de la Capacidad de Evaluacin OED
ECD). New York: Banco Mundial.

Herramientas M&E
Comparativa enfoque convencional y
participativo
Enfoque convencional

Enfoque participativo

Evaluacin sumativa

Evaluacin formativa

Su propsito es la rendicin de cuentas y la

mejora en la gestin

Su propsito es el empoderamiento y el
aprendizaje

Los evaluadores son agentes externos. La

actitud del evaluador es la objetividad y distancia
con la poblacin local

Los evaluadores son la poblacin local apoyada

por un facilitador (agente externo). Se explicita la
subjetividad, proximidad y fomento de la confianza

Los objetos de medicin son indicadores

predeterminados

Los indicadores son negociados.

Se usan mtodos formales de evaluacin,

complejos y cuantitativos

Mtodos informales, simples, cualitativos

Se evala en momentos preestablecidos

Peridicamente

Los resultados de la evaluacin pertenecen al

agente externo

Hay una apropiacin por la poblacin local.

Basado en:
Gallego, I. (1999). "El Enfoque de Monitoreo y la Evaluacin Participativa
(MEP): Batera de Herramientas Metodolgicas." Revista Espaola de
Desarrollo y Cooperacin(4), 103-136

Herramientas M&E
Mtodos de monitoreo y evaluacin
participativa
Ejemplos

Transectos (paseos estructurados para contrastar indicadores seleccionados). Hoja de planificacin (MML
participativa) se identifica quien recoge informacin y para qu se usan los indicadores
Evaluacin de beneficiarios Consulta sistemtica para identificar y disear iniciativas de desarrollo, identificar
problemas y recoger propuestas de soluciones de mejora, a travs de Hojas de informacin (monitoreo participativo
con indicadores concertados),
Anlisis de partes interesadas: entender las relaciones de poder influencia e intereses locales a fin de definir quien
debe participar y cundo.
Anlisis de acontecimientos crticos: Se prescinde del uso de indicadores, en todas sus formas, para describir
hechos o sucesos que a lo largo del tiempo han producido para establecer relaciones de causa-efecto. Es una forma
alternativa de medir el impacto de un proyecto o programa.
Matrices de clasificacin y puntuacin: permiten conocer y definir las preferencias de los usuarios sobre proyectos
que se llevan a cabo, as como identificar indicadores socialmente relevantes
Diagramas de flujo: Ilustran interrelaciones existentes entre determinadas situaciones o problemas. Se priorizan
problemas y se identifican soluciones posibles.

Basado en:
Gallego, I. (1999). "El Enfoque de Monitoreo y la Evaluacin Participativa
(MEP): Batera de Herramientas Metodolgicas." Revista Espaola de
Desarrollo y Cooperacin(4), 103-136.

Herramientas M&E
Estudios de Seguimiento del gasto pblico
(tracking surveys)
Permiten seguir el flujo de los fondos pblicos y determinar hasta qu
punto los recursos llegan de hecho a los grupos beneficiarios. Muchas
veces forman parte de estudios ms amplios relacionados con encuestas
de calidad en la prestacin de servicios. Identifican atascos burocrticos
en el flujo de fondos.
Se pueden
usar

Determinar cuantitativamente los problemas existentes en el diseo de proyectos

o en la prestacin de servicios
Ofrece pruebas de retrasos, filtraciones, corrupcin

Ventajas e
inconvenientes

Favorecen la rendicin de cuentas, mejoran la gestin

Su realizacin puede implica mucha resistencia de los organismos
gubernamentales,
Elevado costo y lentitud.

Basado en TheWorldBank. (2004). Seguimiento y Evaluacin:

Instrumentos, mtodos y enfoques (Desarrollo de la Capacidad de
Evaluacin OED ECD). New York: Banco Mundial.

Herramientas M&E
Anlisis costo beneficio y de la eficacia en funcin
de los costos
Instrumentos para determinar si los costos de una actividad pueden estar
justificados por los resultados y los efectos.
Elementos y
caractersticas

El anlisis costo-beneficio mide los insumos y los resultados en trminos

monetarios, mientras el anlisis de eficacia en funcin de costos estima los
insumos en trminos monetarios y los resultados en trminos cuantitativos no
monetarios (v.g. mejores calificaciones )

Se pueden
usar

Orientar las decisiones sobre la asignacin de recursos. Identificar rentabilidad de

los proyectos

Ventajas e
inconvenientes

Bastante tcnicos
Los resultados deben tomarse con cautela pues a veces e s difcil cuantificar los
beneficios
Algunas veces los resultados dependen de supuestos formulados y no de datos

Basado en TheWorldBank. (2004). Seguimiento y Evaluacin:

Instrumentos, mtodos y enfoques (Desarrollo de la Capacidad de
Evaluacin OED ECD). New York: Banco Mundial.

Herramientas M&E
Anlisis costo beneficio y de la eficacia en funcin
de los costos
Instrumentos para determinar si los costos de una actividad pueden estar
justificados por los resultados y los efectos.
Elementos y
caractersticas

El anlisis costo-beneficio mide los insumos y los resultados en trminos

monetarios, mientras el anlisis de eficacia en funcin de costos estima los
insumos en trminos monetarios y los resultados en trminos cuantitativos no
monetarios (v.g. mejores calificaciones )

Se pueden
usar

Orientar las decisiones sobre la asignacin de recursos. Identificar rentabilidad de

los proyectos

Ventajas e
inconvenientes

Bastante tcnicos
Los resultados deben tomarse con cautela pues a veces e s difcil cuantificar los
beneficios
Algunas veces los resultados dependen de supuestos formulados y no de datos

Basado en TheWorldBank. (2004). Seguimiento y Evaluacin:

Instrumentos, mtodos y enfoques (Desarrollo de la Capacidad de
Evaluacin OED ECD). New York: Banco Mundial.

Herramientas M&E
Evaluacin de efectos (impactos)

Mide aquellos cambios (identificacin sistemtica de repercusiones

deliberadas o no, positivas o negativas) que pueden ser atribuibles al
programa en cuestin. Ofrece evidencia sobre si un programa funciona o
no, y ofrece recomendaciones sobre si el programa debe o no seguir,
debe o no ser modificado
Elementos y
caractersticas

Las evaluaciones de impacto pueden provenir de encuestas a gran escala con

grupos de control implicados y en diferentes momentos de ejecucin, hasta
evaluaciones con encuestas mas pequeas o usando enfoques participativos, en
las que los efectos se estiman a travs de entrevistas, informante clave, estudios
de caso y datos secundarios.

Se pueden
usar

Medir resultados y efectos de las polticas y distinguir entre stos y los de ndole
externo
Orienta la toma de decisiones para el cambio, la perpetuacin o terminacin del
programa. Contribuye a la rendicin de cuentas

Ventajas e
inconvenientes

Estima magnitud de resultados para distintos grupos demogrficos, regiones o al

lo largo del tiempo. Responde a preguntas fundamentales (cuales son los
verdaderos resultados, cmo podemos hacer mejor las cosas
Algunos modelos son muy costosos, tardados. No son tiles si se precisa la
informacin rpidamente

Basado en TheWorldBank. (2004). Seguimiento y Evaluacin:

Instrumentos, mtodos y enfoques (Desarrollo de la Capacidad de
Evaluacin OED ECD). New York: Banco Mundial.

Herramientas M&E

Cuatro modelos de evaluacin de efectos

(impactos)

TheWorldBank. (2004). Seguimiento y Evaluacin: Instrumentos, mtodos y

enfoques (Desarrollo de la Capacidad de Evaluacin OED ECD). New York: Banco
Mundial.

Herramientas M&E

Cuatro modelos de evaluacin de efectos

(impactos) -finaliza

TheWorldBank. (2004). Seguimiento y Evaluacin: Instrumentos, mtodos y

enfoques (Desarrollo de la Capacidad de Evaluacin OED ECD). New York: Banco
Mundial.

Los diez pasos para el diseo, construccin y

mantenimiento de un sistema M&E basado en
resultados
Realizar una
evaluacin
preparatoria

Seleccionar
indicadores
clave para
monitorear
resultados

Acordar los
resultados a
monitorear y
evaluar

Diagnstico
Indicadores
base: dnde
estamos ahora?

Planeacin de
las mejoras:
seleccin de
target results
(objetivos de
desempeo)

Monitorear
resultados

Utilizar
hallazgos

El papel de las
evaluaciones

Reportar
hallazgos

Zall Kusek, J., y Rist, R. C. Ten Steps to a Result-Based Monitoring and

Evaluation System (Vol. 29672). Washington: The World Bank. (2004)

10

Mantener el
sistema M&E en
la organizacin

Los diez pasos para el diseo, construccin y

mantenimiento de un sistema M&E basado en
resultados
Realizar una
Se trata de construir los cimientos del sistema. De Identificar los incentivos y
evaluacin
preparatoria

las demandas existentes para crear el sistema M&E, en identificar los actuales
roles y responsabildades en las funciones de M&E de la organizacin, qu
requisitos tcnicos y humanos son necesarios, donde comprender los motivos
polticos de los actores implicados es fundamental
Seleccionar
indicadores
clave para
monitorear
resultados

2
Acordar los
resultados a
monitorear y
evaluar

Implica trasladar los resultados hacia indicadores, bien

nuevos o bien ya existente, usando como base los criterios
CREMA (CREAM)
Claros:
Precisos, no ambiguos
Relevante:Apropiados para el asunto en cuestin
Econmicos: Obtenibles a bajo costo o costo razonable
Monitoreable: Que pueda prestarse a validacin independiente
Adecuados: Suficientes para la evaluacin del desempeo

Saber hacia dnde dirigirnos antes de movernos, donde se destaca la

importancia de implicar a los actores polticos clave en la
construccin de procesos participativos y de consulta para la
definicin de resultados. Exige definir resultados en trminos
positivos.

Zall Kusek, J., y Rist, R. C. Ten Steps to a Result-Based Monitoring and

Evaluation System (Vol. 29672). Washington: The World Bank. (2004)

Los diez pasos para el diseo, construccin y

mantenimiento de un sistema M&E basado en
resultados
Diagnstico
Se determina cul es el estado actual del resultado o de los resultados que
Indicadores
base: dnde
estamos ahora?

queremos mejorar. Es la definicin del punto de partida, el antes del programa.

Se debe saber cules son las fuentes de los datos, cules son los mtodos de
recoleccin, quin recolectar y cmo sern recolectados los datos, cules son
las dificultades, quen analizar los datos, quien realizar reportes sobre los
mismos y finalmente quin usar los datos.
Monitorear
resultados

Planeacin de las
mejoras: seleccin
de target results
(objetivos de
desempeo)

El papel de las
evaluaciones

Se debe utilizar la informacin producto de

las evaluaciones en mejorar el sistema M&E:
ayudar a tomar decisiones en la distribucin
de recursos, a repensar la causalidad del
problema e identificar nuevos, apoyar la
toma de decisiones con informacin
razonada, promover el apoyo pblico al
programa,
consensuar las causas de los
8
problemas y las respuestas de atencin.

Este paso define las metas en objetivos a ser alcanzados como

objetivos de rendimiento. Un objetivo (target) es un objetivo
especificado cuantitativa , espacial y temporalmente.

Zall Kusek, J., y Rist, R. C. Ten Steps to a Result-Based Monitoring and

Evaluation System (Vol. 29672). Washington: The World Bank. (2004)

Los diez pasos para el diseo, construccin y

mantenimiento de un sistema M&E basado en
resultados
Reportar hallazgos
Utilizar hallazgos

Mantener el
sistema M&E en
la organizacin

10

Demostrar rendicin de cuentas.

Convencer a otros actores polticos y sociales usando
evidencia.
Educar apoyar el aprendizaje organizacional.
Investigar qu funciona y qu no y por qu.
Crear una memoria institucional y favorecer la evolucin
mediante la participacin.
Obtener apoyo pblico y promover una mejor comprensin
sobre los proyectos o programas
Para formular y justificar ampliaciones de presupuestos
Ayuda a motivar al personal, a premiar xitos y a penalizar
fracasos
Comunicar avances al pblico y favorece un clima de
confianza.

Debe entenderse este esfuerzo de construccin como de largo plazo, y no

como un elemento episdico del programa o proyecto en cuestin. Debe
consolidarse una demanda, una definicin clara de funciones y
responsabilidades, y una transmisin peridica y confiable de resultados
(buenos y malos),

Zall Kusek, J., y Rist, R. C. Ten Steps to a Result-Based Monitoring and

Evaluation System (Vol. 29672). Washington: The World Bank. (2004)

Muchas gracias por su atencin