Sistema de Seguimiento y

Evaluación
“Aprender para Mejorar”
Evidencias para mejorar el Desarrollo
Indice
• Estrategia de Seguimiento y Evaluacion:
Principios generales, razones, contexto

• Elementos que la componen y pasos para

implementarla y llevarla a cabo

• Consejos para mejorar los Marcos de

Seguimiento y Evaluacion de los Programas
Conjuntos
Rationale: ¿ Porque es necesario hacer Seguimiento y
Evaluación?
• Es un requisito incluido en el acuerdo legal entre el Donante y el
PNUD

• Es una obligación asumida en la firma de cada uno de los

programas conjuntos

• Es necesario: Si se quiere cumplir con uno de los objetivos del

fondo: Escalar los programas conjuntos y expandir las soluciones
que funcionen en pro del progreso hacia alcanzar los ODM
• Es útil: Como parte del ciclo de gestión del programa y es la mejor
forma de medir el progreso y detectar problemas, corregirlos, y
aprender y mejorar
 Quienes son los usuarios potenciales del
Sistema de S&E

Cuales son sus necesidades de información?

 Usuarios
Beneficiarios
Ciudadanos del país
Gobierno del país asociado
Agencias de la ONU
Tomadores de decisiones
Comité ejecutivo
Donante
Público en General
Sociedad civil
Ciudadanos
Opinión pública/Medios
Gestores
Secretariado del MDGF
Equipo de país de la ONU
Necesidades de información del usuario Naturaleza de la información necesitada
Bienes y servicios suministrados con calidad
Problemas ciudadanos resueltos Rendición de Cuentas
Mejoras en la vida de los ciudadanos
Capacidades creadas y conservadas
Bienes y servicios suministrados con calidad Aprendizaje en la rendición de cuentas
Mejoras en la vida de los ciudadanos
Capacidades fortalecidas/Mejora en la coordinación/Incremento en la efectividad Aprendizaje en la rendición de cuentas: Organizacional
El fondo está logrando los resultados planeados Aprendizaje para la Rendición de cuentas
para la toma de decisiones
El Fondo está logrando los resultados planeados Rendición de cuentas
La asociación con el PNUD ha agregado valor al propósito Aprendizaje para la toma de decisiones y comunicación de procesos
Cambio y mejora en la vida de las personas Rendición de Cuentas
El dinero de los impuestos fue utilizado bien porque se generaron resultados Rendición de cuentas
El dinero de los impuestos fue utilizado bien porque se generaron resultados Rendición de cuentas
Contribución de los programas para lograr la MDG Rendición de Cuentas
Contribución de los programas para la implementación de One UN Aprendizaje para la toma de decisiones:
Contribución de los programas a la Declaración de París Organizacional
Programas suministrados como se planearon General
Resultados alcanzados con el programa
Programas suministrados como se planearon Rendición de cuentas
Resultados alcanzados con el programa Aprendizaje organizacional y general
 5 Minutos de comentarios:

¿Nos dejamos a alguién atrás?

¿Estan reflejados las cuestiones mas

importantes de los interesados ?
 Principios

¿Que tipo de principios deben inspirar el

sistema de S&E?
¿En que tipo de principios se basa el sistema de S&E?

• De acuerdo a los estándares de UNEG y CAD/OCDE

• Orientado a un equilibrio entre el aprendizaje y la

rendición de cuentas

• Basado en evidencias: los datos, la información y el

conocimiento son coherentes y contrastados y son la
base para apoyar los juicios de valor y las conclusiones
que se extraigan del S&E
• Naturaleza y caracter participativo
 ¿En que tipo de principios se basa el sistema de S&E?

• Basado en el principio de agregación:

Elementos de S&E (indicadores, informes +
evaluaciones, etc) las unidades de análisis van
sumando unas otras en orden ascendente

• Objetivo principal de medir (DELTA), describir,

analizar, comprender el objeto de estudio (PC) y
usar los resultados para mejorar los programas
y las políticas
 ¿Que dimensiones de analísis se deben medir y
estudiar ?

¿Que preguntas debe responder el sistema de S&E?

 En 5 minutos

¿ Cuales son las 3 preguntas mas candentes que

deberia reponder el sistema de S&E?
 1er Nivel M&E 2o Nivel M&E 3er Nivel M&E 4to Nivel M&E
Programas conjuntos Países Ventanas Fondo de implementación ODM

Aspectos de Monitoreo Aspectos de Monitoreo

Aspectos de Monitoreo Aspectos de Monitoreo
Insumo-Productos-Resultados-Procesos -Resultados
-Resultados (UNDAF+PRS) -Resultados como acumulación de los PC
Dimensiones de Evaluación Dimensiones de Evaluación
-Procesos (Coordinación) -RH/Género/Medioambiente
-Calidad de la formulación del programa Calidad de la colaboración España/PNUD:
Dimensiones de Evaluación Dimensiones de Evaluación
-Objetivos alcanzados con el programa Valor agregado como mecanismo para
Efectos inducidos en: Nuevos temas: Cultura & migración
-Contribución a los ODMs y lograr el progreso de las ODMs
otros indicadores de desarrollo, género Efectos inducidos en :
-ODM a nivel del país El papel del secretariado y valor agregado
-Replicación: Ampliación -ODM a nivel del país
-Otros indicadores de desarrollo Efectos inducidos en:
-Innovación -Otros indicadores de desarrollo
-Coordinación del sistema de la ONU -Vínculo de ventanas y ODMs
-Coordinación del sistema de la ONU (Paz y Cultura)
-Unidos en la Acción -Otros indicadores de desarrollo
-Unidos en la Accion -Coordinación del sistema de la ONU
-Apropiación -Coordinación del sistema de la ONU
-Apropiación -Unidos en la Acción
-Alineamiento -Unidos en la accion
-Alineamiento -Apropiación
-Armonización -Apropiación
-Armonización -Alineamiento
-GPRD -Alineamiento
-GPRD -Armonización
-Rendición de cuentas mutua -Armonización
-Rendición de cuentas mutua -GPRD
-Países piloto -GPRD
-Cambio Delta, efectos en la vida del -Rendición de cuentas mutua
-Rendición de cuentas mutua
ciudadano -Efectos en la vida del ciudadano

Cultura y desarrollo
Programas conjuntos Países

Igualdad de género
Empoderamiento de la mujer
Prevención de conflictos
y construcción de la paz
Infancia, Nutrición y Seguridad
alimentaria
Programas conjuntos
Países Gobernabilidad
económica democrática
Juventud, empleo
y migración

Medioambiente y Cambio
climático
Programas conjuntos
Países
Desarrollo y el sector
privado
 Elementos que componen el sistema de SyE
• Marcos de Seguimiento y evaluacion del PC: Incluyen
indicadores para medir progresos a nivel de producto y resultados.
Indicaodres generales de coordinacion y tematicos
• Visitas de campo: para revisar los PC en profundidad, y preparar
las evaluciones intermedias asi como diseminar lecciones
aprendidas
• Evaluaciones (intermedias, finales y de impacto): para revisar y
juzgar el valor de las dimensiones de estudio en cada nivel (PC,
Pais, Ventana, FODM )
• Meta analisis/evaluaciones: para buscar y agregar evidencias
solidas sobre las ventanas tematicas que sean conducentes a
vincular estas con los ODM
• Otras fuentes: de datos informacion y conocimiento existentes
(Sistema de Gestion del conocimiento, estudios de pais, etc)
 Diferencias entre Seguimiento, Evaluación y
Reporting
• Para el propósito del F-ODM, el seguimiento se define como un proceso
continuo de recogida y análisis de información, sobre todo en indicadores
importantes (es decir, al nivel de actividad, producto y resultado)

• La función de Información / informes/reporting, por el contrario, tiene el

objetivo principal de cumplir con los requisitos de responsabilidad prescritos
por el Memorando de Entendimiento del F-ODM firmado por el donante y el
PNUD en nombre de las Agencias de las Naciones Unidas participantes

• Por otra parte, la Evaluación es la valoración de una intervención de

desarrollo, planificada, en curso o completada para determinar su
relevancia, eficiencia, eficacia, impacto y sostenibilidad.
 Caracteristicas de la Funcion de Seguimiento
• Se orienta hacia los resultados, es decir, su principal objetivo es informar
acerca del progreso de las fases superiores de la cadena causal lógica,
sobre todo los cambios que se han producido a nivel de producto y
resultado.
• Es de naturaleza sustantiva, en lo que se refiere a la medición de cambios
en los ciudadanos, las instituciones u otro tipo de participante en el
programa.
• Tiene intención agregativa. Es el primer elemento de una cadena causal
en sistema de aplicación más amplia que incluye evaluaciones a mitad de
período y evaluaciones finales. El conjunto del sistema está orientado a
aprender y a saber qué funciona y qué no para mejorar los programas
conjuntos.
 Informes de Seguimiento

• Informes de seguimiento cuyo principal objetivo consiste

en ofrecer avances y tendencias sustantivas sobre
diversas dimensiones del PC (resultados, productos,
ejecucion financiera, etc)

• Frecuencia; Dos veces al ano, sustituyen a al segundo y

cuarto informes trimestrales

• Responsabilidad del coordinador del programa conjunto,

especialista en S&E, otros……
 Indice del informe de Seguimiento

• Pagina de identificacion
• Marco de S&E del Programa Conjunto
• Marco logico de resultados con informacion financiera
(comprometido y desembolsado)
• MDGF General Progress (indicadores y preguntas)
– Coordinacion + One UN (2 indicadores)
– Declaracion Paris ( 1 indicador)
– indicadores Tematicos (3 por ventana)
• Breves comentarios narrativos
 Pasos a seguir en Seguimiento y Evaluación
1. Mejora y adaptación del marco de S y E:
2. Facilitar la participación en las actividades de S y E
3. Recolección de una línea de base
4. Preparación de las visitas de campo para supervisión
5. Adaptación de los términos de referencia generales a las evaluaciones
a mitad de período
6. Facilitación del proceso de evaluación a mitad de período
7. Implementacion de la evaluacion de medio termino: fases
8. Integración de recomendaciones: Plan de Mejora
9. Preparación de los términos de referencia para las evaluaciones
finales
10. Realización y coordinación de la diseminacion de las evaluaciones
finales, incorporación general de las recomendaciones y ampliación
de los programas
 1er Nivel M&E 2o Nivel M&E 3er Nivel M&E 4to Nivel M&E
Programas Conjuntos Países Ventanas Fondo de Implementación ODM

Productos de monitoreo
Productos de Monitoreo
-2 informes trimestrales (1 y 3 trimestre) Productos de monitoreo Productos de monitoreo
-1 informe a medio plazo basado en
-24 indicadores temáticos de ventana evidencias, enfocado en los F-ODM como
--2 Informes de seguimiento - Informes de seguimiento un todo.

-100% de los países recibieron visitas

M&E
100% de los programas conjuntos son
visitados en campo

Productos de evaluación

-Evaluaciones rápidas de medio plazo Productos de Evaluación

Productos de evaluación
(proceso y resultados iníciales) Productos de evaluación
- 1 informe final basado en la evidencia
-Evaluaciones finales -8 meta-análisis/meta-evaluaciones
-9 Evaluaciones país (caso de estudio) enfocado en la F-ODM como un todo
tomado de datos primarios y secundarios
(diseño, proceso y resultados)

-Al menos 3 evaluaciones de impacto

(se prefiere diseño experimental o cuasi

experimental)

Programas
conjuntos Países Ventanas temáticas MGDS
 Principales Resultados de S&E

Resultados M&E
Resultados M&E
Resultados M&E Resultados M&E
-Cuerpo de evidencia cuantitativa y
-Cuerpo de evidencia cuantitativa y
cualitativa sobre el país, procesos y -Cuerpo consistente de evidencia -Cuerpo consistente de evidencia
cualitativa sobre el diseño del programa,
efectos inducidos en los resultados e cuantitativa y cualitativa sobre temas y cuantitativa y cualitativa sobre temas y
sus procesos, resultados e impactos.
impactos de las políticas, así como los sectores, y sus efectos inducidos sobre sectores, y sus efectos inducidos sobre los
principios de la Declaración de París los logros ODM logros ODM
-Recomendaciones para que los dirigentes
-Recomendaciones sobre políticas
mejoren los programas
para agencias gubernamentales -Robustas recomendaciones para -Robustas recomendaciones para
asociadas y toma de decisiones del gobiernos asociados, donantes, agencias gobiernos asociados, donantes, agencias
-Información y criterios para el proceso de
Secretariado de desarrollo, Secretariado, etc. de desarrollo, Secretariado, etc.
toma de decisiones del Secretariado
-Abre un proceso de aprendizaje general
a nivel del país -Cuerpo de conocimiento consistente -Cuerpo de conocimiento consistente
-Cuerpo de conocimiento sobre políticas y
-Cuerpo de conocimiento sobre políticas y y robusto sobre políticas para ampliar, y robusto sobre políticas para ampliar,
programa para ampliar y transferir las
programas para ampliar y transferir las transferencia de mejores prácticas, LL y transferencia de mejores prácticas, LL y
mejores prácticas y lecciones aprendidas
mejores prácticas y LL

Programas
conjuntos Países Ventanas Temáticas ODMS
 Consejos para Mejorar los
Marcos de Seguimiento y
Evaluacion
“Aprender para Mejorar”
Evidencias para mejorar el Desarrollo
 Consejo#1: Tener en cuenta las
necesidades de informacion de los
interesados a traves de la participacion

• Etapa de diseno: Seleccionar las preguntas que el

sistema de S&E debe cubrir

• Etapa de implementacion: Los interesados contribuyen

con sus comentarios e informaciones a contrastar las
evaluaciones intermedias y finales

• Plan de Mejora: Seguir la integracion de las mejoras y

recomendaciones provinientes de las fases anteriores
 Consejo #2: Concentrarse en medir el
cambio. Los efectos en beneficiarios y su
vinculacion con UNDAF y ODM

• Refinar la teoria del cambio del PC y debatirla

con los interesados y el equipo de gestion.
Describirla y hacerla explicita.
• Definir con claridad los beneficiarios y como los
PC van a tener un efecto sobre ellos
• Describir los vinculos de los PC y su contribucion
al UNDAF y a los ODM en el contexto local.
 • Se incrementan los niveles
Impactos de renta y las posilidades
de la poblacion de mejorar
su empleo
Resultados

Productos

Actividades • Cursos de alfabetizacion se

llevan a cabo

Insumos • Instalaciones, materiales,

profesores
 • Se incrementan los niveles
Impactos de renta y las posilidades
de la poblacion de mejorar
su empleo
Resultados • Los adultos saben leer y
escribir. Encuentran empleo

Productos
• Los adultos reciben las
ensenanzas del curso de
alfabetizacion
Actividades • Cursos de alfabetizacion se
llevan a cabo

Insumos • Instalaciones, materiales,

profesores
 Consejo# 3 Integridad de la unidad de
analisis
• El PC la unidad basica de analisis, lo
que significa que los que medimos es
un todo no divisible en estructuras
menores (grupos de actividades o
productos llevados a cabo por
diferentes actores) El proposito es
medir el cambio inducido por el PC en si
mismo, en su conjunto.
 Consejo #4 Indicadores

• Numero de indicadores 3 o 4 indicadores

por producto y resultado
• Cuantitativos: Numeros absolutos, %
• Cualitativos: perceptions, descriptions, etc
• Que sean relevantes a los diversos
usuarios del sistema de S&E
• Usar proxies cuando no haya otras
posibilidades
Consejo #5 Indicadores SMART
• Especifico: que sea una medida tan proxima com sea
posible del producto o resultado que se intente medir
(datos desagregados si es necesario)
• Medible: No ambiguedad en lo que se esta midiendo
• Alcanzable: Sea tecnicamente posible obtener los
datos a un coste razonable
• Confiable: Acuerdo generalizado sobre la
interpretacion de los datos obtenidos
• En tiempo: Que los datos puedan ser recogidos con la
suficiente frecuencia como para poder informar del
progreso e influir la toma de decisiones
Consejo #6 Lista de Chequeo para valorar potenciales
indicadores

• Es el indicador…:

– Una medida lo mas directa posible del fenomeno que

se quiere medir (producto/resultado)
– Suficientemente preciso para asegurar una medicion
objetiva
– La forma mas practica y costo/efectiva para recoger
datos
– Sensible a cambios en (producto/resultado) pero
relativamente no afectado por otros cambios
– Posible de desagregar si fuera necesario
Consejo # 7 Linea de base
• ¿ Cuales son las fuentes de datos?
• ¿ Cuales son los metodos de recogida de
informacion?
• ¿ Quien recogera la informacion?
• ¿ Con que frecuencia se recogeran los datos?
• ¿ Cual es el coste y las dificultades de recoger los
datos?
• ¿ Quien analiza los datos?
• ¿ Quien informara de los datos?
• ¿ Quien y como se usaran los datos?
Consejo # 8 Identificando fuentes de datos

¿ Se puede acceder a la fuente con

seguridad y con la frecuencia necesaria?
¿ La fuente puede proporcionar datos de
calidad?
• Primaria: recogida de datos por el
personal de gestion del PC
• Secudaria: recogida de datos recogidos
por organizaciones ajenas al PC
Consejo # 9 Metodos de recoleccion de la
informacion
 Consejo # 10: Papeles y responsabilidades
de los diversos actores en la implementacion
del sistema de S&E
• El equipo gestor de PC: Llevar a cabo el plan de S&E
recogido en el documento de PC y facilitar las actividades
del Secretariado.
• El Coordinador Residente de la ONU: facilitar los aspectos
más políticos de los ejercicios de S y E en el país.
• El Secretariado: Asesora y ofrece apoyo a los equipos de
gestion del PC al homogeneizar el seguimiento y la
evaluación con productos, datos e informacion. Asegura la
funcion de Gestion del Conocimiento. Coordina y financia las
evaluaciones de medio termino.
III. Example of good outcome indicators
Examples
Examples