Está en la página 1de 50

Estrategias de Seguimiento y Evaluación

MÓDULO 3
Estrategias de Seguimiento y Evaluación

Introducción

No resulta aún un término común el de Antropoceno. Pero sí es más conocido que


estamos transitando una nueva era geológica desde el año 2000, que se destaca por
el significativo impacto global de las actividades humanas sobre los ecosistemas
terrestres. Ante estos cambios, nos vemos obligadas/os a reflexionar sobre
nuestras acciones como ciudadanas/os y, particularmente quienes dirigen procesos
de políticas públicas, a monitorearlas y evaluarlas promoviendo la equidad, justicia
y bienestar de todas y todos.

Se parte de comprender que las políticas públicas son decisiones y acciones por
parte de quienes ejercen la administración de un Estado, a fin de responder
a necesidades comunes de la sociedad.

MÓDULO 3
Estrategias de Seguimiento y Evaluación

Las políticas públicas conllevan un proceso desde que se detecta la necesidad, se


realizan diagnósticos sobre su contexto, se elabora una propuesta de iniciativa
(conocida como proyecto, programa y/o plan), hasta que se implementa,
monitoreando y evaluando dicho proceso.

En este proceso no parece aún tan claro el lugar que ocupan el Seguimiento y la
Evaluación.

A este fin se pretende aclarar algunos conceptos


básicos y ofrecer algunas herramientas prácticas
para su aplicación en las iniciativas que, como
agentes públicos, desarrollamos.

MÓDULO 3
Estrategias de Seguimiento y Evaluación

¿Por qué es importante el Seguimiento y la Evaluación (S&E)?

Un sistema de seguimiento y evaluación es un componente esencial en la


gestión de proyectos y programas, porque permite:

1 Suministrar información basada en evidencia empírica para la


adopción de decisiones hacia la continuidad o mejora de los procesos.

2 Contribuir al aprendizaje y al intercambio de conocimientos al


compartir y reflexionar sobre las experiencias y enseñanzas.

3 Rendir cuentas sobre el desarrollo de nuestra tarea conforme a lo


acordado y en consonancia con las normas establecidas y/ o los
requisitos establecidos por los organismos involucrados.

MÓDULO 3
Estrategias de Seguimiento y Evaluación

4 Posibilitar la participación de las partes interesadas, en particular los


beneficiarios, expresando sus opiniones y percepciones acerca de nuestra
labor, mostrándonos flexibles y abiertos a las críticas constructivas y
exteriorizando nuestro deseo de aprender de las experiencias.

5 Contar con información para resaltar los logros y resultados,


reforzando la moral y contribuyendo a la movilización de recursos y
articulación entre iniciativas¹.

¹ Fuente: adaptado de la Guía para el seguimiento y la evaluación de proyectos y programas. Federación


Internacional de Sociedades de la Cruz Roja y de la Media Luna Roja. En: https://www.ifrc.org/Global/

MÓDULO 3
Estrategias de Seguimiento y Evaluación

Monitoreo, Seguimiento, Auditoría y Evaluación: aclarando conceptos

El Seguimiento es el
proceso sistemático en virtud del cual
se recopila y se organiza información
con el objeto de comparar los avances
logrados en función de los planes
formulados y corroborar el cumplimento de
las normas establecidas².

² Guía para el seguimiento y la evaluación de proyectos y programas. Federación Internacional de


Sociedades de la Cruz Roja y de la Media Luna Roja, pp. 13.

MÓDULO 3
Estrategias de Seguimiento y Evaluación

Cabe una pequeña aclaración aquí entre el Monitoreo, el Seguimiento y la Auditoría.


Para ello vamos a acudir al diccionario etimológico:

MONITOREO: MONARE= vigilar/hacer recordar + TOR= agente/agencia


(agente que vigila/hace recordar o acción de vigilar/ hacer recordar)

AUDITORIA: AUDIRE= oír + TOR= agente/agencia (agente que oye o


agencia/acción de oír)

SEGUIMIENTO: SEQUERE= ir detrás (para oír) + MENTO= medio o instrumento


(instrumento para seguir con atención)

Con el paso del tiempo, en general se relacionó en la práctica a las auditorías con
procesos vinculados a las finanzas o costos de producción, así como al registro de
cumplimiento de normas de calidad.

A partir de esta información es que entendemos que estos tres términos son maneras
de llamar al relevamiento de datos y su sistematización con fines de informar.

MÓDULO 3
Estrategias de Seguimiento y Evaluación

Una evaluación es una


valoración, lo más sistemática posible,
de una actividad, proyecto, programa, estrategia, política,
tópico, tema, sector, área operativa o desempeño institucional.
Analiza el grado de consecución de los resultados esperados e
imprevistos, examinando la cadena de resultados, los procesos,
los factores contextuales y la causalidad a partir de criterios
adecuados como la pertinencia, la eficacia, la eficiencia, el
impacto y la sostenibilidad³.

³ Fuente: Normas y Estándares de Evaluación (2016), UNEG (United Nations Evaluation Group).
En: https://www.betterevaluation.org/sites/

MÓDULO 3
Estrategias de Seguimiento y Evaluación

Asimismo, mientras que el seguimiento es una técnica de uso permanente que


refleja información práctica y -en general- de manera instantánea a través de
indicadores, la evaluación se realiza en periodos específicos definidos y se manifiesta
en informes donde se emiten un/os juicio/s de valor y recomendaciones luego de
analizar los resultados de los indicadores⁴.

Si bien estos procesos (Seguimiento y Evaluación) son diferentes, podemos


decir que ambos se complementan. Mientras el seguimiento provee de la
información a la Evaluación, la Evaluación provee de unas conclusiones,
recomendaciones y lecciones aprendidas a partir de la articulación de la
información provista por los resultados del seguimiento.

⁴ Hablaremos sobre los indicadores más adelante.

MÓDULO 3
Estrategias de Seguimiento y Evaluación

¿Qué, quién, dónde y cuándo hacer seguimiento y evaluación?

El “qué” o el destino del S&E:

La importancia que adquiere contar con información veraz y recomendaciones para


poder continuar desarrollando o modificar las iniciativas públicas, nos enseña que
-dependiendo de las necesidades contextuales- podremos o deberemos realizar
seguimiento y evaluación sobre variados destinos.

A grandes rasgos, podemos realizar S&E de proyectos, programas y planes (de


salud, de educación, de desarrollo social, e infraestructura, de transporte, de
medioambiente, de género, de DDHH, etc); de personal; de procesos internos
de la institución o repartición; de costos financieros; de percepciones, etc.

Como es conocido, las administraciones públicas –al manejar recursos del Estado-
deben ser especialmente cuidadosas con el uso de los recursos, en términos de
eficacia, eficiencia y transparencia.
MÓDULO 3
Estrategias de Seguimiento y Evaluación

Entonces, quien decida llevar adelante un proceso de seguimiento y/o evaluación


deberá tener en cuenta los aspectos contextuales para decidir cuál será el alcance
de este trabajo.

Ante la escasez de recursos, la necesidad de realizar un uso eficiente de los mismos,


y entendiendo que los informes evaluativos tienen incidencia política (en las tomas
de decisión), una vez definido el destino de la evaluación, es central realizar un
recorte metodológico.

Es decir, deberá establecerse hasta dónde llega el análisis, describiendo las


características del programa, proyecto, proceso, así como el alcance geográfico,
demográfico y otros según corresponda. Cuando la población o universo sobre el
que se trabaja es muy denso en cantidad, se suele tomar una muestra (esto es una
selección de una parte representativa del universo de destinatarios).

MÓDULO 3
Estrategias de Seguimiento y Evaluación

Existen técnicas específicas para seleccionar estas muestras desde las que
tomaremos la información⁵. Pero antes de acudir a estas técnicas siempre se
sugiere realizar un mapeo de actores de su entorno que podrían suministrarle esta
información ya procesada.

Esto ahorra tiempo y recursos. Ej: direcciones de estadísticas y censos, reparticiones


específicas vinculadas al programa o proyecto a analizar como áreas de
sistematización de datos del ministerio de Salud, de un hospital, de una inspección
escolar, de programas de desarrollo social, e inclusive acudir al sector privado y
organizaciones de la sociedad civil con las que se trabaje articuladamente.

⁵ Para muestreos probabilísticos y no probabilísticos ver: https://www.gestiopolis.com/muestreo

MÓDULO 3
Estrategias de Seguimiento y Evaluación

El “quién” realiza el S&E:

Mientras que el Seguimiento es más bien una tarea interna de la institución, la


Evaluación -en cambio- permite y/o exige en ocasiones una variedad de
evaluadoras/es, teniendo esto ventajas y desventajas:

Se habla de una Autoevaluación cuando es realizada por los mismos ejecutores


de la iniciativa.

Ventaja: menores costos y plazos para llevarla adelante.

Desventaja: es el tipo de evaluación que suele contar con mayor sesgo


-desviación en la interpretación de la información-, debido a que quien evalúa es
también quien ejecuta la iniciativa.

MÓDULO 3
Estrategias de Seguimiento y Evaluación

Se hace referencia a una Evaluación interna cuando los evaluadores pertenecen


a la institución, inclusive a la misma repartición, pero no están involucrados en
la ejecución de la iniciativa.

Ventaja: también los costos son bajos, ya que puede realizarse a partir de un
intercambio de colegas de diferentes reparticiones, los que una vez evaluarán este
programa y, en otra ocasión los colegas pedirán colaboradores de esta repartición
para evaluar sus programas.

Desventaja: es difícil encontrar dentro de una misma institución colegas (que


tengan conocimiento de los procesos evaluativos y marcos de calidad para medir*
iniciativas), por lo que debe invertirse tiempo y recursos en inducirles al programa,
así como a técnicas e instrumentos de evaluación.

*Medir: comparar un valor o información de un momento inicial o un patrón determinado con


anterioridad, con el valor o información de un momento posterior en relación al mismo tema o patrón.
MÓDULO 3
Estrategias de Seguimiento y Evaluación

Una Evaluación externa se refiere a la que es realizada por evaluadores que no


pertenecen a la institución. Aquí se puede pensar en una escala de “ideales”
de evaluadores/as externas/os. Ejemplos de evaluadores/as externos pueden ser
las organizaciones internacionales que financian las iniciativas y/o sus
evaluaciones, las que suelen tener sus propios protocolos de evaluación a fin de
garantizar transparencia y objetividad; otro ejemplo son los organismos de
auditoría y evaluación de otros niveles de gobierno (ej. auditores de calidad bajo
normas nacionales), y lo son también las consultoras privadas de evaluación.

Ventaja: se reducen los sesgos que podían existir en las autoevaluaciones.


Desventaja: Puede conllevar más tiempo el proceso en cuanto a la necesidad
de una apertura de licitación pública, elaboración de términos de referencia*,
selección de equipo evaluador, etc.
*Términos de referencia: Este documento contextualiza al equipo evaluador (interno o externo) sobre
la iniciativa a evaluar, indica las preguntas que desea sean respondidas a través de los indicadores, los
criterios de evaluación, así como algunos requisitos de perfil profesional del equipo evaluador.
MÓDULO 3
Estrategias de Seguimiento y Evaluación

Un proceso de evaluación externa que se suele utilizar para reducir sesgos y costos
es la evaluación entre pares. Así, por ejemplo, integrantes de un programa o
proceso similar de otra provincia/estado subnacional se constituye en un evaluador
externo. Estas prácticas suelen ser buenos ejercicios de aprendizaje para ambas
partes, por lo que se pueden acordar a bajo costo: viáticos o insumos.

Tan importante como poder hacer autoevaluaciones, es saber solicitar las


evaluaciones. Para los casos de Evaluaciones internas y externas (en la que la/el
evaluador/a no pertenece al equipo ejecutor del programa o política de manera
directa) el solicitante debe elaborar los Términos de Referencia6.

La Evaluación mixta vincula algunas de las arriba mencionadas. De acuerdo al


contexto, puede realizarse, por ejemplo, una autoevaluación de procesos
internos, y una Evaluación externa de los resultados del programa, abaratando
algunos costos, pero a su vez aportando a la transparencia de la información,
desde la reducción de la subjetividad que permite una mirada “desde afuera”.

6 Una plantilla para la elaboración de Términos de Referencia se deja como material de consulta de este módulo.

MÓDULO 3
Estrategias de Seguimiento y Evaluación

El “dónde” realizar el S&E:

Este apartado dependerá del contexto en el que se decide realizar el S&E. Y en


este sentido, se deberá vincular al “qué” evaluar. Entonces, de acuerdo a lo que se
decida evaluar, se puede -por ejemplo- pensar en evaluar un programa de salud en
el nivel municipal, provincial o nacional; o simplemente su desarrollo en un hospital,
una escuela, etc.

El dónde implica parte del “recorte metodológico” que se realiza, puesto que no
puede hacerse seguimiento y/o evaluación de todo. La localización geográfica, junto
con el nivel de gestión gubernamental (y su trabajo en conjunto o no con otros
organismos no gubernamentales), suelen ser los criterios más utilizados para tomar
esta decisión.

En el mismo sentido, si lo que se desea evaluar es un proceso interno dentro de la


institución, se puede recortar el “dónde” a una repartición y/o área.

MÓDULO 3
Estrategias de Seguimiento y Evaluación

El “cuándo” se realiza el S&E:

El “cuándo” no se refiere aquí al momento del año, mes o semana (lo que se define
a partir de un diagrama de Gantt, dado que el S&E también se planifica como
cualquier proyecto) sino al momento o etapa del desarrollo de la iniciativa que
se desea evaluar.

Aquí se presenta una diferencia: mientras que los indicadores del Seguimiento (de
acuerdo se explicó en la definición del término) sirven para relevar y sistematizar
información de PROCESOS, la evaluación ofrece la posibilidad de medir todas de las
instancias aquí explicadas -incluida también la de procesos- en tanto se realizan en un
momento determinado, a partir de un recorte temporal de la información relevada.

MÓDULO 3
Estrategias de Seguimiento y Evaluación

Así, tenemos:

Evaluación ex- ante o de insumos: refiere a la evaluación que se realiza


para contar con información de factibilidad de la propuesta. Los indicadores que
se utilizan se preguntan por la capacidad que tiene la iniciativa de llevarse a cabo
a partir de lo planificado (recursos, plazos, responsables). Suele asimilarse la
evaluación ex- ante con la evaluación diagnóstica. Esto no es así en todos los casos.
En ocasiones, ya existe un diagnóstico que ha precedido a la elaboración de la
iniciativa, y lo que se hace con una evaluación ex- ante es verificar las condiciones
contextuales que permitirán desarrollar la propuesta, una vez planificada. Es decir,
se realiza un análisis de factibilidad para comenzar a implementar la iniciativa.
Asimismo, esta evaluación ex ante puede contribuir a elaborar la Línea de base que
nos servirá de referencia para las mediciones posteriores. Veamos un ejemplo de
un indicador de insumo para un programa de ayuda económica:

MÓDULO 3
Estrategias de Seguimiento y Evaluación

Objetivo específico: entregar ayuda alimentaria a familias residentes en


la provincia, con ingresos totales menores al Salario mínimo, vital u móvil.
Actividad vinculada: emisión de tarjeta alimentaria con una carga
mensual del 30% del ingreso total familiar.
Meta: 50% de las tarjetas alimentarias programadas, entregadas a las
familias registradas hasta diciembre de 2023.
Indicador (cuantitativo): cantidad de tarjetas plásticas disponibles por
distrito para su entrega en el primer trimestre del año en curso.

Este tipo de evaluaciones suelen ser las menos valoradas. Sin embargo,
dado que los tiempos políticos en ocasiones exigen planificar rápidamente
sin incorporar el componente de seguimiento y evaluación desde el inicio,
con ella solemos complementar y dejar sentadas las bases de un sistema de
seguimiento y su línea de base.

MÓDULO 3
Estrategias de Seguimiento y Evaluación

Evaluación intermedia, de medio término o de procesos: Se


refiere a la evaluación que mide el avance de los objetivos de una iniciativa.
Las preguntas que orientan a los indicadores en esta etapa tienen como
respuesta momentos del proceso que son significativos generalmente para los
ejecutores de la iniciativa o de los socios, y que se vinculan con cada objetivo a
través de medir el avance de actividades específicas y su relación con las metas
establecidas. Así, por ejemplo, tenemos:

Objetivo específico: Relevar las iniciativas de gestión de crisis generadas


para abordar la propagación del COVID-19 en el gobierno provincial, durante el
año 2020-2022.
Actividad vinculada: elaboración y aplicación de cuestionario de
relevamiento de iniciativas de gestión de crisis generadas para abordar la
propagación de la COVID-19.

MÓDULO 3
Estrategias de Seguimiento y Evaluación

Meta: cuestionario aplicado en el 100% de los ministerios de la provincia


durante el primer trimestre de 2023.
Indicador (cuantitativo): estado de actividad de elaboración o aplicación y
cuestionario de relevamiento (categorías de respuesta: cuestionario en elaboración-
cuestionario elaborado- cuestionario en aplicación- cuestionario aplicado).

En este punto nos detenemos para confirmar la simbiosis que se genera aquí
entre estos dos procesos de S&E. Ya que la Evaluación puede servirse de la
información que provee el Seguimiento a partir de los indicadores creados y
relevados, pero emite un/os juicios de valor a través de un detallado informe
que determina un recorte temporal, alcance y ofrece hallazgos y
recomendaciones de mejora para realizar durante el proceso, permitiendo
cambios de rumbo o acciones puntuales de optimización de la propuesta inicial.

MÓDULO 3
Estrategias de Seguimiento y Evaluación

Evaluación de resultados: se trata de la evaluación que mide el


cumplimiento efectivo de los objetivos de la propuesta. Las categorías de
estos indicadores se refieren directamente a confirmar si se cumplió o no un
objetivo a través de las actividades y metas establecidas. Y, permite profundizar en
otras cuestiones contextuales en caso de no haber cumplido con los objetivos, así
como los motivos por los cuales no se ha llegado a lo esperado. Asimismo, habilita
la realización de recomendaciones para una probable réplica de la iniciativa.

Así, proponemos aquí distinguir tres tipos de evaluación de resultados:

MÓDULO 3
Estrategias de Seguimiento y Evaluación

Evaluación de productos: mide los resultados inmediatos en términos de


bienes y servicios ofrecidos y/o entregados (vacunas, tarjeta alimentaria, etc).

Evaluación de efectos: mide los resultados en el mediano plazo en


términos de las consecuencias en el destinatario, producidas por la aplicación de
la iniciativa (disminución de la enfermedad, compra de insumos alimenticios de
mayor calidad o en mayor cantidad, etc).

Evaluación de impacto: mide los resultados en el mediano a largo plazo,


en términos de la huella que dejó la aplicación de la iniciativa en los
destinatarios y su entorno ampliado (esperanza de vida de la población,
reducción de la pobreza de la comunidad, etc).

MÓDULO 3
Estrategias de Seguimiento y Evaluación

Sobre grupos experimentales y mediciones netamente cuantitativas

Muchos organismos evalúan a partir de datos numéricos elaborando evaluaciones


a través del método experimental. Este consta básicamente de trabajar con
“grupos experimentales” y “grupos de control” (donde se aplica el
beneficio/iniciativa sobre un grupo de personas -grupo experimental- y
se deja otro grupo sin el beneficio/iniciativa -grupo de control- para
comparar efectos e impactos).

Este método selecciona unidades de análisis con características similares, que


denominan “clones estadísticos”, y las distribuye de manera equitativa entre los
dos grupos. Si bien es útil para contar con números rápidos, tiene la dificultad de
que, en política pública, en la mayoría de los casos, se trabaja con personas.
Existen muchos factores personales que se pierden, simplificando a su más
mínima expresión a una persona a partir de cuatro o cinco características
comunes (Ej: varones, de entre 30 y 50 años de edad, empleados en el sector
privado, sin educación de nivel secundario).

MÓDULO 3
Estrategias de Seguimiento y Evaluación

Debemos tener en cuenta que este método ha sido ideado en la década de los 90
del siglo pasado y fue diseñado para el sector privado, más específicamente para
medir producción, ganancias, etc. Y luego fue traspolado para aplicar en otros
ámbitos. Si bien se trata de una metodología práctica, para el caso de trabajar
con personas sugerimos acompañar estos datos con relevamientos de carácter
cualitativos (encuestas de opinión, entrevistas individuales o grupos focales,
observación directa o indirecta, etc o incursionar en el campo de la Evaluación
participativa7), a fin de contribuir a una mayor precisión de la información que
será insumo para evaluar.

7 Para mayor información sobre Evaluaciones participativas ver: https://evalparticipativa.net/

MÓDULO 3
Estrategias de Seguimiento y Evaluación

Interrelación entre indicadores, según nivel de Cadena de Resultados

Recursos Actividades que Bienes y Comprende los Conjunto de


(financieros, emprende la servicios que se cambios de cambios de
humanos y intervención obtienen con la corto y mediano largo plazo,
materiales) para intervención y plazo generados
utilizados en la transformar los se entregan a ocasionados directa o
intervención. insumos y su población por los indirectamente
generar los beneficiaria. productos de por la
productos. la intervención. intervención.
Estrategias de Seguimiento y Evaluación

El sistema de indicadores es el instrumento principal para realizar el S&E.


Su elaboración es central y requiere de una gran reflexión de parte de los tomadores
de decisiones, teniendo en cuenta el contexto de la iniciativa que se va a seguir y/o
evaluar, así como los recursos con los que se contará para poder realizar el proceso
de S&E.

La manera más sencilla de operacionalizar un indicador es realizar PREGUNTAS


(siempre en vinculación a los objetivos y las metas establecidos), donde las
respuestas se presentan en forma de categorías.

¿Qué objeto/sujeto/proceso se pretende evaluar?;


¿Qué cambios se quieren observar sobre este objeto/sujeto/proceso seleccionado?;
¿Con qué frecuencia se relevará la información a comparar?

Una vez se tengan estas preguntas, se procede a transformarlas en indicadores.

MÓDULO 3
Estrategias de Seguimiento y Evaluación

Al momento de pensar en las respuestas a estas preguntas, es decir a las


categorías, es necesario recordar lo siguiente:

Se debe atender a que las mismas sean excluyentes entre sí; es decir:
no deben superponerse. Ej: menos de 2000, entre 2001 y 4000, entre
4001 y 6000; más de 6000.

Obsérvese que para los casos de indicadores cualitativos se pueden preelaborar


categorías nominales (con nombres) e inclusive utilizar algunas universales como
(alto - medio - bajo o regular, bueno, muy bueno, sobresaliente, etc.).

Las mediciones como “Nivel de” o “Grado de” son las más utilizadas y, cabe
destacar, suelen cuantificarse igualmente (cuenta la cantidad de veces que hay una
alta, media o baja satisfacción).

MÓDULO 3
Estrategias de Seguimiento y Evaluación

¿Es necesario tener un indicador por cada actividad?

Esta pregunta permite sumar una importante reflexión. El/la evaluador/a, con la
experiencia que adquiere al participar de varios procesos evaluativos, está en
condiciones de decidir, de acuerdo al contexto (destinatarios de la evaluación,
requisitos de evaluación -TdR-, características de la iniciativa en evaluación, etc.) qué
objetivos y/o qué actividades será necesario evaluar. En este sentido, es recomendable
realizar varias lecturas de los indicadores inicialmente pensados y elaborados y volver
a contrastar con la realidad del programa o política a evaluar, con las condiciones de
evaluabilidad (es decir la factibilidad de realizar el proceso evaluativo de acuerdo a los
recursos existentes y el contexto). El proceso de recolección y sistematización de la
información, ya sea de manera cuantitativa o cualitativa, así como la lectura con juicio
de valoración (evaluación) y la elaboración del informe evaluativo requiere de
considerable cantidad de recursos humanos y una inversión económica. Es por esta
razón que se sugiere realizar una selección a conciencia de las actividades y/u
objetivos a medir, de modo de reducir la cantidad de indicadores, manteniendo la
calidad de la información a proveer y de acuerdo a las necesidades a informar.

MÓDULO 3
Estrategias de Seguimiento y Evaluación

Sobre las METAS:

Suele ser común que confundamos terminológicamente los objetivos con las metas.
Esto se debe a que en algunos países o desde algunas corrientes metodológicas se
utilizan indistintamente. Sin embargo, es importante que se puedan diferenciar aún
cuando ambos representan intenciones que se desean concretar. A este fin, en
esta capacitación se entenderá por:

METAS:
OBJETIVOS:
las que se explicitan de
a las ideas en términos
manera concreta expresando cuándo
generales de nuestras
queremos lograrlo y cuánto queremos
intenciones, que
lograr o bien qué estado específico
responden al qué, a
queremos alcanzar según aquella
quién o a qué afecta y
intención indicada en el objetivo.
dónde se realizará.

MÓDULO 3
Estrategias de Seguimiento y Evaluación

Recordamos que las metas pueden establecerse sobre objetivos, o también


directamente sobre actividades (en vinculación con los objetivos).

Aquí algunos ejemplos:

CONTEXTO: Programa Anual de capacitación - Gobierno de la Provincia de


Córdoba. Dirección de Capacitación

OBJETIVO 1 (específico): Fortalecer las capacidades de Liderazgo y planificación,


de los agentes vinculados a cargos de dirección y jefaturas del Gobierno de la
provincia de Córdoba.

ACTIVIDAD 1: Capacitar en Liderazgo y planificación a agentes vinculados a


cargos de dirección y jefaturas del Gobierno de la provincia de Córdoba

META: 50% de los agentes vinculados a cargos de dirección y jefaturas, capacitados


en curso de Liderazgo y planificación para el mes de diciembre de 2023.

MÓDULO 3
Estrategias de Seguimiento y Evaluación

INDICADOR: porcentaje de agentes vinculados a cargos de dirección y


jefaturas, capacitados en cursos de Liderazgo y planificación por sobre el total
de agentes en cargos de dirección y jefaturas de la APP. (Indicador de procesos
y/o resultados).

CATEGORÍAS: para los casos de cantidades, no es obligatorio establecer


categorías ya que el resultado, en términos absolutos o relativos, será el que se
compare con el de la meta, en vinculación al momento en que se esté evaluando y
la distancia con la meta (es decir: resultaría alarmante estar en el último trimestre
de la iniciativa y que el porcentaje sea del 10% cuando la meta es 50%. Pero no
es alarmante si ese porcentaje aparece en el primer trimestre de la medición).

FUENTE*: Sistema People Net, Secretaría de Capital Humano - Gobierno de la


provincia de Córdoba.

*Fuente: refiere al sistema de información que proveerá los datos para la medición (documento,
programa o plataforma de datos, estadísticas, encuesta, entrevista, registro de campo, etc).
MÓDULO 3
Estrategias de Seguimiento y Evaluación

ACTIVIDAD 2: elaborar nueva capacitación virtual en Planificación y Evaluación


de políticas públicas para los agentes de la administración pública provincial.

META: capacitación virtual en marcha el 1 de julio de 2020.

INDICADOR 3: estado de desarrollo de elaboración de capacitación


Planificación y Evaluación de políticas públicas (indicador de procesos).

CATEGORÍAS: en investigación - en redacción - en edición - en prueba piloto -


en marcha.

FUENTE: Sistema de Evaluación de desempeño: objetivos establecidos para el


Agente encargado de elaborar la capacitación.

MÓDULO 3
Estrategias de Seguimiento y Evaluación

OBJETIVO 2 (específico): verificar la calidad de los contenidos de las capacitaciones en


gestión, en vinculación a la aplicabilidad de los mismos en las diferentes reparticiones.

ACTIVIDAD: Aplicación de encuesta de satisfacción a participantes acerca de


la calidad de los contenidos de las capacitaciones en gestión, en vinculación a
su aplicabilidad en sus reparticiones.

META: contar con un alto nivel de satisfacción de parte de las y los


participantes de las capacitaciones de gestión en cuanto a aplicabilidad de los
contenidos en sus reparticiones.

INDICADOR: nivel de satisfacción de las y los participantes de las


capacitaciones de gestión en cuanto a aplicabilidad de los contenidos en sus
reparticiones (indicador de resultados).

CATEGORÍAS: nivel bajo (menos del 40% satisfechas); nivel medio (entre 41
y 70% satisfechos); nivel alto (más del 70% satisfechas).

FUENTE: Encuesta de satisfacción.

MÓDULO 3
Estrategias de Seguimiento y Evaluación

Como se observa, conociendo los datos de contexto


(especialmente la planificación y marco normativo de la iniciativa
a monitorear y/o evaluar) y algunos elementos básicos que debe
tener un indicador (precisión, medición, exhaustividad,
comunicación) y los tipos (cuantitativos, cualitativos, de
insumo, de proceso, de resultado, de impacto) quien realiza
el S&E tiene un gran margen para elaborar el indicador que
mejor represente sus preguntas a responder.

MÓDULO 3
Estrategias de Seguimiento y Evaluación

Línea de Base y Tablero de Control

Una vez que podamos contar con nuestro propio análisis sobre qué tipo de
evaluación nos conviene llevar adelante y qué tipo de indicadores según los criterios
antes mencionados, procederemos a elaborar una LINEA DE BASE, la que podrá
servirnos como base de datos para continuar luego con las mediciones deseadas.

¿Qué es una Línea de base?

Dependiendo del momento en el que se encuentra el desarrollo de la propuesta que


elegimos o nos solicitan evaluar, podremos tener mayor posibilidad de elaborar una
línea de base que nos permita contar con datos que llamaremos patrones o
datos de inicio.

MÓDULO 3
Estrategias de Seguimiento y Evaluación

Se denomina Línea de base al documento con información


inicial que incluye los indicadores que queremos medir y sus
primeros resultados. Se trata del punto cero o de inicio desde el
cual partimos. En este sentido, la elaboraremos con:
a) patrones/requisitos a cumplir (en general en base a las
metas establecidas en el plan), o
b) con información preexistente cuantitativa o cualitativas
con las que luego queremos comparar.

MÓDULO 3
Estrategias de Seguimiento y Evaluación

Esta información es central para poder hacer las comparaciones luego. Sin
embargo, es común que no se haya pensado en elaborar esta línea de base cuando
se realizó la planificación de la iniciativa (plan, programa, proyecto) y que el
evaluador o responsable de seguimiento deba acudir a datos históricos para
construirla. Así, siguiendo con uno de los ejemplos arriba expuestos, si una de las
actividades es “elaboración y aplicación de cuestionario de relevamiento”, el
indicador será “estado de cuestionario de relevamiento”, y en nuestra línea de base
el dato inicial podría ser “cuestionario en elaboración”. También, con un indicador
cuantitativo como “cantidad de capacitaciones dictadas durante el segundo
trimestre de 2023”, en nuestra línea de base se presentará el número inicial (“0”) o
bien el último número en relación al trimestre anterior (“246”).

MÓDULO 3
Estrategias de Seguimiento y Evaluación

La línea de base se podrá utilizar para dar forma al documento central de


seguimiento de los procesos, más conocido como Tablero de control. En ella se
encontrarán los indicadores de medición (que han sido vinculados al avance de una
actividad, o a la consecución de una meta) y podremos mostrar el estado de avance
o datos de actualización periódicos. Esto nos permitirá conocer información en
tiempo real a fin de optimizar la toma de decisión con respecto a la iniciativa.

Como se ha explicado, el S&E se sirven de datos, que necesitan sistematizarse de


acuerdo a nuestros indicadores. Actualmente, la tecnología y la digitalización nos
ofrecen cantidades abrumadoras de datos que, si sabemos relevar y sistematizar,
serán de gran utilidad para responder a nuestras preguntas (indicadores).
Actualmente, las herramientas de Big Data cuentan con la posibilidad de
sistematizar, visualizar y también visibilizar gráficamente datos relevantes que Ud
desee mostrar en algún informe o presentación. Si bien Excel permite también
realizar fórmulas de cálculo automático y gráficos sencillos, le invitamos a introducirse
en el mundo de la Ciencia de datos para utilizar sus innovadoras herramientas.

MÓDULO 3
Estrategias de Seguimiento y Evaluación

Actualmente, existen varias herramientas que pueden configurarse como un Tablero


de control (Tablero de Comando, Cuadro de mando integral o Matriz de Indicadores
de gestión y resultados), muchas de las cuales responden a modelos de control
organizacional más bien vinculados al sector privado y de productividad.

A fin de contar con una herramienta práctica y sencilla, Ud puede valerse de todas
las acciones que permite el programa Excel del paquete Office de Windows.

¿Qué elementos debe tener un Tablero de control?


Como su nombre lo indica, este tablero es el que permitirá llevar un control o
seguimiento de las actividades que se orientan por los objetivos planificados.

En este sentido, no existe un modelo único de tablero de control, y es aconsejable que


quien lidere el proceso de S&E pueda tomarse la libertad de crear su propio cuadro,
adecuado a su entorno y necesidades y a su fácil interpretación. Especialmente para
poder realizar análisis rápidos, cuando los necesite, o para realizar las relaciones o
emitir juicios de valor y recomendaciones en caso de evaluaciones.

MÓDULO 3
Estrategias de Seguimiento y Evaluación

Así, utilizar modelos de Cuadros de Mando Integral o Tableros de control de otros


proyectos podría generar mayor confusión.

Aunque cada equipo elabora su Tablero para su propio seguimiento y evaluaciones,


ofrecemos en este módulo un ejemplo sencillo de matriz de indicadores de
gestión y resultados*.

*Encontrarán esta matriz como material de consulta de este módulo.


MÓDULO 3
Estrategias de Seguimiento y Evaluación

Informes de evaluación

La evaluación se diferencia del Seguimiento en cuanto a la valoración que


se hace de los datos y la periodicidad en que se toma la información.
Asimismo, dicha valoración siempre debe ir acompañada de hallazgos y recomendaciones
de mejora de la iniciativa y lecciones aprendidas.

Los informes evaluativos son de utilidad para rendir cuentas a las autoridades o al
organismo que lo solicite. También son de utilidad para las revisiones internas
periódicas de su equipo de trabajo.

Antes de iniciar a realizar una evaluación, y luego al momento de elaborar el


informe, será necesario estar actualizados en cuanto a los requisitos de la
institución que acoge, solicita o apoya la evaluación, su contexto y las normas que,
en su marco, es necesario seguir.

MÓDULO 3
Estrategias de Seguimiento y Evaluación

Sin embargo, existen algunos marcos normativos y orientativos de aplicación


general que Ud puede tener en cuenta, como las Normas IRAM 9001:2015
(a las que nuestra Secretaría General de la Gobernación adhiere).

Otros dos documentos de referencia en materia de principios y orientaciones para


llevar adelante una evaluación (que superan los requisitos de tipo técnico para
destacar los requisitos de ética y respeto por los DDHH, teniendo en cuenta que se
emiten juicios de valor sobre procesos que involucran a muchas personas
-ejecutoras y beneficiarias-) son:

Normas y Estándares de Evaluación elaboradas por el Grupo Independiente de


Evaluación de Naciones Unidas (UNEG -2016)

Estándares de Evaluación para América Latina y el Caribe (2021)

A continuación, un esquema básico de los contenidos de un informe evaluativo y


breve explicación de los elementos:

MÓDULO 3
Estrategias de Seguimiento y Evaluación

PRELIMINARES

Se ofrecen aquí información de inicio para contextualizar al lector con datos como un título
concreto y preciso del informe, por ejemplo: Evaluación de medio término de aplicación
del Programa de Ingreso Familiar de Emergencia en contexto de Aislamiento Preventivo
y Obligatorio por propagación de la COVID-19 - Provincia de Córdoba - Julio de 2020.

Se sitúan aquí las fechas de inicio y finalización del proceso evaluativo, así como el tipo
de evaluación que se está realizando (refiere a tipificar a las evaluaciones de acuerdo a
quién evalúa, qué se evalúa, dónde y cuándo se realiza la evaluación), así como el
marco normativo que habilita a evaluar (en referencia a resoluciones internas,
estructura orgánica de la repartición, así como otras normativas externas y documentos
normativos que se han utilizado como orientadores para realizar la evaluación).

Finalmente, se presentan aquí los nombres de las y los integrantes del equipo evaluador
y un breve perfil profesional o experiencial de cada una de las personas.

MÓDULO 3
Estrategias de Seguimiento y Evaluación

INTRODUCCIÓN

En esta etapa se ofrece información de la iniciativa que se ha evaluado, datos de


contexto, característica de las personas beneficiarias, objetivos de ese programa o
política, etc. Luego se exponen los objetivos de evaluación (cabe notar que los objetivos
de Evaluación NO son los mismos que los del programa que se evalúa. Para distinguirlos,
el/la evaluador/a debe centrarse en el motivo por el que ha sido convocada/o o bien por
el cual ha decidido comenzar este proceso evaluativo. Más claramente, el objetivo
principal será “EVALUAR el programa….”. Es en esta introducción que también se ofrece
información del alcance de esta evaluación, es decir hasta dónde llega esta investigación
evaluativa, el recorte metodológico que se ha hecho (beneficiarios alcanzados, ubicación
geográfica alcanzada, acciones evaluadas -en ocasiones no se evalúa toda la aplicación
del programa sino solo algunas acciones-).

También en esta instancia puede hacerse referencia a las personas e instituciones que
han estado participando, ya sea como ejecutoras, beneficiarias, donantes de fondos,
con algún tipo de interés en este proceso evaluativo.

MÓDULO 3
Estrategias de Seguimiento y Evaluación

Suele acompañarse también este espacio con unos supuestos de inicio. En ocasiones,
existe una opinión elaborada por la comunidad sobre la iniciativa, algunos documentos ya
escritos, etc que se configuran como supuestos que la evaluación podrá verificar o refutar
a partir de los datos obtenidos.

Asimismo, se ofrecen datos sobre las técnicas utilizadas para relevar la información:
técnicas cuantitativas (encuestas, conteo, estadísticas herramientas de Big Data) y/ o
cualitativas (entrevistas individuales, focus group, observación, análisis del discurso, etc).

Finalmente, este apartado puede presentar las estrategias de comunicación y difusión que
el equipo evaluador utiliza para llegar a las tomas de decisión y a la ciudadanía: formatos
como boletines, Visualización de Datos, y canales de difusión como redes sociales o
reuniones en los barrios, etc.

MÓDULO 3
Estrategias de Seguimiento y Evaluación

DESARROLLO

En este apartado aparece la información medular sobre la que se realizan las valoraciones,
constituida por:
a) los datos centrales que la/el evaluador/a considera necesario mostrar a través de
descripciones, imágenes o gráficos y que dan lugar a
b) los primeros análisis causa-efecto y relaciones entre indicadores.

MÓDULO 3
Estrategias de Seguimiento y Evaluación

ELEMENTOS PARA LA TRANSFORMACIÓN

Finalmente, en este apartado se suelen ofrecer los siguientes elementos, esenciales y


distintivos de una Evaluación:

Recomendaciones

Lecciones Aprendidas
Conclusiones
Hallazgos

• Afirmaciones • Juicios • Propuestas de • Conocimiento


basadas en razonados acción para la adquirido a partir
hechos basados en una mejora de las de la reflexión.
registrados. relación causal. intervenciones.
• Van más allá
• Usualmente • Se ponen en • Pueden del contexto de
son las juego varios orientarse a la intervención.
respuestas hallazgos mejoras en el
• Responde a la
destacadas de vinculados. diseño, estructura
pregunta: ¿Qué
las preguntas del equipo
• Son las hemos aprendido
de Evaluación. interventor,
valoraciones en del ejercicio de
cadena del
• Se sí mismas. esta
servicio.
acompañan intervención?
con gráficos o • Conjugan con • Deben ser
imágenes. el contexto de factibles y lograr
la intervención. comunicarse.

MÓDULO 3
Estrategias de Seguimiento y Evaluación

ANEXOS

En este apartado, se adjuntan los instrumentos de relevamiento de datos, gráficos


secundarios, alguna entrevista y todo otro material que se considere evidencia o
fundamento que pueda acompañar la valoración realizada, a fin de otorgar fidelidad y
transparencia a la información.

MÓDULO 3

También podría gustarte