Documentos de Académico
Documentos de Profesional
Documentos de Cultura
1
Guía de recomendaciones para la evaluación
AUTORAS
EDITA
2
Guía de recomendaciones para la evaluación
Índice de contenidos
1. Introducción .......................................................................................................................... 4
2. ¿Por qué evaluar intervenciones y políticas públicas? ......................................................... 7
3. ¿Cuáles son los pasos para llevar a cabo una evaluación? ................................................... 9
4. ¿Quiénes son los actores principales en una evaluación? .................................................. 13
5. Identificación del objeto de evaluación ¿Qué intervenciones evaluar? ............................. 14
6. ¿Qué debe evaluar la evaluación? Planteamiento de objetivos y preguntas ..................... 17
6.1. Planteamiento de objetivos ........................................................................................ 17
6.2. Las preguntas de evaluación ....................................................................................... 18
7. Los indicadores en la evaluación ......................................................................................... 22
7.1. ¿Qué son los indicadores?........................................................................................... 22
7.2. ¿Qué tipo de indicadores usamos? ............................................................................. 23
8. Elaboración del informe de evaluación ¿Qué debe incluir? ............................................... 25
9. Ya tenemos el informe ¿Y ahora qué? ................................................................................ 27
10. Referencias bibliográficas ................................................................................................... 29
Anexo 1. Plantilla básica del cronograma de la evaluación ........................................................ 30
3
Guía de recomendaciones para la evaluación
1. Introducción
El entorno físico y social en el que vivimos influye notablemente en la forma en la que
experimentamos el envejecimiento y las oportunidades que ofrece el hecho de
envejecer. La Organización Mundial de la Salud (OMS) impulsa la Red Mundial de
Ciudades y Comunidades Amigables con las Personas Mayores con el objetivo de
contribuir a la creación de entornos físicos y sociales que promuevan y faciliten un
envejecimiento saludable y satisfactorio, y de esta forma mejorar la calidad de vida de
las personas mayores y facilitar que continúen participando en la sociedad de manera
plena y activa. Las ciudades y comunidades amigables con las personas mayores
mejoran el acceso a servicios clave y permiten que las personas sean y hagan lo que
valoran.
El Instituto de Mayores y Servicios Sociales (Imserso), en virtud del acuerdo de
colaboración con la Organización Mundial de la Salud (OMS), es el organismo en España
afiliado a esta Red con el objetivo de impulsar y consolidar la Red de Ciudades y
Comunidades Amigables con las Personas Mayores en nuestro país.
Entre sus funciones está la de elaborar herramientas que faciliten y orienten el proceso
de creación de entornos amigables en los municipios que forman parte de la Red,
acordes con los principios y los pasos establecidos por la OMS para este proceso de
mejora continua del entorno local en el que vivimos:
4
Guía de recomendaciones para la evaluación
5
Guía de recomendaciones para la evaluación
Servicios
Respeto e Participación Comunicación
sociales y de
inclusión social cívica y empleo e información
salud
6
Guía de recomendaciones para la evaluación
7
Guía de recomendaciones para la evaluación
La Ins�tucionalización de la evaluación
La Ley 27/2022, de 20 de diciembre, de ins�tucionalización de la evaluación
de polí�cas públicas en la Administración General del Estado fue aprobada
en 2022 con el obje�vo de “ins�tucionalizar la evaluación como herramienta
de aprendizaje colec�vo y organiza�vo, de mejora del servicio público,
rendición de cuentas y transparencia, contribuyendo a la eficacia y eficiencia
de la acción pública”, y en el marco de la «Modernización de las
Administraciones Públicas» e incluida en el componente 11 del Plan de
Recuperación, Transformación y Resiliencia.
8
Guía de recomendaciones para la evaluación
El Ayuntamiento en
Existe un problema o
colaboración con los agentes
situación social que se
participantes propone un
quiere resolver o mejorar
programa para su solución
Toma de
decisiones para IMPLICARSE Y PLANIFICAR
mejorar o cambiar COMPRENDER ESTRATÉGICAMENTE
el programa
ACTUAR E
EVALUAR
IMPLEMENTAR
El programa se pone en
¿Se ha resuelto total o marcha y se despliegan
¿Se avanza todas las acciones
parcialmente el problema
según lo
inicial?
previsto?
9
Guía de recomendaciones para la evaluación
como los que serían necesarios en caso de que fuera externalizada mediante un contrato
o asistencia técnica 1.
1. Identificación del objeto de evaluación. Decidir qué intervención o programa se
va a evaluar y cuál es la motivación para ello.
1
Es importante tener presente que no hay un solo tipo de evaluación. A fin de evitar una
complejidad metodológica que excedería los propósitos de esta guía, estamos simplificando y
poniendo los pasos más comunes y frecuentes. Estos podrían cambiar en función de las
necesidades institucionales, las características del programa, las exigencias metodológicas de la
propia evaluación, etc.
10
Guía de recomendaciones para la evaluación
3. Diseño de la evaluación 2
o Determinación de las especificaciones metodológicas de la evaluación.
Parte de la metodología ya se habrá adelantado en los términos de
referencia, pero aquí deberá trazarse de forma más concreta.
o Desarrollo de las herramientas y técnicas de recogida de información:
diseño de cuestionarios, guiones de entrevistas, matrices de indicadores,
etc.
o Planificación y preparación de todo el trabajo de campo. Ajuste del
cronograma inicial.
2
Si se cuenta con un equipo externo, este trabajo de diseño y el posterior hasta contar con un informe
final generalmente lo realizan los expertos externos, ya que cuentan con el conocimiento metodológico
para lograr una evaluación robusta. Este trabajo de diseño y concreción inicial se suele plasmar en un
informe inicial o también denominado “de arranque” que deberá ser validado por la entidad gestora o
comité de seguimiento si lo hubiera.
11
Guía de recomendaciones para la evaluación
6. Elaboración de informes
o Redacción de informe final, informe ejecutivo, anexos y otros materiales.
o Preparación o sistematización de la documentación analizada y datos
extraídos para su almacenaje, entrega y posterior utilización.
7. Difusión de resultados
o Publicación del informe final.
o Presentación de resultados.
o Elaboración de productos adicionales para maximizar la utilización de los
resultados: infografías, artículos, presentaciones, etc.
12
Guía de recomendaciones para la evaluación
13
Guía de recomendaciones para la evaluación
14
Guía de recomendaciones para la evaluación
Por ello, es preciso valorar qué decisiones hay que tomar en el ayuntamiento en
un futuro próximo para las que es preciso realizar la evaluación; cuándo se tienen
que tomar esas decisiones; qué información se espera encontrar en el informe.
Esto nos ayudará a identificar la información realmente necesaria para la toma
de decisiones, nos guiará en el diseño de la evaluación y ayudará a evitar una serie
de preguntas genéricas que no siempre se ajustan a las necesidades o los recursos
de cada institución.
15
Guía de recomendaciones para la evaluación
No hay nada más inútil que ofrecerle una solución a quien no percibe
que tiene un problema.
16
Guía de recomendaciones para la evaluación
A partir de esta reflexión podremos definir los objetivos, que deberán ser pocos para
focalizar el análisis; las preguntas de evaluación ayudarán a incorporar más detalle sobre
la información necesitada. A partir de los objetivos y preguntas, el equipo evaluador
necesitará desarrollar los indicadores o hacer sugerencias de preguntas adicionales o
subpreguntas. Por ello, cuanto mejor definidos estén los objetivos y las preguntas, más
probable será que el trabajo desarrollado esté bien ajustado a la realidad del programa
y las necesidades de información.
Ejemplos de objetivos
El equipo o personal del ayuntamiento encargado de la gestión de la evaluación
deberá determinar qué objetivos podrán cubrir mejor las necesidades informativas
en cada caso. Para ello es interesante hacer un proceso participativo en el que
intervengan tanto tomadores de decisiones como personal implicado en el programa.
Frecuentemente, se incorporan también los intereses de personas usuarias o
beneficiarias. Aquí incluimos sólo algunos ejemplos:
• Medir en qué grado se han alcanzado los resultados previstos en el programa.
• Conocer los efectos del programa en la mejora de la vida social de las personas
mayores y sus familias.
• Analizar la sostenibilidad financiera, social y medioambiental de las zonas para
el ejercicio, actividad y socialización desarrolladas por el programa.
• Identificar los factores de éxito y las lecciones aprendidas del primer ciclo del
plan de amigabilidad del municipio.
17
Guía de recomendaciones para la evaluación
Es preferible diseñar una evaluación con pocas preguntas y bien escogidas en base a
la información que se necesita que insertar un listado estandarizado.
18
Guía de recomendaciones para la evaluación
PERTINENCIA
COHERENCIA
3
Criterios de evaluación del Comité de Ayuda al Desarrollo (CAD) de la Organización para la Cooperación
y el desarrollo Económico (OCDE).
https://www.oecd.org/dac/evaluation/daccriteriaforevaluatingdevelopmentassistance.htm
4
https://www.betterevaluation.org/
19
Guía de recomendaciones para la evaluación
EFICIENCIA
EFICACIA
20
Guía de recomendaciones para la evaluación
• ¿Se han cumplido todos los objetivos del Programa? En caso de no haberse
cumplido, ¿cuáles han sido los factores de influencia?
IMPACTO
SOSTENIBILIDAD
5
La evaluación del impacto requiere de metodologías específicas que no son aplicables en todas las
evaluaciones. Se sugiere valorar de forma realista la factibilidad de analizar impactos. No obstante, a pesar
de que no se pueda evaluar el impacto como tal, en ocasiones es interesante también considerar la
posibilidad de analizar posibles efectos a medio plazo, aunque no pueda establecerse cadena causal clara
con la intervención.
21
Guía de recomendaciones para la evaluación
Uno de los retos que surgen en la práctica de la evaluación es disminuir las dificultades
y resistencias a la misma, ya que, quizá por desconocimiento, desconfianza o por
asociarla con sanciones y control, con frecuencia la evaluación genera rechazo, en lugar
de ser percibida como una oportunidad de mejora y aprendizaje. Algunas sugerencias
para vencer las posibles reticencias a la evaluación incluyen hacer públicos los criterios
que se utilicen o especificar las repercusiones. La percepción de la evaluación como algo
difícil, complejo y con utilidad dudosa, exige una especial atención para cambiar dicha
percepción a una más favorable. Igualmente hay que evitar el debate basado en la
comparación con logros alcanzados en otros pueblos o ciudades con distintas realidades
sociales y favoreciendo que dicho debate se redirija a otras cuestiones de contenido que
permitan el aprendizaje como la evaluación de resultados o la participación en la
selección y adaptación de indicadores.
22
Guía de recomendaciones para la evaluación
Se pueden distinguir diferentes tipos de indicadores. Aquí, siguiendo la Guía para el uso
de los indicadores básicos de la OMS (2015), distinguiremos en función de la fase a la
que se refieran los indicadores:
a) Aportaciones: para analizar los recursos y estructuras que funcionan como
factores facilitadores principales, p. ej. compromiso político, colaboración con
otras partes interesadas, recursos humanos y financieros, etc.
b) Productos: con los que analizar las intervenciones realizadas orientadas a crear
un entorno amigable con las personas mayores, p. ej. programas culturales o
recreativos.
c) Resultados: para observar cambios a corto o medio plazo destinados a crear
entornos amigables, p. ej. facilidad en el tránsito peatonal o participación en la
toma de decisiones.
d) Impacto: para detectar cambios a largo plazo como resultado de la mejora del
entorno amigable a las personas mayores, p. ej. mejoras en la salud o el bienestar
de las personas mayores de la comunidad.
En función de lo que queramos analizar y en qué punto estemos del proceso de cambio
seleccionaremos unos indicadores u otros. Los indicadores de producto enfatizan el
23
Guía de recomendaciones para la evaluación
En la mencionada Guía para el uso de los indicadores básicos (OMS, 2015), se proponen
unos indicadores básicos, que cada municipio podrá adaptar a su contexto particular y
a las actividades en las que trabaja. Se pueden encontrar en la guía ejemplos de
adaptación de indicadores de entorno físico, de entorno social y calidad de vida o de
equidad en diferentes localizaciones geográficas. Esta guía supone un recurso muy
valioso y recomendable para la selección de indicadores de seguimiento o de evaluación.
A lo largo del tiempo, los indicadores y sus definiciones se perfeccionan al igual que
sucede en cada localidad con sus definiciones en caso necesario, teniendo en cuenta la
práctica, las pruebas científicas y la retroinformación de las personas usuarias y de la red
española y global de pueblos y ciudades que comparten experiencias. Por lo tanto, la
selección y definición de estos han de personalizarse en cada localidad en particular. Si,
por ejemplo, se quisiera medir la participación en actividades socioculturales, un posible
indicador podría ser la proporción de personas mayores que acuden a eventos o
instalaciones culturales locales, por tanto, en dicho caso se sugeriría analizar los datos
de cultura o los datos de visitantes aportados por las instalaciones. Si el indicador a
utilizar para medir dicha participación fuese la proporción de personas mayores que
afirman haber participado en actividades socioculturales por iniciativa propia al menos
una vez en la última semana, una encuesta a residentes mayores proporcionaría dicha
información (OMS, 2019).
24
Guía de recomendaciones para la evaluación
Antes de la elaboración y cierre del informe final, el equipo evaluador deberá presentar un
borrador de informe final, que deberá incluir el contenido completo del informe para poder ser
objeto de análisis y valoración por el comité de gestión o la estructura de gestión que haya en
cada caso.
Una vez recogidas todas las valoraciones y sugerencias, el equipo de evaluación deberá
analizarlas y considerarlas a la luz de las evidencias recogidas e incorporar las que correspondan
en el informe final.
Cada informe es diferente, pero a continuación se propone una estructura que recoge todos los
apartados necesarios:
1. Introducción
2. Antecedentes y objetivos de la evaluación
a. Condicionantes y límites del estudio realizado
b. Presentación del equipo de trabajo
c. Descripción del objeto evaluado
3. Metodología
4. Resultados (organizados por criterios y dando clara respuesta a las
preguntas planteadas)
5. Conclusiones de la evaluación vinculadas a los criterios o preguntas
6. Recomendaciones preferiblemente vinculadas a los destinatarios de la
evaluación
7. Lecciones aprendidas (opcional)
8. Anexos
25
Guía de recomendaciones para la evaluación
26
Guía de recomendaciones para la evaluación
Hay que tener en cuenta que los y las profesionales del sector podrán estar interesados
en leer un informe completo, pero muy probablemente no ocurrirá así con la persona
responsable de la dirección o la concejalía, ya que su tiempo disponible para la lectura
27
Guía de recomendaciones para la evaluación
28
Guía de recomendaciones para la evaluación
29
Guía de recomendaciones para la evaluación
30
Guía de recomendaciones para la evaluación
31