Pautas para desarrollar la

(auto)evaluación de políticas públicas

 Índice de la sesión
• Una aproximación a la evaluación de políticas públicas

• Interrogantes para construir una evaluación de políticas

públicas

• Creación de indicadores e instrumentos para la gestión

de la información

• Ejercicio práctico
La evaluación de políticas públicas
 Tradiciones y perspectives de evaluación

• Lógica burocrática y de gestión

– Adecuación a la legalidad de los recursos y los gastos.
– Control administrativo llevado a cabo por los servicios de inspección
general o los tribunales de cuentas.
– Desempeño: grado de ejecución de actuaciones y presupuestos.
Control.

• Lógica de análisis de políticas públicas

– Entra de lleno en el terreno de los objetivos/cambio social buscado y su
relación con los resultados e impactos de la política pública.

– Definición:
“la medición sistemática de la operación o impacto de un programa o política pública, comparada
con estándares implícitos o explícitos en orden a contribuir a su mejoramiento¨ (Weiss, 1998).
• La evaluación ha de ser entendida como una parte más de la
propia política pública. No como un elemento externo.
– Plantear la evaluación en el momento del diseño de la política facilita
su desarrollo.
– Necesidad de incorporar la evaluación al “día a día” de la política

• La evaluación no es un fin en sí mismo. Es un instrumento

para la mejora de políticas públicas

• La evaluación debería servir para ofrecer información que

permita decidir sobre: finalizar la política,
continuarla/modificarla o sustituirla por una nueva.
 Evaluación y fases de las políticas públicas

• Creciente protagonismo de la evaluación en el ámbito de

las políticas públicas.

• Inicialmente se centraba únicamente en los efectos

(inmediatos, medio y largo plazo) de las políticas.

• Actualmente abarca también las fases anteriores (la

detección de necesidades, el diseño, la implementación).
Todo el ciclo de las políticas públicas.
 Evaluación de necesidades/del problema

• Analiza si la naturaleza y la magnitud del "problema" justifican la

existencia / continuidad del programa. Dimensionar el problema

• O si la política pública ha "fallado" en parte por tener una

comprensión inadecuada de la problemática

• ¿Cuál es el problema a resolver? Cuánta gente tiene el

problema? Cuánta gente se prevé que lo tendrá en el futuro?

• La evaluación de necesidades es especialmente oportuna como

primer paso para la planificación de un programa nuevo o en la
reforma de uno maduro.
 Evaluación del diseño
• El diseño de una política pública siempre implica una teoría
del cambio social que debe llevar a la resolución del
"problema".

• Sin embargo, no siempre es explícita ni unívoca. Llegar a

descifrarla y evaluar su validez es el reto de la evaluación
del diseño

• ¿Qué hipótesis constituyen la teoría del cambio social?

¿Son apropiadas y robustas estas hipótesis?

• ¿El diseño de la política es adecuado en relación a estas

hipótesis de cambio?
 Evaluación de la implementación
• La función de la implementación es determinar lo que el
programa realmente hace en comparación con las
previsiones del diseño:
– ¿El personal es suficiente y tiene la formación adecuada
(recursos)?
– ¿Las funciones administrativas, organizativas y de personal se
gestionan adecuadamente?
– ¿El programa está llegando a la "población objetivo"?

• La evaluación de la implementación permite valorar la

forma en que se desarrollan los objetivos operativos (no
resultados) del programa
– Detectar si hay aspectos que están siendo especialmente
problemáticos y por qué.
 Evaluación de resultados
• Valoración de las actividades y los resultados
inmediatos o outputs del programa:
o ¿Qué servicios, prestaciones o bienes están
produciendo?
o ¿Qué efectos tienen dichas prestaciones?
o ¿Se ajustan a lo que se pretendía?

• Productos o outputs (lo que hace el programa)

• Efectos o outcomes (efectos de estas acciones)
 Evaluación del impacto
• La evaluación de impacto se centra en averiguar si la
intervención efectivamente mitiga el problema que le da razón
de ser.

• La base es discernir si los grupos-objeto han modificado su

conducta como se pretendía (impactos)

• Y si la situación problemática se ha resuelto (los beneficiarios

finales están en mejor situación).

• Además, la evaluación de impacto intenta saber si se puede

atribuir o no la causalidad de estos cambios en el programa o en
la política que se evalúa
– El descenso de la siniestralidad en las carreteras se debe a la implantación
del carné por puntos o a otros factores?
 El ciclo de la política pública
DIAGNÓSTICO DISEÑO/TEORÍA DEL CAMBIO
/NECESIDADES
RECURSOS
DISPONIBLES/
OBJECTIUS
ACTUACIONES
PROBLEMA

PREVISTAS

IMPACTOS
RECURSOS USADOS/
ACTUACIONES
REALIZADAS

RESULTADOS
Preguntas para construir una evaluación
• De cara a diseñar una evaluación sólida y coherente
es necesario plantearse una serie de interrogantes
sobre dicho proceso.

• Es un trabajo previo necesario de cara a no cometer

errores y saber qué están tratando de “medir” los
indicadores.

• También es una información útil en el transcurso de

la evaluación y en el momento de recogida de la
información.
 Interrogantes

• ¿Cuál es el objetivo de la evaluación?

• ¿Qué agentes van a participar en el proceso?
• ¿En qué momento voy a hacer la evaluación?
• ¿Qué fase me interesa evaluar?
• ¿Recursos disponibles?
• ¿Qué quiero saber en relación al programa
evaluado/Preguntas de evaluación?
 Los objetivos de la evaluación
¿Cuál es el objetivo(s) de nuestra evaluación?
• Rendición de cuentas:
• Requerimiento formal
• Control administrativo, de legalidad y financiero
• Información y transparencia para la ciudadanía

• Toma de decisiones:
• Decidir la continuidad, suspensión, generalización o reducción de un
programa o política (para los decisores)

• Aprendizaje y mejora del programa evaluado

• No se decide la continuidad o no si no cómo mejorar (para los técnicos)
 Agentes involucrados
• ¿Quiénes serán los destinatarios de los
resultados de la evaluación?

• ¿Quién estará implicado en el proceso de

evaluación?
»Interna/ Externa/Mixta
»Centralitzada / descentralitzada
»Participativa o no (participación de
los actores invloucrados en la
política)
 El momento de la evaluación

• ¿En qué momento se hará la evaluación?

• Previa o Ex ante: ANTES de la implementación.
• Intermedia: DURANTE el proceso de implementación, ya sea de
forma puntual o continua.
• Final o Ex post: una vez finalizada la implementación.

• Determina en parte cómo plantear la evaluación.

 EL objeto de evaluación/fase
• Evaluación de NECESIDADES:
– Naturaleza del problema, personas afectadas, necesidades

• Evaluación del DISEÑO:

– Valoración de la coherencia, racionalidad, pertinencia del
programa de intervención

• Evaluación del PROCESO o de la IMPLEMENTACIÓN:

– Proceso de puesta en práctica, gestión y funcionamiento
del programa
• Evaluación de RESULTADOS
– Productos o outputs (lo que hace el programa)
– Efectos o outcomes (efectos de estas acciones)

• Evaluación del IMPACTO

– ¿Se ha incidido y “solucionado” el problema que ha
originado la política?
– Relación o no de dichos cambios con la política en sí
 Recursos disponibles

• ¿Qué volumen de recursos quiero/puedo dedicar a la

evaluación?
– Personas “encargadas” (una, todos los técnicos vinculados
a la política)
– Tiempo dedicado a recoger la información, al análisis, etc
– ¿Cada cuánto tiempo quiero hacer una recogida de la
información?
– ¿Qué fuentes de información tengo?
 Preguntas de evaluación
• Una vez “situados” los parámetro generales de la evaluación
conviene plantearse qué queremos saber de forma más
concreta en relación al programa abordado.

• La evaluación es el intento de dar respuesta a ciertas

preguntas sobre el rendimiento de los programas y políticas
públicas.

• Desarrollar estas preguntas es útil tanto para diseñar la

evaluación como en el momento de recoger la información e
interpretar los resultados
 Preguntas de evaluación
• Toda evaluación debe ser pensada en términos de las
preguntas que se quieren contestar.
– Qué es lo que se quiere saber, no qué es lo que se hace.
– Aparte de "se han hecho todas las reuniones previstas", las reuniones
han conseguido su objetivo sustantivo y cualitativo
– ¿Cuál es ese objetivo?

• Se puede pensar en las diferentes fases de la política y asociar

preguntas específicas
– Diseño, Implementación, Resultados, Impacto
• Comenzar con preguntas más generales e ir concretando
– Evitar preguntas excesivamente ambiciosas, ambiguas, para las cuales
no haya posibilidad de generar información, etc.

• Peligro de sobrecarga de preguntas.

– Necesidad de seleccionar y jerarquizar.
III. Creación de indicadores e instrumentos
para la recogida de información
• Los indicadores no tienen sentido en si mismos. Son formas
de medir la consecución de unos determinados objetivos

• Todo programa de intervención pública tiene unos objetivos

estratégicos (implícitos o explícitos)

• Dichos objetivos deben poder desgranarse en una sèrie de

objetivos operatives y/o líneas de actuación específicas

• Finalment, los indicadores son los instrumentos para dotar de

contenido a los objetivos operatives y estratégicos.
• Objetivos Estratégicos:
– El impacto esperado de la intervención. Los cambios que
se espera producir en relación al problema social inicial
– Incrementar en 4 años un 10% el número de jóvenes que
se inscriben en cursos de formación ocupacional

• Objetivos operativos:
– Cada objetivo estratégico tiene una serie de objetivos
operativos asignados
– Metas específicas y medibles que deben llevar a alcanzar
el objetivo estratégico
– Ejemplo: ofertar un 20% más de cursos en los próximos 2
años
 INDICADORES
• Unidades de información básicas que indican y señalan
algo.
– Medio de aproximación a una realidad no directamente
observable

Características buen indicador

• validez (debe medir realmente lo que se supone debe medir)
• confiabilidad (mediciones repetidas por distintos
observadores deben dar como resultado valores similares del
mismo indicador)
• sensibilidad (ser capaz de captar los cambios)
• especificidad (reflejar sólo cambios ocurridos en una
determinada situación)
• Es por definición cuantitativo
– Mide y cuantifica independientemente de la técnica utilizada
para recoger la información (encuestas, observación, ...)

• La construcción de la “ficha” de cada indicador es específica y

ha de responder a las necesidades/decisiones de cada
evaluación.
– Qué variables se incluyen

• Debe recoger la información necesaria para dotar de sentido

al indicador.
– No recoger información de forma gratuíta. Volvemos a la necesidad de
saber cómo y cada cuándo se intentarà rellenar la “ficha”
 Tipologies d’indicadors
= Subjetivo Vs Objetivo, no tiene que ver con la
•Cuantitativo metodología
•Cualitativo •Hechos y comportamientos (edad, paro)
•Percepciones y valores (ideología, opinión)
•Cifra absoluta, tasa
•Simple
•Construido en base a diversos ind simples del
•Complejo
mismo fenómeno (tasa paro, esperanza de vida)
•Sintético
•Agrupación de diversos ind. de un concepto
(índice satisfacción)
•Absolutos •Nº de …
•Relativos •% de…
•Definitorios o únicos
•Sexo, edad o estado civil.
•Correlativos o
•Calidad del empleo
multidimensionales
 Parametrización de los indicadores
DIMENSIÓN EJEMPLO

Proporción de cargos electos de responsabilidad pública

Nombre indicador ocupados por mujeres

Tipo (En función de para qué se use/ sistema indic)

Factor / objetivo clave Presencia equilibrada de hombres y mujeres en el poder político

Fórmula de cálculo del (Núm. de cargos electos ocupados por mujeres/ Total de cargos
indicador electos)*100

Fuentes de datos Registral. (Parlamento, Informe Cifras, Boletín Oficial).

Disponibilidad Disponible

Responsable EMAKUNDE

Periodicidad medición Cuatrienal

Última fecha estimación 2011

Factores de desagregación (sexo, territorio, edad…)

Elementos interpretativos Debilidades y fortalezas indicador
Comentarios y aspectos a tener en cuenta
Relación con el programa Ejes / medidas/ actuaciones con las que se vincula
Parametrización de los indicadores
 Vías de recogida de información
• Encuestas
– Cuestionarios cerrados, abiertos o mixtos
– Canales: presencial, en línea, teléfono o correo postal

• Explotación de las bases de datos administrativas (de usuarios,

entidades, ...)
– Previa estructuración, armonización e integración de los datos y
de los campos comunes

• Formularios ad hoc para la recogida de información

• Entrevistas, grupos de discusión, análisis documental, etc.

 La gestión de la información
• La disponibilidad de información determina las posibilidades
de la evaluación de resultados

• Tendencia creciente a sistemas de control de gestión

informáticos

• Suelen estar orientados a la sistematización de las

actuaciones realizadas y los resultados obtenidos
 Instrumento de gestión: PODIO
• PODIO: https://podio.com/login

• Facilita la visualización y vinculación de los diferentes

objetivos e indicadores

• Se pueden construir las fichas para la recogida de información

• Todos los miembros de un equipo pueden entrar, compartir

información y estar al tanto de la evolución del conjunto del
programa y la evaluación
• Facilita la descarga y el análisis de la información (Excel). No
hay que “introducir” la información varias veces.

• Permite cruzar información de diferentes indicadores a partir

de variables específicas (edad, género, unidad territorial).

• Puede ayudar a establecer unas ciertas pautas comunes en las

5 ciudades.
Ejercicio práctico
Preguntas sobre el programa de actuación
• ¿Cuál es la teoría del cambio detrás del plan de
actuación adoptado?

• ¿Qué hipótesis implica sobre cómo actuará el

programa, cómo tendrá efectos e impactará sobre el
problema original?

• ¿Cómo busca responder a todo ello el diseño del

programa?
 Preguntas sobre la evaluación
• ¿Cuál es el objetivo de la evaluación?
• ¿Qué agentes van a participar en el proceso?
• ¿En qué momento voy a hacer la evaluación?
• ¿Qué fase me interesa evaluar?
• ¿Recursos disponibles?
– ¿Quien (todos, uno), cómo (fichas) y cada cuanto recogerá
la información. Planificación realista
– ¿Cómo? Fuentes de información.
• ¿Qué quiero saber en relación al programa
evaluado/Preguntas de evaluación?
 Objetivos e indicadores
• ¿Cuáles serían los principales objetivos estratégicos
del programa?

• ¿Qué objetivos operativos/líneas de actuación tratan

de dar respuesta a los objetivos estratégicos?

• ¿Qué tipo de indicadores pueden vincularse a los

objetivos operatives/líneas de actuación?
FIN