Evaluación de

políticas públicas

Prof. Tamyko Ysa

Institut de Direcció i Gestió Pública
(ESADE)
Tamyko.ysa@esade.edu
 Definición evaluación
Joint Committee Standard Education

Recoger y analizar sistemáticamente una

información para poder determinar el
valor o mérito de una intervención
 Definición evaluación
Xavier Ballart

ƒ Producción de información que sirva a los

gestores públicos para tener una idea sobre la
calidad de los servicios que están produciendo, en
función de lo que se estime como valor.

ƒ Evaluación como técnica que busca producir

información útil a las Administraciones públicas
para mejorar:
– Los procesos de decisión y planificación
– El funcionamiento y la gestión de las operaciones diarias
– Los resultados finales en relación a los recursos invertidos
 Propósitos de la evaluación

Comprensión,ilustración
Comprensión, ilustración
(enlightenment)
(enlightenment)

Rendimientode
Rendimiento decuentas
cuentas Mejora
Mejora
(accountability)
(accountability) (improvement)
(improvement)

•Aceptación por la institución de la responsabilidad de evaluarse a sí misma

•Garantía y comprobación de seriedad y eficacia en la utilización de fondos públicos
•Cómo se gasta+ justificación en términos de resultados obtenidos= costo/eficacia
•Exigencia de responsabilidades (y sanciones)
•Comparar programas (assessment)
 Propósitos de la evaluación
ƒ Ilustración , comprensión (enlightenment)
Ilustrar, aclarar, dar luz, comprender qué está pasando y cómo funciona el
programa. La evaluación suele producir un cambio, dota de nuevos significado
sobre la realidad del programa y de su intervención.

ƒ La retroalimentación o mejora (improvement)

Es una manera de recibir “feedback” sobre las acciones, intervenciones o
programas que se llevan a cabo, un modo de mejorar y progresar. La
evaluación puede ser un proceso de aprendizaje de la propia intervención.

ƒ El control de responsabilidades y rendimiento de cuentas (accountability)

“Rendir cuentas” en la acepción más flexible del término, no se restringe
exclusivamente a los aspectos económicos sino también a la responsabilidad
social y política, especialmente si las actividades llevadas a cabo se financian
con fondos públicos ya que el contribuyente tienen derecho a saber en qué y
cómo se está empleando el dinero público.
El cliente público: el ciudadano

CONTRIBUYENTE ELECTOR

CIUDADANO
CIUDADANIA

USUARIO SÚBDITO

©Serra
 Autoavaluació organitzativa
Model conceptual de la qualitat del servei

Servei esperat

Avaluació de Biaix 5
la satisfacció
Cartes
Servei percebut de serveis
Queixes i
suggeriments
Biaix 4
Prestació del servei Comunicació externa
Biaix 1 als usuaris
Biaix 3

Anàlisi de les Autoavaluació Especificacions de la

expectatives organitzativa qualitat del servei

Biaix 2

Percepcions dels directius

sobre les expectatives dels usuaris
 Modelo para la evaluación
Fines y Gestión del programa Clientes
objetivos Distribución de servicios (principio)
Cambio

Clientes
(final)
Decisiones
políticas EVALUACIÓN
 Mejora continua
Bucle de la calidad (Edward Deming)

BUCLE DE LA MEJORA

M E J O R A Y A P R E N D IZA J E

P la n ific a c ió n
M e jo ra

M e d ic ió n A c c ió n

E X C E L E N C IA
 Análisis de causalidad
La intervención procura conseguir
cambios
CAMBIOS EN LA
PROGRAMA,
REALIDAD
SERVICIO

EVALUACIÓN
 Razones para evaluar
1. Los procesos sociales sobre los que se
quiere influir se conocen sólo parcialmente
2. La información es imperfecta: base de la
definición de problemas y elección de
alternativas
3. Condicionamientos políticos= búsqueda de
consenso y soluciones de compromiso
4. Desviación de objetivos (ie conocimientos y
habilidades de la organización)
5. Impactos imprevistos de las políticas
 Cómo
capacidad para evaluar
Objetivos claros Objetivos poco claros

Medios conocidos

Medios no
conocidos
Los objetivos en el ámbito público

OBJETIVOS

ECONOMIA EFICIENCIA
EFICACIA
IMPACTO

RECURSOS PRODUCTOS RESULTADO

PROCESOS
INPUT OUTPUT OUTCOME

EFECTIVIDAD
BENEFICIO

VALOR
PÚBLICO

©Serra
Diferencia entre OUTCOMES y OUTPUTS

Mejora sociosanitaria de la
población

Habilidades Atención Control de

Toma de
conciencia para la vida primaria epidemias
Riesgo
 Fases de la evaluación:
proceso sistemático
1. MOTIVACIÓN PARA EVALUAR

2. DEFINCIÓN DE UNIDAD Y ANÁLISIS DE

CONTEXTO

3. NECESIDADES INFORMATIVAS

4. CRITERIOS DE VALOR, PREGUNTAS

RELEVANTES

5. OPERACIONALIZACIÓN DE CRITERIOS A 6. DISEÑO METODOLÓGICO

INDICADORES

7. BÚSQUEDA DE FUENTES Y DISEÑO DE TÉCNICAS

8. TRABAJO DE CAMPO

9. DATOS

10. INTERPRETACIONES

11. JUICIOS
12. RECOMENDACIONES

13. COMUNICACIÓN DE RESULTADOS

 Esquema sintético de efectos de una intervención
Al menos un objetivo intermedio (output) negativo

- + +
Esquema sintético de efectos de una intervención

Objetivo final (outcome) negativo y

objetivos intermedios (outputs) positivos

+ + +
Esquema sintético de efectos de una intervención
Objetivo final (outcome) positivo y
objetivos intermedios (outputs) negativos

+
- - -
Esquema sintético de efectos de una intervención
Todos los objetivos (outcome y outputs)
positivos

+
+ + +
Esquema sintético de efectos de una intervención

Todos los objetivos (outcome y outputs)

negativos

- - -
 Análisis posibles con la evaluación
ƒ Se ajusta el programa o dispositivo a las necesidades
prioritarias de la población. Si no es así cuáles son las dificultades
con las que se encuentra
ƒ Se explicita el análisis de causalidad que sustenta la intervención
que a veces está implícito.
ƒ El programa contribuye a lograr los cambios deseados .
ƒ Se constata la congruencia del modelo, ¿es lógico?
– Análisis de la coherencia interna.
– Revisión de sus componentes: ¿son necesarios? ¿son
suficientes?
ƒ ¿Implementación correcta?
ƒ ¿ Recursos adecuados?
¿Cambio de política –policy shift?
 ¿Policy shift?
ƒ Revisión del estado del problema:
– Nueva política
– Continuación de política existente
– Revisión de política
– Terminación de la política
 5 tradiciones en evaluación (X. Ballart)
1-Tradición filosófica
Idea del juicio de valor

ƒ Evaluador-juez finalista
ƒ Evaluar en base a necesidades sociales y no en
función de los objetivos de la Administración,
(“Goal-Free” Scriven)
– efectos reales y no supuestos: intencionados o no
– Nivel operativo: identificación efectos, determinación
criterios, qué necesidades valorar
– Imposición encubierta preferencias evaluador
 5 tradiciones en evaluación (X. Ballart)
2-Tradición positivista

Evaluación como “técnica”

para el análisis de causalidad básica

ƒ Evaluador-metodólogo
ƒ Evaluar efectos/objetivos para los financiadores
(en base a diseños que incluyen series temporales
– antes/después de la intervención - y grupos de
comparación).
 5 tradiciones en evaluación (X. Ballart)
3- Tradición del control de gestión

Idea de gestionar por resultados

ƒ Evaluador – controller interno

ƒ Evaluar es contar actividad, producto, y su
relación con recursos
(en base a indicadores y sistemas de control de
gestión)
 5 tradiciones en evaluación (X. Ballart)
4- Tradición constructivista
Idea de prestar un servicio a los principales actores
implicados en un programa o política

ƒ Evaluador – consultor - mediador – animador –

relator
ƒ Evaluar es compromiso:
– Mediar entre las distintas visiones que puedan tener sobre
un mismo programa o política distintos actores
– Fortalecer la capacidad de autoevalaución de los
participantes
– Proporcionar asistencia técnica
– Impulsar la capacidad de relaciones públicas
 5 tradiciones en evaluación (X. Ballart)
5- Tradición de la evaluación basada en la
teoría del programa
Tradición de la evaluación basada en
la teoría del programa

ƒ Idea de avanzar más allá del positivismo y de los

indicadores
ƒ Evaluador – analista
ƒ Evaluar es comprobar que la teoría del programa
se realiza en la práctica
(en base a recoger datos a lo largo del curso de un
programa con el propósito de responder a distintas
cuestiones sobre la medida en que se van
cumpliendo los pasos necesarios hasta alcanzar el
resultado previsto).
 S Supervisión Control
Cumplimiento
e de objetivos Seguimiento del uso
g de recursos
u
i
m

Seguimiento Procesos de
Acompañamiento evaluación
Asesoramiento Calidad de la política