30/04/2018

BLOQUE 3: CÓMO DISEÑAR LA

EVALUACIÓN DE UN PROGRAMA O
POLÍTICA PÚBLICA Y CÓMO
PRESENTAR LOS RESULTADOS

Tema 5: El encargo de evaluación. El objeto de

evaluación y la lógica de la intervención: programas y
políticas públicas. El informe preliminar.

BLOQUE 3: CÓMO DISEÑAR LA

EVALUACIÓN DE UN PROGRAMA O
POLÍTICA PÚBLICA Y CÓMO
PRESENTAR LOS RESULTADOS

Tema 5.2: La lógica de la intervención.

1
 30/04/2018

Objetivos que nos planteamos con la sesión

1- Que sepáis diseñar la evaluación de una política o un programa.

2- Que seáis capaces de hacer un árbol de problemas y un árbol de

objetivos.

3- Qué seáis capaces de reconstruir la lógica de la intervención.

4- Que sepáis identificar la teoría del cambio.

2º Criminología – Curso 16/17 Evaluación de programas y políticas públicas

Índice de contenidos

1. El contexto de la intervención.
2. La definición del problema. El árbol de problemas.
3. La lógica de la intervención.
4. La teoría del cambio.

2
 30/04/2018

0. Introducción

0. Introducción

3
 30/04/2018

0. Introducción

FASE 2: LA LÓGICA DE LA INTERVENCIÓN

Consiste en analizar la génesis de la intervención, reconstruyendo por
qué la misma tuvo lugar y se diseñó así.

Es necesario realizarla porque las intervenciones suelen tener carencias en

su diseño: falta de un diagnóstico previo, falta de una teoría causal para
abordar el problema, objetivos mal definidos, resultados previstos pero sin
indicadores, etc.

Fases:
1. Descripción del contexto de la intervención.
2. Identificación del problema que la intervención quiere abordar.
3. Reconstrucción de la lógica de la intervención, explicitación de la
teoría del cambio e hipótesis en que se sustenta.

1. El contexto de la intervención

Se trata de un reconocimiento del contexto social, político, económico,

etc., en que se diseña la intervención.

Es muy probable que el contexto no coincida con el del momento en

que se realiza la evaluación.

Exige revisar al menos los siguientes ámbitos contextuales:

El equilibrio de fuerzas políticas.
Los marcos legales o administrativos que restringían o
condicionaban la intervención.
La coyuntura económica.
Los valores socioculturales imperantes (cambios similares en países
vecinos, procesos de lucha social…)
Situaciones de emergencia social que pudieran estar en la base de la
intervención (una catástrofe, determinadas muertes violentas…)

4
 30/04/2018

1. El contexto de la intervención

Ejemplo: El convenio de EpD de Universidad de Málaga

- Político: el equilibrio de fuerzas político en Andalucía era similar, si

bien hay que considerar que el bipartidismo era más fuerte.
- Legal: el Plan Estratégico era otro, pero muy similar al PACODE.
- Económico: En 2011 las Agencias seguían financiando intervenciones
en el ámbito de la cooperación con mayor holgura económica.
- Sociocultural: La crisis todavía no había puesto en el punto de mira
actuaciones de este tipo. Había una cultura de que la solidaridad es
bueno trabajarla en todos los ámbitos, incluido el universitario.
- De emergencia: Ninguna situación especial de emergencia
desencadenó la intervención.

¿Y LOS VUESTROS?

2. Identificación del problema

En principio, toda intervención política debería ponerse en marcha para
abordar un problema público. Especialmente, cuando el mismo no
puede ser resuelto por la interacción privada de los individuos que viven
en esa sociedad.

Sin embargo puede ocurrir:

o Que factores como la ideología, la presión de determinados actores
(lobby) o el oportunismo político pueden llevar a que se realicen
programas y políticas que no responden claramente a un
problema.
o Que en el diseño de la intervención no se mencione claramente
la problemática a abordar.

El objetivo de esta fase es conocer si en el diseño de la intervención se

han analizado todas las facetas del problema. Y si no ha sido así,
realizar un análisis propio del problema: el Árbol De Problemas.

5
 30/04/2018

2. Identificación del problema

Metodología para el análisis del problema: el árbol de problemas

Identificar los problemas existentes en la realidad donde se ha

intervenido. Escribir cada problema, por separado, en un post-it.

Determinar cuál ha sido, dentro de los problemas identificados, el

problema central, aquél que ha tratado de abordar la intervención.
Colocar este post-it en el centro del folio (el tronco del árbol).

Determinar las causas que provocan ese problema central. Situar esos
post-it en el nivel inferior (las raíces) del problema. Seguir avanzando
hacia abajo preguntándose por las causas de las causas. [Distinguir las
causas estructurales (no abordables por la intervención), por ejemplo
sombreándolas en gris].

Establecer los efectos o consecuencias provocados por el problema

central. Situar esos post-it en nivel superior (las ramas) del árbol.

2. Identificación del problema

Metodología para el análisis del problema: el árbol de problemas

6
 30/04/2018

2. Identificación del problema

Metodología para el análisis del problema: el árbol de problemas

2. Identificación del problema

Menor calidad Bajo potencial Menores
de vida productivo local remuneraciones

Deficiente
Postergación de Mayor costo de Menor
calificación
otras necesidades producción rendimiento
laboral

Alta tasa de Mayor Mayor inasis-

Elevados costos
mortalidad inasistencia tencia y repi-
de atención de
laboral tencia escolar
salud

Alta tasa de enfermedades en la localidad

Malos Deficiente Contaminación Ambiente

hábitos de acceso a centros del agua contaminado e
higiene de salud insalubre

Falta de Inexistencia Mal manejo de

educación en de los residuos
higiene alcantarillado sólidos

Vías a centros vecinos No hay atención

en malas condiciones en la localidad

7
 30/04/2018

2. Identificación del problema

Inseguridad
ciudadana

Escaso nivel de Alcoholismo y

Creciente
aplicación de la Malas condiciones vida drogadicción
narcotráfico
ley y las políticas

Ingresos escasos e
irregulares

Desempleo Desintegración
familiar

2. Identificación del problema

Cada enunciado responde a una realidad, no a problemas

posibles o futuros (deben ser probados con hechos)
Los enunciados son precisos y concretos. (No: “Salud”)
De forma general, los problemas no deben estar formulados
como “falta de soluciones”. En vez de: “Falta de fondos para las
actividades…” mejor decir “Funcionamiento deficiente de la organización”.
Cada enunciado menciona solamente un problema.
Las relaciones entre causa y efecto son lógicas y comprensivas.
Cada problema tiene por debajo todas las causas directas que
lo componen, y por encima, todos los efectos que produce (ojo! No
siempre las relaciones son en un solo sentido, puede haber
retroalimentaciones entre problemas o un mismo problema aparecer
varias veces, etc.).

8
 30/04/2018

2. Identificación del problema

Metodología para el análisis del problema: el árbol de problemas

¿Y LOS VUESTROS?

2. Identificación del problema … y de la solución

Metodología para el análisis del problema: el árbol de objetivos

Consiste en “darle la vuelta” a los problemas identificados en el árbol

de problemas: formular en positivo cada problema (los que son
abordables en el marco de la intervención –los no sombreados–).

Del árbol de soluciones debería derivarse la lógica de la intervención,

es decir, qué actividades habría que haber puesto en marcha en la
raíz de la problemática: atacar desde las raíces del árbol.

Eso permitiría ver qué resultados intermedios habría que haber ido
alcanzando para conseguir finalmente el objetivo central: transformar
el problema central.

Eso debería dar lugar a unos impactos positivos: convertir los efectos
negativos del árbol de problemas en efectos positivos para la
sociedad.

9
 30/04/2018

2. Identificación del problema … y de la solución

Metodología para el análisis del problema: el árbol de objetivos

2. Identificación del problema

Menor calidad Bajo potencial Menores
de vida productivo local remuneraciones

Deficiente
Postergación de Mayor costo de Menor
calificación
otras necesidades producción rendimiento
laboral

Alta tasa de Mayor Mayor inasis-

Elevados costos
mortalidad inasistencia tencia y repi-
de atención de
laboral tencia escolar
salud

Alta tasa de enfermedades en la localidad

Malos Deficiente Contaminación Ambiente

hábitos de acceso a centros del agua contaminado e
higiene de salud insalubre

Falta de Inexistencia Mal manejo de

educación en de los residuos
higiene alcantarillado sólidos

Vías a centros vecinos No hay atención

en malas condiciones en la localidad

10
 30/04/2018

2. Identificación del problema … y de la solución

Mayor calidad de Buen potencial Mayores
vida productivo local remuneraciones

Priorización de otras Menor costo de Mayor Adecuada calificación

necesidades producción rendimiento laboral

Baja tasa de Moderados costos de Menor Menor inasis-tencia y

mortalidad atención de salud inasistencia repi-tencia escolar
laboral

Baja tasa de enfermedades en la localidad

Buenos hábitos de Adecuado acceso a No hay contami- Ambiente descon-

higiene centros de salud nación del agua taminado y sano

Existe educación en Existe Buen manejo de los

higiene alcantarillado residuos sólidos

Vías a centros vecinos en Hay atención en la

buenas condiciones localidad

2. Identificación del problema … y de la solución

Metodología para el análisis del problema: el árbol de problemas

¿Y LOS VUESTROS?

11
 30/04/2018

3. La lógica de la intervención
PARA EL ANÁLISIS DE RESULTADOS E IMPACTOS

Lo vamos a ver siguiendo el Enfoque de Marco Lógico.

Se trata de una estructuración del contenido de la intervención

evaluada presentando de una forma sistemática y lógica los objetivos,
resultados y actividades de la misma y sus relaciones causales.

Si las políticas están mal diseñadas o si falta lógica, el marco lógico

revelará las contradicciones, aunque no pueda por si solo establecer
mejores políticas.

La lógica de la intervención debería derivarse casi directamente del

árbol de objetivos, aunque no siempre es así.

3. La lógica de la intervención
Estructura del Enfoque de Marco Lógico.

12
 30/04/2018

3. La lógica de la intervención

Objetivo general: Objetivo social superior al

que deberá contribuir la intervención.
Objetivo específico: Describe los efectos
esperados con la intervención (propósito del
proyecto) para los beneficiarios directos
Resultados: Objetivos que la dirección del
programa debe lograr y mantener durante la
vida del mismo.
Actividades: Acciones que la intervención
deberá llevar a cabo para obtener los
resultados.
Insumos: Medios materiales y no materiales
para llevar a cabo las actividades planificadas.
Hipótesis: Condiciones ajenas al programa
que deben existir para que éste tenga éxito

3. La lógica de la intervención

Insumos: Medios materiales y no materiales

para llevar a cabo las actividades planificadas.

Recursos con los que cuenta el proyecto:

- Presupuesto económico.
- Trabajo de voluntarios.
- Contribuciones privadas.
- Otras colaboraciones necesarias.

13
 30/04/2018

3. La lógica de la intervención
Presupuesto de la intervención

¿Y LOS VUESTROS?

3. La lógica de la intervención
CENTRADO EN EL ANÁLISIS DE LOS RESULTADOS

Objetivo específico: Describe los efectos

esperados con la intervención (propósito del
proyecto) para los beneficiarios directos
Resultados: Objetivos que la dirección del
programa debe lograr y mantener durante la
vida del mismo.
Actividades: Acciones que la intervención
deberá llevar a cabo para obtener los
resultados.

Se deben derivar directamente del árbol de

objetivos, sea éste en su totalidad o, si se trata de
un problema complejo, de una de las raíces y
ramas del mismo.

14
 30/04/2018

3. La lógica de la intervención
CENTRADO EN EL ANÁLISIS DE LOS RESULTADOS

OBJETIVO ESPECÍFICO

RELACIÓN CAUSAL
RESULTADOS

DIRECTA
ACTIVIDADES

3. La lógica de la intervención
CENTRADO EN EL ANÁLISIS DE LOS RESULTADOS

Vías a
Hay No hay
Existe centros Buen
atención de contami-
educación vecinos en Existe manejo de
salud en la nación del
en higiene buenas alcantarillado los residuos
localidad agua
condiciones sólidos

Curso de
capacita- Construc- Mejorar la
Mejora- Construc- Construc-
ción en ción de recolección
miento del ción de un ción de una
higiene sistema de y la
camino a la centro de planta de
personal y alcantari- disposición
ciudad salud tratamiento
manejo de llado final
alimentos

15
 30/04/2018

3. La lógica de la intervención
Matriz de marco lógico

¿Y LOS VUESTROS?

3. La lógica de la intervención… y la teoría del cambio

CENTRADA EN EL ANÁLISIS DE LOS IMPACTOS

Objetivo general: Objetivo social superior al

que deberá contribuir la intervención.

Se abordan desde la lógica de la teoría del

cambio.

16
 30/04/2018

3. La lógica de la intervención… y la teoría del cambio

CENTRADA EN EL ANÁLISIS DE LOS IMPACTOS

OBJETIVO GENERAL

RELACIÓN CAUSAL
INDIRECTA
OBJETIVO ESPECÍFICO

3. La lógica de la intervención… y la teoría del cambio

CENTRADA EN EL ANÁLISIS DE LOS IMPACTOS
Consiste en identificar cuál fue la base teórica o paradigma desde la
que trabajó el planificador para considerar que el problema identificado
podía ser solucionado con la intervención que puso en marcha.

Esa base teórica o esa lógica le permite enunciar una relación de

causalidad: cabe esperar que la intervención lleve de una situación
inicial problemática a una situación final resuelta.

La Teoría del cambio busca explicitar esa relación causal entre el

problema abordado y las intervenciones puestas en marcha para
hacerle frente, mostrando cómo el cambio se llevaría a cabo.

Para que ese cambio sea posible se han de cumplir unas hipótesis que,
de no producirse, pondrían en riesgo el éxito de la intervención.

17
 30/04/2018

3. La lógica de la intervención… y la teoría del cambio

CENTRADA EN EL ANÁLISIS DE LOS IMPACTOS
Por tanto, los elementos centrales de la teoría del cambio son:

o La base teórica de la que se parte: ¿el problema se ve como una

cuestión individual o social? ¿es un problema con una
componente cultural? ¿existen ideas preconcebidas sobre cómo
abordarlo?

o La relación de causalidad que subyace en la intervención: ¿qué

mecanismos hay que poner en marcha para solucionar el
problema? ¿cómo llevan estos mecanismos a abordarlo?

o Las hipótesis o supuestos que subyacen a la intervención: ¿qué

elementos podrían haberse dado que hubiesen imposibilitado el
alcance de los objetivos?

3. La lógica de la intervención… y la teoría del cambio

CENTRADA EN EL ANÁLISIS DE LOS IMPACTOS

18
 30/04/2018

3. La lógica de la intervención… y la teoría del cambio

CENTRADA EN EL ANÁLISIS DE LOS IMPACTOS

3. La lógica de la intervención… y la teoría del cambio

OUTPUTS
OBJETIVOS
INPUTS (PRODUCTOS OUTCOMES
(PROBLEMA ACTIVIDADES
(RECURSOS) o (IMPACTOS)
A ABORDAR)
RESULTADOS)

19
 30/04/2018

3. La lógica de la intervención… y la teoría del cambio

¿Y LOS VUESTROS?

o ¿Cuál es la base teórica de la que se parte?

o ¿Cómo podríamos dibujar la relación de causalidad que subyace

en la intervención?

SI ENTONCES

o ¿Cuáles son las hipótesis o supuestos que subyacen a la

intervención?

3. La lógica de la intervención… y la teoría del cambio

Hipótesis: Condiciones ajenas al programa

que deben existir para que éste tenga éxito.

La lógica de la intervención está basada en una

sucesión de conexiones causales.

Pueden existir factores externos que lleven a que

no se cumplan esas conexiones causales que EN
CIRCUNSTANCIAS NORMALES se darían.

20
 30/04/2018

3. La lógica de la intervención… y la teoría del cambio

OUTPUTS
OBJETIVOS
INPUTS (PRODUCTOS OUTCOMES
(PROBLEMA ACTIVIDADES
(RECURSOS) o (IMPACTOS)
A ABORDAR)
RESULTADOS)

Hipótesis o Hipótesis o Hipótesis o Hipótesis o

supuestos supuestos supuestos supuestos

3. La lógica de la intervención… y la teoría del cambio

¿Y LOS VUESTROS?

En los programas que estáis evaluando, tenéis dos alternativas:

- Que exista marco lógico:

- En este caso, tendréis que realizar vosotros el marco lógico y
compararlo con el del programa, para ver si la lógica con la
que se puso en marcha el mismo tiene sentido.

- Que no exista o no esté explicitado el marco lógico:

- Tendréis que realizar vosotros el marco lógico, y evaluar si lo
que se hizo pudo responder con lógica a la situación
problemática que trataba de abordar.

21
 30/04/2018

Recapitulando

¿Hemos alcanzado los objetivos que nos planteábamos?

1- Que sepáis diseñar la evaluación de una política o un programa.

2- Que seáis capaces de hacer un árbol de problemas y un árbol de

objetivos.

3- Qué seáis capaces de reconstruir la lógica de la intervención.

4- Que sepáis identificar la teoría del cambio.

Recapitulando

27. El análisis del encargo: caracterización del objeto de

evaluación
28. El análisis del encargo: delimitación de la evaluación
29. La identificación de la problemática: ¿para qué y cómo se
utilizan el árbol de problemas y el árbol de objetivos?
30. La lógica de la intervención: definición y estructura del
Marco Lógico.
31. La teoría del cambio: definición y elementos de los que está
compuesta.

22
 30/04/2018

GRACIAS, Y SED FELICES

23