Está en la página 1de 174

Gua prctica para el diseo y la realizacin de

evaluaciones de polticas pblicas


Enfoque AEVAL

Ministerio de Hacienda y Administraciones Pblicas


Agencia Estatal de Evaluacin de las Polticas Pblicas y la Calidad de los Servicios
2015

Gua prctica para el diseo y la realizacin de


evaluaciones de polticas pblicas
Enfoque AEVAL
COLECCIN:

GUAS

Primera edicin: 2015

Esta Gua ha sido elaborada por Celia Casillas, Mnica Maca, Marisa Merino, Mercedes Paja,
Javier Rico y Ana Ruiz. AEVAL.
Coordinacin y direccin: Ana Ruiz. Presidenta de AEVAL.

En conformidad con lo establecido en los artculos 15.2 y 37.3 del Real Decreto 1418/2006, de 1 de
diciembre, por el que se aprueba el Estatuto de la Agencia Estatal de Evaluacin de las Polticas Pblicas
y la Calidad de los Servicios (AEVAL), la Gua prctica para el diseo y la realizacin de evaluaciones de
polticas pblicas-Enfoque AEVAL- fue tratada en la reunin de la Comisin Cientfica y Profesional
celebrada el 17 de junio de 2015.

Agencia Estatal de Evaluacin de las Polticas Pblicas y la Calidad de los Servicios (AEVAL)
http://www.aeval.es
Esta Gua es propiedad de la Agencia Estatal de Evaluacin de las Polticas Pblicas y la Calidad de los
Servicios. Se puede reproducir libremente, en su totalidad o parcialmente, siempre que se cite la
procedencia y se haga adecuadamente, sin desvirtuar sus razonamientos.
Edita: Ministerio de Hacienda y Administraciones Pblicas. Agencia Estatal de Evaluacin de las Polticas
Pblicas y la Calidad de los Servicios.
Catlogo de Publicaciones Oficiales:
http://publicacionesoficiales.boe.es
NIPO: 632-15-008-3

Presentacin
La gua para el diseo y realizacin de evaluaciones de polticas pblicas es un proyecto en el
que ha venido trabajando la Agencia en los ltimos aos. Es verdad que su elaboracin se ha
dilatado en el tiempo, pero desde nuestra perspectiva no hubiese sido posible su realizacin
sin haber acumulado previamente un bagaje suficiente en la prctica de la evaluacin.
Esta gua es bsicamente el producto del aprendizaje colectivo de AEVAL en materia de
evaluacin de polticas pblicas desde su creacin. Sus contenidos reflejan los conocimientos y
la experiencia adquiridos por los evaluadores de la Agencia desde el ao 2007, ao en el que
abord su primer Plan de Trabajo de evaluaciones. La propia realizacin de la gua ha
permitido reflexionar sobre algunos aspectos relacionados con nuestra prctica evaluativa y
despejar algunas dudas conceptuales que no habamos debatido suficientemente en el
pasado. Ha constituido, por lo tanto, un proceso de aprendizaje adicional que, sin duda, nos
permitir realizar mejores evaluaciones en el futuro.
La gua posibilita abordar un proceso de evaluacin desde nuestra perspectiva, el enfoque
AEVAL. Este enfoque, que podramos denominar eclctico, no es estrictamente original, pues
incorpora elementos de diversas perspectivas doctrinales procedentes tanto del campo de la
evaluacin de polticas pblicas como del de la investigacin social. Responde a una
concepcin de la evaluacin en la que su funcin como instrumento para la rendicin de
cuentas constituye un elemento nuclear y a la conviccin de que la evaluacin tambin debe
contribuir a la construccin de valor pblico: a generar mejores polticas, para aumentar la
calidad de vida de los ciudadanos, y ciudadana, proporcionando herramientas para la
participacin, la transparencia y la responsabilidad.
Una segunda conviccin es que el progreso de la evaluacin en nuestro pas, su implantacin
como prctica cotidiana en todos los niveles de gobierno, va a depender fundamentalmente
de que seamos capaces de generar cultura evaluadora. Esto implica no solo sensibilizar y
convencer a responsables polticos y gestores de la necesidad de rendir cuentas de los
resultados alcanzados en la gestin de los recursos pblicos o de introducir una nueva cultura
de gestin en las organizaciones pblicas, sino tambin facilitar los instrumentos que
posibiliten su prctica. Este es el propsito que anima la confeccin de esta gua.
Finalmente, y coherentemente con uno de los principios que dirigen nuestra prctica
profesional, la mejora continua, la gua que ofrecemos a todos quienes estn interesados en
iniciar procesos de evaluacin, es una gua dinmica. Nuestra intencin es mejorarla
incorporando nuevas experiencias o aprendizajes de la Agencia y tambin a partir de la
revisin crtica y de las aportaciones de quienes la utilicen en el futuro.

Ana Mara Ruiz Martnez, presidenta de AEVAL.

ndice
CAPTULO I. INTRODUCCIN................................................................................................ 13
Introduccin ......................................................................................................................... 15
CAPTULO II. EL CONCEPTO DE EVALUACIN DE AEVAL ....................................................... 19
Las polticas pblicas ............................................................................................................ 21
La evaluacin de las polticas pblicas ................................................................................. 23
El enfoque de evaluacin de polticas pblicas de AEVAL ................................................... 25
Las caractersticas de la evaluacin desarrollada por AEVAL .............................................. 27
CAPTULO III. EL PROCESO DE EVALUACIN DE AEVAL ......................................................... 33
El proceso de evaluacin de AEVAL ..................................................................................... 35
FASE 1. EL ANLISIS DEL ENCARGO DE LA EVALUACIN ..................................................... 39
FASE 2. ANLISIS Y RECONSTRUCCIN DE LA LGICA DE LA INTERVENCIN ..................... 59
FASE 3. DISEO DE LA EVALUACIN .................................................................................... 87
FASE 4. TRABAJO DE CAMPO Y ANLISIS ........................................................................... 113
FASE 5. RESULTADOS DE LA EVALUACIN: EL INFORME DE EVALUACIN ....................... 116
FASE 6. COMUNICACIN Y DIFUSIN DE LA EVALUACIN................................................ 129
FASE 7. SEGUIMIENTO DE LA EVALUACIN ....................................................................... 134
Anexo I. Ejemplo de matriz de evaluacin ......................................................................... 137
Anexo II. Tcnicas y herramientas de anlisis .................................................................... 143
Anexo III. Evaluacin de impacto ....................................................................................... 155
Anexo IV: Cuestionario de seguimiento de las evaluaciones de AEVAL ............................ 159
Anexo V: Bibliografa .......................................................................................................... 167

ndice de cuadros
Cuadro 1. Fragmento de matriz de actores. ............................................................................................... 51
Cuadro 2. Evolucin del programa REINDUS. ............................................................................................. 76
Cuadro 3. Diferencias entre las visiones top-down y bottom-up en la implementacin de una poltica
pblica. ....................................................................................................................................................... 77
Cuadro 4. Sistema de seguimiento del Plan Estratgico de Seguridad Vial. Algunos indicadores. ............ 82
Cuadro 5: Subpreguntas correspondientes al criterio de pertinencia. Evaluacin de las medidas de
racionalizacin y mejora de la gestin de la incapacidad temporal........................................................... 93
Cuadro 6. Subpregunta correspondiente al criterio de relevancia. Evaluacin de las trabas
administrativas para la creacin de empresas. .......................................................................................... 94
Cuadro 7: Subpreguntas correspondientes al criterio de coherencia interna. Evaluacin del Plan de
Ahorro y Eficiencia Energtica 2008-2012. ................................................................................................. 94
Cuadro 8: Pregunta y subpreguntas correspondientes al criterio de coherencia externa. Evaluacin del
Plan de Ahorro y Eficiencia Energtica 2008-2012. .................................................................................... 95
Cuadro 9: Subpreguntas correspondientes al criterio de complementariedad. Evaluacin de las medidas
de racionalizacin y mejora de la gestin de la incapacidad temporal. ..................................................... 96
Cuadro 10. Subpreguntas correspondientes al criterio de implementacin. Evaluacin de las medidas de
racionalizacin y mejora de la gestin de la incapacidad temporal........................................................... 96
Cuadro 11. Subpreguntas correspondientes al criterio de cobertura. Evaluacin de la formacin dirigida a
los empleados pblicos de la Administracin General del Estado. ............................................................. 97
Cuadro 12: Pregunta y subpreguntas correspondientes al criterio de eficacia. Evaluacin de las medidas
de racionalizacin y mejora de la gestin de la incapacidad temporal. ..................................................... 97
Cuadro 13. Definicin y preguntas correspondientes al criterio de eficiencia. Evaluacin del Plan Espaol
de Energas Renovables 2005-2010. ........................................................................................................... 98
Cuadro 14. Subpregunta correspondiente al criterio de sostenibilidad. Evaluacin del Programa de
ayudas a la Reindustrializacin (REINDUS)................................................................................................. 98
Cuadro 15. Definicin y pregunta correspondientes a un criterio de transparencia. Evaluacin de la
gestin y funcionamiento de las demarcaciones de costas para la proteccin del Dominio Pblico
Martimo Terrestre. .................................................................................................................................. 100
Cuadro 16. Ejemplo de definicin, pregunta y subpregunta correspondientes a un criterio ad hoc:
Apropiacin. Evaluacin de los programas de formacin de la cooperacin espaola al desarrollo. ...... 100
Cuadro 17. Definicin y preguntas correspondientes a un criterio ad hoc: integralidad. Evaluacin de la
gestin y funcionamiento de las demarcaciones de costas para la proteccin del Dominio Pblico
Martimo Terrestre. .................................................................................................................................. 100
Cuadro 18: Extracto de matriz de preguntas de evaluacin. Evaluacin de medidas evaluacin de las
medidas de racionalizacin y mejora de la gestin de la incapacidad temporal por contingencias
comunes (Incapacidad temporal por contingencias comunes.) ............................................................... 105
Cuadro 19: Tcnicas y herramientas de anlisis cuantitativas y cualitativas. .......................................... 107
Cuadro 20: Tcnicas y herramientas de anlisis de la ciencia poltica tiles para la evaluacin. ............ 108
Cuadro 21: Plan de recoleccin de datos. ................................................................................................. 114

ndice de ilustraciones
Ilustracin 1. El ciclo de vida de las polticas pblicas. ............................................................................... 22
Ilustracin 2. Enfoque AEVAL: Integracin de aspectos estratgicos y operativos en la evaluacin de
polticas pblicas. ....................................................................................................................................... 28
Ilustracin 3. Enfoque AEVAL: Evaluacin de todo el ciclo de la intervencin pblica. .............................. 29
Ilustracin 4. Enfoque AEVAL: Integracin de la accin pblica. ................................................................ 30
Ilustracin 5. Esquema del proceso de evaluacin de AEVAL. .................................................................... 36
Ilustracin 6. Resumen del cronograma de trabajo de la Evaluacin del Plan espaol de energas
renovables (2005-2010).............................................................................................................................. 55
Ilustracin 8: Identificacin de problemas relacionados con una intervencin pblica. Evaluacin del Plan
de Medidas de Mejora de los Servicios de Sanidad Exterior....................................................................... 64
Ilustracin 9. rbol de problemas. Evaluacin del Plan de ahorro y eficiencia energtica......................... 65
Ilustracin 10. Anlisis de la poltica pblica de seguridad vial. ................................................................. 68
Ilustracin 11. Instrumentos de poltica industrial en los distintos niveles de gobierno. Evaluacin de
REINDUS (AEVAL, 2011).............................................................................................................................. 69
Ilustracin 12. Objetivos, medidas, resultados e impactos esperados en la evaluacin del Plan Estratgico
de Seguridad Vial. ....................................................................................................................................... 72
Ilustracin 13. La lgica de la intervencin. Evaluacin de REINDUS (AEVAL, 2011). ................................ 73
Ilustracin 14. Sistema de toma de decisiones, gestin y participacin del PESV. ..................................... 78
Ilustracin 15. El seguimiento en un constructo. Evaluacin de las trabas administrativas para la creacin
de empresas (AEVAL, 2012). ....................................................................................................................... 83
Ilustracin 16: Criterios de evaluacin........................................................................................................ 99
Ilustracin 17. Extracto de una propuesta para subpreguntas del criterio de participacin...................... 99
Ilustracin 19. Correspondencia de la fase 2 con el contenido del informe de evaluacin. ..................... 120
Ilustracin 20. Correspondencia de la fase 3 con el contenido del informe de evaluacin. ..................... 121
Ilustracin 21. Correspondencia de la fase 4 con el contenido del informe de evaluacin. ..................... 121
Ilustracin 22.Resultados de la evaluacin: estructura del informe final de evaluacin. ......................... 123

CAPTULO I. INTRODUCCIN

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Introduccin
La Agencia Estatal de Evaluacin de las Polticas Pblicas y la Calidad de los Servicios (AEVAL,
en adelante) es un organismo pblico, el primero de los regulados por la Ley 28/2006, de
Agencias Estatales para la mejora de los servicios pblicos, que promueve un nuevo modelo de
gestin pblica, en lnea con los principios de gobernanza de la Unin Europea:
responsabilidad, eficiencia, participacin, apertura y coherencia 1 . Su Estatuto fue aprobado
por el Real Decreto 1418/2006, de 1 de diciembre y contiene los principales aspectos que va a
desarrollar desde su creacin.
Entre los objetivos que le asigna el Estatuto, AEVAL tiene el de elaborar y proponer
metodologas 2, que se lleva a cabo a travs de las competencias y funciones elaborar,
promover, adaptar y difundir directrices, protocolos de actuacin metodolgica, () guas de
autoevaluacin y guas metodolgicas () en el mbito de sus competencias 3. Esta Gua es
producto de ese objetivo y competencias.
AEVAL viene desarrollando desde 2008 un enfoque integral de evaluacin que se ha ido
configurando a partir de la reflexin interna sobre su propia prctica evaluativa, del
aprendizaje sobre los errores cometidos y de la necesidad de dar respuesta a las
peculiaridades de la accin evaluadora que ha de realizar.
La principal de estas caractersticas singulares es que la evaluacin que desarrolla AEVAL es
una actividad institucional que se enmarca en un proceso ms amplio de modernizacin
administrativa en Espaa, cuya primera manifestacin es precisamente la propia forma jurdica
que adopta AEVAL como organizacin 4. Un segundo elemento que incide en este carcter
institucional es el hecho de que las evaluaciones que realiza AEVAL derivan de un mandato
anual del Gobierno. Si bien el Estatuto de AEVAL prev la posibilidad de abordar procesos de
evaluacin por encargo directo de diferentes organismos pblicos o Comunidades Autnomas
a travs de convenios -de hecho se ha producido algn encargo de este tipo-, el grueso de la
actividad de la Agencia deriva de los mandatos de evaluacin del Gobierno.

Comunicacin de la Comisin, de 25 de julio de 2001, La gobernanza europea - Un Libro Blanco [COM


(2001) 428 final - Diario Oficial C 287 de 12.10.2001].

Art. 6.1.b. del Estatuto de AEVAL (la negrita es nuestra). Este objetivo se plasma tambin en la Carta de
Servicios de AEVAL (2014-2017), -disponible en la pgina web de la Agencia-, porque la elaboracin de
metodologas se encuentra entre los servicios incluidos en dicha Carta, formando parte integrante de los
indicadores de calidad de AEVAL.
3

Art. 6.2.j. del Estatuto de AEVAL. La negrita es del equipo redactor.

AEVAL, como ya se ha dicho, es una Agencia Estatal y, por lo tanto, se configura bajo los principios de
autonoma y orientacin a resultados y responsabilidad sobre ellos.

| Introduccin

15

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Los principios ticos que deben seguir los evaluadores de la Agencia estn muy relacionados
con los principios rectores de AEVAL 5:
Principio de transparencia a la hora de disear e implementar la evaluacin. Los
evaluadores se comprometen a identificar y revelar los posibles conflictos de inters, y
comunicar los cambios en las condiciones inicialmente previstas o modificacin de
alguna de las circunstancias en que se produjo el encargo.
Principio de pluralidad, garantizando la consulta a los actores implicados y su
participacin en todas las fases del proceso.
Principio de imparcialidad, tanto en lo referente a los evaluadores como a los actores,
para evitar sesgos.
Principios de independencia e integridad, para evitar la imposicin de un enfoque de
evaluacin orientado a obtener unos resultados predeterminados.
Principio de responsabilidad, tanto en el uso de la informacin obtenida como en el
respeto de la integridad del informe cuando ste se publique, por parte de todas las
partes interesadas.
Principio de eficiencia a la hora de elaborar las evaluaciones, produciendo informacin
de valor suficiente para justificar los recursos empleados.
Lo mismo sucede con las orientaciones ticas para la prctica evaluativa, incluidas en dicho
Cdigo tico y en el documento especfico para la funcin evaluadora 6, que suponen un
adelanto de algunas cuestiones que se tratarn en esta Gua:
Definir claramente el objeto a evaluar, su justificacin, alcance y contenido, as como la
metodologa que se va a aplicar, y explicitarlo en el informe final.
Se debe establecer una comunicacin fluida con el departamento que gestiona la
intervencin evaluada, as como la elaboracin de un informe de progreso 7.
Las fuentes de informacin deben describirse con detalle suficiente para permitir
estimar su adecuacin, validez y fiabilidad.
Deben describirse detalladamente el enfoque evaluativo, los procedimientos y
fundamentaciones que se utilicen para la interpretacin de los resultados, as como
reflejar claramente las evidencias.
5

Cdigo tico profesional de la Agencia Estatal de Evaluacin de las Polticas Pblicas y la Calidad de los
Servicios (AEVAL, 2009).
6

La funcin evaluadora. Principios orientadores y directrices de actuacin en la evaluacin de polticas y


programas (AEVAL, 2009).

Este informe de progreso tiene, en general, carcter interno y no se hace pblico.

16

Introduccin |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Los informes debern ser claros, completos y veraces, y los resultados deben ser
comunicados a los destinatarios de forma rigurosa, sencilla y destacando los resultados
relevantes.

Objeto de la Gua.
La Gua se ha abordado como una herramienta para el cumplimiento de uno de los objetivos
de AEVAL, la promocin de la cultura de evaluacin y el impulso de su prctica en la gestin
pblica 8, en una apuesta por la institucionalizacin de la evaluacin como herramienta til
para la toma de decisiones y para la mejora de las intervenciones pblicas, adems de para
asegurar la rendicin de cuentas y la transparencia de la accin pblica.
El objetivo de esta Gua es exponer el proceso de evaluacin de una intervencin pblica 9 que
sigue AEVAL tras varios aos de experiencia. No se pretende, por tanto, explicar los distintos
tipos de evaluacin que existen, ni presentar un texto sobre cmo deben abordarse las
evaluaciones desde el punto de vista acadmico. Tampoco de explicar las diferencias entre la
evaluacin y el control externo o interno de las polticas (de legalidad, presupuestario, de
control de los servicios prestados 10 .). La gua, por lo tanto, no incide en el mbito
competencial de los rganos de control interno, en especial de la Intervencin General de la
Administracin del Estado y de las inspecciones generales de servicios de los departamentos,
entes y organismos pblicos.
El fin de esta Gua es explicitar y detallar cmo se llevan a cabo las evaluaciones en AEVAL. Es,
por tanto, una explicacin, paso a paso, de la realizacin de las evaluaciones tal y como las
concibe la Agencia, con un enfoque de poltica pblica y pluralista: el enfoque AEVAL.

Destinatarios principales.
Esta Gua puede ser de utilidad para cualquier persona o entidad que deba desarrollar
procesos de evaluacin.

Esquema de la Gua.
La Gua comienza con una breve exposicin explicativa de la posicin de AEVAL en el marco
terico de la evaluacin de polticas pblicas, para entrar despus a describir las siete fases en
que se divide el proceso de evaluacin de AEVAL, con su enfoque de poltica pblica, integral y
8

Estatuto de AEVAL. Artculo 6.1.

Ya sea una poltica, un programa, un proyecto, una accin o una actividad, independientemente de
cmo se denominen stos.
10

Sobre los distintos tipos de control que pueden llevarse a cabo sobre las acciones pblicas se puede
ver, entre otros, Fundamentos de evaluacin de Polticas Pblicas (AEVAL, 2010).

| Introduccin

17

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

pluralista: 1) anlisis del encargo de la evaluacin; 2) anlisis y reconstruccin de la lgica de la


intervencin; 3) diseo de la evaluacin; 4) trabajo de campo y anlisis; 5) resultados de la
evaluacin: el informe de evaluacin; 6) comunicacin y difusin de la evaluacin, y 7)
seguimiento de la evaluacin. Al finalizar cada fase se ofrece una ficha resumen a modo de
check list o recordatorio que permitir una visin rpida de las principales acciones a
desarrollar en cada fase.

18

Introduccin |

CAPTULO II. EL CONCEPTO DE


EVALUACIN DE AEVAL

20

Introduccin |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Las polticas pblicas 11


Una primera cuestin es esclarecer la confusin que habitualmente existe en torno al
concepto de poltica, a partir de la diferenciacin entre poltica, sistema poltico y polticas
pblicas. La necesidad de esta diferenciacin deriva del hecho de que en castellano el trmino
poltica tiene tres significados diferentes. Siguiendo a Roth (2006) y Valls (2000) el trmino
poltica puede entenderse desde diferentes enfoques:
La poltica como estructura (polity), es decir, el modo en que una sociedad organiza sus
actuaciones polticas. El foco de inters en este caso son las instituciones, el propio
Estado, etc.
La poltica como proceso (politics), o manera en que se encadena una secuencia de
conductas individuales y colectivas (Valls 2000) orientada al control del poder. La
poltica como proceso se relaciona directamente con el sistema poltico y su inters se
centra, por ejemplo, en la dinmica de relacin entre partidos polticos, las
preferencias electorales y de qu manera se configuran, etc.
Y, finalmente, la poltica como resultado (policy), las polticas pblicas; es decir, la
manera en que los gobiernos dan respuesta a las tensiones que se generan como
consecuencia del hecho de vivir en sociedad. El foco de inters en este caso son los
conflictos sociales y el adecuado desempeo econmico, y las respuestas pblicas que
necesariamente han de tener como fin ltimo garantizar la cohesin social.
Existen mltiples definiciones del concepto de poltica pblica que han ido elaborando a lo
largo de los aos diferentes acadmicos cuya actividad investigadora se ha orientado hacia el
campo del anlisis de las polticas pblicas. Quiz una de las ms comprensibles es la que
proporciona Tamayo (1997): Las polticas pblicas son el conjunto de objetivos, decisiones y
acciones que lleva a cabo un gobierno para solucionar los problemas que en un momento
determinado los ciudadanos y el propio gobierno consideran prioritarios.
En general todas las definiciones del concepto poltica pblica, aun siendo diferenciadas,
contienen una serie de elementos comunes:

11

Dado que el propsito de esta gua es dar a conocer cmo se realiza una evaluacin de polticas
pblicas, en este apartado se efectuar una descripcin muy somera de lo que son las polticas pblicas
y de su ciclo de vida. No se abordar una descripcin de la metodologa de anlisis de las polticas
pblicas ni de los distintos enfoques y herramientas existentes. Pero dada la importancia que, como se
ver, tiene el anlisis de polticas pblicas para la evaluacin, se recomienda profundizar en esta
materia, para lo que se aportan referencias en el apartado dedicado a la bibliografa.

| Las polticas pblicas 10F

21

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

La existencia de un problema pblico que requiere una intervencin pblica para su


resolucin.
La adopcin de una decisin para resolverlo.
La coexistencia de mltiples actores.
La poltica pblica como un proceso de carcter cclico.
La siguiente ilustracin muestra las cinco fases del ciclo de vida de una poltica pblica.
Ilustracin 1. El ciclo de vida de las polticas pblicas.
EL CICLO DE VIDA DE LAS POLTICAS PBLICAS

Formulacin de
alternativas para
resolverlo

Identificacin y
definicin del
problema

Evaluacin de los
resultados obtenidos

Adopcin de una
alternativa

Implantacin de la
alternativa
seleccionada

Fuente: Elaboracin propia a partir de Tamayo (1997).


Como puede observarse, en el origen de la poltica pblica existe un problema frente al que
existen diferentes visiones. Visiones que responden a los intereses y valores de los diferentes
actores (institucionales, sociales) afectados o involucrados en el problema. Como seala
Tamayo (1997) la opcin por una definicin del problema o por otra tiene consecuencias. Entre
otras, condiciona las posibles alternativas para afrontarlo. Por esta razn la definicin del
problema marca el desarrollo de la propia poltica pblica y puede explicar en gran medida su
xito o fracaso.
Una vez definido el problema empieza la fase de formulacin de la poltica. Esta fase incluye:
el establecimiento de las metas y objetivos a alcanzar, la deteccin y generacin de los posibles
caminos -alternativas- para llegar a los objetivos, la valoracin y comparacin de los impactos
de esas vas alternativas y, finalmente, la seleccin de una opcin o combinacin de ellas. La
fase de formulacin es una tarea exclusiva de los actores pblicos, la responsabilidad sobre la
decisin final y el diseo de la poltica permanece en manos del gobierno (Tamayo, 1997).

22

Las polticas pblicas 10F |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

La fase de implantacin de la alternativa o de implementacin de la poltica est integrada por


el conjunto de procesos, que tras la fase de programacin, tienden a la realizacin concreta de
los objetivos de una poltica pblica (Subirats et al., 2012). Esta fase comprende los planes
operativos, las actuaciones administrativas (procedimientos), las prestaciones, servicios o
instrumentos de fomento econmico o no econmico, las inversiones as como los recursos
disponibles para la implementacin de la poltica pblica.
La ltima fase es la de evaluacin de los resultados, la evaluacin del grado de resolucin del
problema pblico que est en el origen de la poltica pblica. Como puede apreciarse, adems
de una herramienta de anlisis, la evaluacin constituye una de las fases de la propia poltica
pblica.

La evaluacin de las polticas pblicas


Evaluar es apreciar, analizar, valorar y juzgar una intervencin pblica a fin de mejorar su
calidad. La prctica de la evaluacin incluye actividades tcnicas de observacin, de medida, de
anlisis, aunque no se reduce slo a eso. Se apoya en el mtodo cientfico pero no es una
disciplina cientfica en el sentido habitual del trmino, sino una actividad con vocacin de
integrarse en la gestin pblica y en el funcionamiento del sistema poltico.
La evaluacin es un instrumento integrado en el anlisis de las polticas pblicas de carcter
multidisciplinar que tiene por objeto apreciar la eficacia de los programas o polticas pblicas,
comparando sus resultados e impactos con los objetivos asignados y los medios puestos a su
disposicin, emitiendo un juicio de valor.
Este juicio de valor no persigue la recriminacin o la sancin como fin ltimo, sino un mayor
conocimiento de las intervenciones pblicas, suscitando un cambio de cultura para mejorar lo
pblico.
Para ello la evaluacin analiza los contextos, los procesos, los resultados, los efectos y los
destinatarios de las intervenciones pblicas y se desarrolla sobre la base de una serie de
exigencias y valores: rigor, imparcialidad, transparencia, atencin a los distintos puntos de
vista y voluntad de que prevalezca el inters general.
La dificultad de establecer un juicio valorativo sobre un campo tan complejo como el de las
polticas pblicas conlleva que la evaluacin trate de dotarse del ms slido despliegue
metodolgico contando con una pluralidad de enfoques disciplinares y herramientas.
El nfasis metodolgico propio de la evaluacin es lo que la diferencia de otros instrumentos
de informacin y valoracin de los que se sirven los decisores pblicos. Lo relevante de la
evaluacin es construir juicios apoyndose en una metodologa que ofrezca las mayores
garantas de credibilidad. Precisamente por ello, todo el proceso va encaminado a satisfacer
| La evaluacin de las polticas pblicas

23

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

las necesidades informativas de los actores, garantizando la fiabilidad de los datos, la solidez
de los anlisis, la credibilidad de los hallazgos, la validez de las conclusiones y la utilidad de sus
recomendaciones, as como cualquier otra cuestin de calidad tcnica y metodolgica que
reflejarn sus informes. Para ello utiliza herramientas de recopilacin y anlisis de datos
propios de la investigacin social.
Las diferencias entre evaluacin e investigacin social no se refieren tanto a los diseos de
investigacin y mtodos de recopilacin de datos, sino a los problemas que abordan y a su
finalidad. Los evaluadores trabajan por encargo para un fin prctico ms inmediato. Los plazos
de tiempo, la retroinformacin y la utilizacin de los resultados son mucho ms cruciales en
evaluacin que en la investigacin acadmica.
Tampoco debe confundirse la evaluacin con algunas prcticas complementarias pero
diferentes, como el control de gestin o contable, la auditora o la inspeccin. La evaluacin
aporta atributos tales como su carcter relacional y holstico en la comprensin de la accin
pblica, y su razn ltima es la eficacia y eficiencia social, por lo que la evaluacin tambin es
un instrumento de mejora de las intervenciones pblicas.
Evaluar es valorar lo pblico con el fin de transformar lo que no funciona, pero no bajo
premisas exclusivamente tcnicas sino, tambin, de interlocucin social que propicie una
cultura de responsabilidad y mejora continua.
La evaluacin de polticas pblicas trata de conectar democracia, control y eficiencia,
entendiendo que esta ltima, en el sector pblico, no puede referirse a los exclusivos criterios
del mercado. Las reglas del buen gobierno deben equilibrar la eficiencia con otros criterios de
valor de lo pblico: equidad, cohesin social, corresponsabilidad, cooperacin institucional,
comprendiendo y explicando las tensiones inherentes a los diferentes intereses que se
entrecruzan en la accin pblica.

Usos y funciones de la evaluacin.


Uso estratgico y democrtico
Rendicin de cuentas: Dado que las polticas utilizan fondos pblicos es preciso saber
cmo se estn gastando. La responsabilidad poltica, social y tcnica exige garantas y
comprobaciones de que se est trabajando con seriedad y eficacia. Sin embargo, no es
suficiente con explicar cmo se gastan los fondos pblicos y su control por los
organismos correspondientes (fiscal accountability) sino responder de las acciones e
inacciones que explican los resultados alcanzados.
Transparencia: Para que la sociedad pueda percibir el grado de eficacia y eficiencia de
las administraciones pblicas resulta necesario arbitrar procesos de transparencia. La
publicidad de las evaluaciones contribuye, no slo a la mejora de los sistemas de
control del Estado, sino a la percepcin por la sociedad de la responsabilidad de sus

24

La evaluacin de las polticas pblicas |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

agentes decisores y de los resultados de las polticas. El ejercicio de transparencia de


las acciones pblicas las acerca a los ciudadanos que las financian y les otorga
legitimidad. Los ciudadanos necesitan saber, no slo en qu se gasta su dinero, sino
cmo se gasta y qu resultados e impactos se producen con ese gasto.
Participacin: Para satisfacer las demandas ciudadanas, lo que se persigue, dentro del
propio modelo de democracia representativa, es abrir mayores espacios a la
participacin. Impulsar la democracia en la administracin pblica puede mejorar su
control y eficiencia, fortaleciendo a la ciudadana tanto directa como indirectamente.
Este es un planteamiento que tiene varias vas de realizacin, siendo la evaluacin una
de ellas al tratar de favorecer la valoracin y la transparencia de las decisiones de los
gobiernos y altos funcionarios involucrados y la responsabilidad de los gestores de
programas en la implementacin de las polticas. Adems la evaluacin aporta
informacin que permite a los ciudadanos conformar una opinin fundamentada, lo
que constituye uno de los pilares de la participacin.

Uso gerencial
El enfoque de la evaluacin de polticas pblicas supone diferencias respecto a los
tradicionales controles del Estado que aplican un punto de vista distinto para la valoracin de
la accin pblica. Estas tcnicas se centran, generalmente, en el cumplimiento de normas
internas al sistema analizado (reglas contables, jurdicas o normativas), mientras que la
evaluacin proporciona un punto de vista externo que alcanza una valoracin ms integral de
todo el ciclo de la accin gubernamental: planificacin, implementacin, resultados e
impactos.
La evaluacin es un instrumento muy til al proveer a los gestores y responsables de
programas de una mejor informacin sobre la que fundar sus decisiones ayudndoles a
obtener un feedback de informacin sobre las polticas actuales y sus posibles mejoras.

El enfoque de evaluacin de polticas


pblicas de AEVAL
AEVAL define la evaluacin como el proceso sistemtico y razonado de generacin de
conocimiento, a partir de la recopilacin, anlisis e interpretacin de informacin, encaminado
a la comprensin global de una intervencin pblica sea sta una poltica, plan, programa o
norma, para alcanzar un juicio valorativo, basado en evidencias, respecto de su diseo, puesta
en prctica y efectos (resultados e impactos).
El enfoque de evaluacin que viene desarrollando AEVAL desde 2008 difiere del enfoque que
se podra denominar tradicional o clsico de la evaluacin, centrado en los aspectos ms
| El enfoque de evaluacin de polticas pblicas de AEVAL

25

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

instrumentales de la accin de gobierno (programas y proyectos a travs de los que se


despliegan las polticas) y fundamentado en dos supuestos o premisas (la idoneidad del diseo
de las polticas pblicas y la suficiencia de la accin gubernamental para el control de la
realidad social). De ah que se oriente principalmente al conocimiento de los efectos preferiblemente netos- de las polticas y menos, o de ningn modo, en los aspectos polticos
de las polticas pblicas. En esta evaluacin tradicional o clsica prima la utilizacin de
herramientas de anlisis que refuercen el carcter cientfico-tcnico de la evaluacin.
Sin embargo, la formulacin de las polticas pblicas se caracteriza por su racionalidad limitada
derivada de las diferentes interpretaciones que los actores hacen del problema pblico que
est en su origen y por la insuficiencia del gobierno como actor nico en la resolucin de los
problemas pblicos. Y su implementacin est determinada por la contingencia de las
organizaciones cuyos rasgos (estructuras, procesos, etc.) pueden condicionar la consecucin
de los objetivos previstos. Por otro lado, la formulacin o diseo de la poltica, y la
implementacin, no siempre siguen un proceso racional comprehensivo, sino que en
numerosas ocasiones se basa ms bien en procesos menos empricos, en comparaciones
sucesivas limitadas o puramente incrementales (Linblom, 1959).
Es decir, las premisas o supuestos de la evaluacin clsica no siempre se dan, lo que explica las
limitaciones de este tipo de evaluacin.
Si adems se consideran las polticas pblicas como procesos de accin, es necesario un
enfoque de la evaluacin que vaya ms all de la descripcin del grado de cumplimiento de los
objetivos definidos en una poltica pblica. Y, junto a ello, la complejidad e interconexin de
los problemas pblicos exigen un abordaje integral tanto de los problemas como de sus
soluciones frente a los anlisis fragmentados y descontextualizados como los que ofrece la
evaluacin clsica. Se trata de generar un enfoque de evaluacin que permita valorar polticas
pblicas que abordan mltiples problemas y que pueden incorporar elementos de
complejidad durante las diversas fases del proceso 12. De abordar las evaluaciones analizando
todo el ciclo de la poltica y contemplando todas las polticas conexas y la complejidad que les
afecta.
El enfoque de evaluacin de AEVAL est ms cercano a esta segunda visin 13 de la evaluacin
que enfatiza los aspectos polticos de la accin pblica como manera de comprender polticas
complejas (multisectoriales, multinivel, que abordan problemas complejos, en las que
interactan mltiples actores muchas veces con intereses contrapuestos) y que, ms all de
preguntarse exclusivamente por los resultados de las intervenciones pblicas, se interesa en
conocer cmo se han hecho las cosas y por qu se han hecho as. Evaluaciones que, adems de
12

Grau-Sols, Marc, iguez-Rueda, Lucipinio, Subirats, Joan. 2011. Cmo gobernar la complejidad?
Invitacin a una gobernanza urbana hbrida y relacional, Athenea Digital 11: 63-84.
13

Ms all de los ejemplos nacionales en esta lnea como el que puede representar AEVAL, puede
considerarse la evolucin del enfoque de las evaluaciones de programas financiados con Fondos
Comunitarios y, ms concretamente, el impulso por la Comisin Europea desde hace unos aos de lo
que denomina evaluaciones estratgicas.

26

El enfoque de evaluacin de polticas pblicas de AEVAL |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

valorar la eficacia y eficiencia de las polticas pblicas, deben pronunciarse sobre su capacidad
de generacin de valor pblico e incluir entre sus utilidades la rendicin de cuentas a los
ciudadanos sobre el uso de los recursos pblicos. Este segundo enfoque se denomina en
AEVAL evaluacin integral.

Las caractersticas de la evaluacin


desarrollada por AEVAL
Evaluacin con enfoque de poltica pblica.
La evaluacin con enfoque de poltica pblica, frente a la evaluacin con enfoque de
programa, integra el anlisis del nivel poltico-estratgico de las polticas -problemas,
diagnsticos, actores, teoras e hiptesis de intervencin, formulacin y formalizacin de la
intervencin e impactos- con el anlisis de los aspectos operativos de su despliegue objetivos, recursos, procesos y resultados intermedios y finales-. Con ello la evaluacin puede
dar respuesta a las necesidades derivadas de la doble funcin de gobierno: legitimacin (buen
gobierno) y funcionalidad (buena administracin).
La dificultad de este enfoque de evaluacin radica en equilibrar referentes como los criterios
de eficacia o eficiencia de la accin pblica con otros criterios fundamentales de valor pblico,
necesarios tambin, para poder emitir un juicio de valor ms integral sobre las polticas
pblicas. Por esta razn adems de los criterios tradicionales (pertinencia, coherencia,
complementariedad, eficacia, eficiencia, sostenibilidad, etc.) es necesario incorporar criterios
vinculados a valores sociales, como, equidad, participacin o transparencia, entre otros. Y
junto a estos ltimos, otros criterios ad hoc que se relacionan la poltica que se evala y el
alcance y enfoque de evaluacin.

| Las caractersticas de la evaluacin desarrollada por AEVAL

27

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Ilustracin 2. Enfoque AEVAL: Integracin de aspectos estratgicos y operativos en la


evaluacin de polticas pblicas.
Nivel estratgico de la accin pblica

Nivel operativo de la accin pblica

Enfoque poltica

Enfoque programa

Concepcin y formulacin
de las polticas pblicas

Despliegue a travs de instrumentos


operativos

Complejidad
Transversalidad
Multidimensionalidad

Problemas-actores-impactos

Objetivos-medios-resultados

Legitimacin

Funcionalidad

BUEN GOBIERNO

BUENA ADMINISTRACIN

AEVAL

Fuente: Elaboracin propia.

La evaluacin puede y debe aplicarse a todo el ciclo de la poltica


pblica.
La perspectiva de evaluacin ms clsica se fundamenta en una visin de las intervenciones
pblicas que asume como premisas, por un lado, la existencia de una teora y unas hiptesis de
intervencin y unos objetivos claramente explicitados; por otro, la presencia de un nico actor
que adopta decisiones libremente y con una lgica cartesiana y, por ltimo, una concepcin
del ciclo de la poltica como una sucesin lineal de sus distintas etapas.
Desde esta perspectiva, la evaluacin constituye la ltima fase de este ciclo, tiene un carcter
retrospectivo, y se entiende como parte de un proceso de retroalimentacin para justificar las
decisiones relativas a las polticas o programas objeto de estudio. La evaluacin se centra
exclusivamente en los resultados de las intervenciones pblicas.
Sin embargo la experiencia de AEVAL muestra que no es infrecuente que las intervenciones
pblicas se diseen sin un diagnstico previo o que ste sea insuficiente- del problema a
resolver; generalmente no contemplan ninguna teora causal sobre la que deberan asentarse
las hiptesis de intervencin; no existen en ocasiones, objetivos claramente definidos y como
consecuencia de lo anterior, tampoco se explicitan los resultados esperados.
Si la evaluacin pretende conocer el por qu y no solo el qu, es necesario que abarque todo el
ciclo de la intervencin. O, dicho de otra manera, los efectos de las intervenciones pblicas no
pueden concebirse como independientes de su diseo y de su implementacin. No es posible
evaluar, alcanzar un juicio global sobre una intervencin, sin analizar en paralelo la poltica.

28

Las caractersticas de la evaluacin desarrollada por AEVAL |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Por esta razn, AEVAL considera que la evaluacin puede y debe aplicarse a todo el ciclo de la
intervencin desde el diseo y planificacin, continuando con la implementacin y finalizando
con la verificacin de los efectos finales. Tal y como refleja la siguiente ilustracin, en el
supuesto de que el encargo de evaluacin se centrase en los resultados e impactos de una
intervencin pblica -por lo tanto, una evaluacin ex post- la Agencia desarrolla a la vez una
evaluacin intermedia o de implementacin y una evaluacin ex ante (de necesidades y
diseo).
Ilustracin 3. Enfoque AEVAL: Evaluacin de todo el ciclo de la intervencin pblica.
CICLO DE LA ACCIN PBLICA

DIMENSIN ESTRATGICA
PROBLEMAS,
NECESIDADES
PLANIFICACIN

Evaluacin ex ante:
Evaluacin de necesidades
Evaluacin del diseo

AEVAL
Evaluacin ex ante

DIMENSIN OPERATIVA
IMPLEMENTACIN

Evaluacin intermedia:
Evaluacin de la
implementacin

RESULTADOS

IMPACTOS

Evaluacin ex post:
Evaluacin de resultados

AEVAL

Evaluacin ex post:
Evaluacin de impactos

AEVAL

Evaluacin ex ante

Evaluacin ex ante

Evaluacin intermedia

Evaluacin intermedia

Evaluacin ex post

ENFOQUE AEVAL: TODO EL CICLO DE VIDA DE LA INTERVENCIN

Fuente: Elaboracin propia.

La accin pblica como un continuo.


Este enfoque integral tambin implica considerar la accin pblica como un continuo 14 que
transita desde el nivel ms macro (polticas) hasta el nivel ms micro (organizaciones) de la
accin pblica. El enfoque de evaluacin de AEVAL se orienta a superar la fragmentacin
artificial de la accin pblica de la que parten otros enfoques de evaluacin. As, se considera
que cualquier proceso evaluativo debera integrar la evaluacin de los instrumentos de
implementacin de la mayora de las polticas: servicios pblicos (evaluacin externa de la

14

Esta perspectiva deriva de otra de las peculiaridades de AEVAL: la integracin en la misma


organizacin de la evaluacin de polticas pblicas y de la calidad de los servicios y organizaciones
pblicas. Y tambin del aprendizaje obtenido a partir de la primera evaluacin que realiz la Agencia de
calidad de un servicio pblico, la evaluacin de la calidad del servicio prestado por los Museos Estatales
realizada en 2007. A partir de esta experiencia prctica se elabor una Gua de evaluacin de la calidad
de los servicios pblicos. Disponible en www.aeval.es.

| Las caractersticas de la evaluacin desarrollada por AEVAL

29

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

calidad de los servicios, conjugando elementos subjetivos y objetivos) y organizaciones


pblicas (evaluacin de la calidad de las organizaciones sobre la base de modelos de
excelencia).
Todo ello porque organizaciones excelentes desde el punto de vista de los modelos de
referencia (EFQM, CAF, EVAM), pueden desarrollar una gestin no alineada con los objetivos
de la poltica de la que son instrumento, y este hecho puede explicar en gran medida las
dificultades para la consecucin de los objetivos de dicha poltica. Lo mismo puede ocurrir con
el diseo y forma de prestacin de los servicios, an en el supuesto de que generen un
importante grado de satisfaccin en sus usuarios. Es en la evaluacin de la implementacin 15,
fase del ciclo de la poltica a la que por lo general, corresponden funciones gestoras y
prestadoras de servicios, desplegadas por las organizaciones pblicas en todos los niveles de la
Administracin, en la que se produce o debe producirse la integracin de estos tres niveles de
evaluacin de la accin pblica.
Ilustracin 4. Enfoque AEVAL: Integracin de la accin pblica.
ENFOQUE AEVAL: LA ACCIN PBLICA COMO UN CONTINUO

Organizaciones/Servicios
1

N
Evaluacin de polticas

Polticas Pblicas

A
B
C

Evaluacin de calidad de los servicios y organizaciones pblicas

Fuente: Elaboracin propia.

Doble utilidad de la evaluacin: transparencia y rendicin de cuentas y


herramienta de aprendizaje y mejora.
Una caracterstica esencial de la evaluacin con enfoque AEVAL es su configuracin como una
herramienta que posibilita la aplicacin prctica de los principios de transparencia y rendicin
de cuentas de los gobiernos y administraciones pblicas. La evaluacin proporciona
informacin basada en evidencias sobre los resultados obtenidos en el uso de los recursos
pblicos. Desde esta perspectiva y, a priori, sin evaluacin la rendicin de cuentas no sera
posible. Algo parecido ocurre con la transparencia. La transparencia implica aportar
informacin, no solo datos, a los ciudadanos para que puedan formarse una opinin informada
15

Aunque no todas las polticas pblicas se implementan a travs de servicios y organizaciones pblicas.

30

Las caractersticas de la evaluacin desarrollada por AEVAL |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

sobre los distintos asuntos pblicos. Es cierto que la evaluacin no es la nica que puede
cumplir esta funcin, pero s constituye una herramienta relevante para dotar de ms
transparencia a gobiernos y administraciones.
Por otra parte la evaluacin se debe considerar como una herramienta de aprendizaje y
mejora, que permite a decisores pblicos y gestores perfeccionar el diseo e implementacin
de las polticas pblicas. Como dira Nioche (1982), se trata de superar lo que en pedagoga se
denomina evaluacin aditiva, basada en logros y sanciones. Y generalizar lo que en este
mismo mbito se denomina evaluacin formativa: analizar peridicamente el nivel y ritmo
de logros, y conocer las causas que los determinan para adaptar la enseanza.
Desde la perspectiva de AEVAL las evaluaciones tienen adems una utilidad aadida:
contribuir al debate social en torno a un problema pblico, a las alternativas seleccionadas
para resolverlo y a los resultados obtenidos.

Evaluacin pluralista.
El pluralismo es otro de los rasgos distintivos del enfoque AEVAL: incorporar en el proceso
evaluativo, en la medida de lo posible, a todos los actores interesados en la intervencin
pblica a evaluar. Como se ver al describir la fase de anlisis del encargo, una de las
actividades que se realizan en esta fase es la identificacin de los actores relevantes para la
evaluacin: destinatarios de la intervencin, ciudadanos, gestores, responsables polticos,
acadmicos, agentes socioeconmicos u organizaciones de la sociedad civil. Las valoraciones
de estos actores sobre el diseo, implementacin y resultados de la intervencin evaluada se
incorporan a la evaluacin y se reflejan en el informe de evaluacin.

La evaluacin debe incorporar todas las perspectivas cientficas y debe


estar abierta al uso de todo tipo de herramientas y fuentes de
informacin.
La Agencia aborda los procesos de evaluacin con un planteamiento triangular, utilizando la
terminologa al uso en investigacin social, de manera que todas las perspectivas tericocientficas aplicables al campo de la evaluacin, se siten en pie de igualdad sin posiciones
hegemnicas de ninguna disciplina cientfica. Este aspecto es sumamente importante en
organizaciones pblicas dedicadas a la evaluacin, en las que, como ocurre en la Agencia, la
plantilla de evaluadores est integrada por empleados pblicos de formacin y experiencia
profesional muy diversa y en la que los procesos de evaluacin se realizan, al menos hasta el
momento, bsicamente con medios propios.

| Las caractersticas de la evaluacin desarrollada por AEVAL

31

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Y junto a esto, el uso de todo tipo de fuentes de informacin y de tcnicas y herramientas de


recopilacin y anlisis de informacin 16. Habitualmente las evaluaciones de la Agencia
incorporan tcnicas cualitativas (entrevista, grupos de discusin, observacin, estudios de
caso, etc.) y tcnicas cuantitativas (encuestas, modelos economtricos, modelos cuasiexperimentales, anlisis de segmentacin, anlisis de clusters, factorial, etc.) sin que tampoco
en este caso se considere prevalente ninguna de las dos perspectivas tericas en investigacin
social.

La evaluacin es una intervencin pblica ms.


Por tanto, en su desarrollo consume recursos pblicos y debe responder a los criterios de
eficacia, eficiencia y transparencia.
Para que la evaluacin sea eficaz es necesario que d respuesta a las necesidades de
informacin para la toma de decisiones de los responsables de la intervencin en sus distintos
niveles, poltico y gestor. Y junto a ellos, del resto de actores interesados. Esto implica el
desarrollo de una actividad de comunicacin y negociacin continua a lo largo de todo el
proceso de evaluacin.
La realizacin de evaluaciones eficaces y eficientes se garantiza tambin, y como se ver ms
adelante, a partir de un anlisis en profundidad del encargo de evaluacin y de una
planificacin rigurosa de su desarrollo, de manera que el trabajo de campo (tanto el que se
realiza con medios propios como el externalizado) responda a las necesidades de informacin
derivadas de las preguntas y criterios de evaluacin.
Finalmente, la transparencia de la evaluacin se garantiza por una doble va. Por una parte, los
informes de evaluacin que forman parte del Plan de Trabajo anual 17 se difunden y publican
ntegramente en la pgina web de la Agencia. Por otra, los informes de evaluacin de la
Agencia contienen un captulo dedicado al enfoque con el que se ha abordado el proceso de
evaluacin, que asimismo detalla la metodologa y las herramientas utilizadas para la
recopilacin y anlisis de la informacin y la matriz de preguntas de la evaluacin. Adems, los
informes suelen contener anexos de carcter metodolgico, en los que se detallan las tcnicas
utilizadas y determinados aspectos tcnicos vinculados a ellas.

16

En general la eleccin de las tcnicas y herramientas aplicables en un proceso de evaluacin est en


gran medida condicionada por la disponibilidad de informacin y de recursos econmicos.
17

El Plan de Trabajo anual se aprueba por Acuerdo del Consejo de Ministros y recoge la mayor parte de
las evaluaciones que debe realizar la AEVAL en dicho periodo.

32

Las caractersticas de la evaluacin desarrollada por AEVAL |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

CAPTULO III. EL PROCESO DE


EVALUACIN DE AEVAL

| Las caractersticas de la evaluacin desarrollada por AEVAL

33

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

34

Las caractersticas de la evaluacin desarrollada por AEVAL |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

El proceso de evaluacin de AEVAL


De la misma manera que una intervencin pblica, desde una perspectiva terica, se divide en
fases: diagnstico, formulacin y planificacin, implementacin y evaluacin, la evaluacin se
desarrolla a lo largo de un proceso tambin dividido en fases.
Esta divisin en fases que se utiliza para la realizacin de una evaluacin es una referencia
puramente metodolgica, til para explicar cmo abordar un proceso evaluativo. Pero esto no
significa que estas fases acten como compartimentos estancos o que hayan de abordarse
de forma sucesiva en sentido estricto, sin que pueda iniciarse una fase hasta que no ha
finalizado la anterior. Por ejemplo, en la fase de anlisis del encargo se efecta un primer
anlisis de la lgica de la intervencin y un diseo preliminar de evaluacin, que pueden ser
modificados posteriormente a partir de los hallazgos obtenidos.
Sin embargo, la divisin en fases presenta un gran valor, puesto que permite ordenar de forma
lgica y racional el proceso de evaluacin. Es una estructura a partir de la que se ir
pergeando toda la evaluacin.
La Agencia ha desarrollado, en definitiva, una metodologa de evaluacin que responde al
enfoque terico que se ha visto en el captulo anterior, incorporando, adems, las lecciones
aprendidas a travs de su actividad evaluadora 18. Se denomina a este diseo metodolgico
Proceso de Evaluacin.
El diseo de este proceso debe tener en cuenta los siguientes condicionantes:
Normalmente, la Agencia se enfrenta a objetos de evaluacin complejos.
Suele indicarse un plazo de ejecucin relativamente breve (como regla general, 12
meses desde que se produce el encargo por parte del Gobierno).
La evaluacin ha de aportar informacin relevante para la toma de decisiones tanto a
nivel operativo como a nivel estratgico.
Es necesario compartir un lenguaje y un abordaje de los procesos de evaluacin
comunes.
La siguiente ilustracin refleja el proceso de evaluacin de AEVAL y las fases en las que ste se
descompone. Como puede observarse este esquema contempla los posibles solapamientos
que se dan entre las distintas fases del proceso salvo en las dos ltimas, dado que hasta que no
hay un informe no se pueden difundir los resultados de la evaluacin, y hasta que sta es
comunicada y difundida no se puede realizar el seguimiento.
18

Todos los ejemplos de esta Gua se toman de las evaluaciones realizadas por AEVAL. Se pueden
consultar en www.aeval.es.

| El proceso de evaluacin de AEVAL

35

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Ilustracin 5. Esquema del proceso de evaluacin de AEVAL.


FASES DEL PROCESO DE EVALUACIN DE AEVAL
FASE 1:
Anlisis del encargo
de la evaluacin
FASE 2:
Anlisis y reconstruccin de
la lgica de la intervencin

FASE 3:
Diseo de la evaluacin

FASE 4:
Trabajo de campo y anlisis

FASE 5:
Resultados de la evaluacin:
el informe de evaluacin
FASE 6:
Comunicacin y difusin de
la evaluacin
FASE 7:
Seguimiento de la
evaluacin

Fuente: Elaboracin propia.


El proceso contempla siete fases.
Fase 1: Anlisis del encargo de la evaluacin, en la que se efecta una primera aproximacin
al objeto de evaluacin, al alcance de la evaluacin y a su enfoque metodolgico. En esta fase
se disea la estrategia organizativa, y se designa al equipo de evaluacin. Igualmente se
establecen los canales de comunicacin y negociacin entre el equipo de evaluacin y los
responsables de la intervencin evaluada.
Fase 2: Anlisis y reconstruccin de la lgica de la intervencin, en la que se procede a
realizar un anlisis extenso y pormenorizado de la intervencin que permite un conocimiento
riguroso de la intervencin, sus elementos claves y el contexto en el que se produce.
Fase 3: Diseo de la evaluacin. Esta fase representa la concrecin y precisin de la
metodologa de evaluacin. En ella se delimita definitivamente el alcance de la evaluacin; se
elaboran los principales instrumentos de la evaluacin (matriz de evaluacin, criterios,
indicadores, fuentes y tipologa de evaluacin a desarrollar), y se procede a seleccionar las
herramientas y tcnicas a aplicar. La estrategia metodolgica tiene por objeto sustentar la
bsqueda de informacin teniendo en cuenta el tiempo disponible y las distintas necesidades
informativas derivadas del objeto y alcance de la evaluacin. Puede descomponerse en dos
esferas diferenciadas: enfoque y herramientas y tcnicas de evaluacin.

36

El proceso de evaluacin de AEVAL |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Fase 4: Trabajo de campo y anlisis, que comprende todas las tareas de recopilacin, anlisis y
sntesis de la informacin para dar respuesta a las preguntas de evaluacin.
Fase 5: Resultados de la evaluacin, que supone la elaboracin del informe de evaluacin.
Fase 6: Comunicacin y difusin de la evaluacin. Finalizado el informe, se comunican los
resultados de la evaluacin a las instituciones y organizaciones que se relacionen con la
intervencin evaluada, y a los rganos de control interno y externo. Los informes de
evaluacin se publican asimismo en la pgina web de AEVAL en aplicacin del principio de
transparencia y tambin se difunden los contenidos de las evaluaciones mediante
presentaciones pblicas solicitadas por distintas organizaciones.
Fase 7: Seguimiento de la evaluacin. Posteriormente, se acomete el seguimiento de la
evaluacin. En el caso de AEVAL, a travs de una encuesta a los actores que han participado en
el proceso de evaluacin.
Las fases 1 y 3 de este proceso son las que se vinculan ms directamente a los principios de
eficacia y eficiencia que deben gobernar todo el proceso de evaluacin. Por otro lado, la
importancia que se da a las tres primeras fases, especialmente a la primera, es uno de los
rasgos distintivos del proceso de evaluacin de AEVAL en relacin con otros tipos de
evaluacin en las que el acento se pone en mayor medida en las herramientas de recopilacin
y anlisis de datos o en el trabajo de campo.
A continuacin se presenta y detalla el contenido, herramientas y tareas de cada una de estas
fases.

| El proceso de evaluacin de AEVAL

37

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

FASE 1. EL ANLISIS DEL ENCARGO DE LA


EVALUACIN
El anlisis del encargo supone el inicio del proceso de evaluacin tras la recepcin del encargo
/mandato. En esta primera fase del proceso se trata de caracterizar someramente el objeto de
evaluacin (mbito de estudio, grado de complejidad y fase del ciclo en que se encuentra la
intervencin), as como la propia la evaluacin (alcance, objetivos, justificacin y utilidad).
Igualmente, en esta fase se puede anticipar un pre-diseo de la evaluacin (avance del
enfoque de evaluacin, primeras
preguntas de evaluacin y anticipo
de herramientas de recopilacin y
LA EXPERIENCIA DE AEVAL
anlisis de la informacin) flexible y,
Los encargos de evaluacin que recibe AEVAL suelen ser
lgicamente,
sujeto
a relativamente genricos e imprecisos, de manera que
modificaciones.
requieren una delimitacin del alcance de la
evaluacin. Ello permite que la evaluacin sea factible y
Los resultados de los anlisis focaliza el proceso en los puntos de inters para dar
desarrollados se plasman en un respuesta a las necesidades informativas de todos los
informe denominado de Anlisis actores.
del encargo o Informe preliminar
que sirve de gua y orientacin para
la evaluacin. En general, el tiempo
que se suele dedicar a esta fase no
es superior a tres meses, aunque
depende de la complejidad del
encargo y del conocimiento previo
del equipo evaluador sobre la
intervencin.
El anlisis del encargo ayuda a las
organizaciones responsables de la
intervencin evaluada a priorizar
qu evaluar. La experiencia de la
Agencia indica que, a una primera
fase de reticencia se sucede otra
fase en la que se pretende evaluar
todo. Y esto, como se ver ms
adelante, no siempre es posible.

Esto implica que desde que se produce el mandato de la


evaluacin se deban mantener reuniones con los
responsables del encargo de evaluacin y de la
intervencin evaluada. En un primer momento, para
precisar los objetivos a los que ha de dar respuesta la
evaluacin y su utilidad prevista en relacin con la
intervencin evaluada.
Posteriormente, se constituye una comisin de
seguimiento en la que se incluye a dichos responsables
de la intervencin. Adems de solventar cualquier
incidencia surgida en el desarrollo del proceso
evaluador en la mayora de las ocasiones estn
relacionadas con el acceso a la informacin relevante
para la evaluacin-, posibilita un aspecto clave en
relacin con la eficacia de la evaluacin y sus usos
posteriores: la apropiacin de la evaluacin por parte
de los responsables de la intervencin evaluada.

A travs de este anlisis es posible conocer las necesidades y expectativas de los distintos
actores ante la evaluacin, lo que permite orientar el trabajo de evaluacin hacia sus
| FASE 1. EL ANLISIS DEL ENCARGO DE LA EVALUACIN

39

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

necesidades, dando respuesta a la exigencia de garantizar la transparencia y la participacin de


los mismos.
Constituye asimismo una fase de aprendizaje para el equipo de evaluacin, que es designado
en esta fase 19, y permite conocer el objeto y propsito de la evaluacin. En general, los
equipos de evaluacin no son expertos, sera imposible, en todas las polticas a evaluar. El
anlisis del encargo permite al equipo entrar en contacto con la poltica o programa y
comenzar a estudiarlo para conocer lo suficiente como para poder actuar como interlocutor
legitimado frente a los responsables de la intervencin. Obviamente, evaluadores no
familiarizados con la poltica a evaluar pueden generar suspicacias, en cuanto a su capacidad,
entre gestores y responsables polticos de la intervencin.
Esta es una fase clave porque determina el desarrollo posterior de la evaluacin por parte del
equipo evaluador: un encargo mal enfocado implica una evaluacin mal realizada o que es
necesario reorientar en una fase ms avanzada del proceso.
El anlisis del encargo permite, finalmente, delimitar la informacin necesaria para la
evaluacin y, por lo tanto, racionalizar la contratacin externa en la fase de implementacin de
la evaluacin y el trabajo de campo, lo cual es clave para la eficiencia de la evaluacin.
En el informe sobre este anlisis se abordarn los siguientes epgrafes:
1-1. Descripcin del encargo de evaluacin.
1-2. Caracterizacin del objeto de evaluacin.
1-3.Delimitacin de la evaluacin.
1-4. Avance del enfoque de la evaluacin, de la metodologa y las herramientas a
utilizar en la evaluacin.
1-5. Estrategia organizativa.
Herramientas aplicables para realizar el anlisis del encargo.
Producto de la fase 1: El informe preliminar o informe del anlisis del encargo.

19

En AEVAL, es la direccin del Departamento de Evaluacin la que designa en esta fase los integrantes
de cada equipo de evaluacin, as como el responsable del equipo. Lo normal es que ese equipo
permanezca durante todo el proceso.

40

FASE 1. EL ANLISIS DEL ENCARGO DE LA EVALUACIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

1-1. Descripcin del encargo de evaluacin.


En la descripcin del encargo de evaluacin 20 se indica el rgano u organismo que efecta
dicho encargo 21 y la vinculacin de la intervencin con instrumentos estratgicos, que pueden
ser objeto de un mandato continuo de evaluacin 22. La descripcin de este encargo o mandato
tambin es importante para AEVAL porque puede constituir una limitacin para la evaluacin
(no se puede elegir el objeto de evaluacin).
Ejemplo de la descripcin del mandato de evaluacin. Evaluacin del Plan Estratgico de
Seguridad Vial 2005-2008. AEVAL, 2009.
En primer lugar se refleja el Acuerdo de Consejo de Ministros: En su reunin del 8 de abril de
2009, el Consejo de Ministros aprob las polticas que sern objeto de evaluacin (). En el
Acuerdo () se detalla que ser evaluado el Plan Estratgico de Seguridad Vial 2005-2008.
Posteriormente se vincula la intervencin al Programa Nacional de Reformas: la evaluacin se
lleva a cabo en el marco del Programa Nacional de Reformas de Espaa (PNR), en el que se
encomienda a la AEVAL la realizacin de una evaluacin anual del grado de aplicacin y xito
de las medidas incluidas en el mismo.
Y, finalmente, con la Estrategia Espaola de Desarrollo Sostenible: la Estrategia Espaola de
Desarrollo Sostenible (EEDS), cuya evaluacin igualmente se encomienda a la AEVAL.

1-2. Caracterizacin del objeto de evaluacin.


Una vez descrito el encargo o mandato de evaluacin se aborda la caracterizacin del objeto
de evaluacin. Esta caracterizacin se realiza sobre la base de distintos elementos, como el
mbito sectorial o territorial en el que se desarrolla, su complejidad o la fase del ciclo en el que
se encuentra.
Uno de los condicionantes de la metodologa de evaluacin de polticas pblicas es el propio
objeto que se evala, las polticas pblicas, respecto de las que no existe un contorno preciso
de aquello que se evala. () Las polticas pblicas no son un fenmeno objetivo con un perfil
evidente y correctamente definido. Ms bien al contrario, ni el propio concepto o campo de
polticas pblicas, ni tan slo una de ellas considerada individualmente, presenta un permetro
fcilmente identificable. Y no ya slo en cuanto a su alcance o mbito de intervencin, sino ms

20

En AEVAL se suele denominar Mandato, dado que los encargos proceden del Consejo de Ministros y
no de una relacin contractual.

21

O instancia de la que procede dicho encargo.

22

En el caso de AEVAL la Ley 20/2013, de garanta de la unidad de mercado, incluye, en la Disposicin


adicional sexta, la realizacin por parte de la Agencia de una evaluacin anual sobre la implementacin
y los principales efectos en mbitos de actuacin concretos de las medidas contempladas.

| FASE 1. EL ANLISIS DEL ENCARGO DE LA EVALUACIN

41

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

importante an, si se nos permite la expresin, en cuanto a la teleologa que envuelven las
intervenciones pblicas (intencionalidad, carcter difuso de stas, causacin en una plena
acepcin filosfica). (Rico, 2012).
El correcto diseo de cualquier evaluacin requiere tanto identificar el objeto de evaluacin
como conocer y comprender la naturaleza del programa o poltica, en particular su propsito,
alcance y objetivos. Estos aspectos no siempre se explicitan en las intervenciones pblicas que
se evalan.

1-2.1. Identificacin del tipo de intervencin que se evala


Se efecta una identificacin del tipo de intervencin a evaluar, si se trata de una poltica
pblica, o bien de alguno de sus instrumentos de despliegue (planes o programas) o de
intervenciones de carcter operativo como proyectos o medidas. Esta caracterizacin es
importante porque, y partiendo de la experiencia de AEVAL, es posible encontrar
autodenominadas polticas pblicas que en la realidad son un conjunto de medidas dispersas
contempladas en diferentes programas de actuacin o incluso con un conjunto de polticas y
programas como objeto de evaluacin.
La identificacin del tipo de intervencin es importante porque condiciona el enfoque de
evaluacin.

1-2.2. mbito en el que se desarrolla la intervencin


En este caso se efecta una doble caracterizacin.
En primer lugar, segn el sector de poltica pblica en el que se sita la intervencin, y de las
polticas pblicas dentro de ese sector. Por ejemplo, la poltica de bonificacin de cuotas de la
Seguridad Social se enmarca en la poltica de empleo (sector), y dentro de sta, en las polticas
de fomento de empleo y a su vez dentro de stas, es una poltica pasiva de mercado de
trabajo.
Ejemplo de definicin de mbito desde el punto de vista del sector de poltica pblica en el
que se inscribe la intervencin. Evaluacin del Programa de ayudas a la Reindustrializacin
(REINDUS). AEVAL, 2011.
El Programa de Ayudas para actuaciones de Reindustrializacin es una herramienta de poltica
industrial, que se enmarca en la poltica regional de la Unin Europea (UE) y se aplica a las
zonas que, estando incluidas en el mapa de ayudas regionales aprobado para Espaa por la UE,
en el periodo 2007-2013, sufren fenmenos de ajuste empresarial o deslocalizacin, que
provocan prdidas de actividad industrial y destruccin de empleo. La aplicacin del programa
tiene como objetivo crear nuevo tejido industrial o adaptar el existente a las mejoras
tecnolgicas disponibles, a la vez que se disminuyen los desequilibrios econmicos regionales.

42

FASE 1. EL ANLISIS DEL ENCARGO DE LA EVALUACIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Y en segundo lugar, segn los niveles de la Administracin que tienen competencias en la


intervencin de manera directa o a travs de otras polticas conexas. En el caso de Espaa, que
forma parte de la Unin Europea, y que se configura como un Estado compuesto con un alto
grado de descentralizacin y con un modelo de distribucin competencial en el que existen
pocas competencias exclusivas de los diferentes niveles de gobierno, y por el contrario priman
las competencias concurrentes o compartidas, la identificacin de los niveles de
administracin que intervienen es muy importante a la hora de valorar, en la fase analtica de
la evaluacin, de qu manera su participacin afecta a los resultados alcanzados.
Como puede observarse en el siguiente ejemplo, cada vez es ms frecuente que en el diseo e
implementacin de las polticas pblicas en Espaa intervengan hasta cuatro niveles de
administracin.
Ejemplo de descripcin del mbito de la intervencin desde el punto de vista de los niveles
de administracin implicados. Evaluacin del Plan de Energas Renovables 2005-2010.
AEVAL, 2011.
- mbito europeo. Desde la aprobacin de los libros Verde y Blanco en 1997, la Unin Europea
inicia el proceso de elaboracin del marco legislativo comunitario en el que se establecen
recomendaciones sobre diferentes acciones respecto a las energas renovables.
- mbito estatal. La Administracin General del Estado se centra en la planificacin de las redes
del transporte de energa, a travs de documentos ad hoc: en el momento de la redaccin del
Plan Espaol de Energas Renovables estaba en vigor la correspondiente a 2002-2011. Con
posterioridad entr en vigor la actual (2008-2016).
- El mbito autonmico tiene aqu una importancia capital: es suya la competencia de
autorizacin de muchas de las instalaciones y tambin la tramitacin de las inscripciones en el
registro estatal.
- El mbito local. Tambin tiene su papel en la promocin de las energas renovables
permitiendo o no en sus municipios las instalaciones de produccin de energas renovables.

1-2.3. Grado de complejidad


Pueden existir diversos factores que impliquen un mayor o menor grado de complejidad de la
intervencin objeto de evaluacin. La mayor complejidad de la intervencin implica,
obviamente, una mayor complejidad para la evaluacin. Lgicamente, en cada evaluacin
estos factores sern diferentes. A ttulo orientativo se pueden citar los siguientes:

| FASE 1. EL ANLISIS DEL ENCARGO DE LA EVALUACIN

43

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

1-2.3.1. El objeto de evaluacin.


En muchos casos, las evaluaciones que se encomiendan a la Agencia no tienen un objeto nico
y claramente delimitado sino un conglomerado de objetos relacionados entre s 23. Esta
cuestin debe clarificarse desde el inicio de la evaluacin, porque condicionar el propio
diseo de la evaluacin. Objetos como el que se plantean en el ejemplo siguiente adems
implican un esfuerzo adicional para los evaluadores, ya que en la prctica se trata de varias
evaluaciones en una.

Ejemplo de complejidad derivada del objeto. Evaluacin del Sistema General de Becas
Educativas. AEVAL, 2009.
El Sistema General de Becas tiene un objetivo propio: garantizar la equidad en el acceso a la
educacin. Sin embargo en el mismo mandato de evaluacin se peda que se explorase su
posible utilidad como instrumento para la reduccin del abandono escolar prematuro y para la
mejora del capital humano.

1-2.3.2. Carcter sectorial o transversal de la intervencin


Si la intervencin es transversal, es decir, que se relaciona con mltiples sectores de poltica
pblica aumenta la complejidad de la evaluacin, ya que habr que analizar de qu manera
esos mbitos sectoriales estn incidiendo en la intervencin evaluada.
La transversalidad es una caracterstica cada vez ms frecuente en las polticas pblicas. En el
caso de intervenciones transversales o relacionadas con diversos sectores de poltica pblica,
debera incluirse forzosamente en la evaluacin como criterio de valor el de
complementariedad.
Ejemplo de complejidad derivada de la transversalidad. Evaluacin del Plan Espaol de
Energas Renovables 2005-2010. AEVAL, 2011.
La evaluacin ha de tener en cuenta, por tanto, la suma complejidad de la poltica de
promocin de energas renovables (que no slo contiene el Plan de energas renovables y los
efectos en otros mbitos de actuacin relacionados, como el empleo, la I+D+i, la industria, la
empresa y la tecnologa y el medio ambiente, como seala el Consejo de Ministros), sino la
propia concepcin del sistema elctrico, del transporte y de la construccin; y, adems, la de los
intereses creados (). Sin embargo, y pese a lo intrincado de la conceptualizacin, se tratar de
separar (y excluir, aunque no soslayar) de la evaluacin la poltica de eficiencia energtica, que
aunque s tiene que ver con el fomento de las energas renovables se ha considerado que queda
fuera del mandato realizado por el Consejo de Ministros, as como las polticas relativas a la
seguridad del suministro, por ejemplo.
23

Las dificultades que genera para la evaluacin esta circunstancia se vern en el captulo siguiente.

44

FASE 1. EL ANLISIS DEL ENCARGO DE LA EVALUACIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

1-2.3.3. Concurrencia de mltiples de actores


La concurrencia de mltiples actores, cuyos intereses y actuaciones pueden afectar al diseo,
implementacin o resultados de la intervencin evaluada, constituye otro factor de
complejidad.
Ejemplo de multiplicidad de actores. Evaluacin de las Medidas adoptadas para la
racionalizacin del gasto farmacutico. AEVAL, 2008.
En la poltica farmacutica influyen, adems de la Administracin General del Estado y las
administraciones de las Comunidades Autnomas, los mdicos prescriptores, las oficinas de
farmacia, los laboratorios farmacuticos, Farmaindustria (organizacin empresarial que agrupa
a las empresas farmacuticas), los almacenes distribuidores de medicamentos y los
ciudadanos.

1-2.3.4. Intervencin simultnea o sucesiva de distintos niveles de la administracin.


Esta circunstancia adems de delimitar el mbito de la intervencin supone un elemento de
adicional de complejidad por las razones que ya se han descrito. En este caso, la evaluacin
deber contemplar como criterio de valor el de cooperacin/colaboracin.
Por ltimo, hay que tener en cuenta, al caracterizar el objeto de evaluacin desde el punto de
vista de su complejidad, que pueden existir otros factores, adems de los sealados,
especficos de ese objeto de evaluacin en concreto.

1-2.4. Fase del ciclo


Es importante identificar el grado de madurez y la fase del ciclo en la que se encuentra la
intervencin. Este aspecto es importante por varias razones. En primer lugar, porque la fase
del ciclo permitir definir qu tipo de evaluacin es posible disear y realizar. En segundo
lugar, porque, en funcin de la maduracin del programa o poltica, pueden formularse
diferentes cuestiones, atinentes a las diferentes etapas de una poltica o programa pblico.
As, por ejemplo, en las etapas iniciales de un nuevo programa, las preguntas a plantear en la
evaluacin suelen focalizarse en el proceso o implementacin, esto es, cmo se desarrollan las
actividades o llegan a los destinatarios finales. Y, finalmente, porque en ocasiones el mandato
o encargo de evaluacin suele ya decantar qu aspecto interesa especialmente evaluar (el
diseo, la implementacin o los resultados).
Las diferentes situaciones que pueden darse son las siguientes:
La intervencin todava no se ha puesto en marcha.
La intervencin est implementada en parte.
La intervencin est implementada por completo.
| FASE 1. EL ANLISIS DEL ENCARGO DE LA EVALUACIN

45

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

La intervencin constituye un continuo en el tiempo.

1-3. Delimitacin de la evaluacin.


Como en el caso del objeto de evaluacin, tambin en esta fase se efecta una primera
descripcin de la evaluacin a realizar. Siempre teniendo en cuenta que, como se ha sealado,
es posible que el desarrollo de la propia evaluacin haga necesaria una revisin de esta
caracterizacin inicial.
La evaluacin se caracteriza sobre la base de su alcance, de sus objetivos, justificacin y
utilidad, de los actores que son relevantes para la propia evaluacin y finalmente, del enfoque
a aplicar y de la metodologa y herramientas que se prev utilizar.

1-3.1. Alcance de la evaluacin


En raras ocasiones las evaluaciones pueden abarcar toda la intervencin. Esta circunstancia
puede derivar de mltiples factores: que se trate de una intervencin que lleve desplegndose
durante un largo periodo de tiempo, su gran extensin territorial, que contemple multitud de
medidas, o que se carezca de informacin y sea muy complicado o costoso generar
informacin primaria.
El contenido que debe tener el alcance de la evaluacin es bastante flexible. No obstante, es
importante definir un permetro de evaluacin lo ms amplio posible, abarcando las
principales acciones o dimensiones relacionadas con el objeto de evaluacin.
Esto es particularmente importante en el mbito de la evaluacin de las polticas pblicas,
donde existen mltiples dimensiones tanto del problema como de las acciones o posibles
efectos de las intervenciones. As, junto a una poltica determinada, existen otras polticas o
acciones complementarias que tienen efectos sobre la intervencin.
Esta indefinicin lleva aparejada la imposibilidad de identificar, sin margen de dudas, cul es la
aproximacin metodolgica ms adecuada y las tcnicas que mayor eficiencia y eficacia
analtica tendrn en relacin con el objetivo de la evaluacin y lo que se espera de ella.
Por esta razn es preciso delimitar bien el encargo para negociar con los actores clave sus
lmites. Como criterios genricos de delimitacin pueden utilizarse los siguientes.

1-3.1.1. Temporal.
La evaluacin, por diversas razones que hay que explicitar, se centra en un determinado
periodo de tiempo. Esto es especialmente necesario en intervenciones que se vienen
desarrollando durante largos periodos de tiempo. Para la delimitacin temporal generalmente
se tiene en cuenta algn hito importante en el despliegue de la intervencin.

46

FASE 1. EL ANLISIS DEL ENCARGO DE LA EVALUACIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Ejemplo de la delimitacin del alcance temporal de una evaluacin. Evaluacin de la poltica


de bonificacin y reduccin de cuotas de la Seguridad Social. AEVAL, 2009.
Para esta evaluacin, aunque la poltica de bonificacin y reduccin de cuotas de la Seguridad
Social, que se dise a partir de la Ley Bsica de Empleo de 1980, se tom como criterio para
definir el alcance temporal de la evaluacin la reforma de la poltica realizada en el ao 2006,
derivada de un acuerdo social, en este caso concreto el Acuerdo para la Mejora del
Crecimiento y el Empleo, suscrito en 2006 por los agentes sociales y el gobierno.

Ejemplo de delimitacin del alcance de una evaluacin desde el punto de vista temporal.
Evaluacin de las medidas de racionalizacin y mejora de la gestin de la incapacidad
temporal. AEVAL, 2010.
El carcter continuado a lo largo del tiempo de las intervenciones en incapacidad temporal
por contingencias comunes () motiva que se proceda a acotar el mbito temporal de la
evaluacin. Se toma como referencia el perodo 2006-2008, umbral temporal en el que operan
las ltimas reformas legislativas (). Del mismo modo, el proceso de informatizacin de los
partes de baja por parte de los Servicios Pblicos de Salud, iniciado a partir de 2004, y () la
carencia de datos relativos () con anterioridad justifican plenamente la limitacin temporal
realizada. () Por ello, para la evaluacin del Programa de ahorro en incapacidad temporal,
(), el horizonte temporal considerado se cie al perodo 2004-2008. Para el caso de los
distintos programas piloto se tomar como referencia la fecha en la que se desarrollan.

1-3.1.2. Relevancia de las medidas.


Si la intervencin contiene mltiples medidas cuya evaluacin no sera posible en el plazo de
tiempo establecido, la evaluacin se centra en aquellas que tienen un mayor impacto en la
consecucin de los objetivos que pretende alcanzar la intervencin o en aquellas que mayor
cantidad de recursos pblicos moviliza.
Ejemplo de delimitacin del alcance de la evaluacin desde el punto de vista de relevancia
de las medidas. Evaluacin de la poltica de bonificacin de cuotas de la Seguridad Social.
AEVAL, 2009.
Por lo que respecta al alcance de la evaluacin, sta se centra en la reforma realizada en
2006, y dada la amplitud de esta poltica y de los colectivos objeto de bonificacin, de acuerdo
con el Servicio Pblico de Empleo Estatal (SPEE) se han seleccionado cuatro de ellos: los jvenes
menores de 30 aos; los mayores de 45 aos; los parados de larga duracin y las conversiones
de contratos temporales en indefinidos.

| FASE 1. EL ANLISIS DEL ENCARGO DE LA EVALUACIN

47

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

1-3.1.3. Territorial
Ante la imposibilidad de evaluar todo el mbito territorial de aplicacin de la intervencin se
efecta una seleccin razonada de los territorios objeto de evaluacin.
Ejemplo de definicin del alcance de una evaluacin desde el punto de vista territorial.
Evaluacin de las acciones financiadas con cargo a los Presupuestos Generales del Estado en
las reas de influencia socioeconmica de la Red de Parques Nacionales. AEVAL, 2009.
Para ello, y dada la amplitud de la Red de Parques Nacionales y las limitaciones en trminos
de tiempo disponible para la realizacin de la evaluacin se ha optado, de acuerdo con la
direccin del Organismo Autnomo Parques Nacionales, por seleccionar algunos parques
nacionales que reflejaran lo mejor posible la variedad de sistemas naturales representados en
la Red:
- Aigestortes i Estany de Sant Maurici como representacin de los ecosistemas de la alta
montaa pirenaica y los glaciares del Cuaternario,
- Cabaeros por el bosque mediterrneo,
- Picos de Europa por los ecosistemas ligados al bosque atlntico,
- Sierra Nevada por los ligados a la media y alta montaa mediterrnea, y
- Timanfaya en representacin del ecosistema insular volcnico.
La superficie que suman estos 5 parques elegidos supone el 61% de toda la superficie de la Red
y algo ms de 200 mil hectreas.
Por ltimo, tambin en este caso es posible que existan otro tipo de criterios, distintos de los
sealados, especficos para cada evaluacin, sobre la base de los cuales se determina el
alcance de la evaluacin.

1-3.2. Objetivo, justificacin y utilidad de la evaluacin


En este apartado se da respuesta a tres interrogantes: qu se pretende conocer con la
evaluacin, por qu se plantea la evaluacin en estos momentos y para qu se va a utilizar.
Los contenidos del primer tem son bastante obvios. Se trata de trasladar en qu va a centrarse
prioritariamente la evaluacin. La definicin de los objetivos de la evaluacin se realiza
teniendo en cuenta las necesidades de informacin de los diferentes actores interesados.

48

FASE 1. EL ANLISIS DEL ENCARGO DE LA EVALUACIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Ejemplo de definicin de los objetivos de la evaluacin. Evaluacin de la poltica de


bonificacin de cuotas de la Seguridad Social. AEVAL, 2009.
El principal objetivo que plantea el encargo es evaluar la eficacia de las bonificaciones de
cuotas para la generacin y mantenimiento de empleo estable a travs del examen de los
siguientes objetivos especficos:
- Comprobar la eficacia del programa de bonificaciones de cuotas discriminando a aquellos
colectivos en los que la incidencia de la medida haya sido ms determinante que en otros.
Por otra parte es necesario justificar la razn de la evaluacin. La evaluacin es una
intervencin pblica ms que tambin consume recursos pblicos, por lo que la justificacin
resulta absolutamente necesaria desde el punto de vista del principio de responsabilidad que
tambin debe guiar la actuacin de la funcin de evaluacin.
La justificacin de la evaluacin puede argumentarse desde mltiples razones:
La previsin de realizacin de evaluaciones en la propia intervencin.
Un mandato de evaluacin que puede proceder por ejemplo de la Unin Europea o
generarse a nivel nacional.
La necesidad de disear nuevas polticas o de redisear las existentes ante nuevas
demandas, necesidades o problemas pblicos o estrategias de futuro o cambios
normativos.
Un diseo o rediseo porque los resultados alcanzados no son los esperados o se
quiera identificar posibles problemas de implementacin que puedan afectar a los
resultados obtenidos.
Porque la intervencin ha finalizado y se quiere conocer sus resultados e impactos.
Por otras razones.
Ejemplo de definicin de la justificacin de la evaluacin. Evaluacin de la poltica de
bonificacin de cuotas de la Seguridad Social. AEVAL, 2009.
La justificacin de la evaluacin de esta intervencin se fundamenta en el hecho de que se
trata de una poltica con una importante duracin en el tiempo y dirigida a colectivos en los
que se mantiene un persistente ndice de desempleo. Por lo que se refiere a los jvenes,
interesa conocer si los incentivos estn bien orientados, si su cuanta es suficiente o si habra
que combinar las bonificaciones con otro tipo de medidas. Por otro lado, el colectivo de
parados de larga duracin puede ser especialmente vulnerable ante la desaceleracin
econmica.

| FASE 1. EL ANLISIS DEL ENCARGO DE LA EVALUACIN

49

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

En cuanto a la utilidad de la evaluacin, es una de las cuestiones que deben definirse cuanto
antes porque de ella derivan la tipologa de evaluacin a aplicar y los distintos informes que
debern elaborarse. La tipologa de evaluacin aplicable en un proceso de evaluacin concreto
no depende slo de la fase del ciclo en el que se encuentre la intervencin sino de muchas
otras consideraciones.
Ejemplo de definicin de la utilidad de la evaluacin. Evaluacin de la poltica de bonificacin
de cuotas de la Seguridad Social. AEVAL, 2009.
La principal utilidad de la evaluacin radica en el aporte de evidencias que puedan conducir a
un rediseo de este instrumento de fomento de empleo.
Otra cuestin a tener en cuenta es que existe una utilidad genrica de la evaluacin como
instrumento de transparencia y rendicin de cuentas. Este aspecto debe resaltarse tambin y
no solo desde el punto de vista de la razn de ser de la funcin evaluadora sino tambin
como una muestra de voluntad de transparencia y de rendicin de cuentas por parte de los
responsables polticos directos y gestores de la intervencin evaluada.

1-3.3. Actores relevantes para la evaluacin.


En la fase de anlisis del encargo se traza un primer mapa de actores que se va completando a
lo largo de la evaluacin. No es infrecuente que a raz de las entrevistas a los actores
identificados inicialmente, aparezcan otros no identificados muy relevantes para explicar
aspectos de diseo e implementacin o de los que se quiera conocer su percepcin en relacin
con los resultados alcanzados.
Adems, la identificacin de actores clave y los roles que van a jugar cada uno de ellos en la
evaluacin es uno de los primeros pasos que hay que realizar para empezar a concretar las
preguntas de evaluacin. No slo porque a partir de las entrevistas realizadas durante esta
fase surjan interrogantes en relacin con la intervencin que sera conveniente incorporar a la
matriz de evaluacin, sino porque tambin estas entrevistas van a permitir identificar las
necesidades de informacin y lo que esperan de la evaluacin cada uno de ellos.
La seleccin de los actores clave (los informantes) est condicionada por las limitaciones de la
evaluacin recursos, plazos, etc.-. Es necesario seleccionar porque no siempre es posible
llegar a todos. Lo que s es fundamental es que los actores informantes finalmente
seleccionados representen las distintas perspectivas y percepciones respecto de la
intervencin. A partir de la identificacin de los actores relevantes se puede conocer qu papel
tienen en la intervencin, y el rol que juegan o pueden jugar en relacin con la evaluacin y
valorar su posible influencia a la hora de facilitar u obstruir el proceso de evaluacin. Una
forma de sintetizar esta informacin es construir una matriz de actores.
El siguiente cuadro muestra un ejemplo de matriz de actores. La columna rol describe las
funciones que desempea cada actor en relacin con la intervencin. La columna inters
refleja las motivaciones que cada actor puede tener en relacin con la evaluacin. La columna

50

FASE 1. EL ANLISIS DEL ENCARGO DE LA EVALUACIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

resultado acciones refleja las actuaciones que cada actor ha desarrollado en relacin con la
intervencin y finalmente la columna jerarquizacin representa la capacidad de influencia
del actor en la evaluacin segn una gradacin, que en este caso asume tres posiciones: alto,
medio y bajo. 24
Cuadro 1. Fragmento de matriz de actores.
ACTOR

Unidad nivel 1

ROL

INTERS

- Implementacin y
seguimiento de programas

- Mejorar el servicio

- Marco normativo en su
competencia

- Directrices y diseo

- Mejorar percepcin
ciudadana

- Guas metodolgicas

- Obtener buenos
resultados en su gestin

- No ha efectuado un
seguimiento real de los
programas

- Gestin programas

- Conocer la imagen
externa de sus
organizaciones

Responsables de unidades
nivel 2

Unidades nivel 3

Unidades nivel 4

RESULTADO ACCIONES JERARQUIZACIN

- Impulso y apoyo al
despliegue de los
- Conocer sus resultdos en
programas en su mbito de relacin con otros
gestin
organismos
- El impulso de esos
proramas no constituye
una prioridad
- Designacin
- Mejorar la gestin en su
responsables
mbito competencial
- Responsable de elaborar
- Informe de seguimiento
el informe agregado de
seguimiento
- Impulso y apoyo para el
- En general, el impulso de
despliegue de los
los programas no
programas en el
constituye una prioridad
Departamento
- Responsables de la
- Los resultados de los
implementacin de los
programas estn
programas en su mbito de directamente relacionados
gestin
con su gestin
- Responsables del
seguimiento de los
programas en su mbito de
gestin

- Impulso poltico para el


despliegue de los
programas en su mbito de
gestin

ALTO

MEDIO

- Designadas unidades
- Elaborando el primer
informe de segumiento

MEDIO

- Realizacin de cursos de
formacin

- Confeccin de informes
sectoriales de segumiento

- La evaluacin les permite - Validacin de


conocer su posicin
autoevaluaciones
respecto de otros
- Imparticin de formacin
organismos
en su mbito de gestin

ALTO

Fuente: Elaboracin propia.

24

Pueden definirse otras escalas para medir la jerarquizacin. Generalmente se recomienda que se
contemplen pocas posiciones para facilitar el anlisis.

| FASE 1. EL ANLISIS DEL ENCARGO DE LA EVALUACIN

51

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

1-4. Avance del enfoque de la evaluacin, de la metodologa y de las


herramientas a utilizar en la evaluacin.
Por ltimo se realiza un avance del enfoque de la evaluacin, no tanto metodolgico como
relativo a la perspectiva desde la que se va a evaluar el objeto de estudio. Por ejemplo, las
polticas educativas pueden evaluarse desde la perspectiva de su impacto en el rendimiento de
los alumnos o de los centros educativos o pueden abordarse desde el punto de vista de su
contribucin a la equidad y cohesin social.
Ejemplo de descripcin del enfoque de evaluacin. Evaluacin de los Programas de
Formacin de la Cooperacin Espaola. AEVAL, 2010.
La evaluacin de los programas de formacin de la cooperacin espaola pretende poner en
relacin los objetivos generales de la cooperacin espaola al desarrollo, en los que estn
incorporados los acuerdos internacionales suscritos por Espaa, con los programas de
formacin que se desarrollan dentro de cada iniciativa.
Dentro de cada iniciativa se abordarn distintos aspectos dirigidos a caracterizar el proceso de
planificacin y desarrollo de las actividades formativas y los resultados e impactos
conseguidos. En cada uno de estos mbitos se requiere una identificacin de sus objetivos y un
anlisis de su coherencia con los objetivos de la cooperacin espaola para el desarrollo,
expresados en el Tercer Plan Director 2009-2012, en el que ya se han incorporado las
principales lneas de trabajo derivadas de los distintos acuerdos internacionales suscritos por
Espaa. Por otra parte, la evaluacin pretende analizar la eficacia las actividades de formacin
como instrumento para la consecucin del objetivo de fortalecimiento institucional y de
desarrollo de los pases beneficiarios.
Siempre que sea posible se avanzar la tipologa o tipologas de evaluacin a aplicar y las
herramientas de recopilacin y anlisis de la informacin inicialmente previstas. Tambin se
incluyen las principales preguntas de evaluacin, los criterios de valor con los que se
relacionan y los indicadores vinculados.

1-5. Estrategia organizativa.


Con esta estrategia se trata de terminar de perfilar la evaluacin. La estrategia organizativa
est integrada por los siguientes elementos:
La designacin del equipo evaluador y atribucin de roles a quienes lo conforman.
Direccin, coordinacin y gestin de la evaluacin.
Las posibles colaboraciones externas (equipos mixtos).

52

FASE 1. EL ANLISIS DEL ENCARGO DE LA EVALUACIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

En buena medida la calidad de la evaluacin radica en una buena seleccin del equipo de
evaluadores, quienes deben disponer de las cualificaciones necesarias. Es importante que los
equipos de evaluacin sean multidisciplinares. Los equipos de evaluacin pueden ser internos,
externos o mixtos, pudiendo establecerse la siguiente tipologa (Office of Planning, Research
and Evaluation, 2010):
Un evaluador interno, que acta como lder del equipo de evaluacin y es apoyado por
el personal del programa (autoevaluacin).
Un evaluador interno, que acta como lder del equipo y est apoyado por los
miembros del programa y/o tambin por consultores tanto pblicos como privados.
Un evaluador externo, tanto individual como colectivo (puede ser un organismo
pblico de evaluacin, un instituto de investigacin, una universidad, o una empresa
privada) acta como lder y est apoyado por un equipo, que a su vez puede ser
tambin externo o interno (conformado con personas del interior de la propia
organizacin que implementa la intervencin).
Cada una de las modalidades presenta ventajas. En el primer caso la evaluacin ser ms
econmica, dado que no se procede a contratar empresas o entidades externas. Adems,
existe un elevado grado de conocimiento y familiarizacin con la organizacin y la
intervencin, y un mayor conocimiento del programa,-su gestin y ejecucin-. En ocasiones,
tambin puede existir una mayor consistencia de los objetivos de la evaluacin con los del
programa o poltica.
En el segundo caso, a las ventajas iniciales, se aade el apoyo de un consultor externo, de tal
modo que se mejoran los aspectos tcnicos y metodolgicos de la evaluacin del programa o
poltica.
En el tercer caso, los resultados de la evaluacin pueden ser percibidos como ms objetivos.
Los evaluadores externos pueden tener una mayor experiencia y conocimiento tcnico en la
conduccin de las evaluaciones. Suele afirmarse que las evaluaciones externas presentan un
mayor grado de independencia, aunque esto no siempre es as.
Lgicamente, en funcin de la eleccin del equipo de anlisis, la direccin, coordinacin y
gestin de la evaluacin ser diferente.
En el caso de las evaluaciones externas, el primer paso consiste en desarrollar una descripcin
del trabajo a realizar, que puede incluir los materiales, servicios y productos que deben ser
proporcionados por el evaluador. El segundo paso consiste en encontrar quin realizar la
evaluacin. En esta fase debern analizarse detenidamente las propuestas tcnico-financieras.
A continuacin se debe proceder a formalizar un contrato, aspecto que se analizar con mayor
detalle en el apartado relativo a los Trminos de Referencia incluido en la fase de diseo de la
evaluacin.
| FASE 1. EL ANLISIS DEL ENCARGO DE LA EVALUACIN

53

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

En el caso de las evaluaciones internas, el proceso presenta especificidades propias. Dado que
no se procede a contratar o externalizar la totalidad de la evaluacin, una vez determinado el
lder y equipo de evaluacin, se
estipulan las tareas a realizar y se
asignan a los miembros de los
LA EXPERIENCIA DE AEVAL
equipos. En todo caso deber
establecerse un plan de trabajo y un El resultado de la estrategia organizativa se suele
plasmar en el informe de anlisis del encargo y
cronograma de tareas.
contempla, normalmente, la constitucin de una
comisin de seguimiento en la que participan el equipo
Un plan de evaluacin o plan de
evaluador y los responsables de la intervencin
trabajo 25 es un documento escrito evaluada.
que especifica el diseo de
Esto permite, adems, una mejor compenetracin con
evaluacin y detalla las prcticas y
los responsables de la intervencin y hacerles cmplices
procedimiento a emplear para de los hallazgos realizados.
conducir la evaluacin (Office of
Estos aspectos se tratan tambin en el caso de
Planning, Research and Evaluation,
elaboracin de Trminos de Referencia en el caso de las
2010).
contrataciones externas, como se ver en el captulo
tercero.
Debe desarrollarse con anterioridad
al inicio de la evaluacin, lo que
posibilita que sea revisado y corregido. Su contenido es variable, existiendo diferentes
posibilidades, aunque fundamentalmente suele coincidir con algunos de los elementos de los
Trminos de Referencia, que luego se vern.
Puede recurrirse a la contratacin o colaboraciones externas tambin para la realizacin de
labores concretas de la evaluacin, fundamentalmente la aplicacin de determinadas tcnicas
o herramientas de anlisis. AEVAL, por ejemplo emplea la contratacin externa para la
realizacin del trabajo de campo y tabulacin en el caso de las encuestas, o la realizacin de
grupos de discusin.
Para cerrar la estrategia organizativa hay que tener en cuenta a los actores e informantes clave
y cmo se produce el establecimiento de los procedimientos de comunicacin con ellos.
Asimismo sirve para conocer las necesidades de informacin de todos ellos.

Herramientas aplicables para realizar el anlisis del encargo.


Las herramientas utilizadas en esta fase son bsicamente el anlisis documental, el anlisis de
informacin a partir de fuentes de datos secundarias y, de manera determinante, la entrevista.
Es importante recordar que el anlisis del encargo supone la primera aproximacin del
evaluador al objeto de evaluacin, lo que significa que el trabajo de gabinete tiene un peso
importante. Por otra parte, la entrevista es la herramienta ms adecuada para delimitar el

25

ste no tiene que ver con el Plan de trabajo anual de la AEVAL, mencionado anteriormente.

54

FASE 1. EL ANLISIS DEL ENCARGO DE LA EVALUACIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

alcance de la evaluacin y conocer las expectativas y necesidades de informacin de los


actores involucrados.
Ilustracin 6. Resumen del cronograma de trabajo de la Evaluacin del Plan espaol de
energas renovables (2005-2010).

2010
Abril

Mayo

Junio

Julio

Agosto

2011

Septiembre

Octubre

Noviembre

Diciembre

Enero

Febrero

Marzo

Mandato
CM
Anlisis del encargo
Entrevista SEE

Entre vistas institucionale s

Lgica de la intervencin
Matriz de preguntas
Entrevistas sectoriales IDAE
Entrevistas de orientacin: REE y C NE

Expedientes contratacin estudios

Informe de progreso

Estudio cualitativo:
Entrevistas en profundidad
Entrevistas CCAA
Entrevistas compleEstudio cuantitativo:
Anlisis de

mentarias
Encuesta
la informacin
Entrevistas de
confirmacin
Anlisis
informacin

Redaccin
Informe
final

ENTREGA
INFORME

Fuente: Elaboracin propia a partir del cronograma de la Evaluacin del Plan Espaol de
energas renovables (2005-2010). (AEVAL, 2011).

Producto de la fase 1: El informe preliminar o informe de anlisis del


encargo.
El Informe preliminar o de Anlisis del encargo es el principal producto que deja esta fase y se
elabora a partir de la informacin que se ha obtenido para cada uno de los bloques que se han
descrito en epgrafes anteriores. Tiene una triple virtualidad:
Por un lado, constituye un elemento de control interno, que permite al responsable
del equipo evaluador 26 valorar si la evaluacin est bien enfocada.
Por otro lado, acta como punto de partida para los Trminos de Referencia 27, de
manera que se puede establecer un primer consenso con los responsables de la
26

En el caso de AEVAL, la direccin del Departamento de Evaluacin tiene que validar dicho informe
para continuar el proceso.
27

Dado que bsicamente las evaluaciones de la Agencia se efectan por mandato del Gobierno, no
existe ningn tipo de relacin contractual entre quien encarga la evaluacin y quien la realiza, por lo que
no tiene sentido elaborar trminos de referencia (TDR) en sentido estricto, as que el Anlisis del
encargo constituye un documento equivalente a los TDR. En todo caso, en el apartado F3-3 se detalla
cmo elaborarlos y su contenido.

| FASE 1. EL ANLISIS DEL ENCARGO DE LA EVALUACIN

55

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

intervencin a evaluar sobre los aspectos en los que la evaluacin se va a centrar,


dando respuesta adems, a las
necesidades de informacin que
LA EXPERIENCIA DE AEVAL
stos tienen.
Aunque en el captulo VI se tratar en profundidad el
Acta de facto como un documento informe de evaluacin, es importante sealar que
de compromisos de las partes en siempre el informe debe elaborarse por fases. La
relacin con los contenidos, experiencia de AEVAL ha demostrado con creces que
objetivos y desarrollo de la escribir el informe al finalizar el proceso de evaluacin
es absolutamente ineficaz.
evaluacin.
Naturalmente, siempre es posible que el avance de la
evaluacin presente descubrimientos que afecten a las
primeras fases del informe, pero entonces se irn
incorporando sin mayor problema y aparecern en el
informe siguiente. El informe preliminar se incorpora al
informe final de evaluacin, integrando el captulo 1 de
este informe.

56

FASE 1. EL ANLISIS DEL ENCARGO DE LA EVALUACIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

FICHA RESUMEN DE LA FASE 1. ANLISIS DEL ENCARGO

OBJETIVOS
- Identificar el objeto de la evaluacin
- Delimitar el alcance de la evaluacin
- Definir los objetivos de la evaluacin, su justificacin y posible utilidad
- Avance del enfoque

ELEMENTOS DEL ANLISIS DEL ENCARGO


1-1. DESCRIPCIN DEL ENCARGO DE EVALUACIN
ITEMS
- Quin efecta el encargo
- Vinculacin de la intervencin con instrumentos estratgicos

1-2. CARACTERIZACIN DEL OBJETO DE EVALUACIN


ITEMS
-Identificacin del tipo de intervencin que se evala:
* Plan
* Programa
* Proyecto
* Medida

- mbito en el que se desarrolla la intervencin:


* Segn el sector de poltica
* Segn los niveles de la Administracin competentes

- Grado de complejidad:
* Por el objeto de evaluacin
* Por el carcter sectorial o trasnversal de la intervencin
* Por la intervencin simultnea o sucesiva de diversos niveles de la Administracin
* Por la concurrencia de mltiples actores
* Otros factores de complejidad

- Fase del ciclo en el que se encuentra la intervencin:


* La intervencin todava no se ha puesto en marcha
* La intervencin est implementada en parte
* La intervencin est implementada por completo
* La intervencin constituye un continuo en el tiempo

| FASE 1. EL ANLISIS DEL ENCARGO DE LA EVALUACIN

57

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

1-3. DELIMITACIN DE LA EVALUACIN


ITEMS

ALCANCE DE LA EVALUACIN

ITEMS
* Temporal
* Relevancia de las medidas
* Territorial

OBJETIVOS, UTILIDAD Y JUSTIFICACIN DE LA EVALUACIN

ITEMS
- Dar respuesta a las siguientes preguntas:
* Qu queremos saber a travs de la evaluacin?
* Para qu hacemos la evaluacin?
* Por qu se plantea la evaluacin en estos momentos?

IDENTIFICACIN DE ACTORES E INFORMANTES CLAVE PARA LA EVALUACIN

ITEMS
- Matriz de actores

1-4. AVANCE DEL ENFOQUE DE LA EVALUACIN, DE LA METODOLOGA Y LAS


HERRAMIENTAS A UTILIZAR EN LA EVALUACIN
ITEMS
- Perspectiva desde la que se va a evaluar
- Avance de la tipologa de evaluacin
- Avance de las herramientas que se prev utilizar

1-5. ESTRATEGIA ORGANIZATIVA


ITEMS
- Designacin equipo y roles
- Direccin, coordinacin y gestin
- Posibles colaboraciones externas
- Acuerdo de necesidades de informacin con los actores e informantes clave
- Acuerdo de relacin con los responsables de la intervencin: comisin de seguimiento

HERRAMIENTAS APLICABLES EN EL ANLISIS DEL ENCARGO


ITEMS
- Anlisis documental
- Anlisis de datos a partir de fuentes secundarias
- Entrevista personal

PRODUCTO DE LA FASE 1
INFORME PRELIMINAR O INFORME DEL ANLISIS DEL ENCARGO
- Utilidad
*Control interno: valorar si la evaluacin est bien enfocada
* Establecer un consenso sobre los aspectos en los que se va a centrar la
evaluacin
* Documento de compromisos en relacin con los contenidos, objetivos y
desarrollo de la evaluacin

58

FASE 1. EL ANLISIS DEL ENCARGO DE LA EVALUACIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

FASE 2. ANLISIS Y RECONSTRUCCIN DE


LA LGICA DE LA INTERVENCIN
Una vez finalizada la fase de anlisis del encargo se efecta un anlisis en profundidad de la
intervencin objeto de evaluacin.
Una de las particularidades de AEVAL es que los objetos de evaluacin que asume suelen ser
notablemente complejos. Las polticas pblicas suelen ser indefinidas y difusas, adems de
cobrar plena relevancia la complementariedad y multiplicidad de intervenciones que generan
efectos diversos en el campo material de la intervencin objeto de evaluacin, como se ha
indicado anteriormente.
Por esta razn cobra especial atencin en la evaluacin de polticas pblicas como las que
evala AEVAL el anlisis del contexto de la intervencin: tanto el problema que la origin como
sus causas y efectos, lo que obliga a indagar en la pertinencia de las acciones para la resolucin
de dicho problema, aspectos que se analizarn ms adelante. En definitiva, el enfoque de
evaluacin en el caso de las evaluaciones de polticas pblicas suele ser ms complejo.
Profundizar en el conocimiento del objeto de evaluacin es el objetivo de esta fase de la
evaluacin. Si en la fase de anlisis del encargo el objetivo era caracterizar en el primer
momento la intervencin y la evaluacin a realizar, aqu se intenta desentraar la lnea
argumental interna de la intervencin evaluada, utilizando fundamentalmente tcnicas y
herramientas tpicas del anlisis de polticas pblicas 28 y de investigacin social para tratar de
reconstruir (en algunos casos, construir, como se ver) esa lgica de la intervencin.
El objetivo, por lo tanto, es conocer lo mejor posible el problema que da origen a la
intervencin, sus causas y sus efectos, las alternativas seleccionadas para solucionarlo y los
instrumentos en que stas se plasman (leyes, planes, programas, etctera), y, finalmente, el
diseo de la propia intervencin: la coherencia entre el problema, la solucin planteada y las
medidas propuestas para conseguirla.
En resumen, el anlisis de la lgica de la intervencin pone su foco de atencin en la gnesis
de la intervencin, revisando todo el proceso, reconstruyndolo.
Este esfuerzo de revisin es fundamental para la evaluacin, porque si no se lleva a cabo es
muy difcil poder relacionar la cadena de actuaciones sucesivas entre el momento en que

28

Evidentemente, la profundidad de los anlisis de polticas pblicas que se elaboran en evaluacin no


es la de los anlisis que se dedican nica y expresamente a ste. Pero las bases tericas y las
herramientas y tcnicas utilizadas son comunes a las que se utilizan en el anlisis de polticas pblicas.

| FASE 2. ANLISIS Y RECONSTRUCCIN DE LA LGICA DE LA INTERVENCIN

59

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

comienza a gestarse la intervencin (lo que se denomina la gnesis de la intervencin) hasta el


momento de la evaluacin.
Ejemplo de la dificultad que plantea la inexistencia de una lgica de la intervencin.
Evaluacin de la incidencia de las medidas adoptadas para la racionalizacin del gasto
farmacutico. AEVAL, 2008.
En esta evaluacin se indica que la estructura del plan evaluado, el Plan Estratgico de Poltica
Farmacutica, no permite un anlisis directo de su lgica interna ya que no se efecta un
despliegue sistemtico de objetos especficos, medidas e indicadores a partir del objetivo
estratgico que se pretende alcanzar. Por esta razn ha sido necesario reconstruir la lgica de
la intervencin para poder valorar su coherencia interna 29.
La reconstruccin de la lgica de la intervencin se hace pues imprescindible al abordar un
objeto de evaluacin porque, con frecuencia, las intervenciones pblicas tienen carencias en
su diseo (como la falta de un diagnstico previo lo suficientemente profundo, la falta de una
teora causal sobre la que asentar la hiptesis de la intervencin; la inexistencia de objetivos
definidos en alguna o todas las fases de la planificacin-; la falta de resultados esperados, y la
falta de mecanismos de seguimiento, como los indicadores.
Los siguientes epgrafes desarrollan el conjunto de actividades que se llevan a cabo para poder
reconstruir la lgica de la intervencin. Estas diferentes etapas son ms sencillas si la
planificacin de la intervencin ha sido correcta, o ms complejas, en funcin del objeto de
evaluacin y de las carencias, ya mencionadas, en materia de planificacin. Son las siguientes:
2-1. El contexto de la intervencin.
2-2. La identificacin y definicin del problema, sus causas y sus efectos.
2-3. Instrumentos de intervencin pblica para resolver el problema.
2-4. Despliegue de la intervencin.

2-1. El contexto de la intervencin.


Una intervencin pblica debiera siempre tener como objetivo solucionar una serie de
necesidades, demandas o problemas determinados. En ocasiones la necesidad de la
intervencin deriva de una decisin poltica o de la propia administracin, que pueden
anticiparse a posibles necesidades sociales. En otros casos se producen hechos imprevistos
que requieren una respuesta pblica, o son fruto de la presin social hacia un asunto concreto,
o incluso de los cambios sociales que pueden demandar la cobertura de nuevas necesidades o
la resolucin de un problema. Finalmente, una intervencin pblica tambin puede derivar de
29

La negrita es del equipo redactor.

60

FASE 2. ANLISIS Y RECONSTRUCCIN DE LA LGICA DE LA INTERVENCIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

la necesidad de redisear intervenciones existentes, bien como consecuencia de una


evaluacin, bien para adaptarlas a un contexto presupuestario diferente (ms restrictivo o ms
expansivo).
Para comprender la lgica de la intervencin, hay que conocer el contexto en el momento de
su diseo y formulacin, ya que la determina, proporcionndole o restndole pertinencia.
Dicho contexto puede haberse modificado en el momento en que se realiza la evaluacin. Por
ello es vital tener clara la diferencia entre uno y otro para no desvirtuar el diagnstico.
Ejemplo de anlisis del contexto. Evaluacin del Plan Estratgico de Seguridad Vial 20052008. AEVAL, 2009.
El contexto que marcaba claramente la intervencin era el de un pas, en 2004, en el que se
produjeron 94.000 accidentes de trfico con vctimas, en los que hubo 4.741 muertos, 21.805
heridos graves y 116.578 heridos leves. Al mismo tiempo, estaba en marcha un Plan a nivel
europeo con objetivos de reduccin a nivel comunitario y se marcaban objetivos en diferentes
planes y estrategias del gobierno, en un contexto presupuestario favorable en el momento del
inicio de una legislatura marcada por un cambio del partido poltico en el gobierno. En 2009,
cuando se llev a cabo la evaluacin, las cifras de fallecidos en accidente de trfico se haban
reducido en ms de un 40%, el parque automovilstico se haba renovado bastante y haba
aparecido ya la crisis econmica.
Este anlisis implica un estudio del contexto socioeconmico, poltico, legal y administrativo,
en el que se desarrolla la intervencin. Ha de tenerse en cuenta, al trazar este contexto, el
marco competencial y los niveles de gobierno que participan (o debieran participar) en el
diseo de la intervencin. Este aspecto es importante sobre todo en pases como Espaa,
fuertemente descentralizados y con un sistema competencial en el que priman las
competencias concurrentes y compartidas. Al analizar los niveles de gobierno o administracin
que pueden intervenir hay que considerar desde el nivel supranacional -la Unin Europea,
fundamentalmente, pero tambin organismos internacionales como la Organizacin Mundial
de la Salud (OMS) o la Organizacin de Naciones Unidas (ONU), y en los ltimos tiempos el
Fondo Monetario Internacional (FMI), el Banco Mundial o la Organizacin para la Cooperacin
y el Desarrollo (OCDE)- hasta el nivel local, pasando por el autonmico y el estatal.
Ejemplo del anlisis competencial en el marco del anlisis del contexto de una intervencin.
Evaluacin del Plan estratgico de seguridad vial 2005-2008. AEVAL, 2009.
Para evaluar el Plan Estratgico de Seguridad Vial hubo que considerar que la competencia
sobre trfico y circulacin de vehculos a motor es del Estado, as como la legislacin bsica
en otras cuestiones, algunas asumidas por Comunidades Autnomas. Fue tambin preciso
valorar las implicaciones del Plan europeo y las competencias en materia de carreteras,
educacin, etctera, de las Comunidades Autnomas y las que las entidades locales asumen en
las ciudades en materia de trfico, entre otras.

| FASE 2. ANLISIS Y RECONSTRUCCIN DE LA LGICA DE LA INTERVENCIN

61

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

2-2. La identificacin y definicin del problema, sus causas y sus efectos.


La mayora de los autores coinciden en que el ciclo de una poltica pblica 30 tiene cinco
grandes fases: la identificacin y definicin del problema; la formulacin de alternativas; la
adopcin de la mejor alternativa; la implantacin de la alternativa y la evaluacin. En una
buena planificacin todo este proceso debiera estar explicitado.
No siempre se dan esas fases (o no se dan de forma explcita o implcita, o en su totalidad) por
lo que en ocasiones, el equipo de evaluacin tiene que descubrir cmo se ha adoptado la
decisin entre lneas o a travs de las medidas que se implementan.
Una de las cuestiones a tener en cuenta a la hora de abordar este anlisis es la importancia
que la ideologa, la presin de los actores (muy probablemente con visiones diferentes del
problema y en consecuencia, de sus causas y de cmo debe resolverse), la oportunidad
poltica, etctera, pueden ejercer, tanto en la consideracin como un problema de una
determinada circunstancia, como en su definicin y en las posibles soluciones 31.
Ejemplo de la falta de definicin del problema. Evaluacin del programa de ayudas para
actuaciones de reindustrializacin (REINDUS). AEVAL, 2011.
En esta evaluacin se pone de manifiesto la carencia de una explicitacin de la definicin del
problema. Al explicar el programa, se detallan una serie de ayudas anuales a ciertos territorios
para la reindustrializacin. Pero no se indica claramente que lo que se intenta resolver, en
definitiva, son los desequilibrios econmicos regionales que se traducen en distintos niveles de
renta y bienestar en esas zonas beneficiadas por las ayudas.
El anlisis del problema sigue una secuencia concreta, resumida por Francisco Alvira 32 en el
siguiente esquema:

30

Para profundizar en este asunto se puede consultar, entre otros autores y trabajos, Tamayo Senz, M,
El anlisis de las polticas pblicas, en La nueva Administracin Pblica (1997); Aguilar Villanueva, L., El
estudio de las polticas Pblicas (2000) y Problemas pblicos y agenda de gobierno (2000), y Arenilla, M,
Planificacin y polticas pblicas, en Evaluacin y calidad en las organizaciones pblicas (2000).

31

Ver, en este sentido, la explicacin que ofrecen Ballart y Rami en Ciencia de la Administracin, Tirant
Lo Blanch, Valencia (2000) pp.504-525.

32

Alvira Martn, F., Metodologa de evaluacin de programas, CIS, 1991.

62

FASE 2. ANLISIS Y RECONSTRUCCIN DE LA LGICA DE LA INTERVENCIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Ilustracin 7. Proceso de anlisis del problema, diagnstico de necesidades y eleccin de la


estrategia de intervencin.
CONDICIONES
SOCIALES O HECHOS

PROBLEMA SOCIAL

VALORES SOCIALES

EVALUACIN DE
DIAGNSTICO O
NECESIDADES

SELECCIN DE
ESTRATEGIAS DE
INTERVENCIN

NECESIDADES
SOCIALES

HIPTESIS SOBRE
ETIOLOGA DEL
PROBLEMA

Fuente: Elaboracin propia a partir de Alvira (1991).


Como se observa en el proceso relatado por Alvira, se puede realizar una evaluacin de la
propia definicin del problema (denominada evaluacin de diagnstico o de necesidades) que
permite valorarlo y evitar errores de conceptualizacin 33. Este anlisis se efecta tambin, en
todo caso, dentro de un proceso
evaluativo que vaya ms all del
LA EXPERIENCIA DE AEVAL
diagnstico 34.
Conviene apuntar que, segn la experiencia de AEVAL,
Las principales dificultades que la responsabilidad del impulso o aprobacin de una
aparecen a la hora de determinar determinada intervencin (plan, programa, actuacin)
la identificacin y definicin del puede ser muy difusa y ver aumentada esa indefinicin
problema en el proceso evaluativo en el transcurso del tiempo.
son la falta de informacin y el La
falta
de
documentacin
que
acredite
hecho de que las necesidades fehacientemente la paternidad de algunas
estn fragmentadas o parezcan intervenciones pblicas obliga al equipo evaluador a
encontradas en la planificacin 35. buscar otras fuentes de informacin acerca de la
gnesis de dicha intervencin. En este sentido, resulta
Estas dificultades se intentan
de vital importancia la correcta identificacin de
solventar
con
tcnicas
de actores e informantes clave que puedan aportar luz.
investigacin social, como, entre
otras, el anlisis documental, la
entrevista, la tcnica de grupo
nominal o la realizacin de grupos de discusin en los que afloren los discursos de los distintos
actores relacionados con la intervencin que permitan llegar a una conclusin sobre la
necesidad o problema, o la percepcin de la existencia de un problema, que gener la
intervencin.
33

No es del todo infrecuente que se planteen intervenciones pblicas para solucionar problemas que no
eran tales, o no lo eran en la concepcin efectuada por el planificador.

34

Al menos en el enfoque de evaluacin que tiene AEVAL, tal y como se ha reseado en apartados
anteriores.
35

Tanto entre las medidas adoptadas en el propio plan o con la de otros planes con los que debieran
estar alineados.

| FASE 2. ANLISIS Y RECONSTRUCCIN DE LA LGICA DE LA INTERVENCIN

63

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

El objetivo que se persigue es conocer si en el diseo de la intervencin se han analizado todas


las facetas del problema y si se ha profundizado suficientemente en el mismo a partir de la
recopilacin y anlisis de datos objetivos que ayuden a su comprensin.
Por ltimo, debe comprobarse que el planificador ha tenido en cuenta, a la hora de disear la
intervencin, las diferentes necesidades a que se enfrenta, sobre todo cuando se trata un
problema complejo con varias polticas afectadas, como es el caso del ejemplo que sigue.
Ilustracin 8: Identificacin de problemas relacionados con una intervencin pblica.
Evaluacin del Plan de Medidas de Mejora de los Servicios de Sanidad Exterior.

POLTICA DE CONTROLES SANITARIOS EN FRONTERA

Problemas/
necesidades

Actores: MSSSI,
MAGRAMA y
MINHAP

A. PROBLEMAS ESTRUCTURALES:
o La doble dependencia orgnica y
funcional de los controles sanitarios en
frontera.
o La falta de visin integrada de la
inspeccin de mercancas.
o Multiplicidad de actuaciones no
simultneas.
o Falta de coordinacin entre
departamentos y entre servicios.
o La relativa importancia que se otorgaba
a la inspeccin en frontera y las
deficiencias en el funcionamiento de los
servicios.
Cuestiones de personal.
Cuestiones atribuibles a la
organizacin de los horarios de
inspeccin.
B. PROBLEMAS COYUNTURALES:
o Nuevas obligaciones y necesidades.
o Los cambios de tendencia del trfico
comercial.

Eje de gestin
aduanera

Eje comercial
Problemas/
necesidades

Actores:
Fomento, AENA y
Puertos del
Estado

Trfico internacional de mercancas


va area: caractersticas y evolucin.

Trfico internacional de mercancas


va martima: caractersticas y
evolucin.

Problemas/
necesidades

Actores: DG de
Aduanas

1. Mejora de la coordinacin.

2. Armonizacin de horarios.
3. Unidad de controles sanitarios.

Repercusin de los PIF en la


competitividad de puertos y
aeropuertos.
1. Deficiencias en las
instalaciones de los PIF
existentes.
2. Interferencias del
funcionamiento de los PIF en
el trfico comercial.
3. Demanda de nuevas
autorizaciones de PIF.
4. Desvo del trfico comercial a
otros destinos de la UE.

4.

Eliminacin de trabas y mxima


informatizacin de trmites.

5. Mejora de los sistemas informticos y


necesidad de compartir la
informacin.

6. Agilizacin de los sistemas de control


sanitario y requisitos para el levante.

Fuente: Evaluacin del Plan de Medidas de Mejora de los Servicios de Sanidad Exterior. AEVAL,
2015.
Asimismo, debe tenerse en cuenta que la medida propuesta puede colisionar con otros
intereses defendidos por otros colectivos u otros niveles de gobierno, aspecto especialmente
relevante en estados descentralizados como el espaol, como se ha visto.

64

FASE 2. ANLISIS Y RECONSTRUCCIN DE LA LGICA DE LA INTERVENCIN |

Destinatarios finales: agentes comerciales

Eje sanitario

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Ejemplo de posibles problemas enfrentados. Evaluacin de la gestin y funcionamiento de


las Confederaciones Hidrogrficas (AEVAL, 2010).
En el anlisis de la intervencin en esta evaluacin se pone de manifiesto el caso de que en
una cuenca hidrogrfica se propone, como medida para disminuir el agotamiento de
determinados acuferos por un excesivo consumo de agua, la compra de derechos de uso de
agua. Esto se contradice con la poltica llevada a cabo por la comunidad autnoma que
promueve, para la misma zona geogrfica y los mismos agricultores, ayudas a la agricultura de
alto rendimiento o a los cultivos leosos, grandes consumidores de agua.
El resultado del anlisis del problema, de sus causas y sus efectos suele reflejarse en el
denominado rbol de problemas, que permite visualizar rpidamente estos tres factores de la
intervencin y comprobar si existe una relacin lgica entre ellos. El siguiente ejemplo refleja
una escenificacin tradicional de dicho rbol.
Ilustracin 9. rbol de problemas. Evaluacin del Plan de ahorro y eficiencia energtica.
Aumento de los gases de efecto
invernadero

E
F
E
C
T
O
S

Los edificios son responsables de una


tercera parte de la energa usada en el
pas y son en trminos generales muy
ineficientes.

PROBLEMA
CENTRAL

C
A
U
S
A
S

Disminucin de la capacidad de compra


para otros bienes a causa de nuestra
dependencia energtica

Pobreza energtica en ms del 10%


de la poblacin

El porcentaje de la renta de las familias


destinada a mantener un confort
trmino en los edificios de viviendas es
cada vez mayor.

El sector de la edificacin es claramente ineficiente en el gasto energtico e insostenible

Dificultades de la
empresa espaola para
competir en los
mercados. La
competitividad de la
economa depende,
entre otros factores, de
que la industria sea capaz
de fabricar sus productos
con menos energa que la
competencia.

Espaa tiene una limitacin


importante de recursos
energticos. La tasa de
dependencia energtica (75%) es
mucha ms elevada que la media
europea (50%)

Los propietarios
desconocen el
incremento de valor que
puede suponer una
rehabilitacin energtica
en su propiedad

Hasta la entrada en vigor


del Cdigo Tcnico de la
Edificacin (CTE) de 2006
ningn edificio
construido en Espaa ha
tenido la obligacin de
ser eficiente
energticamente.

En Espaa no existe un nivel de concienciacin suficiente


sobre las consecuencias que tiene el consumo energtico
excesivo.

El escenario econmico
actual no es propicio para
realizar de forma masiva
reformas encaminadas a
mejorar la eficiencia
energtica de los
edificios.

La energa sube de precio en un


momento de crisis en el que ya
no aumentan nuestras rentas sino
que disminuyen.

Fuente: Evaluacin del Plan de ahorro y eficiencia energtica. AEVAL, 2014.

| FASE 2. ANLISIS Y RECONSTRUCCIN DE LA LGICA DE LA INTERVENCIN

65

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Los problemas e intervenciones dinmicos


Otra cuestin que debe tenerse en cuenta al reconstruir la lgica de la intervencin es que,
casi siempre, las polticas pblicas estn previstas para el medio-largo plazo, por lo que
deberan contar con mecanismos que permitan su adaptabilidad a las posibles modificaciones
del problema al que dan respuesta, cuando se trata de problemas dinmicos.
Ejemplo de problemas e intervenciones dinmicos. Evaluacin del Plan Espaol de Energas
Renovables. AEVAL, 2011.
En esta evaluacin se destac que en el Plan se prevean ayudas a la produccin de energas
limpias mientras maduraba la tecnologa que las hicieran competitivas y sustitutivas de las
energas fsiles. Se trata claramente de un problema dinmico, en continuo cambio, que
podra obligar a la modificacin de las medidas que se implementaron en desarrollo del Plan (y
de hecho, as sucedi, aunque tal vez con demasiada frecuencia 36).
El abordaje de la reconstruccin de la lgica de la intervencin debe tambin adaptarse a esa
posible realidad cambiante, y tenerla en cuenta a la hora de preparar el anlisis de la
implementacin de la intervencin, como luego se ver, ya que puede darse el caso de que en
el transcurrir del tiempo, se vayan modificando (y no siempre explcitamente, o no con
instrumentos de intervencin de igual calado) los objetivos y las medidas, y la intervencin, en
definitiva.

2-3. Instrumentos de intervencin pblica para resolver el problema


Como se ha dicho, normalmente, los gobiernos intentan resolver lo que han identificado como
un problema pblico con un proceso que trata de dar solucin a ese problema a travs de una
serie de actuaciones o instrumentos. As que, una vez definido el problema, de lo que se trata
en esta parte del proceso de evaluacin es abordar el anlisis de la hiptesis con la que trabaj
el planificador y la base terica o paradigma que la alimenta para dotarla de mayores
posibilidades de acierto. Y seguidamente, describir la intervencin para solucionar ese
problema o necesidad, a partir de su propia concepcin y la previsin de despliegue: cmo se
articulan, en fin, sus objetivos, las medidas que propone y los resultados esperados.

2-3.1. Teora e hiptesis de la intervencin


Las ciencias sociales ofrecen diversas teoras 37 sobre las que desarrollar una intervencin
pblica, aunque se pueden resumir en aquellas en que predominan las soluciones cuantitativas
36

Esta modificacin constante gener una sensacin de inseguridad jurdica a los inversores y dificult el
cumplimiento de objetivos.

37

Sobrepasa el objeto de esta Gua el detallar los paradigmas tericos utilizados por las ciencias sociales
y sus caractersticas, pero para centrar la cuestin se pueden citar siquiera algunos de los ms
conocidos: el racionalismo, el estructuralismo, el marxismo, el funcionalismo, y el constructivismo.

66

FASE 2. ANLISIS Y RECONSTRUCCIN DE LA LGICA DE LA INTERVENCIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

y otras en las que se opta ms por el aprendizaje de las experiencias anteriores y la


elaboracin de fases sobre las que asentar los hitos que se vayan consiguiendo, bien con
modelos causales bien aplicando la teora del cambio social. En este ltimo caso, se trata
modificar u orientar la conducta de grupos de poblacin especficos (grupos objetivo) ya sea de
forma directa o actuando sobre el entorno de esos actores.
En este sentido, el planificador se basa en una de esas teoras para establecer su hiptesis:
Para solucionar un determinado problema se llevan a cabo las medidas que se consideren
adecuadas, logrando un resultado y un efecto a largo plazo; o bien se logra una modificacin
en la conducta de los actores, propiciando as el resultado deseado.
Ejemplo de la teora e hiptesis de la intervencin. Evaluacin del Plan Espaol de Energas
Renovables (AEVAL, 2011).
La teora subyacente en esta intervencin es causal, ya que espera una relacin causa-efecto
entre las primas o ayudas a las energas renovables y la disminucin de la utilizacin de otros
tipos de energa, ms contaminantes. En esa relacin se formula la hiptesis: La intervencin
objeto de evaluacin parece estar fundamentada en la hiptesis de que un sistema de ayudas a
la produccin (primas) sostenido durante un tiempo suficiente para que se produzcan los
procesos de maduracin tecnolgica puede contribuir a alcanzar el grado de penetracin en el
mercado de energa preciso como para hacer viable el proceso histrico de sustitucin de las
energas fsiles en las que descansa la mayor proporcin de energa primaria en nuestro pas
por las energas renovables, todo ello en el marco del mercado.
Un esquema muy utilizado para el anlisis de las polticas pblicas es el del programa polticoadministrativo propuesto por Subirats, Knoepfel, Larrue y Varone 38, que aade la necesidad de
contar con una base legal suficientemente legitimada. Un ejemplo de representacin de este
esquema se utiliza en la Evaluacin del Plan Estratgico de Seguridad Vial (AEVAL, 2009).

38

Subirats, J., Knoepfel, P., Larrue, C. y Varone, F., Anlisis y gestin de polticas pblicas, Ariel,
Barcelona (2008).

| FASE 2. ANLISIS Y RECONSTRUCCIN DE LA LGICA DE LA INTERVENCIN

67

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Ilustracin 10. Anlisis de la poltica pblica de seguridad vial.


Tringulo de base:

REGLAS
INSTITUCIONALES

-Autoridades poltico-administrativas
-DGT, Ministerio de Fomento, titulares
de vas, CCAA, etc.
-Grupos objetivos:
-Conductores, conductores noveles,
fabricantes de automviles, poblacin
escolar, etc.
-Beneficiarios finales:
-Usuarios de las vas, vctimas,
afectados, etc.

ACTORES
Rgimen regulador de las relaciones entre los
diversos agentes institucionales y sociales: por
ejemplo, Convenio marco Ministerio del
Interior- FEMP
LRJAP y PAC.

RECURSOS

Normativa legal y reglamentaria: Ley de


seguridad vial, reforma del cdigo penal, ley del
carn por puntos, LOE, etc.
Recursos presupuestarios: Dotacin 132B 20052008 y programas sectoriales.

CONTENIDOS DE LA
POLTICA PBLICA

Administraciones competentes: rganos


competentes de la AGE, CCAA y EELL.

DEFINICIN DE:
Problema pblico: elevada siniestralidad
Programa poltico administrativo: PAE 2003.2010, PESV, Ley de seguridad
vial
Acuerdo poltico administrativo: Ley del carn por puntos, reforma del
Cdigo Penal, RD de sensibilizacin y reeducacin, etc.
Los planes de accin: Plan de rehabilitacin de firmes.
Actos de implementacin: campaas de la ATGC.

Fuente: Adaptacin propia a partir de la Evaluacin del Plan Estratgico de Seguridad Vial
(AEVAL, 2009).
Ejemplo de descripcin de la intervencin y su formulacin. Evaluacin del Plan de Medidas
de Mejora de los Servicios de Sanidad Exterior (AEVAL, 2015).
Que era necesario intervenir para mejorar los problemas que seguan pendientes en la
inspeccin en frontera es una conclusin aceptada por la mayora de los actores, pero que el
Plan de Medidas de Mejora de los Servicios de Sanidad Exterior fuera la intervencin adecuada
es lo que se tratar de valorar en esta evaluacin. A partir de los anlisis anteriores, en los que
se ha efectuado una revisin de los problemas y necesidades que parecen estar en la base del
Plan, se pasa a examinar de qu forma se ha traducido todo ello en el Plan y cules, de esos
problemas y necesidades persisten y resultan pertinentes en la actualidad.

2-3.2. Los niveles de gobierno en los instrumentos de intervencin


pblica
Una poltica pblica debiera configurarse como una secuencia de actividades, decisiones y
medidas relacionadas tomadas por los actores del sistema poltico administrativo antes
descrito con la finalidad de resolver ese problema pblico. Y, por tanto, desarrollando a partir
de ella una serie de objetivos (y medidas para conseguirlos).

68

FASE 2. ANLISIS Y RECONSTRUCCIN DE LA LGICA DE LA INTERVENCIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Como se puede suponer, el desarrollo de esa concatenacin de medidas, en un estado


multinivel como el espaol es mucho ms complejo, porque al implicar una serie de decisiones
(que pueden incluir acciones legislativas o reglamentarias ms o menos flexibles o favorables a
los intereses de los diferentes actores 39) deben tenerse en cuenta, no slo los distintos
intereses en juego, sino tambin la posibilidad competencial de actuar en segn qu esferas de
la poltica y de los derechos de terceros. Todo ello lleva al diseo de una red de actuaciones
que deben confluir (al menos en teora) en la consecucin del objetivo.
En la Evaluacin del Programa de ayudas para la reindustrializacin (REINDUS) (AEVAL, 2011)
se realiz un esfuerzo de reconstruccin de los distintos instrumentos (entre los que REINDUS
solamente era uno de ellos, y no todos los instrumentos tenan los mismos objetivos) de la
poltica industrial. Se reflejan a continuacin esas relaciones cruzadas y complementarias en
muchas ocasiones que se producen cuando sobre el mismo objeto recaen diferentes
instrumentos de intervencin de los diferentes niveles de gobierno o competenciales.
Ilustracin 11. Instrumentos de poltica industrial en los distintos niveles de gobierno.
Evaluacin de REINDUS (AEVAL, 2011).
Actuaciones pblicas en un estado multinivel
Promocin y ayudas a la actividad industrial

UNIN EUROPEA

MBITO ESTATAL

FONDOS ESTRUCTURALES:
FEDER
FSE

POLTICA INDUSTRIAL EUROPEA


PROGRAMAS EUROPEOS:
Eureka, Apoyo a PYMES

PLANES ESTATALES:
Programa I+D+i
Programa NEOTEC
Programa REINDUS
Programas PYMES
Programa Cluster

MBITO
AUTONMICO

PLANES TERRITORIALES DE
PROMOCIN Y AYUDA LA INDUSTRIA
Gestin en planes estatales

MBITO LOCAL

PLANES LOCALES DE ACTUACIN:


Gestin de programas de las CCAA
Participacin en programas estatales

TEJIDO EMPRESARIAL INDUSTRIAL

Fuente: Elaboracin propia a partir de la Evaluacin del Programa de ayudas para actuaciones
de reindustrializacin (REINDUS), AEVAL (2011).

39

Subirats, J., Knoepfel, P., Larrue, C. y Varone, F., Anlisis y gestin de polticas pblicas, Ariel,
Barcelona (2008).

| FASE 2. ANLISIS Y RECONSTRUCCIN DE LA LGICA DE LA INTERVENCIN

69

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

La intervencin inexistente: el concepto de constructo


Todo lo descrito no se da exactamente as en todos los casos. En la prctica puede no ser fcil
encontrar todos los elementos que hay que incorporar a la reconstruccin de la lgica de la
intervencin. Existen diferentes causas, con gradaciones que pueden dificultar ms o menos la
tarea: un dficit de informacin (que impide conocer los datos necesarios para establecer este
tipo de relaciones); carencias en la planificacin; la coexistencia de necesidades fragmentadas;
o, en el peor de los casos, no existe una intervencin como tal, estructurada segn los pasos
que se han definido hasta ahora.
En AEVAL se suele proponer, para solventar estas dificultades, principalmente la ltima, la
creacin de un constructo. Un constructo es una compleja ficcin terica que permite
sustituir la intervencin inexistente. No se trata de inventarse una intervencin, sino que,
uniendo piezas, actuaciones a veces dispersas, se construye una intervencin (sta s, con
lgica interna) que permite relacionar el objetivo de la evaluacin con el objeto de evaluacin.
Ejemplo de constructo. Evaluacin de la gestin y funcionamiento de las Confederaciones
Hidrogrficas. AEVAL, 2010 40.
En esta evaluacin el objetivo era obtener una visin integrada del desempeo de las
funciones y competencias de las Confederaciones Hidrogrficas en la perspectiva de su
adecuacin a los principios de la Directiva Marco de Agua (DMA).
Se trataba, pues, de poner en relacin unos objetivos recientes (los contenidos en la DMA) con
una estructura anteriormente existente (las Confederaciones Hidrogrficas) que, adems,
careca de competencias exclusivas en muchos casos para lograr esos objetivos. No exista una
intervencin concreta que solucionara ese problema de inadaptacin y de falta de actuacin
(un Plan de adecuacin de las estructuras organizativas del Estado a la DMA, o algo
semejante), pero s haba, en diferentes niveles de gobierno, con diferentes implicaciones y
alcances, actuaciones separadas que podan llevar a converger y apoyar la consecucin de los
objetivos marcados por la DMA: AEVAL denomin a ese conjunto disperso constructo y lo
asumi como un nico objeto de evaluacin. ste consisti en considerar como medidas de la
intervencin actuaciones que eran competencia de las propias Confederaciones Hidrogrficas;
otras que eran gestionadas por otras administraciones (fundamentalmente porque su gestin
era competencia de las Comunidades Autnomas) y el estudio de la estructura organizativa de
las Confederaciones y su presupuesto.

40

La descripcin completa del constructo empleado es muy compleja y requiere un conocimiento previo
de la materia, por lo que escapa al objetivo de esta Gua. Se puede leer de forma completa en el informe
de evaluacin.

70

FASE 2. ANLISIS Y RECONSTRUCCIN DE LA LGICA DE LA INTERVENCIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

El ejemplo de constructo. Evaluacin de las trabas administrativas para la creacin de


empresas. AEVAL, 2012.
En este caso, para crear el constructo se tomaron medidas tan dispares como el Plan de
Accin para la Reduccin de Cargas Administrativas, la transposicin de la Directiva de
Servicios, la Ley 2/2011 de Economa Sostenible, las medidas diversificadoras sobre
constitucin de sociedades (Real Decreto Ley 13/2010, Ley de la Sociedad Limitada Nueva
Empresa), entre otras, y los elementos facilitadores (administracin electrnica,
herramientas web y trmites telemticos, bsicamente). Pero con una diferencia con respecto
al ejemplo anterior, y es que en este caso se tom de esas actuaciones nicamente la parte
relativa a la creacin de empresas, porque el campo de actuacin y el alcance de casi todas
ellas era mayor que el objeto de estudio.
En resumen, el resultado final de esta reconstruccin de la lgica de la intervencin es
constatar, si es posible, la existencia de una teora de la intervencin, un diagnstico lo ms
claro posible del problema que se quiere solucionar y de sus causas y cmo se prev abordar
dicha solucin. Adems, se identifica el conjunto de intervenciones pblicas procedentes de
los distintos niveles de gobierno, incluido el nivel internacional, desarrolladas expresamente
para resolver el problema y aquellas otras que afectan de manera ms o menos directa al
mbito material con el que se relaciona la intervencin evaluada.

2-4. El despliegue de la intervencin.


El despliegue de la intervencin se operativiza en tres grandes pasos: diseo, implementacin
y seguimiento y evaluacin.

2-4.1. El diseo
En el anlisis del diseo se entra a estudiar cmo se ha articulado la relacin en la cadena
lgica de la planificacin: objetivos, medidas, resultados e impactos esperados, a partir de
diferentes enfoques 41.
El objetivo es conocer la lgica formal del despliegue de la intervencin. Es un ejercicio que
trata de poner en relacin la cadena lgica de la intervencin, para lo que, en general, las
recomendaciones coinciden en la conveniencia de cartografiar, escenificar o poner negro sobre
blanco esas relaciones para detectar incoherencias y los eslabones que se saltan, se rompen o
se desagregan de forma artificial, a travs de las preguntas de evaluacin que permiten
ordenar las secuencias 42.

41

Un ejemplo de esos enfoques son las recogidas por Ballart y Rami, op. cit. Las Guas Means editadas
por la Comisin Europea ofrecen tambin un modelo de abordaje de la cadena lgica de la planificacin.
42

Las preguntas de evaluacin se renen en la llamada matriz de preguntas de evaluacin, que se


aborda en otro apartado de esta Gua.

| FASE 2. ANLISIS Y RECONSTRUCCIN DE LA LGICA DE LA INTERVENCIN

71

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Ilustracin 12. Objetivos, medidas, resultados e impactos esperados en la evaluacin del Plan
Estratgico de Seguridad Vial.

OBJETIVO GENERAL DEL PESV


Reduccin en un 40% el nmero de fallecidos en accidente de
trfico a 30 das en el periodo 2005-2008 tomando como base el
ao 2003 para dicho clculo

IMPACTOS ESPERADOS
Cambio en los elementos que inciden en la siniestralidad:
conductor, coche, carretera

MEDIDAS:
- Medidas especiales 2004-2005: carn por puntos, plan de
radares
- Plan de actuaciones estratgicas clave de seguridad vial 20052008: nuevo examen de conducir

RESULTADOS
REDUCCIN DE UN 42%

- Plan tipo de seguridad vial urbana

Fuente: Elaboracin propia a partir de la Evaluacin del PESV (AEVAL, 2009).


Como se observa en la ilustracin anterior, el objetivo general debe lograrse a partir del
desarrollo de objetivos especficos y medidas asociadas que abordan los distintos aspectos del
objetivo general con el fin de cubrir todos los ngulos que puedan incidir en la consecucin de
dicho objetivo.
Ejemplo de despliegue. Evaluacin del Plan Estratgico de Seguridad Vial 2005-2008. AEVAL,
2009.
Los mecanismos de intervencin y el diseo en sentido descendente de las medidas puestas en
marcha para conseguir el objetivo global perseguido en el Plan Estratgico de Seguridad Vial se
dividieron en cuatro grandes niveles. Se defini, desde el nivel ms macro al ms operativo,
bajo la denominacin de reas estratgicas (8+2), lneas estratgicas (10), objetivos operativos
(49) y acciones claves (102). Sin embargo, en este desarrollo tan exhaustivo de los objetivos en
la planificacin, no se incluyeron resultados esperados, salvo para el objetivo general de
reduccin de los fallecidos en accidente de trfico: un 40%.
Otro ejemplo de escenificacin del estudio del despliegue de la intervencin es el realizado
para la evaluacin de REINDUS (AEVAL, 2009), que se resume grficamente a continuacin.
Aqu se ponen de manifiesto las polticas complementarias que podran tener efectos en el
objetivo general (y en los operativos) de la intervencin que es objeto de evaluacin (en este
caso, la poltica de infraestructuras y la poltica industrial propiamente dicha).

72

FASE 2. ANLISIS Y RECONSTRUCCIN DE LA LGICA DE LA INTERVENCIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Ilustracin 13. La lgica de la intervencin. Evaluacin de REINDUS (AEVAL, 2011).


Problema detectado: Desequilibrios regionales que se traducen en
distintos niveles de renta y bienestar de las personas en las regiones
Impactos:

Disminuir el desequilibrio regional

Aumento de la actividad industrial,


disminucin del paro, dinamizacin de
la economa local y aumento del PIB

Objetivos especficos:

Resultados esperados:

Objetivo general:

Potenciar, regenerar y crear tejido


industrial
Fijar poblacin en zonas despobladas

Aumento o mejora de infraestructuras,


creacin de empresas, creacin de
nuevos proyectos, creacin de empleo
industrial

Objetivo operativo rea de industria:


Objetivo operativo rea infraestructuras:
Crear infraestructuras bsicas y de servicios para atraer y
favorecer la localizacin y la inversin industrial

Crear nuevas actividades industriales que supongan un


fortalecimiento y diversificacin de la estructura
industrial.
Aprovechar las capacidades y potencialidades de la zona
Desarrollar empresas de sectores maduros que
incorporen procesos de elevado contenido tecnolgico
Instalar y ampliar industrias de sectores emergentes

Recursos: Dotacin presupuestaria anual para subvenciones y prstamos


Actividades del programa: convocatorias anuales de ayudas: general, por sectores y territoriales

Fuente: Elaboracin propia a partir de AEVAL (2011).


Por otro lado, en el despliegue de la intervencin deben tenerse en cuenta los diferentes
departamentos y niveles de gobierno que pueden estar implicados, sobre todo en el caso de
polticas pblicas complejas. Es el caso que sigue.
Ejemplo de despliegue. Evaluacin del Plan Estratgico de Seguridad Vial 2005-2008. AEVAL,
2009.
La diferente implicacin de otros competentes se ejemplifica con la implantacin del carn por
puntos, que fue apoyada por una modificacin del Cdigo Penal, que a su vez necesit la
participacin del Ministerio de Justicia (el endurecimiento del castigo para algunas infracciones
llevan aparejada a la prdida de puntos la comisin de un delito con penas de crcel). Por su
parte, el plan de radares precis la colaboracin con el Ministerio de Fomento y las consejeras
respectivas de las Comunidades Autnomas (competentes en sus carreteras). Incluso, en
esta intervencin, el Ministerio de Educacin tuvo su papel mediante la inclusin de una
materia transversal de seguridad vial en el currculo escolar.
Por ltimo, algunas de las evaluaciones realizadas por AEVAL acreditan que la falta de
formalizacin de una poltica pblica de estas caractersticas, o de sus principales instrumentos
de despliegue, mediante normas o Acuerdos de Consejo de Ministros, genera un dficit en la
| FASE 2. ANLISIS Y RECONSTRUCCIN DE LA LGICA DE LA INTERVENCIN

73

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

capacidad de obligar a los departamentos distintos del Ministerio promotor o a otros niveles
de gobierno (y por lo tanto, compromete su eficacia). El resultado final es que, en general, la
intervencin alcanza los objetivos previstos en las materias que dependen exclusivamente de
quien la impulsa pero pierde dicha eficacia de manera notoria en aquellas otras competencias
de otros mbitos o niveles de actuacin.
Ejemplo de dficit en la formalizacin. Evaluacin de los programas de vacaciones para las
personas mayores y termalismo social. AEVAL, 2011.
En el Programa de vacaciones para mayores no existe norma alguna que formule el programa.
No existe ms que la documentacin administrativa relativa a la convocatoria del concurso
pblico para su gestin: los pliegos de clusulas administrativas y de prescripciones tcnicas.
Esta falta de formulacin dificulta adems su integracin, su alineamiento con el conjunto de
programas y polticas dirigidas a mayores y especialmente en las de envejecimiento activo, con
las que al menos a nivel terico se relacionan, una definicin ms precisa de los objetivos y
resultados que se proponen alcanzar y de los sistemas de seguimiento y evaluacin a aplicar.

Ejemplo de dficit en la formalizacin. Evaluacin del Plan Estratgico de Seguridad vial


AEVAL; 2009.
El Plan Estratgico de Seguridad Vial nunca fue aprobado como tal, lo que tiene consecuencias
relacionadas con su grado de operatividad y funcionalidad, y con la efectividad de su
seguimiento. () No es un plan del Gobierno, (sino que) es un plan de la Direccin General de
Trfico integrado en la poltica del Ministerio del Interior. Esa ausencia de formalizacin puede
haber constituido una debilidad objetiva para la ejecucin del plan, especialmente en las reas
y lneas estratgicas no gestionadas por la Direccin General de Trfico.

El diseo en un constructo
El diseo es un elemento fundamental cuando la evaluacin (y la reconstruccin de la lgica de
la intervencin) se realizan a travs de un constructo. En este caso, se debe analizar o disear,
en su caso, para cada actuacin componente de dicho constructo, unos objetivos, unas
medidas, unos resultados esperados, unos impactos y unos indicadores de seguimiento 43.

43

Existen numerosos indicadores de seguimiento, que luego se vern ms adelante. Su papel es


fundamental para la realizacin de evaluaciones con xito.

74

FASE 2. ANLISIS Y RECONSTRUCCIN DE LA LGICA DE LA INTERVENCIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Ejemplo de diseo en un constructo. Evaluacin de las trabas administrativas para la


creacin de empresas. AEVAL, 2012.
Para esta evaluacin se eligieron seis tipos de empresa diferentes (los seis ms comunes segn
la actividad) para medir lo conseguido por las medidas puestas en marcha. Para cada tipo de
empresa se midieron el nmero de trmites necesarios para crear una empresa, el tiempo que
se tardaba en realizarlos y los costes directos asociados a la creacin de esas empresas en 17
municipios de las 17 Comunidades Autnomas espaolas (se pudo estudiar as la diferente
reglamentacin a nivel territorial y sus efectos en la unidad de mercado).
Adems, se estudi si el trmite poda realizarse o no de forma telemtica; cmo afect (en
reduccin de tiempo, coste y nmero de trmites) la Directiva de Servicios, y se realizaron
estudios de costes y de benchmarking con otros estudios internacionales para la comparacin
de medidas y resultados. El objetivo en todos los indicadores era el de la reduccin salvo en la
tramitacin telemtica, que era lograr un mayor nivel de adaptacin a la normativa sobre eadministracin.

2-4.2. Nivel de implementacin


El objetivo de esta fase es conocer el grado de implementacin de las medidas contenidas en
la intervencin pblica. Este anlisis permite, adems, medir los resultados intermedios, es
decir, si cada medida se ha ido implantando segn estaba previsto y cmo se est
desarrollando ese proceso de implantacin, porque a la hora de llevar a cabo esa puesta en
marcha, puede darse el caso de que haya medidas ms avanzadas que otras, o que una medida
se ha encontrado con un cuello de botella inesperado. Se trata, en definitiva, de conocer los
resultados intermedios que ha generado la intervencin.
Conviene no olvidar asimismo la posible esencia dinmica de la intervencin que se est
evaluando, dado que, como se ha visto en el epgrafe dedicado a los instrumentos de
intervencin pblica, stos pueden haber ido modificndose en el tiempo. Un claro ejemplo de
este caso se encuentra en el Programa de reindustrializacin REINDUS.

| FASE 2. ANLISIS Y RECONSTRUCCIN DE LA LGICA DE LA INTERVENCIN

75

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Cuadro 2. Evolucin del programa REINDUS.


PROGRAMA REINDUS
1997

Se aprueba la convocatoria general del Programa de Ayudas a la Reindustrializacin.

2001

Se aprueba la convocatoria especfica para actuaciones de reindustrializacin en la comarca del Campo de


Gibraltar (Cdiz).

2005

Se ampla el mbito geogrfico de actuacin del programa, anteriormente limitado a zonas geogrficas afectadas
por ajustes del sector pblico estatal, a los ajustes producidos por el sector privado.

2006

La Comisin Europea autoriza la vigencia de las ayudas REINDUS hasta 2013. Se aprueba la convocatoria especfica
de las comarcas de Ferrol, Eume y Ortegal y la convocatoria sectorial para aquellas zonas afectadas por los
procesos de deslocalizacin de los sectores de textil-confeccin, calzado, mueble y juguete.

2007

Se aprueban las convocatorias especficas de la margen izquierda del ro Nervin y las de las provincias de Soria,
Teruel y Jan.

2008

Se aprueba la convocatoria especfica para la Baha de Cdiz, la comarca del Almadn y el municipio de Vinars. Se
ampla la convocatoria especfica sectorial a las zonas afectadas por el ajuste de los sectores del curtido y la
marroquinera.

2009

Se ampla la convocatoria especfica sectorial a las zonas afectadas por el ajuste del sector de las artes grficas y el
papel.

2010

Se aprueba la convocatoria especfica de Garoa.

Fuente: Elaboracin propia a partir de la evaluacin del Programa REINDUS (AEVAL, 2011).
Como se ve en el cuadro anterior, las caractersticas de los beneficiarios de las ayudas fueron
cambiando, amplindose a ms sectores de actividad y ms zonas geogrficas de las que
inicialmente estaban previstas cuando se dise el programa. Ello pudo dar como
consecuencia el tener que tomar en consideracin una modificacin de los objetivos de la
intervencin, los recursos destinados, los indicadores de medicin, los resultados esperados
en definitiva, una adaptacin de la formulacin a las modificaciones que se fueron efectuando
en la evolucin de la intervencin a lo largo de su ciclo de vida, para luego poder utilizar las
herramientas de evaluacin necesarias para analizar esa circunstancia.
A veces, esos cambios se producen en la aplicacin a la realidad de la intervencin.
Por ejemplo, en la Evaluacin del Plan Espaol de energas renovables. AEVAL, 2011., se pone
en evidencia que la modificacin, mediante reales decretos publicados en el Boletn Oficial del
Estado de los requisitos para optar a las ayudas a la produccin de energa renovable y las
cantidades destinadas a estas ayudas, modificaron de facto el Plan, que ya prevea en su
formulacin la variacin de la composicin de las subvenciones, aunque lo haca en funcin de
la madurez alcanzada por las tecnologas empleadas, y no en funcin de los recursos
presupuestarios habilitados.
Por otro lado, el siguiente cuadro muestra los aspectos a considerar en el anlisis de
implementacin en funcin de la visin terica que se tenga de este proceso: top-down o
bottom-up.

76

FASE 2. ANLISIS Y RECONSTRUCCIN DE LA LGICA DE LA INTERVENCIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Cuadro 3. Diferencias entre las visiones top-down y bottom-up en la implementacin de una


poltica pblica.
Enfoque de implementacin
Punto de partida del anlisis de la
implementacin de la poltica
pblica

Visin top-down

Visin bottom up

Decisiones de las autoridades


Actividades de la red de
poltico-administrativas (PPA, planes implementacin a nivel local (APA,
de accin)
red de accin pblica)

Proceso para la identificacin de los


Desde arriba, y a partir del sector
principales actores de la poltica
pblico, y hacia el sector privado
pblica
Regularidad (conformidad legal) del
proceso de implementacin
Criterios de evaluacin de la calidad
Eficacia: grado de realizacin de los
de la implementacin de la poltica
objetivos formales del PPA
pblica

Desde abajo hacia arriba,


considerando de manera simultnea
los actores pblicos y privados
No tiene criterios claramente
definidos a priori
Evaluacin del grado de
participacin de los actores
involucrados
Evaluacin del nivel de conflicto de
la implementacin

Interrogante fundamental (para la


gestin de las polticas pblicas)

Qu modalidades (estructuras y
procedimientos) de implementacin
deben utilizarse a fin de garantizar
el mayor grado de realizacin de los
objetivos oficiales?

Qu intervenciones entre los


actores pblicos y privados de una
red de accin pblica deben tomarse
en cuenta durante la implementacin
para sta sea aceptada?

Fuente: Subirats, Knoeepfle, Larrue, Varone (2008).


Un intento de resumen de todos estos modelos es el realizado por Sebatier y Mazmanian 44,
que trazan seis condiciones para la implementacin de los objetivos de una poltica pblica:
Objetivos claros y consistentes (que se pueden convertir en estndares de evaluacin y
referencia para el seguimiento).
Una teora causal adecuada (todas las acciones deben estar respaldadas por una teora
sobre cmo lograr el cambio).
Estructuras de implementacin legalmente estructuradas para fomentar el
cumplimiento de todos aquellos responsables de dicha implementacin y de los
grupos objetivo.
Responsables de implementacin comprometidos con los objetivos y altas
capacidades.
Apoyo de los grupos de inters y de los poderes legislativo y ejecutivo.
Debe ser un objetivo prioritario en la agenda poltica. Esto es, que los cambios en las
condiciones socioeconmicas no resten el apoyo de grupos de inters y poderes del
estado ni subviertan la teora causal que soporta las polticas).

44

Sebatier, P., Mazmanian, D., The implementation of public policy: A framework of analysis. Policy
Studies Journal, Volume 8, pg. 538560, 1980.

| FASE 2. ANLISIS Y RECONSTRUCCIN DE LA LGICA DE LA INTERVENCIN

77

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Asimismo, al igual que en otras anteriores, la fase del estudio y anlisis del nivel de
implementacin de una intervencin se basa en la previsin del planificador, en este caso para
incorporar elementos que permitan seguir la vida de dicha intervencin hasta el momento
de la evaluacin. Como se ha visto, una de las tareas es sealar claramente a un responsable
de la intervencin.
Ilustracin 14. Sistema de toma de decisiones, gestin y participacin del PESV.
rgano decisor
Comisin interministerial de Seguridad Vial

rgano gestor
Observatorio Nacional de Seguridad Vial (ONSV)

Comit director
Director General de Trfico (DGT)
Directores generales Ministerios
ONSV

Subdirectores
generales DGT

Agrupac.
Trfico
Guardia Civil

Aporta la visin estratgica y global al Plan


Dota al Plan de los recursos necesarios
Contrasta y aprueba el control, seguimiento y evaluacin
Aprueba el Plan Estratgico de Seguridad Vial
Promueve la seguridad vial

Mide semestralmente el grado de cumplimiento de los


objetivos
Elabora la memoria de actividades, el Plan de
actuaciones y el informe de evaluacin

Realiza el seguimiento de la evolucin de los objetivos


estratgicos y del grado de ejecucin de las medidas del
Plan
Participa en la elaboracin de los planes y memorias
anuales
Mecanismo de coordinacin: reuniones semestrales

Consejo Superior de Seguridad Vial


DGT
Com.
Autnomas

Otros ministerios implicados


Corporac.
locales

Entidades y
organizaciones

Se le informa del estado de ejecucin del Plan y de los


resultados alcanzados
rgano de participacin a travs de los grupos de
trabajo que se crean en su seno

Fuente: Elaboracin propia a partir de la Evaluacin del Plan Estratgico de Seguridad Vial
2005-2008. AEVAL, 2009.
Ejemplo de anlisis de la implementacin de un Plan en la fase de reconstruccin de la lgica
de la intervencin. Evaluacin del Plan de Medidas de Mejora de los Servicios de Sanidad
Exterior. AEVAL, 2015.
La implementacin del Plan comenz en 2006, y hasta 2010 no se dio por concluida de forma
definitiva. Se fue llevando a cabo en varias lneas de accin: 1) Ampliacin horaria de algunos
PIF. Posteriormente se llevaron a cabo acuerdos locales para la implementacin de esta lnea
de accin, modificando la jornada y horarios del personal para cubrir esta ampliacin. 2)
Ampliacin y reestructuracin de la plantilla. Supuso la creacin de nuevos puestos, de nuevas
plazas de la antigua estructura y la modificacin de niveles y complementos especficos. 3)
Complemento de productividad ligado, en principio, a la calidad del servicio prestado. 4)
Mejoras tcnicas y de infraestructuras, tanto por parte de los ministerios implicados como de
Fomento y sus entes adscritos, AENA y Puertos del Estado. 5) Otras medidas.

78

FASE 2. ANLISIS Y RECONSTRUCCIN DE LA LGICA DE LA INTERVENCIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Otro elemento imprescindible es contar con los medios necesarios para llevarlo a cabo de
acuerdo con el plan previsto 45. Esto es, que la intervencin tenga recursos financieros y
humanos; herramientas de coordinacin entre los niveles administrativos, por un lado, y entre
los diferentes niveles de gobierno, por otro, y herramientas para el seguimiento.
Ejemplo de mapa funcional de recursos. Evaluacin de la Estrategia Nacional de Cuidados
Paliativos. AEVAL, 2011.
Es un instrumento de informacin descriptiva elaborado por el Instituto de Informacin
Sanitaria, actualizado peridicamente. Recoge los dispositivos y estructuras existentes sobre
cuidados paliativos, su nmero y las formas en que se conciben.

Ejemplo de la puesta a disposicin de recursos. Evaluacin del Plan Estratgico de Seguridad


Vial. AEVAL, 2009.
Los recursos del Plan Estratgico de Seguridad Vial fueron sobre todo los de la Direccin
General de Trfico, a travs de los Presupuestos Generales del Estado (Programa 132B
seguridad vial y otros programas con presupuestarios sectoriales: el de conservacin de
carreteras del Ministerio de Fomento; el de ordenacin del transporte terrestre, tambin de
Fomento; el programa 4210 del Ministerio de Industria para mejorar la seguridad en los
vehculos, el 313B de salud pblica (Ministerio de Sanidad)

Ejemplo de las herramientas de coordinacin. Evaluacin del Plan de ahorro y eficiencia


energtica. AEVAL, 2014.
Las medidas incluyeron el establecimiento de convenios con las Comunidades Autnomas, ya
que son ellas las que tienen las competencias en la materia. Las medidas incluidas en los
convenios comprenden a todos los sectores previstos de actuacin, e incluan los presupuestos
disponibles en cada territorio para su ejecucin. Asimismo, se indicaba la aportacin de cada
parte a los presupuestos y la priorizacin de actuaciones.

La implementacin en un constructo
Cuando se habla del estudio de la implementacin en un constructo, hay que revisar el grado
de ejecucin de las actividades previstas; los recursos utilizados, y se realiza una revisin de
indicadores de cada una de las actuaciones que se han incluido en la medida en que tienen
que ver con dicho constructo.

45

Tamayo Sez, M, El anlisis de las polticas pblicas, en La nueva Administracin Pblica, Alianza
Universidad, 1997.

| FASE 2. ANLISIS Y RECONSTRUCCIN DE LA LGICA DE LA INTERVENCIN

79

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Ejemplo de implementacin en un constructo. Evaluacin de la gestin y funcionamiento de


las Confederaciones Hidrogrficas (2010).
En esta evaluacin se revis la implementacin de cada uno de los planes y programas que,
segn se ha descrito antes, formaba parte de ese constructo, pero no con la intencin de
valorar esos planes y programas, sino para ver cmo contribuan al cumplimiento del objetivo
establecido.

2-4.3. Mecanismos de seguimiento y evaluacin que figuran en el diseo


de la intervencin.
Los mecanismos de seguimiento incluidos en el diseo de una intervencin permiten y facilitan
su anlisis (tambin, naturalmente, son tiles para la evaluacin), porque, mediante
indicadores, se realiza el control del proceso de implementacin, primero, y los resultados que
ofrece esa intervencin, despus. As, en este apartado se identifican los mecanismos de
seguimiento y evaluacin que contempla la intervencin.
Hasta ahora, en general, el planificador no perda demasiado tiempo ni esfuerzo en la
previsin de mecanismos de informacin, seguimiento y evaluacin y no eran pocos los casos
de intervenciones de calado que no contenan en su diseo y planificacin sistemas de
seguimiento dimensionados o, si los tenan, eran tan abiertos y generales que no aportaban
informacin suficiente para poder abordar el seguimiento y evaluacin.
De hecho, una de las principales preocupaciones en la Comisin Europea para evaluar los
programas que son financiados por ella 46 es precisamente el establecimiento de una serie de
normas comunes asumidas por todos los estados para poder realizar una valoracin de esos
programas 47. Aunque en el caso de AEVAL, el enfoque supera la visin de programa y se ha
centrado ms en un enfoque de poltica pblica, como ya se ha indicado, muchas de las
cuestiones que se abordan en la Comisin pueden servir de ejemplo, como en la apreciacin
de la importancia de la cuantificacin previa de objetivos e indicadores: de lo contrario, no
podr evaluarse en qu medida se estn cumpliendo los objetivos originales 48. A veces, no es
fcil esa tarea de abordaje coordinado.

46

Bsicamente Fondos Estructurales, Fondos de Cohesin, FEDER En la actualidad, las evaluaciones


llamadas estratgicas de la Comisin se acercan ms a las que realiza AEVAL con el enfoque que se ha
ido describiendo. Antes eran ms operativas y muy enfocadas a resultados.
47

La Comisin Europea trabaja en la elaboracin de un sistema comn de indicadores desde el ao


1992.
48

Comisin Europea, El nuevo periodo de programacin 2000-2006: Documentos de trabajo


metodolgicos. Documento de trabajo 3. Indicadores de seguimiento y evaluacin: Orientaciones
metodolgicas.

80

FASE 2. ANLISIS Y RECONSTRUCCIN DE LA LGICA DE LA INTERVENCIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Ejemplo de carencias en la previsin de mecanismos de seguimiento y evaluacin.


Evaluacin sobre la participacin de la Administracin General de Estado en el sistema para
la autonoma y atencin a la dependencia. AEVAL, 2009.
En esta evaluacin se afirma, sobre el Sistema de Informacin para el Sistema de Autonoma y
Atencin a la Dependencia, que se evidenci que no se haba acordado previamente de forma
conjunta y coordinada con carcter exhaustivo la informacin que deba contener el sistema.
Todo ello dificult enormemente la evaluacin, al ser las bases de datos inconsistentes.
Porque otra cuestin es la existencia de datos y de informacin sistematizada, es decir,
sistemas de informacin. Los sistemas de informacin pueden alimentarse de fuentes
primarias (con datos recogidos por el investigador, sin tratamiento ni mediatizados) o
secundarias (con datos de otros, o que ya han recibido algn tratamiento o anlisis).
Estos sistemas de informacin sirven a los sistemas de seguimiento, que son creaciones ad
hoc para cada intervencin y que deben tener las siguientes caractersticas:
Mecanismos de recogida de informacin acerca de la intervencin de manera
sistemtica y peridica (con una periodicidad definida en la planificacin), con un
responsable de la recopilacin de la informacin y directrices comunes.
La definicin de los indicadores. Estos deben ser tiles, fiables, accesibles, fciles de
interpretar y comparables. Debe estar garantizado su seguimiento regular.
La definicin de la lnea de base: es decir, cul se considera el punto de partida de la
intervencin y los indicadores que sern considerados como referencia o punto cero.
Deben especificarse las fuentes de informacin de las que se obtendrn los datos que
alimentarn los indicadores.
Ejemplo de sistema de seguimiento. Evaluacin del Plan Estratgico de Seguridad Vial 20052008. AEVAL, 2009.
Existe en este Plan un sistema de seguimiento consistente en un plan de actuaciones, una
memoria de actuaciones e informes de seguimiento peridicos. Asimismo hay indicadores en
un cuadro de mando, con objetivos estratgicos, de actividad y realizacin y de resultado. Para
cada uno de estos apartados hay una serie de indicadores, hasta 182 para las lneas
estratgicas (resultados). La responsabilidad era del Observatorio Nacional de Seguridad Vial.

| FASE 2. ANLISIS Y RECONSTRUCCIN DE LA LGICA DE LA INTERVENCIN

81

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Cuadro 4. Sistema de seguimiento del Plan Estratgico de Seguridad Vial. Algunos indicadores.
INDICADOR
Reduccin del ratio de fallecidos en accidente por
1 milln de habitantes
Reduccin n total de fallecidos
2 Reduccin n total de heridos graves
Reduccin ratio fallecidos por cada 100 accidentes con
3 vctimas

2003

2004

2005

2006

2007

Objetivo Variacin
2008 2003-2007

127

110

102

93

96

76

-32,28%

5.399

4.741

4.442

4.104

3.823

3.250

-29,19%

26.305

21.805

21.859

21.382

19.295

21.000

-26,65%

5,4

4,9

4,1

3,8

3,4

-29,53%

99.987

94.009

91.187

99.797

100.508

95.000

0,52%

Reduccin n conductores y pasajeros de ciclomotor


entre 15 y 20 aos fallecidos en accidentes con vctimas

156

154

113

116

102

100

-34,32%

Reduccin del n de menores (<18 aos) fallecidos como


pasajeros de turismos en accidentes con vctimas

158

132

112

101

100

100

-36,71%

4 Reduccin n total accidentes con vctimas

Fuente: Elaboracin propia a partir de la Memoria de Actuaciones de seguridad Vial (2007).


AEVAL, (2009).
Como se ha visto en el cuadro anterior, los sistemas de seguimiento permiten la construccin
de bateras de indicadores que ofrecen informacin acerca de todas las cuestiones relativas a
la intervencin de inters para poder evaluar.
Los indicadores permiten medir los conceptos definidos, a travs, generalmente, de
aproximaciones a la realidad. Lo ptimo es que en la propia planificacin se recoja una batera
de indicadores que permitan el seguimiento de la intervencin segn los objetivos de la
misma.
Ejemplo de sistema de indicadores. Evaluacin del programa REINDUS. AEVAL, 2011.
Para realizar el seguimiento de las ayudas concedidas, para comprobar y justificar la
realizacin del proyecto subvencionado, los tcnicos realizan una visita in situ para conocer la
realizacin efectiva del proyecto. Sin embargo, en las recomendaciones de la evaluacin se
indica que para posibilitar una valoracin de los efectos netos del programa en el progreso de
los territorios y de las industrias de su entorno, debera avanzarse en la construccin de
indicadores de impacto en convergencia regional e industrial.

82

FASE 2. ANLISIS Y RECONSTRUCCIN DE LA LGICA DE LA INTERVENCIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Ejemplo de sistemas de seguimiento y evaluacin. Evaluacin del Plan de Medidas de Mejora


de los Servicios de Sanidad Exterior. AEVAL, 2015.
En cuanto al seguimiento, en la evaluacin se indica que no ha existido en el Plan de medidas
de mejora de los servicios de sanidad exterior (PMMSSE) la previsin de la elaboracin de un
sistema de indicadores y un sistema de informacin que permitiera realizar un seguimiento
continuo de las medidas, su implementacin y sus resultados. nicamente se han realizado dos
informes puntuales que se pueden considerar como de seguimiento, por parte del Ministerio de
Administraciones Pblicas, en 2010 y 2012. La Inspeccin General de Servicios realiz un
informe en 2012 sobre el funcionamiento de los (Puestos de inspeccin fronterizos) (PIF)
aunque no se centr en el PMMSSE.
En lo que hace a la evaluacin, el Plan prev en su punto 5 la realizacin de una evaluacin,
una vez llevado a cabo el Plan 2006, encargada a la AEVAL por los Ministerios competentes. El
objeto es la calidad de los servicios prestados por la Administracin General del Estado en el
ejercicio de sus competencias en materia de sanidad exterior.

El seguimiento en un constructo
Para la identificacin de los sistemas de seguimiento y evaluacin en un constructo, hay que
identificar estos mecanismos para cada uno de los componentes de dicho constructo.
Ilustracin 15. El seguimiento en un constructo. Evaluacin de las trabas administrativas para
la creacin de empresas (AEVAL, 2012).

EFECTOS DEL PARCA, +

+ AFECTACIN DE LA
DIRECTIVA DE SERVICIOS, +
+ EFECTOS DE LA E-ADMINISTRACIN

+ IMPACTO DEL REAL DECRETO LEY 13/2010, +

Fuente: Elaboracin propia a partir de la evaluacin de AEVAL (2012).


| FASE 2. ANLISIS Y RECONSTRUCCIN DE LA LGICA DE LA INTERVENCIN

83

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

EXPERIENCIA DE AEVAL
En la evaluacin de las trabas administrativas para la
creacin de empresas se utiliz un constructo, con
distintas medidas de diferente alcance y configuracin.
Se realiz un sistema de informacin y seguimiento de
cada una de ellas, en la medida que contribuan a la
solucin del problema (se usaron aquellos existentes, en
su caso, o creados ad hoc, para luego construir los
indicadores integrados, que luego se abordarn.

Herramientas aplicables para la reconstruccin de la lgica de la


intervencin
El evaluador se vale, para la identificacin y comprensin de la intervencin, de diferentes
herramientas, todas ellas relacionadas con el anlisis de polticas pblicas, como ya se ha
dicho. Destacan la revisin de la literatura al uso sobre la materia y el anlisis de los
documentos de planificacin o gestin (memorias, informes de actividades, etc.) o los datos
ms relevantes.
Tambin son de particular importancia las consultas y entrevistas a instituciones oficiales,
gestores de las polticas, grupos de inters y los destinatarios finales, con el objeto de conocer
tanto el propsito como los objetivos, alcance y funcionamiento de la intervencin, y ms
genricamente, la percepcin que stos tienen sobre estos aspectos.
El modo y el grado de profundidad en que se analice el programa o poltica a evaluar son
flexibles. As, es posible circunscribir el anlisis a la identificacin de la estrategia y objetivos
del programa, o bien profundizar en distintos aspectos relevantes para el conocimiento de la
intervencin y los posibles anlisis posteriores.

Producto de la fase 2
El producto de esta fase se contendr principalmente en el captulo 2 del informe final de
evaluacin.

84

FASE 2. ANLISIS Y RECONSTRUCCIN DE LA LGICA DE LA INTERVENCIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

FICHA RESUMEN DE LA FASE 2. ANLISIS Y RECONSTRUCCIN DE LA


LGICA DE LA INTERVENCIN

OBJETIVOS
- Profundizar en el conocimiento de la intervencin
- Anlisis del problema, sus causas y efectos
- Conocimiento del diseo de la intervencin

ELEMENTOS DEL ANLISIS DE LA INTERVENCIN: LA


RECONSTRUCCIN DE LA LGICA DE LA INTERVENCIN
2-1. EL CONTEXTO DE LA INTERVENCIN
ITEMS
- Contexto socioeconmico, poltico, legal y administrativo en el momento de diseo de
la intervencin
- Marco competencial y niveles de gobierno implicados

2-2. IDENTIFICACIN Y DEFINICIN DEL PROBLEMA, SUS CAUSAS Y SUS EFECTOS


ITEMS
-El problema:
* Identificacin del problema a abordar
* Causas y efectos del problema
* Descripcin de la evolucin del problema
* Problemas e intervenciones dinmicos

2-3. INSTRUMENTOS DE INTERVENCIN PBLICA PARA RESOLVER EL PROBLEMA


ITEMS
- Teora e hiptesis de la intervencin:
* Buscar teora de la intervencin (explcita o implcita)
* Buscar hiptesis de la intervencin (explcita o implcita)

- Niveles de gobierno en los instrumentos de intervencin pblica:


* Reconstruccin instrumentos
* Unin Europea, Estado, Comunidades Autnomas, Entidades locales

- La intervencin "inexistente": el constructo

| FASE 2. ANLISIS Y RECONSTRUCCIN DE LA LGICA DE LA INTERVENCIN

85

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

2-4. DESPLIEGUE DE LA INTERVENCIN


ITEMS

EL DISEO
* Lgica formal del despliegue: objetivos, medidas, resultados e impactos
* El diseo en un constructo

NIVEL DE IMPLEMENTACIN

ITEMS
* Grado de implementacin de las medidas contenidas en la intervencin
* Estructuras de implementacin: responsables y recursos
* La implementacin en un constructo

MECANISMOS DE SEGUIMIENTO Y EVALUACIN QUE FIGURAN EN EL DISEO DE LA


INTERVENCIN

ITEMS
- Sistemas de informacin y seguimiento:
* Indicadores

- El seguimiento en un constructo

HERRAMIENTAS APLICABLES
ITEMS
- Tnicas de anlisis de polticas pblicas:
* Anlisis documental: documentos de la planificacin
* Anlisis de datos a partir de fuentes secundarias
* Entrevista personal
* Grupos de discusin
* Tcnicas de grupo nominal

PRODUCTO DE LA FASE 2
CONTENIDO INCLUIDO EN EL CAPTULO II DEL INFORME FINAL DE EVALUACIN

86

FASE 2. ANLISIS Y RECONSTRUCCIN DE LA LGICA DE LA INTERVENCIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

FASE 3. DISEO DE LA EVALUACIN


La realizacin de evaluaciones eficaces y eficientes obliga a tomarse el tiempo necesario para
planificar de forma sistemtica una evaluacin. Existen dos razones que justifican la realizacin
de un adecuado diseo, y la correcta identificacin de los objetivos, metodologa y proceso de
evaluacin:
En primer lugar el diseo otorgar a la evaluacin la necesaria calidad, credibilidad y
utilidad, contribuyendo a que sta llegue a buen fin y cumpla con los propsitos que
motivaron su realizacin.
En segundo lugar el diseo permitir usar el tiempo y los recursos, que siempre son
limitados, de forma eficiente.
El diseo de una evaluacin es fundamental para el evaluador, al clarificar y plasmar todos los
elementos esenciales de la evaluacin que se vern ms adelante (preguntas, criterios,
enfoque, metodologa, etc.). Adems, su plasmacin en un documento formalizado, el informe
de progreso de la evaluacin, que recoge los elementos anteriores, y que en la medida de lo
posible toma en consideracin las necesidades y expectativas de los gestores o demandantes
de la evaluacin, contribuir a generar sinergias tanto con stos como con otros actores
interesados (stakeholders).
Otra cuestin a considerar, es que las fases de profundizacin de la lgica de la intervencin y
diseo de la evaluacin se desarrollan no tanto de forma sucesiva como simultnea. La
perspectiva integral de aproximacin que aplica AEVAL provoca que las fases de anlisis de la
lgica de la intervencin, y de anlisis de la informacin (fase de implementacin de la
evaluacin) consuman mucho tiempo.
Por otro lado, en el mbito gubernamental transcurren plazos dilatados entre la solicitud de
datos de registros administrativos por parte del equipo de evaluacin y su disponibilidad. Este
hecho provoca que se agoten los plazos de la evaluacin si no se han perfilado, aunque no con
carcter definitivo, el diseo y herramientas de evaluacin de forma simultnea con la
profundizacin de la lgica de la intervencin.
Finalmente, la construccin de herramientas de anlisis, tales como encuestas, modelos
tericos para analizar determinados aspectos de las intervenciones, y particularmente el
anlisis de datos consumen bastante tiempo. Especialmente si consisten en toda una batera
de instrumentos de anlisis, como anlisis descriptivos, regresiones de todo tipo, anlisis
factoriales, herramientas de evaluacin de impacto, etc.
Los siguientes apartados desarrollan las tareas para el diseo de la evaluacin y los trminos
de referencia:
| FASE 3. DISEO DE LA EVALUACIN

87

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Elaboracin de la matriz de evaluacin


Seleccin de las tcnicas y herramientas de anlisis
Los trminos de referencia
Ejemplo de descripcin de la metodologa utilizada para una evaluacin. Evaluacin del Plan
de Medidas de Mejora de los Servicios de Sanidad Exterior. AEVAL, 2015.
La metodologa empleada para la obtencin de respuestas a las preguntas de evaluacin se
ha centrado, por un lado, en la medicin del volumen de la actividad comercial en los puntos de
inspeccin fronteriza (PIF) en el periodo 2005-2012. El objetivo es valorar la justificacin, tanto
de las medidas puestas en marcha como la seleccin de los PIF. Por otro lado, se ha consultado,
mediante una encuesta, a los operadores econmicos, principales usuarios de los servicios de
inspeccin. En tercer lugar, se ha utilizado una metodologa para la caracterizacin y
comparacin de las funciones desempeadas en los PIF y su relacin con la dotacin de
personal. Se describen las tres de forma abreviada a continuacin; el detalle se ofrece en los
anexos correspondientes. Adems, se han realizado anlisis documentales y entrevistas con los
principales actores.

3-1. Elaboracin de la matriz de evaluacin.


Este apartado se centra bsicamente en los aspectos relacionados con el diseo de la
evaluacin: la construccin de la matriz de evaluacin y los elementos que la integran:
preguntas de evaluacin, criterios e indicadores y fuentes de verificacin.
La evaluacin no deja de ser un proceso de investigacin especfico del anlisis de las polticas
pblicas. Toda metodologa de investigacin parte de la formulacin de una serie de
preguntas. En el caso de la evaluacin, las denominadas preguntas de evaluacin pretenden
indagar sobre distintos aspectos de la intervencin pblica llevada a cabo. Las preguntas de
evaluacin pueden agruparse o vincularse con los denominados criterios de evaluacin, que
son los elementos de valoracin que permiten emitir juicios valorativos sobre las distintas
fases del ciclo de la intervencin: su eficacia, implementacin, pertinencia, etc.
Los indicadores, anlisis o variables permiten obtener evidencias acerca de las preguntas
formuladas en la evaluacin. Son la operacionalizacin de las preguntas, sobre las que se
construirn las conclusiones y recomendaciones de la evaluacin. Finalmente, las fuentes de
verificacin son las fuentes de informacin o herramientas o datos que posibilitan construir los
indicadores o realizar los anlisis.
Todos estos elementos (preguntas, criterios, indicadores-anlisis y fuentes de verificacin), se
integran en la matriz de evaluacin, documento esencial para desarrollar una evaluacin.

88

FASE 3. DISEO DE LA EVALUACIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Otro aspecto relevante en el diseo de la evaluacin es la posible formulacin de las hiptesis


de la evaluacin. Existen dos tipos de hiptesis:
1. La hiptesis de la intervencin. En toda intervencin subyace una teora a partir de la que
se disean distintos mecanismos o instrumentos que contribuirn a resolver,-o a mitigar-,
dicho problema. En esta teora o hiptesis de intervencin operan relaciones de causa-efecto
(relaciones de causalidad), de tal modo que la intervencin, al incidir en las causas, producir
unos efectos que contribuirn a la resolucin de lo que justific la intervencin. La hiptesis de
la intervencin puede estar explicitada o no. En este ltimo caso, los evaluadores pueden
elaborar una formulacin hipottica para la intervencin a partir de un sistema de
suposiciones que se pondrn a prueba durante el proceso evaluativo. A partir de la experiencia
previa en la evaluacin y anlisis de programas similares, o los estudios tericos o acadmicos
realizados, se presupone que el xito del programa se obtendr mediante una implementacin
establecida. O que, a partir de un desarrollo determinado, se obtendrn determinados
resultados. Este anlisis se ha abordado en la fase 2, de anlisis y reconstruccin de la lgica de
la intervencin.
2. Las hiptesis de evaluacin. stas son hiptesis que presuponen determinados aspectos o
resultados de la intervencin que resulta conveniente formular en la evaluacin. O plantea que
una intervencin alcanzar a unos individuos ms que a otros, en funcin de una serie de
caractersticas personales. Estas hiptesis pueden ser consensuadas con los gestores o
decisores de la intervencin, o pueden ser incorporadas por el evaluador a la vista de
investigaciones o evaluaciones en esa u otras reas o en distintos pases.
Ejemplo de establecimiento de hiptesis de evaluacin. Evaluacin de las medidas de
racionalizacin y mejora de la gestin de la incapacidad temporal. AEVAL, 2010.
En esta evaluacin se estableci la hiptesis de que la prestacin de incapacidad temporal
puede ser, en cierto modo, un espacio o prestacin de refugio frente a un estado de bienestar
que no articula adecuadamente otras prestaciones para resolver determinadas contingencias o
necesidades: cuidado de personas mayores o nios, conflictos laborales, etc.
Finalmente, los distintos propsitos de la evaluacin (bien sean referidos a la totalidad del
programa en su conjunto o slo a un componente) conllevan diferentes enfoques, y
lgicamente diversas preguntas y diseos de evaluacin.

3-1.1. Las preguntas de evaluacin


En evaluacin es comn referirse a las preguntas de evaluacin como la unidad bsica de la
investigacin. El sistema con el que se ir creando la estructura lgica de la evaluacin se
basar en una serie de interrogantes e hiptesis que permitirn hacer operativa la puesta en
marcha de la evaluacin (AEVAL, 2010).
Desde el punto de vista metodolgico las preguntas de evaluacin tienen una gran
importancia. En realidad las preguntas estructuran el alcance de la evaluacin y al mismo
| FASE 3. DISEO DE LA EVALUACIN

89

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

tiempo conducen el diseo de sta. En definitiva, contienen el enfoque y el alcance de la


evaluacin. En un principio es posible formular una gran cantidad de preguntas que inquieren
sobre numerosas cuestiones relacionadas con el programa o poltica a evaluar. La formulacin
de las preguntas ms importantes de la evaluacin, en relacin con el enfoque y alcance que
se quiera adoptar y los intereses de los actores, focaliza correctamente la evaluacin, en
especial si se consideran las notables limitaciones en recursos y tiempo existentes.
Las preguntas sirven para concentrar el trabajo de evaluacin en los puntos clave, a fin de
permitir una mejor reflexin sobre los criterios de juicio (tambin denominada evaluacin
razonada), una recoleccin de informacin ms acotada, un anlisis ms profundo y un informe
ms til. (Comisin Europea, 2006. EuropeAid Cooperation Office). Esto es especialmente
importante cuando la intervencin contiene mltiples dimensiones.
Por otro lado, las preguntas de evaluacin tienen por objeto articular y enfocar las cuestiones
y/o preocupaciones e intereses tanto de los propios evaluadores, -una vez analizada la lgica
de la intervencin-, como principalmente de los grupos de inters con respecto al desarrollo o
el desempeo del programa. Las preguntas deben indagar en las hiptesis de intervencin y de
evaluacin mencionadas anteriormente.
No slo eso. Tambin garantizan que los hallazgos resulten tiles (GAO, 2004). Por ello es
importante trabajar con quien encarga la evaluacin para formular las preguntas correctas que
garanticen que la evaluacin va a responder a las necesidades de informacin de los distintos
actores (apropiabilidad).
Tradicionalmente, suele estructurarse en torno a una serie de preguntas que indagan
determinados elementos de la intervencin, preguntas que a su vez se descomponen en
subpreguntas que detallan o particularizan los distintos aspectos de la pregunta, como se
comprobar ms adelante.
Para ser investigables, las preguntas de evaluacin deben cumplir una serie de condiciones:
Deben ser claras, especficas y emplear trminos que puedan ser definidos
correctamente.
Deben ser medibles (factibles), por lo que es recomendable rechazar aquellas
preguntas cuando la informacin para responderlas es muy pobre, o dificultosa de
obtener y tratar. O cuando no se conoce adecuadamente las relaciones de causalidad
existentes.
Deben responder a las necesidades de quien encarga la evaluacin, de modo que el
alcance y el propsito sea entendido correctamente y la evaluacin sea realizable
(utilidad).
Deben ser suficientes, en el sentido de la cantidad de evidencias que permitan
obtener, y apropiadas, esto es, relevantes, vlidas y fiables.

90

FASE 3. DISEO DE LA EVALUACIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Las preguntas deben ser, adems, objetivas, y polticamente neutrales. La formulacin


de las preguntas no debe presumir el conocimiento de la respuesta con antelacin.
Como se apuntaba anteriormente, las preguntas deben ser apropiadas al estado de
maduracin del programa o poltica pblica. Diferentes preguntas pueden ser
formuladas en diferentes fases de del programa o poltica pblica evaluada.
Desde el punto de vista terico se sostiene habitualmente que cada pregunta debe
ajustarse a un solo criterio de evaluacin. No obstante, la formulacin de algunas
preguntas posibilita en ocasiones que respondan a distintos criterios de evaluacin.
Este aspecto, sin embargo, debe ser suficientemente valorado en cada caso concreto.
En definitiva, las preguntas de evaluacin deben ser relevantes y tiles, en relacin al enfoque
y objeto de evaluacin.
La lista de preguntas se configura de modo que la sntesis de las respuestas permita al equipo
de evaluacin formular un juicio global del proyecto/programa. Con dicho objetivo, la lista de
preguntas abarca los distintos niveles del marco lgico 49 y los () criterios de evaluacin de
forma equilibrada (Comisin Europea, 2006).
Las preguntas pueden formularse con un mayor o menor grado de amplitud y flexibilidad. As,
algunos autores (Straus y Corbin, 1990) son partidarios de formular preguntas que den libertad
para explorar ampliamente el fenmeno a evaluar. Ello quizs sea cierto en el caso de algunas
intervenciones concretas, que o son desconocidas, o cuentan con mltiples dimensiones
ignorndose cules pueden ser las ms relevantes. El riesgo de formular este tipo de preguntas
es que amplan notablemente los elementos a analizar y finalmente pueden no responder
adecuadamente a las cuestiones ms relevantes de la evaluacin.
Por ello es quizs ms recomendable acotar ya desde un principio las preguntas de evaluacin
centrndolas en aspectos clave, ayudando a la recopilacin de los datos adecuados, analizarlos
con un suficiente grado de profundidad y de forma totalmente transparente, dado que las
preguntas se explicitan de modo claro.
En todo caso, las preguntas de evaluacin no permanecen inalterables a lo largo de todo el
proceso de evaluacin. La propia realidad del fenmeno que se analiza puede poner de
manifiesto la existencia de cuestiones no consideradas inicialmente que deben ser incluidas.
Por otro lado, la carencia de datos puede provocar que preguntas trascendentes definidas
inicialmente no puedan ser respondidas. Como sostienen Straus y Corbin (1990), la amplitud
de la pregunta o preguntas iniciales va a ir focalizndose a lo largo del proceso de
investigacin/evaluacin al ir descubriendo la relevancia o irrelevancia de los conceptos y sus
relaciones.

49

El marco lgico es una herramienta utilizada sobre todo en evaluacin de proyectos de cooperacin.

| FASE 3. DISEO DE LA EVALUACIN

91

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Las preguntas de evaluacin, permiten determinar la calidad y la utilidad de una evaluacin,


puesto que deben ser respondidas completamente. Un modo de operativizar este aspecto es,
una vez finalizada la fase de anlisis, realizar un checklist de las preguntas y constatar si han
sido respondidas con la integridad y profundidad adecuada.

3-1.2. Los criterios de evaluacin


Los criterios pueden definirse como los diferentes puntos de vista o aproximaciones que se
realizarn al objeto de evaluacin. Otra definicin de inters, originaria del mundo educativo,
considera que los criterios son son los principios, normas o ideas de valoracin en relacin a
los cuales se emite un juicio valorativo sobre el objeto evaluado (I. M. Garca Snchez, 2010).
En definitiva, los criterios son condiciones, reglas, principios, normas o ideas de valoracin, que
posibilitan la emisin de un juicio valorativo con respecto a aquello que se evala.
Los criterios proporcionan referentes que posibilitan la obtencin de conocimientos tiles para
poder emitir juicios de valor. Adems, permiten estructurar las preguntas,-de hecho actan
como guas de formulacin de stas-, y el enfoque de evaluacin, cubriendo el campo o las
dimensiones que se desean evaluar de un programa o poltica pblica. De hecho, las propias
preguntas suelen corresponder a diferentes familias de criterios.
En todo caso, los criterios no deben ser considerados como categoras excluyentes o
exhaustivas sino como elementos gua para enfocar las evaluaciones, sus correspondientes
procesos y parmetros de referencia (CIDEC, 1999).
Adems de los criterios que tradicionalmente se han aplicado en evaluacin (por ejemplo,
coherencia, eficacia, eficiencia) existen otros menos utilizados, que se relacionan con los
valores sociales existentes en las sociedades complejas ms avanzadas (equidad, participacin,
transparencia).
En efecto, la evaluacin es un concepto intrnsecamente unido a la gobernanza y a la
consecucin de los principios sobre los que se asienta la accin gubernamental en nuestras
sociedades. Una accin que no debe analizarse exclusivamente sobre la base de criterios y
principios de eficacia, eficiencia y coherencia, sino tambin sobre principios vinculados a la
democracia en cuanto a sistema de gobierno: equidad, cohesin, participacin, legitimidad,
transparencia y responsabilidad. La restriccin en el uso de recursos pblicos, especialmente
en poca de dificultades econmicas, motiva que el acento se site en los primeros. Pero no
puede olvidarse que cualquier metodologa, conjunto de mtodos o tcnicas y enfoque
evaluativo debe incorporar, de un modo u otro, los principios sealados en segundo lugar. Y
ello se hace a travs de los distintos criterios de evaluacin a lo largo de todo el ciclo de la
poltica.
Estos criterios no agotan todas las posibilidades. En ocasiones es preciso construir criterios adhoc, dadas las peculiaridades de la intervencin, el objeto o el alcance de la evaluacin.

92

FASE 3. DISEO DE LA EVALUACIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Existen discrepancias en la literatura y la prctica referida a la evaluacin en cuanto a la


definicin y caracterizacin de los diferentes criterios. Las siguientes definiciones son las que
utiliza AEVAL:

I. Criterios tradicionales.
PERTINENCIA.- Hace referencia al grado en que el conjunto de las medidas que componen la
intervencin estn orientadas a resolver la necesidad o problemtica existente en el contexto
en el que sta se produce. Tambin puede definirse como la medida en que los objetivos de
una intervencin son congruentes con las necesidades existentes. En efecto, si las necesidades
no existen, o no son aquellas que se identificaron formalmente, la intervencin no ser
pertinente, puesto que no se dirigir a la raz de los problemas que la motivaron.
En el Anexo I, donde se recoge la matriz de la evaluacin de las medidas de racionalizacin y
mejora de la gestin de la incapacidad temporal por contingencias comunes (ITcc), se puede
observar un ejemplo de cmo se formula una pregunta global relativa a la pertinencia: A) En
qu grado el conjunto de medidas que componen la intervencin estn orientadas a resolver
los principales problemas detectados en la gestin de la ITcc y las causas ltimas que originan
el gasto por dicho concepto?
Pero a su vez, como se indicaba anteriormente, los criterios permiten encuadrar y estructurar
las diferentes preguntas y subpreguntas relativas a este aspecto, y que pueden ir referidas a
distintos elementos concretos de la problemtica existente. stas seran:
Cuadro 5: Subpreguntas correspondientes al criterio de pertinencia. Evaluacin de las medidas
de racionalizacin y mejora de la gestin de la incapacidad temporal.
Criterio de pertinencia
Qu parte de la evolucin del gasto no se explica por la poblacin trabajadora, la base
reguladora y el envejecimiento?
Cul es la incidencia, duracin media y coste de los episodios de incapacidad temporal por
contingencias comunes, segn las ramas de actividad, patologa, categoras profesionales,
regiones y/u otros factores personales o profesionales?
En qu grado el uso de la prestacin de incapacidad temporal por contingencias comunes
puede considerarse fraudulenta?
Es empleada la contingencia de incapacidad temporal por contingencias comunes como uso
ajeno para cubrir otras necesidades sociales?
En qu medida la prestacin de incapacidad temporal por contingencias comunes recoge
episodios de baja causados por factores que correspondera a incapacidad temporal por
contingencias profesionales?

Fuente: Evaluacin de las medidas de racionalizacin y mejora de la gestin de la incapacidad


temporal. AEVAL, 2010.
RELEVANCIA.- El criterio de relevancia inquiere sobre la importancia del papel de las medidas
en el marco ms amplio de la poltica. El inters se centra en el conjunto de medidas como
herramienta de intervencin. As, dada la entidad y amplitud de un problema, o en el caso de
que sea necesario movilizar importantes recursos econmico-presupuestarios, se dir que una
| FASE 3. DISEO DE LA EVALUACIN

93

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

intervencin no es relevante si las medidas son excesivamente acotadas o se movilizan escasos


recursos. Ambos hechos se traducirn invariablemente en la no resolucin por completo de la
problemtica existente, dada la escasa entidad de las medidas.
Cuadro 6. Subpregunta correspondiente al criterio de relevancia. Evaluacin de las trabas
administrativas para la creacin de empresas.
Criterio de relevancia
Cul ha sido el peso de la reduccin de trabas administrativas para la creacin de empresas
dentro de las medidas de fomento del emprendimiento y de la simplificacin y agilizacin
administrativas para las empresas?

Fuente: Evaluacin de las trabas administrativas para la creacin de empresas. AEVAL, 2012.
COHERENCIA.- Existen dos niveles de coherencia en las intervenciones. Por una parte la
coherencia interna, que debe existir entre los objetivos planteados en la intervencin y el
conjunto de medidas diseadas e implementadas. Las medidas y acciones deben ser
consecuentes con los objetivos establecidos, dentro de un esquema lgico, formal y racional.
Debe existir una relacin de causa-efecto. Si los objetivos no pueden ser alcanzados con las
medidas diseadas e implementadas, porque stas son contradictorias con aquellos, o porque
no exista evidencia cientfica o real de que con dichas medidas se obtienen determinados
resultados, se carecer de coherencia interna. A su vez, la coherencia interna puede presentar
niveles verticales (entre objetivos de diferente nivel) o niveles horizontales (entre objetivos de
diferentes componentes del programa).
Cuadro 7: Subpreguntas correspondientes al criterio de coherencia interna. Evaluacin del Plan
de Ahorro y Eficiencia Energtica 2008-2012.

Criterio de coherencia interna

Se ha definido correctamente la estructura de objetivos, resultados y actividades de


la intervencin?
Son adecuadas las actividades programadas para lograr los objetivos de la
intervencin tanto a nivel de Plan de Accin como de cada medida?
Se identifica claramente el resultado que pretende alcanzar cada objetivo
estratgico?
Contiene la intervencin un adecuado y prctico sistema de indicadores suficiente
para poder realizar el seguimiento y la evaluacin de la ejecucin de la poltica as
como su grado de xito?

Fuente: Evaluacin del Plan de Ahorro y Eficiencia Energtica 2008-2012. AEVAL, 2014.
La segunda dimensin de este criterio, la existencia de coherencia externa es, sin embargo,
ms controvertida. Algunas instituciones afirman que coherencia externa equivale a
complementariedad. Es el caso de la Comisin Europea, que refiere ambos criterios a la
existencia de diferentes entidades que intervienen sobre un mismo campo material. Por
ejemplo, existira complementariedad entre las polticas de un pas asociado y las polticas
comunitarias, o entre dichas polticas del pas, y otros donantes (en el caso de la ayuda al
desarrollo, por ejemplo). De este modo, para que la intervencin sea coherente, debera existir
una convergencia entre los objetivos entre diferentes acciones, o poderes pblicos.

94

FASE 3. DISEO DE LA EVALUACIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Para AEVAL, sin embargo, los criterios de coherencia externa y complementariedad operan a
distinto nivel. Esto es especialmente destacable en el campo de la evaluacin de polticas
pblicas.
La coherencia externa hace referencia a las actuaciones llevadas a cabo en el mbito de otras
polticas con el objeto de resolver determinados aspectos no contemplados por la intervencin
que es objeto de evaluacin. La coherencia externa aparece claramente vinculada a la
multidimensionalidad de los problemas y de las posibles soluciones.
Por el contrario, la complementariedad hace referencia a la necesidad de que los objetivos de
distintas intervenciones estn en cierto modo coordinados o alineados en la misma direccin,
para que stas produzcan las mayores ganancias potenciales. Y as tambin se evitar que una
de ellas pueda producir efectos que anulen, reduzcan o sean contrarios a los objetivos de la
otra intervencin.
Cuadro 8: Pregunta y subpreguntas correspondientes al criterio de coherencia externa.
Evaluacin del Plan de Ahorro y Eficiencia Energtica 2008-2012.

Criterio de coherencia externa


Las estrategias de los distintos Ministerios estn alineadas con los objetivos de la
medida 1 del Plan de Ahorro y Eficiencia Energtica 2008-2012??
Existe alguna incoherencia entre la medida 1 del Plan de Ahorro y Eficiencia
Energtica 2008-2012 y otros documentos estratgicos internacionales dentro del
mbito del sector energtico?
Existe alguna incoherencia entre la medida 1 (objetivos, actuaciones) del Plan de
Ahorro y Eficiencia Energtica 2008-2012 y otros Planes de Accin o Estrategias
nacionales en el mbito energtico?

Fuente: Evaluacin del Plan de Ahorro y Eficiencia Energtica 2008-2012, AEVAL 2014.
COMPLEMENTARIEDAD.- Como se indicaba anteriormente, la complementariedad hace
referencia al grado de coordinacin o alineacin entre dos polticas que intervienen en la
resolucin de un problema, contribuyendo, de este modo, a una mejor resolucin de dicho
problema. Existen numerosos campos donde se solapan las polticas.
En el caso de la Incapacidad temporal por contingencias comunes, existen varias dimensiones
presentes en el origen de las bajas laborales. Existe una dimensin econmica, que se concreta
en la necesidad de subsidios econmicos sustitutivos de los ingresos dejados de percibir. Pero
tambin una dimensin sanitaria, que demanda un perfeccionamiento del sistema de salud
que mejore la recuperacin y rehabilitacin del trabajador. Tambin se precisarn medidas a
nivel econmico-empresarial, para una mejor gestin de la fuerza de trabajo. Si las medidas
acometidas se limitan a una gestin centrada exclusivamente en el subsidio econmico,-con
distintos objetivos, como pueden ser la reduccin del gasto en la prestacin o la mera
reduccin de los indicadores de baja-, es posible afirmar que se observa una falta de
complementariedad.

| FASE 3. DISEO DE LA EVALUACIN

95

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Porque es preciso que las medidas sanitarias mejoren la gestin, reduciendo los tiempos para
el diagnstico de las enfermedades y las listas de espera para la intervencin reparadora. O
incluyendo medidas de todo orden que mejoren la gestin y coordinacin sanitaria frente a
esta problemtica.
Cuadro 9: Subpreguntas correspondientes al criterio de complementariedad. Evaluacin de las
medidas de racionalizacin y mejora de la gestin de la incapacidad temporal.
Criterio de complementariedad
En qu grado las medidas adoptadas desde el mbito sanitario (no gestin econmica de la
prestacin) han contribuido a una mejora de la gestin de la Incapacidad temporal por
contingencias comunes?
Es empleada la contingencia de incapacidad temporal por contingencias comunes como uso
ajeno para cubrir otras necesidades sociales?

Fuente: Evaluacin de las medidas de racionalizacin y mejora de la gestin de la incapacidad


temporal. AEVAL, 2010.
IMPLEMENTACIN.- el criterio de implementacin hace referencia al modo o forma en que se
ha implementado o puesto en prctica una poltica o programa. Se centra en el anlisis de las
estructuras, procesos, actividades y lgicas desarrolladas para la obtencin de unos
determinados resultados. En evaluacin, el inters suele centrarse especialmente en los
resultados obtenidos por un programa. Pero los actos de implementacin y planes de
actividades son, sin duda, tambin relevantes, por cuanto permitirn explicar por qu algunos
programas funcionan o no, y cul es el origen o los puntos crticos que provocan que los
resultados sean o no alcanzados.
En el caso concreto de las polticas pblicas, por actos de implementacin cabe entender aquel
conjunto de productos finales de los procesos poltico-administrativos destinados a los grupos
objetivo de la poltica pblica (Subirats, 2008). Pueden existir dficits de implementacin que
provoquen que los objetivos establecidos no se cumplan. Dficits que a su vez pueden ser
imprevistos e inesperados, o bien producirse una intervencin insuficiente para el logro de los
objetivos.
Cuadro 10. Subpreguntas correspondientes al criterio de implementacin. Evaluacin de las
medidas de racionalizacin y mejora de la gestin de la incapacidad temporal.
Criterio de implementacin
Se ha dotado a los organismos de la Administracin General del Estado de los instrumentos
organizativos y de personal precisos para la asuncin de las nuevas competencias en la gestin
de la Incapacidad temporal por contingencias comunes en los episodios de duracin superior a
los 12 meses?
Cuenta el Instituto Nacional de la Seguridad Social con los instrumentos y el sistema de
informacin para una gestin eficaz de la prestacin de la incapacidad temporal por
contingencias comunes?

Fuente: Evaluacin de las medidas de racionalizacin y mejora de la gestin de la incapacidad


temporal. AEVAL, 2010.

96

FASE 3. DISEO DE LA EVALUACIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

COBERTURA.-En ocasiones tambin se ha considerado como subcriterio del criterio de


implementacin. Estudia el grado en el que un programa alcanza a una parte o toda la
poblacin objetivo de un programa o poltica. El criterio de cobertura consiste en evaluar hasta
qu punto el proyecto ha llegado a la poblacin necesitada, analizar el posible sesgo en la
cobertura y sus causas (F. Alvira, 1991).
Se debe iniciar mediante el anlisis de la correcta identificacin del grupo beneficiario. Existen
discrepancias en torno a si tambin debe incluirse el anlisis de aquellos beneficiarios a
quienes no debera haberse beneficiado. El criterio de cobertura permite romper la tendencia
proyectocntrica caracterstica de algunos modelos actuales de evaluacin (J. A. Ligero,
2001). Se predica su utilizacin especialmente en el mbito de la ayuda al desarrollo (J.
Gascn, 2006).
Cuadro 11. Subpreguntas correspondientes al criterio de cobertura. Evaluacin de la formacin
dirigida a los empleados pblicos de la Administracin General del Estado.
Criterio de cobertura
Cul es el grado de cobertura de la formacin dirigida a los empleados pblicos?
Quines han sido los beneficiarios de los cursos de formacin continua?

Fuente: Evaluacin de la formacin dirigida a los empleados pblicos de la Administracin


General del Estado. AEVAL, 2015.
EFICACIA.- Es la medida en que el problema, demanda o necesidad que motiv la intervencin
ha sido resuelto. La eficacia tambin hace referencia al grado en que se alcanzaron los
objetivos establecidos en la intervencin. stos deben ponerse en relacin con los resultados
esperados de un programa, si stos son explcitos. O bien derivados de un constructo de dichos
resultados. En ocasiones se afirma que en el criterio de eficacia no se suelen tener en cuenta
los costes que genera la obtencin de resultados (CIDEC, 1999). Sin embargo resulta
fundamental considerar cules han sido los costes que han supuesto la intervencin.
Por otro lado, la eficacia puede tener mltiples dimensiones: dimensin econmica, dimensin
social, etc.
Cuadro 12: Pregunta y subpreguntas correspondientes al criterio de eficacia. Evaluacin de las
medidas de racionalizacin y mejora de la gestin de la incapacidad temporal.
Criterio de eficacia
Cul ha sido la eficacia de las medidas introducidas? (Medidas control Instituto Nacional de
seguridad social 12 meses, Convenios-Programa Ahorro en materia de Incapacidad temporal,
convenios especficos).
Los instrumentos utilizados han tenido los resultados (outputs) que se planteaban como
objetivo?
En qu grado las medidas adoptadas desde el mbito sanitario (no gestin econmica de la
prestacin) han contribuido a una mejora de la gestin de la Incapacidad temporal por
contingencias comunes?
En qu grado las medidas de control del gasto han podido generar situaciones de reincidencia
repetida?

| FASE 3. DISEO DE LA EVALUACIN

97

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Fuente: Evaluacin de las medidas de racionalizacin y mejora de la gestin de la incapacidad


temporal. AEVAL, 2010.
EFICIENCIA.- Medida en la que se obtuvieron los resultados y/o efectos deseados con la menor
cantidad de recursos posible. Entre varias posibilidades de obtener los mismos resultados, las
diferencias de costes determinan el grado en que una intervencin (la ms econmica) es ms
eficiente que otra (la que ms recursos consume). Este criterio complementa al de eficacia.
Presenta, no obstante, numerosas dificultades, por cuanto es improbable que distintas
medidas produzcan los mismos resultados o impactos, especialmente si se consideran no slo
los objetivos del programa o poltica evaluada, sino la totalidad de los efectos en la sociedad
en su conjunto.
Cuadro 13. Definicin y preguntas correspondientes al criterio de eficiencia. Evaluacin del Plan
Espaol de Energas Renovables 2005-2010.
Criterio de eficiencia
Definicin: Se pregunta por la relacin entre los resultados de la intervencin y el coste
que aquella ha implicado. El inters se centra en el anlisis coste-eficaica de tipo
normativo.
Cul es el efecto de las energas renovables sobre el efecto de la luz?
Cules han sido los rendimientos del Plan Espaol de Energas Renovables y de cada
una de las reas tecnolgicas?
Qu relacin ha existido entre las ayudas y los costes?
Cul ha sido el grado de integracin, aprovechamiento y gestionabilidad del Plan?

Fuente: Evaluacin del Plan Espaol de Energas Renovables 2005-2010. AEVAL, 2011.
SOSTENIBILIDAD.-Los beneficios obtenidos continan despus de concluida la intervencin.
Situacin en la que las ventajas netas son susceptibles de resistir los riesgos con el correr del
tiempo (EuropeAid, 2006).
Cuadro 14. Subpregunta correspondiente al criterio de sostenibilidad. Evaluacin del Programa
de ayudas a la Reindustrializacin (REINDUS).
Criterio de sostenibilidad
Se mantiene en el tiempo el empleo en las empresas beneficiarias de las ayudas?

Fuente: Evaluacin del Programa de ayudas a la Reindustrializacin (REINDUS). AEVAL, 2011.


Como se ha indicado, stos son los criterios comnmente empleados en la evaluacin. La
siguiente ilustracin muestra cmo operan algunos de estos criterios atendiendo a distintos
elementos tanto de la sociedad como de la accin pblica.

98

FASE 3. DISEO DE LA EVALUACIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Ilustracin 16: Criterios de evaluacin.


JUZGAR EL VALOR DE UN PROGRAMA
SOCIEDAD

ACCIN PBLICA

NECESIDADES

OBJETIVOS
ESPECFICOS
GLOBALES

MEDIOS
RECURSOS
RESULTADOS

INTERVENCIONES
REALIZACIONES

EFECTOS-IMPACTOS

Fuente: CIDEC, (1999).

II. Criterios vinculados a valores sociales


EQUIDAD.- El criterio de equidad hace referencia al grado en que las intervenciones pblicas
siguen criterios distributivos equitativos y no discriminatorios, segn las necesidades y
situacin objetiva en que se encuentran tanto los destinatarios o grupos a los que va dirigida la
intervencin, como aquellos que puedan resultar afectados.
PARTICIPACIN.- Se pregunta por el papel de los actores, tanto en el diseo de las medidas
como en su implementacin y posterior seguimiento.
Ilustracin 17. Extracto de una propuesta para subpreguntas del criterio de participacin.
Criterio de participacin
Se han impulsado mecanismos de participacin en la fase de diagnstico y diseo?
Cules? Por qu razones y con qu objetivos?
Estn representados todos los actores identificados como relevantes para la poltica
en el proceso de evaluacin?
Se ha garantizado suficientemente la pluralidad de posiciones en relacin con el
problema y las posibles alternativas?
Se ha contado con informacin suficiente y clara en relacin con el diagnstico del
problema y las posibles alternativas?
Los actores participantes consideran que su participacin ha influido en el
diagnstico y el diseo de la poltica o en su implementacin?
El diseo o la implementacin de la poltica Ha incorporado las decisiones y
acuerdos alcanzados a travs de las deliberaciones

Fuente: Elaboracin propia a partir de Ruiz, A., La participacin ciudadana como criterio de
valor en evaluaciones de carcter integral (2013).

| FASE 3. DISEO DE LA EVALUACIN

99

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

TRANSPARENCIA.- Indaga el conocimiento y percepcin que tiene el conjunto de la ciudadana


sobre las medidas y la poltica, as como la toma de decisiones y la transparencia de los
objetivos reales.
Cuadro 15. Definicin y pregunta correspondientes a un criterio de transparencia. Evaluacin
de la gestin y funcionamiento de las demarcaciones de costas para la proteccin del Dominio
Pblico Martimo Terrestre.
Criterio de transparencia informativa
Definicin: Se pregunta por los instrumentos disponibles que faciliten informacin a la
sociedad sobre las actuaciones e intervenciones pblicas para la proteccin del Dominio
Pblico Martimo Terrestre.
En qu medida se cuenta con instrumentos por parte del Ministerio de Medio
Ambiente y sus unidades perifricas para dar visibilidad a la accin pblica en esta
materia?

Fuente: Evaluacin de la gestin y funcionamiento de las demarcaciones de costas para la


proteccin del Dominio Pblico Martimo Terrestre. AEVAL, 2010.

III. Criterios ad hoc


Cuadro 16. Ejemplo de definicin, pregunta y subpregunta correspondientes a un criterio ad
hoc: Apropiacin. Evaluacin de los programas de formacin de la cooperacin espaola al
desarrollo.
Criterio de apropiacin
Definicin: los pases socios ejercen una autoridad efectiva sobre sus polticas de
desarrollo y estrategias y coordinan acciones de desarrollo.
La poltica de formacin para el fortalecimiento institucional se define de manera
consensuada y se gestiona de forma coordinada entre todos los actores que
participan de ella?
En qu medida la poltica de formacin de la Agencia Espaola de Cooperacin
Internacional (AECID) para el fortalecimiento institucional responde a las
necesidades de las administraciones de los pases socios?

Fuente: Evaluacin de los programas de formacin de la cooperacin espaola al desarrollo.


AEVAL, 2009.
Cuadro 17. Definicin y preguntas correspondientes a un criterio ad hoc: integralidad.
Evaluacin de la gestin y funcionamiento de las demarcaciones de costas para la proteccin
del Dominio Pblico Martimo Terrestre.
Criterio de integralidad
Definicin: Se pregunta por el grado de incorporacin de la actual poltica de proteccin
del Dominio Pblico Martimo Terrestre a los principios que inspiran la gestin integrada
de zonas costeras (GIZC)
En qu medida se est dando respuesta a la "planificacin integrada" que promueve
la GIZC y qu requerira una planificacin de futuro?
Establecida una planificacin integrada, qu mecanismos requerira la gestin
integrada?

Fuente: Evaluacin de la gestin y funcionamiento de las demarcaciones de costas para la


proteccin del Dominio Pblico Martimo Terrestre. AEVAL, 2010.

100

FASE 3. DISEO DE LA EVALUACIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

3-1.3. Indicadores y fuentes de verificacin


La informacin relevante, y alineada con las preguntas de evaluacin puede obtenerse tanto a
travs de indicadores como de otras fuentes. En efecto, existen otras fuentes de verificacin
de la informacin con caractersticas no estructuradas, o basadas en herramientas inductivas, y
no siempre tan sintticas como los indicadores. Pinsese, por ejemplo, en determinadas
herramientas que pueden proporcionar informacin relevante, como esquemas DAFO,
modelos de regresin, etc.

Indicadores
No existe una definicin unvoca de indicador. Quizs una de las definiciones conceptualmente
de mayor inters es la proporcionada por Naciones Unidas: Herramientas para clarificar y
definir, de forma ms precisa, objetivos e impactos (...) son medidas verificables de cambio o
resultado (...) diseadas para contar con un estndar contra el cual evaluar, estimar o
demostrar el progreso (...) con respecto a metas establecidas (Naciones Unidas, 1999).
Desde la perspectiva de evaluacin puede considerarse que los indicadores son aquellos que
estn vinculados a los criterios de juicio y especifican qu informacin se debe recabar para
emitir un juicio segn dichos criterios (EuropeAid, 2006). Los indicadores captan la
informacin y los datos necesarios para la evaluacin, y sirven para responder las preguntas de
evaluacin.
Existen dos tipos de indicadores: de tipo cuantitativo y de tipo cualitativo. A pesar de que los
primeros son ms habituales y ms comnmente aceptados, los segundos son de gran valor
desde el punto de vista de la evaluacin, puesto que el fenmeno a analizar no slo puede
captarse de forma cuantitativa, sino que en ocasiones tan slo podemos apreciar la realidad de
forma cualitativa.
En la prctica de la evaluacin, se constata la existencia de mltiples indicadores. Existen
indicadores generales, generados por diferentes instituciones o procedentes de fuentes
estadsticas. Pero tambin indicadores generados en el marco del propio programa o poltica,
tanto bsicos como de cumplimiento de objetivos, de gestin o estratgicos, etc.
Las polticas o programas claramente estructurados, con objetivos estratgicos u operativos
explcitos suelen estar provistos de sistemas de seguimiento diseados para obtener
indicadores relativos tanto a la implementacin como a los resultados. Estos programas
plantean, a priori, menor dificultad en cuanto a la obtencin y valoracin de indicadores. As,
estos sistemas pueden o suelen ofrecer tres grupos o bloques de indicadores (CIDEC, 1999):
Indicadores de realizacin, que miden el grado de ejecucin financiera, el grado de
ejecucin, o el nivel de utilizacin de medios establecidos.
Indicadores de resultados, que tienden a medir los efectos directos o inmediatos, la
calidad o el rendimiento de las acciones.
| FASE 3. DISEO DE LA EVALUACIN

101

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Indicadores de impacto, tanto especfico como global. Bien acotados a las realizaciones
y resultados alcanzados, bien globales.
Sin embargo, la realidad en ocasiones es ms compleja. En primer lugar, porque la evidencia
muestra, como se ha sealado, que en la mayora de las intervenciones no existen sistemas
estructurados de informacin, que establezcan de modo claro y preciso indicadores de
implementacin o resultados. Antes al contrario, se constata la inexistencia de dichos
sistemas, o su carcter imperfecto.
En segundo lugar, los indicadores suelen ser relativos a la gestin ordinaria o de casos,
mientras que la evaluacin requiere indicadores especficos, capaces de captar en toda su
extensin los criterios o realidades del programa. Los sistemas de indicadores suelen centrarse
en proporcionar informacin sobre efectos directos y buscados, mientras que la evaluacin
debe indagar en ocasiones la totalidad de los efectos, incluidos los indirectos o no buscados.
En tercer lugar porque los sistemas de informacin centran su inters en los aspectos relativos
a la eficacia, eficiencia o la gestin econmica-financiera. La evaluacin, sin embargo, opera en
un campo ms amplio, incluyendo criterios de pertinencia, coherencia o complementariedad.
En cuarto lugar porque en ocasiones, el inters de los gestores radica ms en obtener
resultados en trminos de indicadores establecidos anteriormente, que en resolver numerosas
cuestiones atinentes a los programas o problemas pblicos.
Frente a este volumen cada vez ms ingente de indicadores e ndices, es necesario trabajar de
forma estructurada, recopilando o construyendo aquellos indicadores relevantes y
directamente referidos a las preguntas y criterios de evaluacin. Esto es, mayor importancia
que la propia existencia de indicadores tienen las cuestiones relativas a su calidad y precisin a
la hora de medir aquello que realmente se pretende medir, aspecto que puede definirse como
validacin de la construccin del indicador.
Este ltimo aspecto entronca directamente con la dificultad inherente en el anlisis de
fenmenos sociales o de polticas pblicas, y la existencia de limitaciones en la medicin. Los
condicionantes metodolgicos, derivados tanto de la disponibilidad, caractersticas y
naturaleza de los datos de dichos fenmenos, como de los propios instrumentos o enfoques
que se adopten, deben ser tenidos en cuenta a la hora de analizar cualquier intervencin.
En ocasiones ser necesario construir indicadores ad hoc, especficamente diseados para
captar determinados elementos crticos de las preguntas de evaluacin. Y en el caso de que no
sea posible obtener indicadores que midan con exactitud aquello que interesa, habr que
recurrir a proxies, indicadores similares o que captan de modo indirecto el fenmeno a
estudiar.
Por ejemplo, en el caso de constructos, se pueden construir indicadores ad hoc, integrando la
informacin de los indicadores de los diferentes elementos de dicho constructo, como se ve a
continuacin.

102

FASE 3. DISEO DE LA EVALUACIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Ejemplo de construccin de indicador integrado para el seguimiento. Evaluacin de la


gestin y funcionamiento de las Confederaciones Hidrogrficas. AEVAL, 2010.
Al tratarse de un constructo, tras realizar un seguimiento del mismo mediante indicadores
parciales, para esta evaluacin se present como indicador integrado la adecuacin a los
principios de la DMA: la recuperacin y conservacin del buen estado ecolgico de las aguas;
la gestin integrada de las cuencas hidrogrficas, el principio de recuperacin de costes y la
participacin ciudadana.
Pueden darse una serie de pautas para la seleccin y uso de los indicadores en la evaluacin:
La informacin recopilada, -sean o no indicadores-, debe recabarse en determinados
formatos, que permitan su tratamiento o explotacin en la fase posterior de anlisis o
para responder directamente a las preguntas formuladas.
Los indicadores no deben ser ambiguos conceptualmente.
Como se apuntaba anteriormente, deben medir con el mayor grado de exactitud el
fenmeno o elemento a estudiar.
Deben dar informacin fcilmente comprensible y comunicable.
En la medida de lo posible, los indicadores de desempeo y de objetivos del programa,
importantes para la evaluacin, deben ser SMART (en ingls): especficos, medibles,
realistas, alcanzables o asequibles. (EuropeAid, 2006).
Deben ser verificables objetivamente.
Un aspecto de gran importancia en el empleo de los indicadores,-y un riesgo que a veces
tiende a olvidarse-, es el rigor en la atribucin de efectos. Un indicador relativo a un efecto no
indica en absoluto que la causa del cambio sea el programa o poltica. El indicador en s mismo,
salvo que proceda de determinadas tcnicas contrafactuales, no indica una relacin causaefecto.
Existen otros riesgos inherentes a la utilizacin de indicadores que cabe evitar. No se debe
prestar ms atencin a los propios indicadores que al fenmeno, realidad o problema que
motiv la intervencin. Tampoco se debe centrar el anlisis exclusivamente slo en aquello
que se puede medir a travs de indicadores existentes, puesto que la realidad es ms amplia
que los instrumentos de medicin.

Fuentes de verificacin
Las fuentes de verificacin son aquellos recursos (documentos, tcnicas, etc.) de las que se
extrae la informacin relevante para la evaluacin, bien sean los indicadores, las herramientas,
etc. Si los indicadores son, por decirlo de algn modo, el objeto que mide, las fuentes de
| FASE 3. DISEO DE LA EVALUACIN

103

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

verificacin son el lugar o medio al que acudimos para extraer dicha informacin. En definitiva,
son las fuentes de datos e informacin.
Dada su propia naturaleza, las fuentes de verificacin son mltiples y diversas: estadsticas,
observacionales, informes, documentos de gestin, estudios acadmicos, actas, tcnicas de
recopilacin o anlisis de informacin (encuestas, grupos de discusin, entrevistas,
regresiones, etc.).
Existen mltiples clasificaciones de fuentes de informacin: segn su naturaleza pueden ser
internas o externas a la intervencin, o a la propia evaluacin, etc.
Una de las clasificaciones ms empleada es segn se trate de datos primarios y secundarios.
Por tanto existiran unas fuentes que seran primarias y otras secundarias.
Los datos primarios son aquellos recabados o construidos por el investigador, sin que
hayan sido tratadas con posterioridad. Son registros de carcter inmediato, no
mediatizados.
Por el contrario, datos secundarios seran aquellos que han sido sometidos a anlisis o
tratamientos posteriores.
As, por ejemplo, en las encuestas los datos primarios seran las bases de datos o registros
donde se reflejan las respuestas de los encuestados, sin haber sido tratadas ni analizadas. Las
tablas de resultados absolutos o porcentajes, (resultados marginales), son datos secundarios.
Tambin son datos primarios los expedientes en un programa o los listados.
Otro ejemplo son los datos proporcionados por instituciones dedicadas a la elaboracin de
estadsticas: seran datos primarios aquellos ficheros de microdatos que contienen los registros
de individuos, mientras que seran fuentes secundarias la explotacin (informes, sntesis, etc.)
elaborados a partir de los primeros.

3-1.4. Elaboracin de la matriz de evaluacin


La matriz de evaluacin es la herramienta que integra de forma lgica las preguntas de
evaluacin, sus subpreguntas, los criterios o niveles de anlisis a los que corresponde cada una
de ellas. Permite integrar las respuestas medibles o mensurables a dichas preguntas, puesto
que se acompaa de los indicadores y anlisis apropiados para cada una de ellas y las fuentes
de verificacin de las que se extraen.
Las caractersticas y contenido de la matriz de evaluacin pueden ser variables. El siguiente
cuadro refleja la matriz de preguntas estandarizada de AEVAL. En otras matrices de evaluacin,
la pregunta se acompaa de una aclaracin del por qu se formula la pregunta y/o de los
trminos usados.

104

FASE 3. DISEO DE LA EVALUACIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Cuadro 18: Extracto de matriz de preguntas de evaluacin. Evaluacin de medidas evaluacin de las medidas de racionalizacin y mejora de la gestin de la
incapacidad temporal por contingencias comunes (Incapacidad temporal por contingencias comunes.)
PREGUNTAS DE EVALUACIN

1. En qu grado el conjunto de medidas


que componen la intervencin estn
orientadas a resolver los principales
problemas detectados en la gestin de la
incapacidad temporal por contingencias
comunes y las causas ltimas que originan
el gasto por dicho concepto?

SUBPREGUNTAS
1.1 Qu parte de la evolucin del gasto no se
explica por poblacin trabajadora, base reguladora
y envejecimiento?

CRITERIOS

- Evolucin de las principales macromagnitudes que explican el gasto en incapacidad


temporal por contingencias comunes.
PERTINENCIA

- Comparativas de tasas de crecimiento de variables implicadas en el gasto de


incapacidad temporal por contingencias comunes

FUENTES DE VERIFICACIN
- Indicadores de variables fundamentales.
- Estudios realizados.
E t i t
- Informes del Instituto Nacional de Seguridad Social
relativos a incapacidad temporal por contingencias comunes
-Bibliografa

1.2. Cul es la incidencia, duracin media y coste


de los episodios de incapacidad temporal por
contingencias comunes, segn las ramas de
actividad, patologa, categoras profesionales,
regiones y/u otros factores personales o
profesionales?
2.1. En qu grado han resultado coherentes los
objetivos de la intervencin con las medidas
implementadas?

- Indicadores de incidencia, duracin media y coste de incapacidad temporal por


contingencias comunes obtenidos del anlisis estadstico de microdatos.
PERTINENCIA

4. Cul ha sido la eficacia de las medidas


introducidas? (Medidas control Instituto
Los instrumentos utilizados han tenido los
Nacional de Seguridad Social 12 meses,
resultados (outputs) que se planteaban como
convenios-programa ahorro en materia de
objetivo?
incapacidad temporal, convenios
especficos).

En qu grado las medidas adoptadas desde el


mbito sanitario (no gestin econmica de la
prestacin) han contribuido a una mejora de la
gestion de la incapacidad temporal por
contingencias comunes?

- Evolucin de los principales indicadores de la incapacidad temporal por contingencias


comunes periodo 2000-2008. Macromagnitudes.
- Estudios relativos a incapacidad temporal en funcin de categoras personales y
socioprofesionales.

COHERENCIA INTERNA

2. Son coherentes las medidas adoptadas? 2.2. Ha existido coordinacin de la intervencin


entre los distintos entes responsables de la gestin
COHERENCIA EXTERNA
de la incapacidad temporal por contingencias
comunes y cul ha sido la eficacia de dicha
coordinacin?

g
Administracin General del Estado de los
instrumentos organizativos y de personal precisos
3. Se han implementado algunos
para la asuncion de las nuevas competencias en la
IMPLEMENTACIN
elementos clave?
gestin de la incapacidad temporal por
contingencias comunes en los episodios de
duracin superior a los 12 meses?

5. Existe complementariedad en la
intervencin?

INDICADORES/ METODOLOGA

EFICACIA

-Anlisis estadstico de microdatos proprorcionados por el


Instituto Nacional de Seguridad Social.
- Informes estadsticos anuales del Instituto Nacional de
Seguridad Social.
- Indicadores del Instituto Nacional de Seguridad Social.
- Bibliografa.

- Coherencia entre los distintos instrumentos.


- Coherencia de cada uno de los instrumentos con los objetivos perseguidos.

- Anlisis de coherencia de las medidas y los objetivos.

- Anlisis de los instrumentos o acciones acometidos en materia de coordinacin y


complementariedad por parte de los agentes intervinientes.
- Anlisis de la coordinacin en el seno de la Administracin General del Estado.
- Respuesta de los servicios pblicos de salud a las propuestas de alta (alta mdica
condicional) y altas mdicas a los exclusivos efectos econmicos).

- Entrevistas.
- Documentos de gestin.
- Bibliografa.

- Dotaciones de recursos humanos del Instituto Nacional de Seguridad Social en los aos
- Incremento de recursos humanos en el Instituto Nacional de
en que se implementa la prrroga de los episodios de incapacidad temporal por
Seguridad Social.
contingencias comunes de ms de 12 meses.
- Anlisis de la implementacin de la asuncin de la competencia en los episodios de ms - Cambios organizativos experimentados.
de 12 meses en las distintas direcciones provinciales.
- Anlisis de los convenios del "Fondo programa ahorro en materia de incapacidad
temporal por contingencias comunes 2005-2008". Implementacin e indicadores de
cumplimiento de objetivos. Evolucin de lo sindicadores fundamentales (incidencia,
duracin, transmisin de informacin, desarrollo de actividades, etc.) Valoracin del
grado de cumplimiento.
- dem convenios de los programas pilotos para estudio del comportamiento de los
procesos de incapacidad temporal por contingencias comunes.
- dem competencia del Instituto Nacional de Seguridad Social en procesos de incapacidad
temporal con duracion superior a 12 meses. Indicadores fundamentales de incidencia,
prevalencia, duracin antes/ despus de la asuncin de competencias por las direcciones
provinciales del Instituto Nacional de Seguridad Social.

- Convenios "Fondo programa ahorro en materia de


incapacidad temporal por contingencias comunes 2005-2008"
y grados de implementacin.
- Memorias anuales de cumplimiento de objetivos.
- Convenios programas pilotos de comportamiento de
incapacidad temporal por contingencias comunes para
ciertas patologas e indicadores de cumplimiento.
- Entrevistas.
- Anlisis de microdatos.
- Documentos internos de gestin.
- Evolucin de indicadores.

- Anlisis de las dificultades sanitarias en la gestin de casos de incapacidad temporal


por contingencias comunes.
- Bibliografa.
- Anlisis de las medidas y programas sanitarios en materia de formacin de incapacidad
- Entrevistas.
COMPLEMENTARIEDAD temporal por contingencias comunes.
- Documentos de gestin.
- Anlisis de las medidas y programas sanitarios en materia de medidas de mejora de
- Indicadores de cumplimiento de los convenios especficos.
procedimientos sanitarios que repercuten en una mejor gestin de la incapacidad
temporal por contingencias comunes.

Fuente: Elaboracin propia a partir de la Evaluacin de las medidas de racionalizacin y mejora de la gestin de la incapacidad temporal. AEVAL, 2010.
| FASE 3. DISEO DE LA EVALUACIN

105

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

La matriz de evaluacin no es una herramienta inalterable a lo largo del desarrollo de la


evaluacin. Antes al contrario, la mayor comprensin de la lgica de la intervencin, o de su
implementacin, puede provocar que se identifiquen elementos clave de la propia
intervencin o del contexto en el que interviene que hagan necesaria la incorporacin de
nuevas preguntas o hiptesis.
Tambin puede suceder que en la identificacin de las fuentes o en el anlisis de los datos se
aprecien limitaciones que hagan recomendable eliminar o restringir el alcance o mbito de
algunas preguntas o subpreguntas de la matriz, al no poder ser respondidas con el rigor
necesario. Finalmente a lo largo de la evaluacin pueden identificarse, a travs de entrevistas
con actores claves, por ejemplo, la existencia de fuentes de informacin o datos no
considerados inicialmente, que motiven tanto un cambio en los indicadores y fuentes de
informacin, como en la profundizacin del anlisis que de respuesta a algunas de las
preguntas.
En definitiva, la matriz es un instrumento vivo, flexible y en absoluto rgido, que ayuda a la
evaluacin 50.
La utilidad de la matriz de evaluacin no se circunscribe al diseo y alcance de la evaluacin,
aspecto que suele destacarse en la bibliografa de evaluacin, sino que presenta otras
utilidades desde la perspectiva del desarrollo de la evaluacin.
Una de ellas es el contraste o anlisis de calidad de la evaluacin. Cuanto mayor grado
de ajuste exista entre la evaluacin llevada a cabo (y el informe donde se contiene), y
la matriz de evaluacin, mayor rigor cabe atribuir a la evaluacin.
Otra utilidad es ms de carcter metodolgico y prctica en el quehacer de los
evaluadores: la matriz cie o circunscribe el trabajo que debe realizarse en las
sucesivas fases de la evaluacin, evitando la tendencia expansiva a analizar otras
cuestiones conexas o tangenciales que pueden tener los evaluadores, lo cual es
contraproducente al restar tiempo y recursos para desarrollar en toda su extensin los
criterios y preguntas de evaluacin contenidos en la matriz. En especial, si se considera
la importancia que en la evaluacin tienen los plazos para realizarla y los recursos
limitados existentes.

3-2. Seleccin de tcnicas y herramientas de anlisis.


La evaluacin comparte con el resto de la investigacin social el uso de tcnicas y mtodos,
sean de tipo cualitativo o cuantitativo. En cierto modo cabe afirmar que las diferentes tcnicas
representan un repositorio de herramientas, al que el evaluador acudir para seleccionar

50

AEVAL recoge en sus informes un anexo donde se contiene la versin final de la matriz de evaluacin.

106

FASE 3. DISEO DE LA EVALUACIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

aquellas que sean ms relevantes atendiendo al enfoque y naturaleza del objeto, y ms


adecuadas a la vista de la disponibilidad y estructura de la informacin que se pueda recabar.
Dado que el propsito de esta gua no es describir en detalle las tcnicas relevantes en
investigacin social, vlidas para la evaluacin, en este apartado se hace una breve referencia
a algunas de tcnicas o herramientas disponibles. En el Anexo II de esta gua pueden
consultarse las fichas de algunas de las tcnicas mencionadas.
La clasificacin ms tradicional de las tcnicas disponibles es aquella que diferencia aquellas de
naturaleza cualitativa o cuantitativa. Cuando se alude a esta clasificacin se suelen detallar
cules son cada una y a describirlas. As, entre las cualitativas destacan las entrevistas, grupos
de discusin, tcnicas de grupo nominal, anlisis de discursos, etc. Entre las cuantitativas los
anlisis puramente descriptivos, relaciones entre variables, o los ms complejos, tales como
los modelos de regresin lineal simples o mltiples, etc.
Cuadro 19: Tcnicas y herramientas de anlisis cuantitativas y cualitativas.
Tipo de tcnica

Tcnicas cualitativas

Propsito/naturaleza

Entrevistas

Exploratoria. Aplicable a cualquier fase

Grupos de discusin

Recolectar informacin cualitativa. Facilita la


comprensin y la credibilidad y aceptacin.

Tcnicas de Grupo
Nominal (TGN)

Anlisis estructurado de ideas y problemas

Anlisis de discursos

Analizar los discursos y contextos de toda ndole en


que se producen

DAFO

Reducir incertidumbres y definitir estrategias

Estudio de casos

Analizar resultados e impactos

Encuesta

Obtener informacin descriptiva o de otro tipo para


aplicar otras tcnicas.

Regresiones lineales

Anlisis de causas explicativas y estimacin de efectos

Regresiones logsticas o
Anlisis de causas explicativas y estimacin de efectos
probabilsticas

Tcnicas cuantitativas

Anlisis coste-beneficio

Conocimiento de impactos diferenciados. Anlisis de


eficiencia

Anlisis coste-eficacia

Anlisis de eficacia en base a un criterio relevante

Modelos ARIMA

Anlisis de series temporales

Anlisis multinivel

Estudiar factores contextuales, de forma jerarquizada o


por niveles

Modelos estocsticos de Medicin de la eficiencia en trminos de maximizacin


frontera
de inputs

Mixtas

Anlisis factorial

Reduccin de dimensiones subyacentes

Mtodos de impacto

Medicin de efectos netos atribuibles a una


intervencin pblica

Anlisis multicriterio

Estructurar y combinar valoraciones tenidas en cuenta


en una decisin

Fuente: elaboracin propia.


| FASE 3. DISEO DE LA EVALUACIN

107

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

En el caso de los mtodos de anlisis cuantitativo, la evaluacin no slo puede, sino que en la
medida de lo posible debe utilizar determinadas tcnicas de forma rigurosa, de tal modo que
sea posible realizar inferencias generalizables (validez externa). Adems, es imprescindible
combinar dichos mtodos con tcnicas cualitativas, que permiten desentraar y analizar los
discursos existentes, las lgicas de funcionamiento de las polticas y las respuestas y
comportamientos de los actores implicados.
Esta clasificacin no agota la totalidad de herramientas disponibles.Tan vlidas como las
anteriores son los anlisis organizacionales, el anlisis terico relativo al objeto de evaluacin
(bibliografa),o el anlisis de toda aquella documentacin generada en la implementacin de
una poltica (documentos de gestin, normativa, etc.).
El siguiente cuadro testimonia las tcnicas de anlisis provinientes de la ciencia poltica que
pueden emplearse en la evaluacin. Es tan slo un ejemplo, puesto que la prctica totalidad de
las disciplinas acadmicas proporcionan herramientas. Las hay provenientes de la sociologa,
de la economa, etc.
Cuadro 20: Tcnicas y herramientas de anlisis de la ciencia poltica tiles para la evaluacin.
Tcnicas y herramientas de anlisis
Voz, salida y lealtad (A. Hirschman)
Anlisis organizacional
Agenda pblica
Redes (Rhodes)
Incrementalismo (C.Lindblom)
Teora sistmica (Easton, G. Almond, Duverger, N. Luhmann)
Anlisis institucional (en cuanto normas)
Gestin pblica
Eleccin racional (M. Olson, J. Buchanan, J. Goldthorpe)
Eleccin pblica
Otras

Fuente: elaboracin propia.

3-2.1. Enfoques o estrategias de anlisis


Es posible establecer diferentes enfoques o estrategias de anlisis en evaluacin. CIDEC (1999)
distingue cuatro:
Anlisis del cambio. Los indicadores relevantes son comparados a travs del tiempo y
en funcin de distintos niveles de metas.
El meta-anlisis, por su parte, extrapola los hallazgos de otros estudios, pero tras
analizar exhaustivamente su validez y su aplicabilidad.
Anlisis de atribucin. Se comparan los resultados o cambios de toda ndole
observados en dos escenarios: aquellos cambios producidos con intervencin, y sin

108

FASE 3. DISEO DE LA EVALUACIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

intervencin. Es el conocido contrafactual. En esta estrategia se engloba el conocido


como anlisis de impacto.
Anlisis de contribucin, que confirma o invalida los supuestos causales a partir de una
cadena de razonamiento.
La primera estrategia es quizs, la ms descriptiva, mientras las otras responden ms bien al
anlisis de causalidad (causa-efecto), intentando desentraar dichas relaciones para una
poltica o programa.
En el anlisis de atribucin y contribucin, las herramientas y tcnicas que analizan las
relaciones de causalidad tienen particular importancia en evaluacin. Estas tcnicas o mtodos
posibilitan esclarecer cules son las variables explicativas de determinados fenmenos.
Normalmente se incluye en las modelizaciones toda una serie de variables de carcter
socioeconmico,-y en el caso de anlisis que tomen como referencia a los individuos, variables
personales-, que, a partir de otros estudios o de teoras de tipo sustantivo, contribuyen a
explicar unos resultados. En este conjunto de tcnicas cabe destacar los anlisis multivariantes,
como las regresiones lineales mltiples, o las regresiones logsticas. O los anlisis de historia de
vida, poco utilizados, que permiten realizar anlisis longitudinales con variables de carcter
dinmico.
Tambin pueden incluirse en los anlisis multivariantes determinadas intervenciones,
programas o medidas que pueden contribuir a explicar unos efectos. No obstante, estas
tcnicas no siempre desentraan cules son los efectos netos atribuibles nica y
exclusivamente a una poltica pblica, o a un programa. Y esto es de particular importancia
cuando se pretende conocer la eficacia exclusiva de una intervencin o sus impactos.
Por el contrario, otros mtodos s permiten conocer los efectos atribuibles exclusivamente a
una intervencin, posibilitando construir contrafactuales. Son los mtodos de evaluacin de
impacto, que tanto predicamento tienen actualmente en el campo de la evaluacin, a la vez
que son demandados continuamente desde las esferas decisionales para evaluar las polticas
pblicas.
En el Anexo III se ha incluido algunas reflexiones sobre el empleo de mtodos de evaluacin de
impacto en el marco de las evaluaciones.

| FASE 3. DISEO DE LA EVALUACIN

109

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

3-3. Los Trminos de Referencia.


Los Trminos de Referencia (TdR) son el documento contractual utilizado para la contratacin
de servicios de consultora especializados en la evaluacin. Los (TdR) se aplican generalmente
para servicios de carcter intelectual y de asesoramiento provistos por consultores, quienes
cuentan con las competencias (valores, conocimientos y habilidades) y experiencias requeridas
para cubrir la necesidad que les da
origen (Banco Mundial, 2009).
Se formaliza as la evaluacin entre dos
partes: la parte que encarga la
evaluacin, y quienes la realizan. Si
bien los TdR alcanzan su plena
significacin cuando se encomienda la
evaluacin a organizaciones o agentes
externos, tambin pueden aplicarse
con especificidades propias a la
evaluacin desarrollada por Agencias u
organizaciones especficas que forman
parte de la organizacin que
implementa la intervencin, aunque
dotadas de un alto grado de
autonoma.
Desde el punto de vista de AEVAL, los
elementos que deben considerarse a la
hora de confeccionar los TdR son los
siguientes (AEVAL, 2009):

LA EXPERIENCIA DE AEVAL
En el caso especfico de AEVAL se elaboran los TdR a
consensuar entre las partes, y slo tendrn carcter
contractual en el caso de aquellas evaluaciones que no
se encarguen por el Consejo de Ministros.
En las evaluaciones que formen parte del mandato de
la Agencia, sin llegar a redactar unos TdR en sentido
estricto, se suele acordar a alto nivel con el
departamento gestor de la poltica o programa un
documento a modo de TdR, que recoge los
compromisos alcanzados sobre la evaluacin a
desarrollar.
Refleja un primer consenso con responsables de la
intervencin a evaluar sobre los aspectos en los que la
evaluacin se va a centrar dando respuesta adems, a
las necesidades de informacin que stos tienen y se
concretan en el informe de Anlisis del encargo.

Descripcin de la intervencin a evaluar, su contexto y requerimientos de informacin.


El objeto, mbito y alcance de la evaluacin. Su propsito. Los usuarios de la
evaluacin.
El enfoque metodolgico. Se presenta una primera aproximacin a las cuestiones
metodolgicas.
Matriz de preguntas relevantes a las que debe responder la evaluacin, criterios de
referencia y fuentes de informacin.
Herramientas a utilizar y metodologa de recopilacin de datos y anlisis.
Equipo evaluador. Roles, cualificacin y experiencia.
Comisin de seguimiento. Responsabilidad y funciones.

110

FASE 3. DISEO DE LA EVALUACIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Lneas de comunicacin.
Plan de evaluacin. Cronograma de tareas.
Presupuesto.
Estructura y presentacin de los informes de evaluacin. Los requisitos de los
informes, incorporando detalles sobre el formato y contenido de los mismos, as como
los procedimientos de revisin, garantizando la calidad de la evaluacin. Se podrn
establecer acuerdos especficos para negociar conflictos.
Distribucin de los informes. Confidencialidad y publicidad.
Seguimiento ex post y retroalimentacin sobre las recomendaciones de la evaluacin.
Aspectos ticos y posibles conflictos de inters.

Herramientas aplicables para el diseo de la evaluacin.


Las descritas en el apartado 3.2 (cuantitativas y cualitativas).

Producto de la fase 3.
El producto de esta fase es el captulo 3 del informe final de evaluacin.

| FASE 3. DISEO DE LA EVALUACIN

111

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

FICHA RESUMEN DE LA FASE 3. DISEO DE LA EVALUACIN

OBJETIVOS
- Diseo de la evaluacin
- Establecer las preguntas, hiptesis, criterios y matriz de evaluacin
- Seleccionar las herramientas y tcnicas necesarias para llevar a buen fin la evaluacin,
en funcin de sus objetivos, preguntas y criterios de evaluacin
- Planificar la evaluacin
- Establecer los Trminos de Referencia (TdR)

ELEMENTOS DEL DISEO DE LA EVALUACIN


3-1. ELABORACIN DE LA MATRIZ DE EVALUACIN
ITEMS
- Redactar las preguntas de evaluacin en base a los objetivos, alcance y objeto de la
evaluacin
- Definir los criterios de evaluacin que se emplearn
- Definir o establecer los indicadores o anlisis a realizar y sus fuentes de verificacin
- Construir la matriz de evaluacin

3-2. SELECCIN DE TCNICAS Y HERRAMIENTAS DE ANLISIS


ITEMS
- Seleccin de herramientas
- Enfoques o estrategias de anlisis

3-3. ELABORACIN DE LOS TRMINOS DE REFERENCIA (TDR)


ITEMS
- Descripcin de la intervencin
- Objeto, mbito y alcance. Propsito de la evaluacin. Usuarios
- Enfoque metodolgico. Matriz de preguntas
- Herramientas y metodologa de recopilacin de datos y anlisis
- Equipo evaluador. Comisin de seguimiento. Lneas de comunicacin
- Plan de evaluacin. Cronograma
- Presupuesto
- Estructura del informe. Distribucin. Confidencialidad y publicidad
- Seguimiento
- Aspectos ticos. Posibles conflictos de inters

HERRAMIENTAS APLICABLES
ITEMS
- Tcnicas cuantitativas y cualitativas

PRODUCTO DE LA FASE 3
COMPONE EL CAPTULO III DEL INFORME FINAL DE EVALUACIN

112

FASE 3. DISEO DE LA EVALUACIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

FASE 4. TRABAJO DE CAMPO Y ANLISIS


Como se ha visto hasta ahora, a partir del anlisis del encargo se realiza la reconstruccin y
descripcin de la lgica de la intervencin y el diseo de la evaluacin. Realmente, las tres
fases forman parte de la ejecucin de la evaluacin, ya que cuando se analiza el encargo o se
profundiza en la lgica de la intervencin evaluada, se est evaluando. Pero un paso
singularizado en el desarrollo de la evaluacin es la recopilacin y anlisis de la informacin
para la obtencin de evidencias. Esta fase se denomina trabajo de campo y anlisis.
Como ya se ha sealado, es muy importante partir de la consideracin de que el proceso de
evaluacin es un proceso iterativo, es decir, no se realiza de manera secuencial fase tras fase.
Por esta razn, en muchas ocasiones, el desarrollo de la fase de campo hace que se efecte
una revisin del diseo de la evaluacin, cuando, por ejemplo, se constata que no es posible
obtener informacin para dar respuesta a determinadas preguntas de evaluacin.
Como esta fase se relaciona directamente con la informacin, este apartado se limitar a
establecer una serie de criterios en relacin con el uso de la misma y otros de carcter ms
operativo, ya que en el captulo anterior se han apuntado las herramientas ms usuales para la
recopilacin y anlisis de la informacin necesaria para la evaluacin.
Por lo que respecta a los procedimientos de recopilacin de la informacin, stos tienen que
asegurar que la informacin obtenida es suficientemente fiable. Por esta razn es preciso que
las fuentes de informacin utilizadas se describan con suficiente precisin, de forma que, en
aras a la propia transparencia de la evaluacin, sea posible valorar por terceros su adecuacin,
validez y fiabilidad.
Adems, al abordar el anlisis debe efectuarse una revisin sistemtica que permita detectar
posibles errores y su correccin inmediata. El anlisis de la informacin debe realizarse de
manera que se asegure que la interpretacin a la que se ha llegado da una respuesta efectiva a
las preguntas de la evaluacin y es vlida para el uso que se le pretende dar. Los resultados
deben estar apoyados por un anlisis riguroso y por las evidencias obtenidas.
De la misma forma, deben describirse las perspectivas, los procedimientos y la
fundamentacin que se utilicen al interpretar los resultados para posibilitar que las evidencias
y los fundamentos de los juicios emitidos sean claros y valorables por terceros.
Por otro lado, la recopilacin admite un grado variable de formalizacin o sistematizacin. En
ocasiones se establece un plan especfico para obtener los datos necesarios, con vistas a
cumplir el cronograma de tareas, y poder efectuar el anlisis. El siguiente cuadro recoge un
ejemplo de plan de recoleccin de datos.

| FASE 4. TRABAJO DE CAMPO Y ANLISIS

113

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Cuadro 21: Plan de recoleccin de datos.

Plan de recoleccin de datos


Preguntas

Indicadores

Cronograma

Recoleccin de datos
Fuentes

Mtodos

Muestra

Instrumentos

Fuente: Elaboracin propia.


La recopilacin de datos puede ser ms o menos compleja en funcin de las tcnicas y
herramientas de recopilacin y anlisis que se hayan definido. Si se requiere realizar encuestas
o grupos de discusin, deber
desarrollarse metodolgicamente cada
LA EXPERIENCIA DE AEVAL
una de ellas, definiendo los objetivos
que se persiguen. En el caso de las La fase de campo no debe iniciarse hasta que no estn
encuestas se deber establecer el claramente identificadas las necesidades de
diseo muestral, seleccin de la informacin derivadas de la matriz de evaluacin. Esta
muestra, elaboracin de cuestionarios, indicacin es el resultado de una de las lecciones
aprendidas como consecuencia de la experiencia
administrarlos y volcar la informacin
adquirida a lo largo los aos que la Agencia lleva
en bases de datos para su posterior realizando evaluaciones, ya que en ocasiones la
anlisis.
precipitacin (dados los plazos de realizacin de la
evaluacin) de realizar encargos externos sin un buen
En otras ocasiones la informacin anlisis del encargo y de la intervencin (del que surgen
puede venir dada, gracias a la una buena parte de las preguntas de evaluacin) y sin
existencia de encuestas previas tener una matriz de evaluacin elaborada, ha dado
realizadas, vinculadas con la materia como resultado una inversin de recursos en estudios
objeto de anlisis, y la disponibilidad cuya utilidad real a efectos de la evaluacin ha sido
relativa. Nuevamente surge aqu la referencia a la
de microdatos.
eficiencia de la evaluacin.

Herramientas aplicables.
Para esta fase se aplican las mismas
herramientas que en la fase 3.

Producto de la fase 4.
El producto de esta fase se incorpora al
captulo 4 del informe final de
evaluacin, que resume el anlisis y la
interpretacin de los resultados.

114

En segundo lugar, una cuestin que se relaciona


tambin con las tcnicas y herramientas aplicables en
la evaluacin. Los plazos de entrega de los informes de
evaluacin son ajustados, un ao desde la fecha de
aprobacin del Plan de trabajo de evaluaciones por el
Consejo de Ministros. Aunque parezca un plazo
holgado, hay que precisar que la AEVAL est sujeta a
las normas de contratacin del sector pblico. Gran
parte de ese tiempo se utiliza en la tramitacin de los
concursos para contratar estudios especficos para esta
fase de campo y anlisis. A ello se aade el uso que se
hace de las evaluaciones de la Agencia: toma de
decisiones a nivel poltico y gestor. Esto hace que tanto
en la eleccin de herramientas como en el abordaje de
la fase de campo y anlisis sea necesario actuar sobre
la base del principio de proporcionalidad.

FASE 4. TRABAJO DE CAMPO Y ANLISIS |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

FICHA RESUMEN DE LA FASE 4. EJECUCIN DE LA EVALUACIN:


TRABAJO DE CAMPO

OBJETIVOS
-Recopilacin y anlisis de la informacin
- Cubrir las necesidades de informacin de la matriz de preguntas

ELEMENTOS DE LA EJECUCIN DE LA EVALUACIN


ESTABLECER UN PLAN DE RECOLECCIN DE DATOS

ITEMS
- Preguntas
- Indicadores
- Fuentes
- Mtodos
- Muestra
- Instrumentos

HERRAMIENTAS APLICABLES
ITEMS
- Las mismas que la fase 3.

PRODUCTO DE LA FASE 4
CONTENIDO INCLUIDO EN EL CAPTULO IV DEL INFORME FINAL DE EVALUACIN

| FASE 4. TRABAJO DE CAMPO Y ANLISIS

115

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

FASE 5. RESULTADOS DE LA EVALUACIN:


EL INFORME DE EVALUACIN
Entre las habilidades necesarias para la prctica de la evaluacin est el resultado final del
proceso: la elaboracin del informe. Este captulo aporta criterios tanto para elaborar informes
de evaluacin como para analizarlos.
Los contenidos de este captulo se centran en su estructura y caractersticas bsicas, en el
examen de los criterios que AEVAL en concreto considera que deben guiar su calidad y que son
tiles, tambin, para analizar lo que se debe y no se debe hacer a la hora de elaborar el
informe de evaluacin.
El documento La funcin evaluadora. Principios orientadores y directrices de actuacin en la
evaluacin de polticas y programas de AEVAL (2009), en el apartado referido al informe de
evaluacin seala:
La redaccin del informe de evaluacin acompaar todo el proceso evaluador y
se concretar en tres documentos:
a. Informe preliminar sobre el encargo.
b. Un informe intermedio interno de progreso, que incorporar el primer informe y
desarrollar la lgica de la intervencin, el contexto y la estrategia evaluadora.
Adems, describe las actuaciones realizadas y previstas y los principales resultados
obtenidos hasta el momento.
c. Informe final, que constituye el principal resultado de la evaluacin.
Abordar la redaccin del informe desde el inicio del proceso de evaluacin es muy importante.
Evita que en la fase final de la evaluacin, cuando la fecha de entrega est prxima, sea
necesario un importante esfuerzo adicional de recopilacin de las evidencias obtenidas, de
redaccin de los diferentes captulos que lo integran y adems, garantiza que toda la
informacin que se ha obtenido se incorpora de manera efectiva al informe.

116

FASE 5. RESULTADOS DE LA EVALUACIN: EL INFORME DE EVALUACIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Este apartado se refiere al informe final


de evaluacin. Los restantes informes
son de carcter interno y tienen por
finalidad controlar la calidad del
producto final y, en algunos casos, hacer
partcipes a los responsables de la
intervencin del estado de situacin de
la evaluacin, por lo que no son objeto
de publicacin.
Sin embargo, tanto el informe de anlisis
del encargo como el informe de
progreso se incorporan al informe final
como se ver ms adelante.
Este apartado aborda los siguientes
puntos:
Caractersticas del informe final
de evaluacin.
Estructura y contenido del
informe final de evaluacin.

LA EXPERIENCIA DE AEVAL
Nuevamente este criterio surge de lecciones
aprendidas en aos anteriores. Hasta 2009, la
prctica habitual en el Departamento de Evaluacin
de la Agencia era empezar a redactar el informe una
vez finalizada, o casi, la fase de campo lo que
implicaba un enorme esfuerzo de rememorizacin
condensado adems en pocos das y adems, una
importante presin para los equipos. Desde ese ao
el sistema de informes parciales de control interno,
obliga a los equipos a escribir el informe segn se
van desarrollando las distintas fases del proceso, de
manera que cuando se finaliza el informe
intermedio, estn redactados, naturalmente de
manera provisional, tres de los cuatro captulos en
los que se estructuran los informes finales.
El objetivo perseguido con este criterio es, adems
de actuar con una mayor racionalidad, liberar
tiempo para profundizar en las recomendaciones,
que probablemente constituyen el principal valor de
la evaluacin.

Criterios de calidad de los informes de evaluacin.


Utilidad y usos de los informes.

5-1. Caractersticas del informe final de evaluacin.


El informe de evaluacin parte del elemento que orienta todo el proceso evaluador que son las
preguntas, que, como se ha visto, se agrupan por criterios de valor y en este sentido, se
estructuran los anlisis del informe.
El informe debe mantener una secuencia lgica en la que se presenta en su totalidad el
proceso evaluador, incluidas la metodologa, las fuentes y la evidencia sobre los hallazgos
obtenidos. Es decir, el informe de evaluacin hace evidente el proceso seguido. Esto es
fundamental desde la perspectiva de la transparencia de la evaluacin y tambin para que se
pueda valorar externamente el grado de independencia con el que se ha abordado. Explicar
exhaustivamente el enfoque, la metodologa, las herramientas utilizadas y las evidencias
obtenidas, hacen que la evaluacin sea replicable y, en consecuencia, permite valorar por
terceros la calidad del proceso evaluativo desde esta perspectiva.
Entre todos los elementos anteriores dos cuestiones resultan medulares: la justificacin
metodolgica y el juicio de valor.
| FASE 5. RESULTADOS DE LA EVALUACIN: EL INFORME DE EVALUACIN

117

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Respecto de cmo recoger la justificacin metodolgica en el informe, una referencia til son
los estndares de evaluacin de las Naciones Unidas. Concretamente el estndar 4.9 establece
que la metodologa de evaluacin aplicada debe describirse de una manera transparente,
incluyendo cualquier limitacin inherente a ella.
El informe de evaluacin debe contener una descripcin exhaustiva, ms no excesiva, de los
aspectos esenciales de la metodologa, que permita al usuario de la evaluacin extraer sus
propias conclusiones respecto de la calidad de la informacin. La descripcin de la
metodologa debe incluir:
Fuentes de informacin.
Descripcin de los mtodos de recoleccin y anlisis de datos (que incluya el nivel de
precisin requerido para los mtodos cuantitativos, as como las escalas de valores o
codificaciones empleadas en el anlisis cualitativo).
Indicadores y parmetros referenciales, ah donde sea relevante (indicadores previos,
estadsticas nacionales, etc.).
El equipo de evaluacin, incluyendo la participacin de miembros individuales. - El Plan
de evaluacin.
Restricciones clave.
En cuanto al juicio de valor (conclusiones de la evaluacin), como se ha venido repitiendo, ha
de basarse en hallazgos y evidencias. Un informe de evaluacin no puede recoger opiniones o
especulaciones en relacin con el objeto de evaluacin. De hecho, ste es uno de los
principales criterios de calidad a los que debe someterse el informe. Los estndares de
evaluacin de Naciones Unidas tambin insisten en la vinculacin entre hallazgos y juicios: Las
conclusiones tienen que estar sustentadas por hallazgos que sean consistentes con los datos
recolectados y por la metodologa, asimismo, deben aportar elementos de juicio conducentes a
la identificacin y/o solucin de problemas o temas importantes.
Por lo que respecta a las caractersticas formales del informe de evaluacin, caractersticas
que comparte con cualquier otro tipo de informe, sera preciso sealar las siguientes:
Legibilidad: el primer elemento que obstaculiza la lectura de un informe es la forma en
la que est escrito. Los informes de evaluacin tienen que ser claros. La claridad tiene
que ver con cmo est presentado el informe, con cmo est escrito y con cmo se
exponen los razonamientos.
Otra cuestin muy importante es la calidad de la argumentacin. Aunque la
argumentacin fundamental est basada en los hallazgos y evidencias, el informe debe
contener suficientes anlisis significativos para que la argumentacin se haga de la
forma ms completa y no sesgada.

118

FASE 5. RESULTADOS DE LA EVALUACIN: EL INFORME DE EVALUACIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Y en tercer trmino, la presentacin y explicacin de los datos. Un error comn es la


acumulacin de datos poco significativos o repetitivos en relacin con una misma
pregunta. En otras ocasiones el problema puede consistir en mostrar tablas, cuadros,
diagramas, etc. sin ir ms all o en la pura descripcin de unas u otros sin incorporar
ningn anlisis adicional.

Articulacin: El informe debe seguir una secuencia lgica. En los primeros tramos se
trata de exponer informacin sobre el encargo y la intervencin a evaluar. A
continuacin se describe la metodologa y las herramientas y finalmente se incorpora
el anlisis de la informacin recopilada. Un error en el que se puede incurrir, y que hay
que evitar, es incluir en la parte expositiva juicios valorativos que no se pueden
avanzar antes de haber presentado objetivamente la intervencin a evaluar, descrito
la estrategia y presentado la informacin obtenida.

Solidez: La solidez del informe de evaluacin deriva en parte del propio proceso
evaluador: de las preguntas clave, de lo que se busca con la evaluacin y cmo se
plantea, de qu metodologa se utiliza y con qu herramientas se recopilan y analizan
los datos y de cmo se articula la narracin. Pero tambin la solidez del informe se
fundamenta en la bibliografa consultada, que debe ser lo ms actualizada posible y
con aportaciones significativas de los principales estudiosos del campo de la
intervencin evaluada o, por ejemplo, de la revisin normativa realizada con motivo de
la evaluacin.

5-2. Estructura y contenido del informe final de evaluacin.


La evaluacin, en general, da lugar a dos tipos de productos: el informe final y el informe
ejecutivo.
El informe final, el informe completo, se encuentra muy vinculado al proceso investigador, que
suele ser ms detallado en su desarrollo. Se suele aceptar que el informe final es excesivo para
un uso ms all del acadmico-investigador o de algunos interesados en particular. Sin
embargo, es el material bsico para contrastar los trabajos y para, en su caso, aplicar una
metaevaluacin.
En cualquier caso el informe final debe permitir conocer el propsito, el objeto, el diseo y
ejecucin de la evaluacin, las evidencias encontradas, las conclusiones y las recomendaciones
de la evaluacin.
Los informes finales de evaluacin de AEVAL siguen estos criterios y se estructuran de la
siguiente manera:
Una introduccin, que integra el informe preliminar de anlisis del encargo y que por
lo tanto contempla el mandato o encargo de evaluacin, la caracterizacin del objeto

| FASE 5. RESULTADOS DE LA EVALUACIN: EL INFORME DE EVALUACIN

119

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

de evaluacin, la delimitacin de la evaluacin y los objetivos, justificacin y utilidad de


la evaluacin. Se corresponde con el resultado de la fase 1 (anlisis del encargo).
Ilustracin 18. Correspondencia de la fase 1 con el contenido del informe de evaluacin.
INFORME DE EVALUACIN

FASE 1. ANLISIS DEL ENCARGO


1. Mandato / Encargo

1. Mandato de evaluacin

2. Caracterizar el objeto de evaluacin

CAPTULO 1.
INTRODUCCIN

3. Delimitar la evaluacin

2. Objeto y delimitacin de la
evaluacin
3. Objetivo, justificacin y utilidad de la
evaluacin

4. Objetivo, justificacin y utilidad de la


evaluacin

Fuente: Elaboracin propia.

Un captulo dedicado a la descripcin y reconstruccin de la lgica de la intervencin.


Se corresponde con el trabajo realizado en la fase 2: (anlisis de la intervencin:
reconstruccin de la lgica de la intervencin).
Ilustracin 19. Correspondencia de la fase 2 con el contenido del informe de evaluacin.
FASE 2. ANLISIS DE LA
INTERVENCIN: RECONSTRUCCIN
DE LA LGICA DE LA INTERVENCIN

INFORME DE EVALUACIN

1. Anlisis del contexto


2. Reconstruccin de la lgica de la
intervencin
3. Descripcin del grado de
implementacin

CAPTULO 2.
DESCRIPCIN
DE LA
INTERVENCIN

4. Mecanismos de seguimiento y
evaluacin

1. Descripcin del contexto


2. Reconstruccin de la lgica de la
intervencin
3. Estructura y descripcin de la
intervencin
4. Grado de implementacin

5. Sistemas de seguimiento y
evaluacin

Fuente: Elaboracin propia.

Un captulo que contiene una descripcin del enfoque evaluativo y de las herramientas
y limitaciones de la evaluacin. Se corresponde con la fase 3 (diseo de la evaluacin).

120

FASE 5. RESULTADOS DE LA EVALUACIN: EL INFORME DE EVALUACIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Ilustracin 20. Correspondencia de la fase 3 con el contenido del informe de evaluacin.


FASE 3. DISEO DE LA EVALUACIN

INFORME DE EVALUACIN

1. Establecer el diseo de la evaluacin

CAPTULO 3.
ENFOQUE Y
METODOLOGA
DE LA
EVALUACIN

2. Construir la matriz de evaluacin:


Preguntas y criterios
3. Indicadores y fuentes de verificacin

1. Enfoque de la evaluacin
2. Principales hiptesis y preguntas de
la evaluacin
3. Herramientas de la evaluacin
4. Limitaciones de la evaluacin

Fuente: Elaboracin propia.

Un cuarto captulo que contiene el anlisis, sntesis e interpretacin de la informacin


recabada y que se estructura sobre la base de los criterios de evaluacin utilizados y
las preguntas de la evaluacin.
Un captulo quinto dedicado a las conclusiones y recomendaciones de la evaluacin.
Estos dos captulos se redactan a partir de la fase 4 (ejecucin de la evaluacin).
Ilustracin 21. Correspondencia de la fase 4 con el contenido del informe de evaluacin.
FASE 4. EJECUCIN DE LA EVALUACIN

INFORME DE EVALUACIN

1. Plan de recoleccin de datos

Apartados por criterios de evaluacin:


anlisis, interpretacin y conclusin
parcial:
1. Pertinencia
2. Eficacia
3. Coherencia
4. Complementariedad
5.

CAPTULO 4.
ANLISIS
2. Anlisis para cubrir las
necesidades de informacin de
la matriz de evaluacin

CAPTULO 5.
CONCLUSIONES Y
RECOMENDACIONES

CONCLUSIONES: Generales de cada


criterio de evaluacin utilizado para el
anlisis
RECOMENDACIONES: tiles, factibles y
viables que generen VALOR a la
intervencin

Fuente: Elaboracin propia.

| FASE 5. RESULTADOS DE LA EVALUACIN: EL INFORME DE EVALUACIN

121

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Finalmente, se incluye un nmero variable de Anexos segn las necesidades de cada


evaluacin, de los cuales dos son obligatorios: un anexo con la matriz de preguntas de
evaluacin y un anexo bibliogrfico 51.
Otra cuestin importante es la necesidad de que el informe se adapte a las necesidades de los
destinatarios. No es lo mismo un informe encargado por el Consejo de Ministros que el que
requiere un administrador de programas o el que se puede presentar ante una institucin
acadmica.
Por esta razn es importante elaborar un informe ejecutivo, que es una sntesis del informe
completo con las conclusiones y recomendaciones. Hay una tendencia a considerar que este
tipo de informe debe ser muy breve para facilitar la visin de las conclusiones y
recomendaciones por los decisores. Nuevamente Naciones Unidas ofrece pautas en cuanto a
las caractersticas de este informe ejecutivo: Debe ofrecer una sinopsis de los aspectos
sustantivos del informe de evaluacin. El nivel de la informacin debe permitir al lector profano
una comprensin clara de los hallazgos y recomendaciones y lecciones de la evaluacin
(Estndar 4.2. NNUU, 2005).
Los informes ejecutivos que realiza AEVAL contemplan:
Una breve descripcin del mandato de evaluacin
Una breve descripcin de la intervencin objeto de evaluacin.
Un resumen del enfoque metodolgico y de las herramientas de la evaluacin as
como de las limitaciones de la evaluacin.
El captulo ntegro relativo a las conclusiones y recomendaciones del informe completo
de evaluacin.

51

En los informes de evaluacin, los Anexos son muy importantes porque recogen todo el desglose
metodolgico detallado: matriz de evaluacin, anlisis pormenorizados sobre cuestiones conceptuales,
normativas, tablas de datos, diagramas, etc. Los anexos son fundamentales para contrastar la
metodologa con mayor base. Los Anexos aumentan la probabilidad de uso y la credibilidad de la
evaluacin. (Estndar: 4.18, NNUU, 2005). Asimismo, la bibliografa juega un papel importante segn
qu tipo de intervencin se evale porque proporciona elementos para establecer la calidad de los
anlisis sobre el estado de la cuestin.

122

FASE 5. RESULTADOS DE LA EVALUACIN: EL INFORME DE EVALUACIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Ilustracin 22.Resultados de la evaluacin: estructura del informe final de evaluacin.


INFORME EJECUTIVO

-Captulos 1, 2 y 3 (resumidos) del informe


final
-- Captulo 5 del informe final
- CAPTULO 1: Introduccin, anlisis del
encargo
- CAPTULO 2: Descripcin de la intervencin

INFORME GENERAL

- CAPTULO 3: Enfoque y metodologa de


evaluacin
- CAPTULO 4: Anlisis, interpretacin, sntesis
- CAPTULO 5: Conclusiones y
recomendaciones
-Cuestiones metodolgicas, anlisis
especficos, referencias bibliogrficas y
normativas

ANEXOS

Fuente: Elaboracin propia.

5-3. Criterios de calidad de los informes de evaluacin.


Algunas instituciones internacionales han mostrado su preocupacin por determinar los
criterios de calidad de los informes de evaluacin: Comisin europea, Organizacin para la
Cooperacin y el Desarrollo (OCDE), Naciones Unidas, etc. Cada una de estas instituciones ha
establecido, en funcin de su propia actividad, estndares de calidad de los informes. En
general, coinciden en el ncleo comn de la justificacin metodolgica y las conclusiones
basadas en hallazgos y evidencias. Sin embargo, cada una pone el foco en cuestiones distintas,
sin que ninguna de las herramientas disponibles sea totalmente satisfactoria a la hora de
elaborar o analizar informes.
Sobre la calidad de los informes ha trabajado tambin AEVAL. En el documento anteriormente
citado, La funcin evaluadora. Principios orientadores y directrices de actuacin en la
evaluacin de polticas y programas (AEVAL, 2009), se establece que para valorar la calidad de
las evaluaciones y de los informes resultantes se atender como mnimo a los siguientes
aspectos:
Precisin en el objeto, alcance y propsito de la evaluacin.
Coherencia en los objetivos, preguntas, procedimientos, resultados y conclusiones.
Relevancia y claridad de los contenidos.
Explicitacin clara de la metodologa utilizada y de las herramientas de recopilacin de
informacin.

| FASE 5. RESULTADOS DE LA EVALUACIN: EL INFORME DE EVALUACIN

123

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Consistencia de la seleccin y recogida de los datos con la metodologa y herramientas


seleccionadas, garantizando su fiabilidad y validez y con un detalle suficiente respecto
de las fuentes de informacin.
Anlisis riguroso, mediante un razonamiento lgico consistente
Adecuacin de las conclusiones a las preguntas y/o criterios contemplados en la matriz
de evaluacin y a los resultados alcanzados.
Recomendaciones comprensibles, tiles, factibles y suficientemente claras como para
poder considerar su inclusin en un plan de accin.
A lo anterior se aaden los criterios sealados por la Comisin Europea planteados desde una
perspectiva de comprobacin a travs de una serie de preguntas.
Criterios de calidad de los informes AEVAL 52
La funcin evaluadora. Principios orientadores y directrices de actuacin en la evaluacin de
polticas y programas.
1. Orientacin a las necesidades: Enfoca la evaluacin adecuadamente el encargo realizado,
de acuerdo con las especificaciones planteadas?
2. Alcance, coherencia e implementacin: Se ha estudiado en profundidad la racionalidad
de la poltica o programa, su contexto, productos resultados, impactos, interacciones con
otras polticas y sus efectos no previstos?
3. Metodologa apropiada: Es el diseo de la evaluacin adecuado y apropiado para la
obtencin de los resultados requeridos (en el tiempo previsto) con el fin de responder a las
principales preguntas de la evaluacin?
4. Seleccin y recogida de datos fiables: Son suficientemente fiables los datos primarios y
secundarios recogidos, teniendo en cuenta su uso esperado?
5. Anlisis fiable: Cumple el anlisis de los datos recogidos las reglas establecidas y es
completo y adecuado para responder correctamente las preguntas de la evaluacin?
6. Resultados crebles: Son los resultados lgicos y estn justificados por el anlisis de los
datos y por las interpretaciones basadas en las hiptesis aplicadas y explicadas en detalle?
7. Conclusiones apropiadas: Son las conclusiones ajustadas a los hallazgos de la evaluacin y
no estn mediatizadas por consideraciones ajenas al proceso?
8. Recomendaciones tiles: Son las recomendaciones comprensibles, tiles, viables y lo
suficientemente claras como para ser puestas en prctica?
9. Claridad: Describe el contexto y objetivo de la intervencin evaluada, as como el proceso
y resultados de la evaluacin de tal forma que la informacin sea fcilmente comprensible?
Inspirado en el cuadro sobre criterios de calidad contenido en la Comunicacin de la Comisin
Europea sobre Estndares de Evaluacin y Buenas Prcticas, adaptado a su vez de las Guas MEANS.
52

124

FASE 5. RESULTADOS DE LA EVALUACIN: EL INFORME DE EVALUACIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

5-4. Utilidad y uso de los informes


Que la evaluacin es til es una cuestin de amplio consenso. Que se utilice es otra cuestin.
Precisamente, las crticas ms duras contra la evaluacin se basan en su falta de utilizacin. Por
ello, muchos autores proponen la obligatoriedad de aplicar sus recomendaciones. Sin
embargo, esto que, a priori, parece menos cuestionable en el nivel operativo, no resulta tan
factible en el nivel estratgico.
Las razones de que se utilicen o no los informes de evaluacin son mltiples y de muy distinto
tipo, pero una de ellas es que, por el momento, la evaluacin no ha ganado completamente su
estatus de herramienta necesaria para la rendicin de cuentas, sino que sigue concibindose
como una ayuda ms para la decisin.
Una vez que se publica el informe de evaluacin es preciso comprender que compite con los de
otras instancias. Como ejemplo puede servir la Evaluacin del Sistema General de Becas
Educativas, en la que el informe AEVAL corra en paralelo con otro sobre abandono escolar
prematuro que tena que presentar el Instituto de Evaluacin. Con seguridad habra otros
informes para contrastar orientaciones diversas: informes de experto, de universidades,
fundaciones o consejos, etc. 53.
El informe de evaluacin puede encontrar en otros informes y documentos refuerzos o
rechazo a sus conclusiones, que entran en competicin con orientaciones diversas
(intelectuales, polticas y sociales) que los evaluadores debern tener en cuenta a la hora de
considerar el uso o no de los informes.
Por ltimo, tambin es necesario tener en cuenta que los informes de evaluacin estn
afectados, en cuanto a su utilizacin, por las dimensiones que son propias de la poltica:
valores e ideologa de los decisores, aspiraciones, compromisos, experiencia y, en particular, el
tiempo y la oportunidad para las transformaciones que se persiguen.
Entre los ejemplos que constan en la AEVAL de la utilizacin de la evaluacin para el rediseo
de un programa est la Evaluacin de los Programas de Formacin de la Cooperacin Espaola
al Desarrollo: Programa Iberoamericano de Formacin Tcnica Especializada (PIFTE). La
Agencia Espaola de Cooperacin Internacional para el Desarrollo (AECID), en el documento
Marco sobre la reformulacin del PIFTE en 2012 cita la evaluacin realizada:

53 En la Sesin ordinaria del Pleno de 3 de marzo de 2009, el Consejo Econmico y Social present su
INFORME 01/2009 sobre Sistema Educativo y Capital Humano que analiza infinidad de cuestiones
similares a las planteadas por la evaluacin AEVAL. La diferencia mayor entre ambos tipos de trabajo es
que las conclusiones del Consejo son consensuadas por el conjunto de actores mientras que en el caso
de la evaluacin, podran consensuarse las preguntas de evaluacin, pero en ningn caso las
conclusiones a las que se llegue a travs de las evidencias. Teniendo en cuenta esta consideracin, es
innegable que los dos tipos de trabajo tienen su utilidad, que pueden coincidir en muchas cuestiones,
incluso en metodologas aplicadas. La existencia de los dos tipos de informe puede servir para contrastar
los hallazgos.

| FASE 5. RESULTADOS DE LA EVALUACIN: EL INFORME DE EVALUACIN

125

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Para enfocar adecuadamente la reformulacin se ha contado tambin con la


Evaluacin de los Programas de Formacin de la Cooperacin Espaola, realizada
por la Agencia Estatal de Evaluacin de las Polticas Pblicas y la Calidad de los
Servicios (AEVAL). Las recomendaciones realizadas por la AEVAL van dirigidas
fundamentalmente, por un lado, a la necesidad de alinear el Programa
Iberoamericano de Formacin Tcnica Especializada (PIFTE) con los principios de la
Agenda Internacional de la Ayuda al Desarrollo asumidos por Espaa, y por otro, a
lograr una mayor eficiencia de los recursos.

126

FASE 5. RESULTADOS DE LA EVALUACIN: EL INFORME DE EVALUACIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

FICHA RESUMEN DE LA FASE 5. RESULTADOS DE LA EVALUACIN: EL


INFORME DE EVALUACIN

OBJETIVOS
- Aportar criterios para la elaboracin de informes de evaluacin y analizar informes de
evaluacin
- Mostrar el contenido y la estructura bsica de los informes de evaluacin de AEVAL
- Ofrecer criterios de calidad para informes de evaluacin

ELEMENTOS DEL INFORME DE EVALUACIN


5-1. CARACTERSTICAS DEL INFORME FINAL DE EVALUACIN
ITEMS
- Contiene el resultado de todo el proceso evaluador
- Se explican exhaustivamente la metodologa, el enfoque, las herramientas utilizadas
y las evidencias obtenidas
- El juicio de valor debe estar basado en hallazgos y evidencias
- Caractersticas formales del informe de evaluacin:
* Legibilidad
* Articulacin
* Solidez

5-2. ESTRUCTURA Y CONTENIDO DEL INFORME FINAL DE EVALUACIN


ITEMS
-El informe final:
* Introduccin: mandato o encargo de evaluacin, la caracterizacin del
objeto de evaluacin, la delimitacin de la evaluacin y los objetivos,
justificacin y utilidad de la evaluacin
* Descripcin y reconstruccin de la lgica de la intervencin
* Descripcin del enfoque evaluativo y de las herramientas y limitaciones de la
evaluacin
* Anlisis, sntesis e interpretacin de la informacin
* Conclusiones y recomendaciones
* Anexos

- El informe ejecutivo:
* Sntesis del informe final (captulos 1, 2 y 3)
* Conclusiones y recomendaciones

| FASE 5. RESULTADOS DE LA EVALUACIN: EL INFORME DE EVALUACIN

127

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

5-3. CRITERIOS DE CALIDAD DE LOS INFORMES DE EVALUACIN


ITEMS
- Precisin en el objeto
- Relevancia y claridad de contenidos
- Consistencia en los datos
- Adecuacin de las conclusiones a las preguntas
- Coherencia en los objetivos, preguntas y procedimientos
- Explicitacin clara de la metodologa y las herramientas
- Rigor en el anlisis
- Recomendaciones comprensibles, tiles y factibles

5-4. UTILIDAD Y USO DE LOS INFORMES


ITEMS
- Posibles razones de la utilizacin (o no) de los informes de evaluacin

HERRAMIENTAS APLICABLES
ITEMS
- Esquemas para garantizar la calidad de los informes

PRODUCTO DE LA FASE 5
- INFORME FINAL
- INFORME EJECUTIVO
- ANEXOS

128

FASE 5. RESULTADOS DE LA EVALUACIN: EL INFORME DE EVALUACIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

FASE 6. COMUNICACIN Y DIFUSIN DE


LA EVALUACIN
El proceso de evaluacin no finaliza con la elaboracin del informe final. La responsabilidad
del evaluador no acaba con la entrega del informe, sino que tambin tiene responsabilidades
de comunicacin, difusin y seguimiento de dicho informe (Bustelo, 1999: 9-29).
La comunicacin y difusin del informe de evaluacin es determinante para su utilidad, tanto
como herramienta para la toma de decisiones por parte de los decisores/gestores de la
intervencin evaluada, como para la generacin de debate social respecto al
problema/necesidad que subyace y que la intervencin intenta resolver. En este sentido, la
difusin de las evaluaciones constituye un elemento esencial para cumplir su cometido de ser
herramienta de transparencia, de rendicin de cuentas y de generacin de debate sobre el uso
de los recursos pblicos. Como sealan Fox y Haight (2007), las evaluaciones se elaboran con
informacin oficial a la que el pblico no suele tener acceso. Por eso, sus resultados pueden
enriquecer el debate pblico sobre las polticas pblicas. Unas evaluaciones a las que slo
tienen acceso quienes deciden y ejecutan las polticas solo fomenta la transparencia hacia
arriba. Para que las evaluaciones externas puedan cumplir plenamente su cometido con la
rendicin de cuentas, tambin tienen que ser transparentes para todas las partes interesadas,
incluyendo a la ciudadana.
Desde la perspectiva de la evaluacin como una intervencin pblica ms, la comunicacin y
difusin llevada a cabo de forma correcta se relacionan tambin con la eficacia y eficiencia de
las evaluaciones. Un efecto aadido de una comunicacin eficaz del informe es que contribuye
a un mejor conocimiento y valoracin, por parte de los actores interesados y de la sociedad en
general, de la propia evaluacin y de la institucin que la realiza.
As pues, el objetivo de esta fase del proceso evaluativo es presentar los resultados de la
evaluacin mediante procedimientos orientados a promover su uso por los decisores pblicos,
el aprendizaje organizativo y el desarrollo de una cultura de evaluacin. Para cumplir este
objetivo es fundamental disear una estrategia de comunicacin bien orientada y que resulte
efectiva, pues la falta o la inadecuacin de la difusin de las evaluaciones puede condicionar su
uso posterior.

| FASE 6. COMUNICACIN Y DIFUSIN DE LA EVALUACIN

129

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

6-1. Estrategia de comunicacin de las evaluaciones.


La estrategia de comunicacin debe tener en cuenta a los diferentes destinatarios y sus
necesidades de informacin 54 y, a partir de ah, establecer los canales de comunicacin ms
apropiados en cada caso (tanto los tradicionales como los que aportan las nuevas tecnologas)
para conseguir el mayor alcance.
Las necesidades de informacin de la evaluacin y los canales de comunicacin ms comunes
son:
Comunicacin a los decisores polticos: sus expectativas de informacin sobre la
evaluacin suelen ir ms dirigidas a los efectos e impactos de la intervencin. En este
grupo se incluye tanto los decisores polticos directos de la intervencin evaluada
como a aquellas instituciones relacionadas directa o indirectamente con el objeto de
evaluacin o que por sus competencias y funciones deban ser informadas de los
contenidos de la evaluacin.
Para la comunicacin de resultados se remiten el informe final e informe ejecutivo de
forma institucional por carta formal y correo electrnico institucional. En principio no
requiere una accin especfica de comunicacin (informativa) presencial con
presentacin formal por parte del equipo evaluador de los resultados, pero si se
solicitara deben ser presentaciones cortas y dirigidas a resultados clave.
Comunicacin a los gestores de la intervencin: normalmente buscan mejorar la
gestin de la intervencin a travs del conocimiento y aprendizaje que le aporte la
evaluacin. Requiere la utilizacin del canal tradicional institucional de comunicacin
de resultados, apoyado en sesiones informativas con presentaciones ad hoc, directas,
concretas y de alto contenido tcnico de los principales resultados, conclusiones y
recomendaciones. La remisin institucional incluye el informe final, informe ejecutivo
y anexos de la evaluacin.
Comunicacin a actores clave y otros grupos de inters de la intervencin. Las
necesidades de informacin sern diversas y a su vez centradas en dimensiones o
cuestiones especficas en funcin de su mbito de actuacin en la intervencin. Se
realiza una comunicacin institucional con remisin de los informes final y ejecutivo de
la evaluacin. Si se solicita, se realiza una presentacin de resultados orientada a la
necesidad de informacin que se requiera incidiendo en aspectos concretos de la
evaluacin.
Comunicacin a la sociedad en general: El principal problema es cmo hacer llegar a
los ciudadanos los contenidos de una evaluacin. Por eso es importante garantizar que

54

Las necesidades de informacin se empiezan identificar en la fase de Anlisis del encargo al elaborar
el mapa de actores y se va completando en el desarrollo de todo el proceso evaluativo.

130

FASE 6. COMUNICACIN Y DIFUSIN DE LA EVALUACIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

llega a lo que se denomina multiplicadores sociales, es decir instituciones u


organizaciones que pueden trasladar los resultados de la evaluacin de manera
comprensible para stos.

6-2. Difusin de las evaluaciones.


Para ello son imprescindibles los canales de comunicacin generales y abiertos, como la
publicacin de las evaluaciones en la web; el uso de la newsletter o las redes sociales; la
presentacin de resultados en foros profesionales, ponencias, publicaciones o papers en
revistas especializadas Y finalmente, tambin existe la posibilidad de elaborar notas de
prensa que permiten que los resultados de la evaluacin sea conocidos y posteriormente
difundidos, por los medios de comunicacin social.

| FASE 6. COMUNICACIN Y DIFUSIN DE LA EVALUACIN

131

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

LA EXPERIENCIA DE AEVAL
La remisin del informe de evaluacin al responsable poltico de la
intervencin evaluada se realiza a travs del rgano de adscripcin de la
Agencia -en el momento de la redaccin de esta Gua, la Secretara de Estado
de Administraciones Pblicas (SEAP) del Ministerio de Hacienda y
Administraciones Pblicas (MINHAP)-, quien lo remite al Ministro competente
designado como responsable de la intervencin en el Acuerdo del Consejo de
Ministros por el que se aprueba el plan de trabajo anual de la AEVAL. Es la
Presidencia de AEVAL la que realiza la remisin institucional del informe de
evaluacin al Secretario de Estado, Secretario General, Subsecretario o
responsable del organismo pblico gestor de la intervencin evaluada.
Tambin se encarga la Presidencia de AEVAL de la comunicacin institucional
de los informes de evaluacin a aquellas instituciones relacionadas directa o
indirectamente con el objeto de evaluacin o que por sus competencias y
funciones deban ser informadas de los contenidos de la evaluacin: Con
carcter general, los informes se remiten a las Comisiones del Congreso de los
Diputados y del Senado competentes por razn de la materia evaluada, al
Defensor del Pueblo, al Tribunal de Cuentas, a la Intervencin General de la
Administracin del Estado, a la Oficina Nacional de Auditora, a las Consejeras
de las Comunidades Autnomas con competencias en la poltica evaluada y a
la Federacin Espaola de Municipios y Provincias. A estas instituciones se
aaden, en funcin de los objetos de evaluacin, otros actores interesados
como agentes sociales (organizaciones empresariales y sindicales) y otras
organizaciones de la sociedad civil.
El Departamento de Evaluacin de AEVAL realiza la difusin de la evaluacin a
los actores que han participado en el proceso, gestores de la intervencin,
actores entrevistados, expertos, beneficiarios, etctera.
Los informes se publican en la pgina web de AEVAL. Se trata de un
compromiso especfico de la Agencia que se recoge en la carta de servicios,
con plazos de publicacin de dichos informes.
Adems, tras la aprobacin de la Ley de Transparencia, Acceso a la
Informacin y Buen Gobierno, esta publicacin debe hacerse extensiva a los
portales de transparencia.
Por ltimo, la AEVAL publica en los portales de datos abiertos la informacin
generada en la evaluacin para su reutilizacin. En este caso se publican tanto
los informes como la informacin primaria generada, por ejemplo, microdatos
de encuestas, informes de resultados de la aplicacin de tcnicas cualitativas,
informes de expertos encargados con motivo de la evaluacin, etctera.

132

FASE 6. COMUNICACIN Y DIFUSIN DE LA EVALUACIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

FICHA RESUMEN DE LA FASE 6. COMUNICACIN Y DIFUSIN DE LAS


EVALUACIONES

OBJETIVOS
- Comunicar el resultado de la evaluacin
- Fomentar el aprendizaje y la mejora
- Desarrollar la cultura evaluadora
- Crear debate social
- Transparencia y rendicin de cuentas
- Mejorar la visbilidad y valoracin institucional

ELEMENTOS DE LA COMUNICACIN Y DIFUSIN DE LAS


EVALUACIONES
6-1. ESTRATEGIA DE COMUNICACIN DE LAS EVALUACIONES
ITEMS
- Identificacin de destinatarios
- Identificacin de necesidades de informacin

6-2. DIFUSIN DE LAS EVALUACIONES


ITEMS
- Seleccin de canales de comunicacin

HERRAMIENTAS APLICABLES
- Bases de datos y listas de distribucin

PRODUCTO DE LA FASE 6
PLAN DE COMUNICACIN Y DIFUSIN

| FASE 6. COMUNICACIN Y DIFUSIN DE LA EVALUACIN

133

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

FASE 7. SEGUIMIENTO DE LA
EVALUACIN
Las actividades de seguimiento de las evaluaciones tienen por objeto valorar su grado de
utilidad y el nivel de satisfaccin de los actores interesados en el proceso de evaluacin, con el
objetivo de mejorar la calidad de las evaluaciones y su contribucin al proceso de toma de
decisiones de las intervenciones evaluadas, la transparencia y la rendicin de cuentas.
Cuando se dispone de recursos suficientes, lo ideal es que se efecte un seguimiento
pormenorizado de los usos dados a la evaluacin, por ejemplo, analizando la incorporacin de
las recomendaciones a rediseos de la intervencin evaluada, cambios normativos que recojan
recomendaciones de la evaluacin, etc.
Como por regla general los recursos son escasos, en AEVAL este seguimiento se refiere a los
resultados inmediatos de cada evaluacin en relacin con el grado de satisfaccin con el
proceso de evaluacin y el nivel de calidad y utilidad percibida por los actores interesados en
cada evaluacin. Y se realiza mediante la aplicacin de un cuestionario a los actores que han
intervenido en la evaluacin, que se puede completar, en caso necesario, con otras
herramientas de investigacin social que se consideren oportunas (por ejemplo, entrevistas).
El seguimiento de las evaluaciones se realiza en tres fases: Inicio del seguimiento, recogida y
anlisis de la informacin y elaboracin de un informe general de seguimiento de las
evaluaciones de la Agencia, y se inicia a continuacin de la fase de comunicacin y difusin del
informe de evaluacin del proceso de evaluacin.
Las actividades se centran en el envo del cuestionario a todos o a una seleccin de los
destinatarios de la lista de distribucin del informe final de cada evaluacin, exceptuando los
destinatarios de carcter meramente institucional. Con carcter general, son destinatarios
potenciales de la encuesta los responsables y gestores de la intervencin evaluada, as como
aquellos que hayan intervenido en el proceso de evaluacin.
El responsable del equipo evaluador remite el cuestionario la semana siguiente de la
publicacin del informe de evaluacin por la va que se considere ms adecuada,
preferentemente por correo electrnico (y el enlace al cuestionario en caso de que se elabore
un cuestionario alojado en la web).
Es conveniente realizar un recordatorio previo unos das antes de finalizar el plazo de quince
das que se da inicialmente para la contestacin del cuestionario, sobre todo, si se detecta un
bajo porcentaje de respuesta.

134

FASE 7. SEGUIMIENTO DE LA EVALUACIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Como se ha indicado, se pueden realizar entrevistas a actores clave para obtener o completar
la informacin. Estas entrevistas se deberan realizar por personal distinto del que realiz la
evaluacin en concreto.
Estas actividades se llevan a cabo en un plazo que no puede superar los dos meses a contar
desde el final del proceso de evaluacin.
Una vez recopilada la informacin, se trata y analiza para la redaccin del Informe de
seguimiento de cada evaluacin por parte del equipo evaluador. Este informe contiene:
Explotacin y anlisis del cuestionario incluyendo: el porcentaje de respuestas
recibidas; el grado de satisfaccin con el proceso de evaluacin; ndice de utilidad de la
evaluacin; nmero de entrevistas realizadas.
En su caso, explotacin y anlisis de las entrevistas realizadas
Puntos fuertes y debilidades de cada evaluacin.
Con los datos obtenidos en los informes de cada una de las evaluaciones se redacta un Informe
General de Seguimiento de las Evaluaciones en las que se ha trabajado en el ao.
El Anexo IV incluye el cuestionario para el seguimiento de las evaluaciones que utiliza AEVAL.

| FASE 7. SEGUIMIENTO DE LA EVALUACIN

135

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

FICHA RESUMEN DE LA FASE 7. SEGUIMIENTO DE LAS EVALUACIONES

OBJETIVOS
- Valoracin del grado de utilidad y el nivel de satisfaccin de los actores de la evaluacin
- Mejorar la calidad de las evaluaciones

ELEMENTOS DEL INFORME DE EVALUACIN


ITEMS
- Envo del cuestionario de seguimiento
- Anlisis de los datos
- Elaboracin del informe de seguimiento

HERRAMIENTAS APLICABLES
- Tcnicas de anlisis estadstico

PRODUCTO DE LA FASE 7
INFORME DE SEGUIMIENTO DE LAS EVALUACIONES

136

FASE 7. SEGUIMIENTO DE LA EVALUACIN |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Anexo I. Ejemplo de matriz de evaluacin


PREGUNTAS DE
EVALUACIN

SUBPREGUNTAS

1.1 Qu parte de la evolucin del


gasto no se explica por poblacin
trabajadora, base reguladora y
envejecimiento?
1. En qu grado el conjunto
de medidas que componen la
intervencin estn orientadas
a resolver los principales
problemas detectados en la
gestin de la ITcc y las causas
ltimas que originan el gasto
por dicho concepto?

INDICADORES/

CRITERIOS

Pertinencia

METODOLOGA
Evolucin de las principales
macromagnitudes que explican el gasto en
ITcc
Comparativas de tasas de crecimiento de
variables implicadas en el gasto de ITcc

FUENTES DE VERIFICACIN
Indicadores de variables
fundamentales
Informes del INSS relativos a ITcc
Estudios realizados
Bibliografa
Entrevistas

1.2 Cul es la incidencia, duracin


media y coste de los episodios de
ITcc, segn las ramas de actividad,
patologa, categoras
profesionales, regiones y/u otros
factores personales o
profesionales?

Indicadores de incidencia, duracin media


y coste de ITcc obtenidos del anlisis
estadstico de microdatos
Pertinencia

Evolucin de los principales indicadores


de la ITcc perodo 2000-2008.
Macromagnitudes
Estudios relativos a IT en funcin de
categoras personales y socioprofesionales

1. 3 En qu grado el uso de la
prestacin de ITcc puede
considerarse fraudulenta?

| Anexo I. Ejemplo de matriz de evaluacin

Pertinencia

Anlisis de la tasa de altas previas a los


controles efectuados por el INSS y
porcentaje de altas tras las medidas de
control llevadas a cabo por el INSS o las
inspecciones mdicas de los SPS respecto al
total de poblacin protegida y la pertinencia

137

Anlisis estadstico de microdatos


proporcionados por el INSS.
Informes estadsticos anuales del
INSS
Indicadores del INSS
Bibliografa
Informes estadsticos anuales del
INSS
Anlisis estadstico de microdatos
Entrevista a agentes participantes

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

del indicador

y expertos

Percepcin por parte de los agentes


participantes de la existencia, volumen y
caractersticas del posible fraude existente.

Bibliografa
Encuesta ad hoc

Usos y percepcin por parte de la poblacin


en el empleo fraudulento de la baja por ITcc.
Anlisis de la utilizacin de la ITcc como
espacio refugio frente a necesidades de
carcter social
1.4 Es empleada la contingencia
de ITcc como uso ajeno para
cubrir otras necesidades sociales?

Pertinencia/
complementarie
dad

Indicadores de incidencia, reincidencia,


duracin y coste de la ITcc en funcin de la
existencia de personas dependientes o a
cargo
Anlisis de los efectos de la
maternidad/paternidad con respecto a la
ITcc
Usos y percepcin de necesidades por
parte de la poblacin en el empleo de la baja
por ITcc.

1.5 En qu medida la prestacin


de ITcc recoge episodios de baja
causados por factores que
corresponderan a ITcp?

Anlisis de la articulacin del los sistemas


de salud laboral y salud general
Pertinencia

Anlisis de la normativa
Estudios de caso (literatura)

Anlisis estadstico de microdatos


(regresiones logsticas y regresiones
lineales mltiples)
Encuesta ad hoc
Entrevistas
Entrevistas
Bibliografa

Bibliografa
Anlisis de la normativa existente

Datos de procedimientos de determinacin


de contingencias
2. Son coherentes las
medidas adoptadas?

138

2.1 En qu grado han resultado


coherentes los objetivos de la
intervencin con las medidas

Anexo I. Ejemplo de matriz de evaluacin |

Coherencia
interna

Coherencia entre los distintos


instrumentos
Coherencia de cada uno de los

Anlisis de coherencia de las


medidas y los objetivos

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

implementadas?

instrumentos con los objetivos perseguidos

2.2 Ha existido coordinacin de la


intervencin entre los distintos
entes responsables de la gestin
de la ITcc y cul ha sido la eficacia
de dicha coordinacin?

Anlisis de los instrumentos o acciones


acometidos en materia de coordinacin y
complementariedad por parte de los
agentes intervinientes
complementarie
dad

Entrevistas
Documentos de gestin
Bibliografa

Anlisis de la coordinacin en el seno de la


AGE
Respuesta de los SPS a las propuestas de
alta (alta mdica condicional) y altas
mdicas
a
los
exclusivos
efectos
econmicos)

3. Se han implementado
algunos elementos clave?

4. Cul ha sido la eficacia de

3.1 Se ha dotado a los


organismos de la AGE de los
instrumentos organizativos y de
personal precisos para la asuncin
de las nuevas competencias en la
gestin de la ITcc en los episodios
de duracin superior a los 12
meses?
3.2 Cuenta el INSS con los
instrumentos y el sistema de
informacin preciso para una
gestin eficaz de la prestacin de
ITcc

4.1 Los instrumentos utilizados


han tenido los resultados

| Anexo I. Ejemplo de matriz de evaluacin

implementacin

Dotaciones de recursos humanos del INSS


en los aos en que se implementa la medida
de prrroga de los episodios de ITcc de ms
de 12
Anlisis de la implementacin de la
asuncin de la competencia en los episodios
de ms de 12 meses en las distintas
direcciones provinciales
Anlisis de los instrumentos del sistema
de informacin

implementacin

Eficacia

Porcentaje de partes transmitidos y plazo


de transmisin

Anlisis del incremento de


recursos humanos en el INSS
Cambios organizativos
experimentados

Indicadores de cumplimiento de
los convenios generales y
especficos
Memorias de gestin del INSS

Evolucin de los indicadores de los


convenios del Fondo Programa Ahorro en
materia de ITcc 2004-2008

Memorias Econmico- financieras


del INSS

Anlisis de los convenios del Fondo


Programa Ahorro en materia de ITcc 2005-

Convenios Fondo Programa


Ahorro en materia de ITcc 2005-

139

Entrevistas

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

las medidas introducidas?


(Medidas control INSS 12
meses, Convenios-Programa
Ahorro en materia de IT,
convenios especficos)

(outputs) que se planteaban como


objetivo?

2008. Implementacin e indicadores de


cumplimiento de objetivos. Evolucin de los
indicadores fundamentales (incidencia,
duracin, transmisin de informacin,
desarrollo de actividades, etc.). Valoracin
del grado de cumplimiento
Anlisis de los convenios de los Programas
Pilotos para estudio del comportamiento de
los procesos de ITcc, su implementacin e
indicadores de cumplimiento de objetivos
derivados de ciertas patologas. Anlisis
estadstico de los indicadores de duracin
para ciertas patologas antes y despus de la
suscripcin de los convenios y evolucin de
dichos indicadores. Anlisis de los
programas especficos contemplados en los
convenios

2008 y grados de cumplimiento


Memorias Anuales de
cumplimiento de convenios
Convenios Programas Piloto de
comportamiento de ITcc para
ciertas patologas e indicadores de
cumplimiento
Entrevistas
Anlisis de microdatos
(regresiones logsticas y regresiones
lineales mltiples)
Documentos internos de gestin
Evolucin de indicadores

Anlisis de la implementacin y resultados


de la competencia del INSS en procesos de
IT con duracin superior a 12 meses.
Indicadores fundamentales de incidencia,
prevalencia, duracin antes/despus de la
asuncin de competencias por las
Direcciones Provinciales de del INSS.

4.3 En qu grado las medidas


adoptadas desde el mbito
sanitario (no gestin econmica
de la prestacin) han contribuido
a una mejora de la gestin de la
ITcc?

140

Anexo I. Ejemplo de matriz de evaluacin |

Anlisis de las dificultades sanitarias en la


gestin de casos de ITcc
complementarie
dad y eficacia

Anlisis de las medidas y programas


sanitarios en materia de formacin en ITcc
Anlisis de las medidas y programas
sanitarios en materia de mejoras en

Bibliografa
Entrevistas
Documentacin de gestin
Indicadores de cumplimiento de
los convenios especficos

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

procedimientos sanitarios que repercuten


en una mejor gestin de la ITcc
Anlisis de las medidas y programas
sanitarios en materia de sistemas de
informacin en ITcc
Anlisis de las medidas y programas
sanitarios en materia de incentivos
Casos de buenas prcticas
incentivos, formacin, informacin y
mejoras sanitarias

Fuente: Evaluacin de las medidas de racionalizacin y mejora de la gestin de la incapacidad temporal por contingencias comunes (ITcc)

| Anexo I. Ejemplo de matriz de evaluacin

141

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

142

Anexo I. Ejemplo de matriz de evaluacin |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Anexo II. Tcnicas y herramientas de anlisis


MODELIZACIN ARIMA

Anlisis longitudinal: series temporales. Conjunto de observaciones de una misma variable realizadas
secuencialmente en intervalos de duracin igual y predeterminada.

Objetivo de la modelizacin ARIMA: Construir un modelo sencillo que permita:


Analizar la estructura subyacente de los datos
Predecir el comportamiento futuro de la serie utilizando la informacin pasada

La modelizacin ms habitual es ARIMA (Box-Jenkins)

| Anexo II. Tcnicas y herramientas de anlisis

143

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

144

Anexo II. Tcnicas y herramientas de anlisis |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

MODELOS ESTOCSTICOS DE FRONTERA


Existe un OBJETIVO de la intervencin

Medicin de eficiencia en trminos de maximizacin de inputs con respecto a una frontera de produccin

No es una tcnica excesivamente robusta

| Anexo II. Tcnicas y herramientas de anlisis

145

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

DAFO
Fase de diseo
Estructuracin

Tipo de Anlisis
Prospectivo
Retrospectivo

Complejidad
Transversal

Propsito
Reducir incertidumbres
Definir estrategias

Aplicacin

Visin general
retos y problemas

Enfocar fortalezas
Reducir/eliminar debilidades
Maximizar oportunidades
Minimizar amenazas

Simplismo

146

Anexo II. Tcnicas y herramientas de anlisis |

Posibles acciones

Identificacin
oportunidades
amenazas

Priorizacin
posibles acciones

Identificacin
Fortalezas
debilidades

Subjetividad al
clasificar las actividades

Condicin:
Bsqueda deliberada de
consenso

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

DIAGRAMA DE IMPACTOS
Fase de diseo

Tipo de Anlisis

Complejidad

Propsito

Estructuracin

Prospectivo
Retrospectivo

Transversal

Aclarar/corregir impactos
Definir objetivos y prioridades
Definir trminos de referencia

Aplicacin

Dificultad
Constitucin
grupos

Grupo de
interesados

Inventario
de impactos
(descriptores)

Ponderacin
descriptores

Validacin
Criterios evaluacin
Indicadores

Anlisis de
clusters

Agrupacin
descriptores

Excesivo
liderazgo

| Anexo II. Tcnicas y herramientas de anlisis

Participacin stakeholders
facilita resto evaluacin

Posibilita trminos comunes


De referencia

147

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

METAPLAN
Fase de diseo

Tipo de Anlisis

Transversal
Sectorial

Prospectivo
Retrospectivo

Complejidad
Transversal
Sectorial

Propsito
Identificacin de obstculos
Visin comn de problemas y
Soluciones a implementar

Aplicacin

Preparacin
agenda
(3 preguntas)

Respuestas y
Agrupamiento
1 pregunta

Debate impactos
Tipologas efectos

Requiere
Personal
cualificado

148

No incorpora
nuevas ideas:
punto muerto

Anexo II. Tcnicas y herramientas de anlisis |

Discusin y
Agrupamiento
2 pregunta

Importancia
Bloques

Profundizacin

Priorizacin

Facilita el
consenso

Evita problemas
liderazgo

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

ENTREVISTA
Fase de diseo

Tipo de Anlisis

Complejidad

Prospectivo
Retrospectivo

Prospectivo
Retrospectivo

Transversal
Sectorial

Propsito
Exploracin
Aplicable en cualquier fase

Aplicacin

Seleccin
entrevistados

Elaboracin guin

Muestra
representativa

Requiere
Personal
cualificado

Segn tipo
entrevista

Requiere tiempo

| Anexo II. Tcnicas y herramientas de anlisis

Desarrollo

Anlisis

Secuencia lgica
Sesgos

Anlisis
interpretacin
comparacin

Subjetividad:
Factores situacionales
e individuales

149

Informacin al margen
de cauces oficiales

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

GRUPO DE DISCUSIN
Fase de diseo

Tipo de Anlisis

Complejidad

Propsito

Campo
Anlisis

Prospectivo
Retrospectivo

Transversal
Sectorial

Recolectar informacin cualitativa


Facilitar la comprensin
Credibilidad y aceptacin

Aplicacin
GUA
DISCUSION

DISEO MUESTRAL

Muestra
representativa

Requiere
Personal
cualificado

150

Escueta
Ajustada a cada grupo

Influencia de la
Mayora
Sesgo pertenencia

Anexo II. Tcnicas y herramientas de anlisis |

Abierta (1 pregunta)

Informacin cualitativa
en poco tiempo

ANLISIS E
INFORME

Anlisis
interpretacin
comparacin

Facilita definicin
opinin general

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

ENCUESTA
Fase de diseo

Tipo de Anlisis

Complejidad

Propsito

Retrospectivo

Retrospectivo

Transversal
Sectorial

Obtener informacin destinatarios


Facilitar informacin descriptiva
Estudios de panel

Aplicacin
FORMULACION DE
HIPOTESIS

REALIZACIN DE
LAS ENTREVISTAS

Dificultades
para conocer
Universo

PRETEST
DEFINICION DELUNIVERSO
Y DISEO MUESTRAL

ELECCIN DE LA
METODOLOGA

CODIFICACIN Y
TABULACIN

Preguntas cerradas
Calidad cuestionario

| Anexo II. Tcnicas y herramientas de anlisis

ANLISIS Y
DIAGNSTICO

ELABORACIN
DEL CUESTIONARIO

INTRODUCCION
MODIFICACIONES
Y FORMACIN
ENTREVISTADORES

INFORME DE
RESULTADOS

Mucha informacin
a un coste razonable

151

Permite la
generalizacin

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

REGRESIN
Fase de diseo

Tipo de Anlisis

Complejidad

Anlisis

Retrospectivo

Transversal

Propsito
Estimacin efectos

Aplicacin

Construccin
Modelo

Diseo
Muestral

Principio de Parsimonia
Colinerialidad

Requiere
Tiempo
Coste

152

Tamao muestral
elevado

Errores en datos
condicionan
resultados

Anexo II. Tcnicas y herramientas de anlisis |

Recoleccin

Ajuste
Generalizacin

Encuesta

% variabilidad
explicada

Identificar Efectos
y variables
confusin

Permite estimar
los efectos netos

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

ANLISIS MULTICRITERIO
Fase de diseo

Tipo de Anlisis

Complejidad

Propsito

Juicio de valor

Prospectivo
Retrospectivo

Transversal

Estructurar y combinar valoraciones


Tenidas en cuenta en una decisin

Aplicacin
Definicin
intervencin

Definicin
Criterios
juicio

Inventario
Proyectos o
intervenciones

Exhaustividad
Pluralidad

Requiere
Personal
especializado

| Anexo II. Tcnicas y herramientas de anlisis

Juicio en
Base a cada
criterio

Anlisis
impactos

Puntuacin
Expertos o
destinatarios

Cuantitativo
Cualitativo
Niveles impacto

Combina informacin
Cualitativa y cuantitativa

153

Agregacin
juicios

Juicio Personal
Puntuacin obtenida
Peso asignado

Muy til si la
Evaluacin es
participativa

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

ANLISIS COSTE-EFICACIA
Fase de diseo

Tipo de Anlisis

Complejidad

Propsito

Prospectivo
Retrospectivo

Prospectivo
Retrospectivo

Sectorial

Eficacia en base a un criterio relevante


Comparacin: Benchmarking

Aplicacin
Definicin
Lgica
intervencin

Metas
Productos
Impactos esperados

Mucha
informacin

154

Definicin
Coste total
intervencin

Tangibles
Intangibles
Coste oportunidad

Solo permite
Comparacin
entre intervenciones
Simples o de
Iguales impactos

Anexo II. Tcnicas y herramientas de anlisis |

Medicin
impactos

Datos primarios
Datos secundarios
Todos los impactos

Estimacin impactos
En relacin con
objetivo principal

Clculo
Ratio
Coste-Eficacia

Coste Total/
(Resultados directos
impactos negativos
+impactos en
provisores y poblacin)
Facilita descripcin
Funcionamiento
Intervencin
(inputs-outputs)

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Anexo III. Evaluacin de impacto


La evaluacin de impacto ha constituido otro de los intentos de afrontar el problema de la
endogeneidad, que bsicamente consiste en la dificultad de identificar aquellos factores,
observados y no observados, que afectan simultneamente a la intervencin y los resultados,
haciendo difcil o imposible identificar el efecto atribuible en exclusiva a la intervencin.
No son, sin embargo, los nicos mtodos que permiten enfrentar la endogeneidad. K.
Ezemenari, Rudqvist, A., Subbarao, K. (1999) ya detallaron algunas de las tcnicas de mayor
inters. Junto a los controles aleatorios, cabe mencionar los controles reflexivos, los controles
construidos, controles estadsticos genricos, controles en la sombra, anlisis multivariantes y
control a travs de variables instrumentales.
Los mtodos de evaluacin de impacto han sido objeto de una notable discusin, en cuanto a
su metodologa y sus bondades con respecto a la evaluacin.
Las crticas de mayor relevancia que se han realizado a la evaluacin de impacto han girado en
torno a la limitacin real existente en los pases desarrollados de llevar a cabo evaluaciones de
impacto con mtodos puramente experimentales. En efecto, no son numerosos los casos en
los que existe la posibilidad de determinar aleatoriamente quines participarn en un
programa o una intervencin y quines no, elaborando as contrafactuales puros. Y son pocas
las ocasiones en que, adems, se dispone del tiempo y los recursos necesarios para recoger
toda la informacin pertinente en la lnea de base (baseline).
Otra de las crticas se ha centrado en resaltar el carcter parcial de las evaluaciones de
impacto, al centrar por entero el inters en qu impactos producen y olvidar cmo se
producen. Por otro lado se ha destacado la incapacidad de la evaluacin de impacto en captar
en toda su intensidad los resultados de las intervenciones. Finalmente, las dificultades de
fiabilidad y reproducibilidad que tienen las medidas evaluadas, particularmente en el caso de
las evaluaciones realizadas bajo los auspicios del Banco Mundial en los pases en vas de
desarrollo o subdesarrollados.
Algunas de las crticas son ms justas que otras. Es cierto que la evaluacin de impacto se
enfrenta a una serie de restricciones. Pero no es desde luego la nica tcnica con este desafo.
Desde el punto de vista metodolgico, algunas de las crticas pueden considerarse superadas.
Mtodos tales como diferencias en diferencias, regresiones discontinuas y especialmente el
propensity score matching, permiten realizar evaluacin de impacto con mtodos
cuasiexperimentales, una vez se ha desarrollado la intervencin o el programa.
Salvo escasas y recientes excepciones, la evaluacin de impacto no capta en toda su intensidad
los impactos, y en ocasiones le son ajenos los elementos contextuales en los que tanto se ha
| Anexo III. Evaluacin de impacto

155

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

incidido anteriormente. En palabras de H. White (2008), en evaluacin de impacto


normalmente no se discute su amplitud, si vara el impacto segn los grupos (heterogeneidad
de impacto), el coste de lograrlo o los factores contextuales que permiten alcanzarlo. Y no slo
eso sino que, adems, si la evaluacin de impacto no se encuadra correctamente en un
enfoque de evaluacin adecuado, se corre el riesgo de generar estudios tcnicamente
competentes, pero que no son buenas evaluaciones, y producen unos hallazgos limitados o no
relevantes para las decisiones polticas.
Pero ello no debe llevar a desterrar las enormes potencialidades que tienen estos mtodos.
Simplemente se tratara de conocer en qu ocasiones y bajo qu condicionantes se puede
emplear la evaluacin de impacto. Afortunadamente, de los intensos debates surgidos en
torno a estos mtodos se ha asistido a una constante mejora de este tipo de evaluacin. As,
actualmente se habla de evaluacin de impacto rigurosa, donde el estudio de los impactos
debe complementarse con otras aproximaciones de tipo cualitativo o modelos que permitan
conocer otros aspectos determinantes en los impactos logrados, indagando sobre el contexto
o el cmo. Asimismo, la evaluacin de impacto debe analizar con ms detalle la distribucin
de los impactos, y, tal y como sostiene H. White, tambin deben incluir no slo el costeefectividad de la intervencin, sino un anlisis coste-beneficio completo.
Empero debe advertirse sobre una serie de cuestiones en el caso de la evaluacin de impacto,
que retrotrae, nuevamente, a las singularidades de la evaluacin, con independencia de
considerar la evaluacin como una disciplina,-visin tal vez caracterstica de los pases
anglosajones, cuna de la evaluacin-, como proceso, o como funcin.
La evaluacin de impacto puede ser muy efectiva en el caso de un programa aislado o
programas perfectamente acotados. Sin embargo lo es menos en el caso de polticas pblicas,
por la amplitud de las intervenciones, que se suceden en el tiempo, bien con carcter
simultneo o sucesivo. Ello dificulta en gran medida desentraar los factores causales de una o
varias de las acciones o intervenciones, y por tanto imposibilita la construccin de
contrafactuales adecuados. Los contextos de la intervencin son tan extensos que los mtodos
de impacto son normalmente bastante limitados. Y ms importante an: debe huirse de
aplicar enfoques fragmentados cuando el objeto, las polticas pblicas, no lo son.
Adems, este mtodo obvia cuestiones claves en la evaluacin de polticas pblicas, como son
la pertinencia de las intervenciones, esto es, si realmente la intervencin viene a resolver los
problemas realmente existentes.
La cuestin clave a valorar en el uso de la evaluacin de impacto es si la evaluacin debe
centrarse en un programa o en un sector de poltica pblica. En este ltimo caso, lo importante
es plantearse cules son las necesidades de conocimiento estratgico del sector en el que
intervienen una serie de programas.
La constante insistencia, tanto en el mbito poltico como acadmico, en realizar evaluaciones
de impacto puede provocar una serie de distorsiones en el proceso de evaluacin:

156

Anexo III. Evaluacin de impacto |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Puede provocar que se tienda a evaluar aquello que es fcilmente evaluable, en lugar
de evaluar en trminos de mayor eficiencia y mejores posibilidades de xito
evaluador (P. Duignan, 2011)
Podra materializarse en la realizacin de pseudo evaluaciones de impacto, cuando
stas se hacen a toda costa an cuando no es apropiado, factible y asequible
realizarlas (P. Duignan, 2011).
Puede llevar a consumir los escasos recursos econmicos, humanos y tcnicos que
tiene la evaluacin en un aspecto que, con ser relevante, puede no ser el de mayor
inters.
Con todo lo anterior se pretende resaltar el hecho de que no se deben encapsular las
evaluaciones de polticas pblicas, que es necesario dotar de contenido a los enfoques
evaluadores, as como plantear, ante todo, la necesidad de que estos enfoques sean integrales
y en la medida de lo posible omnicomprensivos, frente a anlisis atomizados y
descontextualizados tradicionales y el anlisis acrtico de datos.

| Anexo III. Evaluacin de impacto

157

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

158

Anexo III. Evaluacin de impacto |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Anexo IV: Cuestionario de seguimiento


de las evaluaciones de AEVAL
1. Ha participado anteriormente en un proceso de evaluacin de alguna poltica pblica o de algn
programa? (*)

SI

NO

NS/NC

SOBRE LA ESTRUCTURA Y EL CONTENIDO DEL INFORME

En una escala de 0 a 10, donde 0 significa TOTALMENTE EN DESACUERDO y 10 TOTALMENTE DE


ACUERDO, en qu medida est de acuerdo con cada uno de los siguientes enunciados referidos a la
evaluacin?

2. El informe es claro, centrado en la informacin esencial, directo y comprensible. (*)

10

NS/NC

3. El informe aborda las cuestiones fundamentales que plantea la intervencin. (*)

| Anexo IV: Cuestionario de seguimiento de las evaluaciones de AEVAL

10

NS/NC

159

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

4. Las fuentes de informacin utilizadas en la evaluacin (bases de datos, estudios e informes existentes,
entrevistas,.) son relevantes y exhaustivas. (*)

10

NS/NC

5. Ha sido riguroso el tratamiento y anlisis de la informacin utilizada. (*)

10

NS/NC

6. El informe explicita las limitaciones que ha tenido que afrontar la evaluacin. (*)

10

NS/NC

SOBRE EL PROCESO EVALUADOR

En una escala de 0 a 10, donde 0 significa MUY DEFICIENTE y 10 significa EXCELENTE, en qu medida
valora cada uno de los siguientes aspectos de la evaluacin?

7. Cmo valora la capacidad profesional del equipo de la AEVAL? (*)

160

10

Anexo IV: Cuestionario de seguimiento de las evaluaciones de AEVAL |

NS/NC

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

8. Cmo valora el conocimiento del equipo de la AEVAL sobre la intervencin evaluada? (*)

10

NS/NC

9. Cmo valora la capacidad del equipo de la AEVAL para generar un clima de confianza y mejora entre
las partes dentro del proceso? (*)

10

NS/NC

10

NS/NC

10. En general cmo valora la aportacin del equipo de la AEVAL? (*)

11. (Si la valoracin anterior es inferior a 5). Por favor, describa brevemente las razones de su valoracin
anterior.

Texto:

12. Valore el conocimiento que Ud. ha adquirido con esta evaluacin con una escala de 0 a 10, donde 0
significa que no ha aprendido nada nuevo sobre la propia intervencin, su contexto, sus efectos, etc., y
10 significa que el conocimiento que Ud. ha adquirido ha sido elevado. (*)

| Anexo IV: Cuestionario de seguimiento de las evaluaciones de AEVAL

10

NS/NC

161

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

SOBRE LAS CONCLUSIONES DEL INFORME DE EVALUACIN

Valore su acuerdo o desacuerdo (donde 0 significa MUY EN DESACUERDO y 10 significa MUY DE


ACUERDO) con las siguientes afirmaciones:
13. La evaluacin contesta las preguntas claves. (*)

10

NS/NC

14. Las conclusiones muestran un equilibrio entre las fortalezas y las debilidades halladas en la
intervencin evaluada. (*)

10

NS/NC

15. Las conclusiones resultan rigurosas, y son el resultado de las evidencias y hallazgos de la evaluacin.
(*)

10

NS/NC

16. Las conclusiones dejan probado que la intervencin evaluada se adeca (o no) a las necesidades o
problemas sociales que pretende resolver. (*)

162

10

Anexo IV: Cuestionario de seguimiento de las evaluaciones de AEVAL |

NS/NC

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

17. Las conclusiones dejan probado que la intervencin evaluada requiere mejoras en la gestin. (*)

10

NS/NC

18. Las conclusiones dejan probado que la intervencin evaluada requiere mejoras en la planificacin.
(*)

10

NS/NC

19. Valore la aportacin de los resultados de la evaluacin para la toma de decisiones, aunque no sea de
su competencia., donde 0 significa que no ha ayudado, y 10 significa que dicha aportacin ha adquirido
sido elevada. (*)

10

NS/NC

SOBRE LAS RECOMENDACIONES: UTILIDAD Y VIABILIDAD

20. Valore, por favor, la UTILIDAD general de las recomendaciones del informe en una escala de 0 a 10,
donde 0 significa TOTALMENTE INUTIL (ya estn vigentes, son excesivamente vagas o genricas) y 10
significa que son MUY UTILES. (*)

| Anexo IV: Cuestionario de seguimiento de las evaluaciones de AEVAL

10

NS/NC

163

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

21. (Si la valoracin anterior es inferior a 5). Por favor, describa brevemente las razones de su valoracin
anterior.

Texto:

22. Valore, por favor, la VIABILIDAD de las recomendaciones del informe en una escala de 0 a 10, donde
0 significa totalmente INVIABLES y 10 significa que son FCILMENTE APLICABLES (aunque no sea de su
competencia). (*)

10

NS/NC

23. (Si la valoracin anterior es inferior a 5). Por favor, describa brevemente las razones de su valoracin
anterior.

Texto:

Valore su acuerdo o desacuerdo (donde 0 significa MUY EN DESACUERDO y 10 significa MUY DE


ACUERDO) con las siguientes afirmaciones:

24. Las recomendaciones tendrn un impacto previsible en la mejora de la gestin de la intervencin


evaluada (el Plan de Medidas de mejora de los servicios de sanidad exterior). (*)

164

10

Anexo IV: Cuestionario de seguimiento de las evaluaciones de AEVAL |

NS/NC

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

25. Las recomendaciones tendrn un impacto previsible en la mejora de los sistemas de seguimiento e
informacin de los servicios de sanidad exterior. (*)

10

NS/NC

26. Las recomendaciones tendrn un impacto previsible en la planificacin futura, aunque no sea su
competencia. (*)

10

NS/NC

27. En general, el proceso ha respondido a las expectativas que tena sobre la evaluacin? Indique su
valoracin indicando si ha sido mucho mejor, mejor, peor o bastante peor de lo que Ud. esperaba. (*)

Mucho mejor

Mejor

Peor

Bastante peor

NS/NC

28. Finalmente, considera que el proceso de evaluacin y los resultados del informe han contribuido a
generar mayor cultura evaluadora en su institucin? (*)

Mucho

Bastante

Poco

Nada

NS/NC

(*) Preguntas de respuesta obligatoria


Pregunta de Seguridad:

(Por favor, introduzca en la casilla el


resultado de la operacin aritmtica)

MUCHAS GRACIAS POR SU COLABORACIN!

| Anexo IV: Cuestionario de seguimiento de las evaluaciones de AEVAL

165

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Anexo V: Bibliografa
AEVAL. (2009). Cdigo tico profesional de la Agencia Estatal de Evaluacin de las Polticas
Pblicas y la Calidad de los Servicios. Madrid.
AEVAL. (2010). Fundamentos de evaluacin de polticas pblicas. Madrid.
AEVAL. (2009). Gua para la evaluacin de la calidad de los servicios pblicos. Madrid.
AEVAL. (2014). Gua para la realizacin de estudios de anlisis de la demanda y de evaluacin
de la satisfaccin de los usuarios. Madrid.
AEVAL. (2009). La funcin evaluadora: principios orientadores y directrices de actuacin en la
evaluacin de polticas y programas. Madrid.
Alvira, F. (1991). Metodologa de la evaluacin de programas. Madrid: Centro de
Investigaciones Sociolgicas.
Arenilla, M. (2010). Administracin pblica y ciencia de la administracin. La Administracin
Pblica entre dos siglos (Ciencia de la Administracin, Ciencia Poltica y Derecho
Administrativo). Homenaje a Mariano Baena del Alczar , 39-68.
Banco Mundial. (2009). Gua para la elaboracin de Trminos de Referencia orientados a la
contratacin de servicios de consultora para la evaluacin de programas y proyectos
gubernamentales. CLAD.
CIDEC. (1999). Organizacin y diseo de los procesos de evaluacin. Cuadernos de trabajo (28).
Comisin Europea. (2001). Comunicacin de la Comisin, de 25 de julio de 2001, La gobernanza
europea - Un Libro Blanco [COM (2001) 428 final - . Bruselas: Diario Oficial de la UE.
Comisin Europea. (2006). EuropeAid. Oficina de Cooperacin. En lnea .
Comisin Europea. (2006). Metodologa de evaluacin de la ayuda exterior de la Comisin
Europea. Gua para la evaluacin proyecto y programa (Vol. 3).
GAO. (2004). GAO's Congressional Protocols, GAO-04-310G. Washington DC.
Garca Snchez, I. M. (2010). Sistema de evaluacin. Universidad de Salamanca.
Gascn, J. (2006). La evaluacin de la cobertura en la cooperacin al desarrollo oficial en el
Estado espaol. El Col-lectiu. En red.

| Anexo V: Bibliografa

167

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Gertler, P. J., Martnez, S., Premand, P., Rawlings, L. B., & Vermeersch, C. M. (2010). La
evaluacin de impacto en la prctica. Washington: Banco Mundial.
Ligero, J. (2001). Un nuevo criterio de evaluacin: la cobertura. Revista espaola de Desarrollo
y Cooperacin (8).
Maca, M., & Casillas, C. (2013). La evaluacin de las trabas administrativas para la creacin de
empresas. La metodologa. Sevilla: VIII Conferencia Bienal Internacional. Sociedad Espaola de
Evaluacin.
Merino, M. (2007). La evaluabilidad: de instrumento de gestin a herramienta estratgica en la
evaluacin de polticas pblicas. Madrid: Agencia de Evaluacin y Calidad.
Naciones Unidas. (1999). Integrated and coordinated implementation and follow-up of major.
United Nations conferences and summits. Nueva York, Estados Unidos de Amrica.
Rico Callado, J. (2012). Singularidades en el uso de las herramientas y tcnicas de investigacin
en la evaluacin de polticas pblicas: la evaluacin de las medidas en materia de incapacidad
temporal. En R. Ban i Martnez, Participacin, democracia y gestin de la escasez:
experiencias de gobiernos territoriales, de gestin de la innovacin y del cambio, y de polticas
y servicios pblicos. Madrid.
Roth, A (2006). Polticas pblicas: formulacin, implementacin y evaluacin. Ediciones Aurora
Ruiz, A. (Septiembre de 2013). La participacin ciudadana como criterio de valor en
evaluaciones de carcter integral. IV Congreso Internacional en Gobierno, Administracin y
Polticas Pblicas. GIGAPP-JUIOG. INAP .
Strauss, A., & Corbin, J. (1990). Basic of Qualitative Research: Grounded Theory, procedures
and techniques. Newbury Park, CA: Sage Publications.
Subirats, J. (2008). Anlisis y gestin de polticas pblicas. Ariel.
Tamayo, M. (1997). El Anlisis de las Polticas Pblicas en R. Ban y E. Carrillo (comps) La
Nueva Administracin Pblica. Alianza Universidad Textos.
Valls, J.M (2000). Ciencia Poltica. Una introduccin. Ariel.

168

Anexo V: Bibliografa |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Bibliografa bsica sobre las polticas


pblicas
Aguilar Villanueva, L.F. (1992). El estudio de las polticas pblicas. Mxico, D.F.: Miguel ngel
Porra.
Aguilar Villanueva, L.F. (1992). La hechura de las polticas pblicas. Mxico, D.F: Miguel ngel
Porra.
Aguilar Villanueva, L.F. (1993). Problemas pblicos y agenda de gobierno. Mxico, D.F.: Miguel
ngel Porra.
Aguilar Villanueva, L.F. (1993). La implementacin de las polticas pblicas. Mxico, D.F.:
Miguel ngel Porra.
Graham, A. (2005). Pressman, Wildasky and Bardach: Implementation in public sector, past,
present and future. Canadian Public Administration. Ottawa.
Lindblom, Ch. (1991). El proceso de elaboracin de las polticas pblicas. Madrid: INAP.
Mny, I. & Thoenig, J.C. (1992). Las polticas pblicas. Barcelona: Ariel.
Muller, P. (2002). Las polticas pblicas. Universidad Externado de Colombia: Bogot.
Subirats, J., Knoepfel, P., Larrue, C. & Varone, F. (2008). Anlisis y gestin de polticas pblicas.
Barcelona: Ariel.

Bibliografa bsica sobre evaluacin


Alvira, F. (2002). Metodologa de la evaluacin de programas. CIS. Cuadernos metodolgicos.
Ballart, X. (1992). Cmo evaluar programas y servicios pblicos? MAP.
Ban i Martnez, R. (2003). La evaluacin de la accin y de las polticas pblicas. Ed. Daz de
Santos.
Bezzi, C. (2002). Il disegno della ricerca valutativa. Associazione Italiana di Valutazione. Franco
Angeli. (2)
Cohen, E. & Franco, R., (1993). Evaluacin y proyectos sociales. S. XXI.
Chelimsky, E. & Shadis, W., (1997). Evaluation for the 21 century. SAGE Publications.
Daz, L.F. & Rosales, R. (2003). Metaevaluacin. Agora. EUNED.
| Anexo V: Bibliografa

169

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Echebarra, K, & alt. (2005). Responsabilizacin y responsabilidad gerencial: instituciones antes


que instrumentos. Responsabilizacin y evaluacin de la gestin pblica. CLAD AECI/MAP
FIIAP.
Fettterman, D. M. (1996). Empowerment evaluation. SAGE publications.
Fernndez-Ballesteros, R. (2001). Evaluacin de programas. Una gua prctica en mbitos
sociales, educativo y de salud. Sntesis Psicologa (2).
Furubo, Shendal & Rist. (2002). The evaluation Atlas: seventeen country profiles: Transaction.
Gmez Serra, M. (2004). Evaluacin de los servicios sociales. Gedisa.
Guba & Lincoln. (1989). Fourth Generation Evaluation. SAGE Publications.
Hintze, V. (2005). Instrumentos de evaluacin de la gestin del valor pblico.
Responsabilizacin y evaluacin de la gestin pblica. CLAD AECI/MAP FIIAP.
House, E.R., (1993). Professional evaluation. SAGE Publications.
House, E.R. (1997). Evaluacin, tica y poder. Morata.
Lincoln & Guba. (1985). Naturalistic Inquiry. SAGE Publications.
Monnier, E. (1998). Evaluacin de la accin de los poderes pblicos. Instituto de Estudios
Fiscales
Nirenberg, O. & alt. (2000). Evaluar para la transformacin. Paids.
Palumbo, D. (2001). Il proceso di valutazione. Decidere, programmare, valutare. Franco Angeli.
Patton, M.Q. (1997). Utilization Focused Evaluation. SAGE Publications.
Patton, M.Q. (1999). Desarrollo organizacional y evaluacin. The Canadian Journal of Program
Evaluation. (trad. 2004).
Perret, B. (2001). Lvaluation des politiques publiques. La Decouverte. Collection Repres.
Pichardo, A. (1997). Evaluacin del impacto social. Lumen Humanitas.
Rossi & Freeman. (1989) Evaluacin. Un enfoque para programas sociales. Trillas.
Scriven, M. (1991). Evaluation Thesaurus. SAGE Publications.
Shadish, Jr., Cook & Leviton. (1991). Foundations of program Evaluation. SAGE Publications.
Segone, M. (mayo 1998). Evaluacin democrtica. UNIFEC. Oficina Regional para Amrica
Latina y el Caribe. Doc. n 3.

170

Anexo V: Bibliografa |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

Stame, N. (2000). Lesperienza della valutazione. SEAM.


Stake, R.E. (1995). The Art of Case Study Research. SAGE Publications.
Stufflebeam & Shinkfield. (1995). Evaluacin sistemtica. Gua terica y prctica. Paids.
Thoenig, J.C. (2000). La evaluacin, fuente de conocimientos aplicables a las reformas de la
gestin pblica. INAP.
Vedung, E. (1996). Evaluacin de polticas pblicas y programas. Ministerio de Trabajo y
Asuntos Sociales.
Weiss, C. (1998). Evaluation. Upper Saddler River. (2).
Weisner, E. (2000). Funcin de evaluacin de planes, programas, estrategias y proyectos.
CEPAL, Naciones Unidas.

| Anexo V: Bibliografa

171

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

172

Anexo V: Bibliografa |

Gua prctica para el diseo y la realizacin de evaluaciones de polticas pblicas. Enfoque AEVAL

| Anexo V: Bibliografa

173