Documentos de Académico
Documentos de Profesional
Documentos de Cultura
GuiaIDRmonitoreo y Evaluacion
GuiaIDRmonitoreo y Evaluacion
POLTICAS PBLICAS
GUA PARA LA
Direccin y edicin JOS LUIS OSUNA CAROLINA MRQUEZ Redaccin ANA CIRERA CARMEN VLEZ
DIRECCIN-COORDINACIN:
Prof. Dr. Jos Lus Osuna Llaneza Profa. Dra. Carolina Mrquez Guerrero
REDACCIN:
EDICIN:
El equipo de Direccin y Redaccin desea dejar constancia de su agradecimiento a todo el equipo de Evaluacin de Polticas Pblicas (Carlos Bueno, Daniel Coq, M Jos Guerrero, Gustavo Contreras, Elena Gan, Eva Jimnez, Purificacin Lpez y Marta Romn) que con sus trabajos y comentarios enriquecieron el contenido de este proyecto. Adems, los profesores Francisco Alburquerque Llorens y Oneida Alvarez Figueroa contribuyeron, tras la lectura de los primeros borradores, a orientar el producto final. Agradecemos la colaboracin de todos ellos y asumimos nuestros propios errores.
Nota de presentacin Desde la Direccin del Instituto de Desarrollo Regional siempre se ha defendido la idea de que los trabajos contratados "en la calle" deban servir no slo para el funcionamiento de la Institucin a efectos de financiacin sino, sobre todo, para fortalecer la presencia investigadora y docente de la Universidad en la sociedad. Es decir, nos consideramos responsables de devolver a la sociedad andaluza, en particular, y a la espaola, en general, otros resultados adems del informe final del trabajo. As, formar a tcnicos especficamente cualificados, difundir mediante publicaciones los resultados, impartir docencia sobre los conocimientos adquiridos, etc., son tareas ineludibles del I.D.R. La Gua para la Evaluacin de Polticas Pblicas es buena muestra de ello. Un equipo de trabajo que, adems, en cinco aos ha permitido poner en marcha dos tesis doctorales, impartir cinco cursos sobre la cuestin, presentar ponencias en conferencias europeas, nacionales y regionales y ver cmo sus componentes son reclamados por otras instituciones y/o empresas, cumple sus objetivos. Por todo ello, recibimos con satisfaccin la prueba escrita de tal prctica y, convencidos de su demanda, podemos afirmar la consolidacin y continuidad de la lnea de investigacin en el campo de la Evaluacin de Polticas Pblicas, de cuya proyeccin futura no nos caben dudas.
Prlogo Hace cinco aos, con el apoyo de la Consejera de Economa de la Junta de Andaluca, al Instituto de Desarrollo Regional se le present la oportunidad de abrir una nueva lnea de trabajo en materia de Evaluacin de Polticas Pblicas. Las pginas que siguen son fruto del esfuerzo colectivo de un grupo de trabajo en el que han participado ms de quince jvenes investigadores andaluces. Algunos de ellos orientaron su especializacin en este nuevo campo, al que han elegido como centro de atencin de sus tesis doctorales o de trabajos de investigacin diversos; otros completan su formacin en centros europeos y, entre todos, componen un equipo que cuenta ya con buena reputacin. He de confesar que, en un primer momento, ramos bastante escpticos en cuanto a la potencialidad investigadora y analtica de la nueva lnea. En efecto, pensamos que podra tratarse de una mera cuestin de modas, y dudbamos a la hora de encajar las tcnicas de evaluacin en el contexto de la investigacin cientfica. Pese a todo, aceptamos el reto de constituir un equipo que se formase en el manejo de las tcnicas y que --a partir de la revisin de las mismas y de la ya muy amplia bibliografa europea y americana-- fuese capaz de elaborar una metodologa, propia en alguna medida, para evaluar ex-ante programas de actuacin pblica. Es decir, apostamos por considerar, de manera ciertamente pretenciosa (qu investigador no debe serlo a priori?), que la evaluacin, aadida a la planificacin, uniendo racionalidad y tica, nos permitira dar un paso desde la lgica tcnico-econmica a la moral equidistributiva y contribuir tambin a la recuperacin de la economa como ciencia social, dentro del orden democrtico basado en el control presupuestario del gasto pblico. Adems, poco a poco se iba consolidando, en el que entendemos como Nuevo Marco Institucional de Desarrollo de las Economas, el proceso de descentralizacin del poder "hacia arriba" y "hacia abajo". En nuestro caso, hacia Bruselas (sede del poder supranacional, de la Unin Europea) y hacia Sevilla (sede del poder regional, de la Junta de Andaluca), lo que evidenciaba la necesidad de la evaluacin como instrumento de control financiero y de legalidad. Pero tambin, y sobre todo, como herramienta para racionalizar la toma de decisiones pblicas, generadora de informacin y, por qu no, como elemento determinante en la que, a nuestro entender, es una autntica e inaplazable reforma/revolucin de las administraciones pblicas. Porque los administrados tienen derecho a que se haga el mejor uso posible de los recursos que previamente les han sido detrados, as como a participar en los procesos de toma de decisiones sobre el empleo de los mismos. La nueva intervencin pblica slo se legitima con eficacia y con transparencia. Ello, a su vez, requiere un cambio de actitud general para promover la creacin de una "cultura evaluadora" tendente a conseguir que los agentes polticos, econmicos y sociales entiendan la evaluacin como un instrumento de mejora en la planificacin econmica y, consecuentemente, de transparencia democrtica, introduciendo las mayores dosis posibles de racionalidad en la toma de decisiones y evitando la posibilidad de ser utilizada como "arma arrojadiza" y/o "argumento triunfalista" en funcin de la posicin del agente que haga uso de los informes evaluatorios.
Con ello se cerrara el crculo que sita a la evaluacin como un elemento til para el desarrollo y aplicacin de las polticas pblicas, y tambin como mbito de investigacin que contribuya a reorientar el papel social de la ciencia econmica desdibujado tras los excesos de las ltimas dcadas. Todas estas cuestiones nos ponen en la pista del verdadero y ltimo sentido de la evaluacin, justificando la intervencin pblica dentro del inevitable nuevo papel del Estado en la Sociedad y, a tal fin, aquella resulta una magnfica herramienta. De hecho, en el Instituto de Desarrollo Regional entendemos que en el siglo XXI la intervencin pblica slo se legitima sobre la base de su eficacia y de su eficiencia, y que para la estimacin de ambas la evaluacin constituye un instrumento imprescindible. El texto que ahora presentamos no es el resultado de un trabajo aislado; es parte de un proyecto global de formacin e investigacin aplicada que, acorde con las consideraciones sealadas, ha detectado entre otras necesidades la de disponer de una "gua" que ayude, en la prctica, a llevar a cabo evaluaciones y que, de otra parte, contribuya a la formacin de evaluadores. No estamos, pues, ante un manual, sino ante una gua prctica que compendia buena parte de la bibliografa existente y que est dirigida a todos quienes quieran adentrarse en el campo de la evaluacin de polticas pblicas, sea por inters personal o profesional. Hemos pretendido que el evaluador, el universitario, el poltico, el gestor, el tcnico de la administracin --y, en definitiva, el ciudadano-- puedan encontrar aqu un instrumento de trabajo til para satisfacer sus necesidades de informacin. Para ello, se han sistematizado las aportaciones e investigaciones de otros autores, desde la ptica propia del equipo de evaluacin del Instituto de Desarrollo Regional, aadindoles la experiencia acumulada en estos aos de trabajo e investigacin, tanto en la evaluacin directa de programas pblicos como en la docencia a gestores y responsables de los mismos, y a universitarios interesados en las tcnicas. Toda vez que, insistimos, no se trata de un manual, no pretendemos abordar todos los aspectos de la evaluacin, sino recopilar los elementos y tcnicas ms destacadas de esta, relativamente nueva, herramienta con la idea de servir a su divulgacin.
Prefacio La Gua para la Evaluacin de Polticas Pblicas pretende ser una recopilacin sistematizada de diversos modelos de evaluacin, centrada en recoger los conceptos clave y las herramientas de anlisis que permitan disponer de un esquema metodolgico, amplio y flexible, para ser adaptado a la evaluacin de planes y programas de intervencin pblica. Para ello se estructura en CINCO CAPTULOS: En el captulo 1: "Introduccin al concepto de evaluacin", se delimita el objeto de anlisis y se resumen las principales aportaciones tericas. Tambin se abordan las funciones y utilidad de la evaluacin, haciendo especial hincapi en las posibilidades previas que tiene un programa de ser evaluado (evaluabilidad) y en los distintos tipos de evaluacin que pueden acometerse. Partiendo de los supuestos de la existencia de un estudio de necesidades, de la definicin de objetivos y del establecimiento de una estrategia de intervencin en el programa a evaluar, en los captulos 2 a 4 se definen distintos tipos de evaluacin. Su desarrollo atiende a la clasificacin de la evaluacin segn su contenido; es decir, segn los elementos del programa que se est evaluando. Esta opcin ha sido tomada sobre la base de considerar que tal perspectiva ampla la interpretacin temporal de la evaluacin, entendindola como una "filosofa" o "cultura" de la planificacin que debe imbuir todas y cada una de las fases de elaboracin y ejecucin de programas. En el captulo 2: "Evaluacin conceptual o de diseo", se destacan los aspectos relacionados con aquellos elementos que justifican la necesidad de la intervencin y el diseo de su estrategia: problemas, medios y objetivos. El captulo 3: "Evaluacin del sistema de gestin", est dedicado a la evaluacin de los procedimientos puestos en marcha por los centros gestores para ejecutar y gestionar las actuaciones de programas pblicos, como va para mejorar su aplicacin, su eficacia y eficiencia. En el captulo 4: "Evaluacin del sistema de seguimiento de programas", se examinan los mecanismos y procedimientos necesarios para la recogida de informacin, que antes, durante y una vez finalizado el programa, ser necesaria para evaluar la intervencin. Por ltimo, en el captulo 5: "Tcnicas de evaluacin de la eficacia y eficiencia", se realiza una revisin de las principales tcnicas usadas para la evaluacin de resultados e impactos, identificando sus ventajas e inconvenientes y sealando algunas de las aplicaciones consideradas ms relevantes.
Adems de a los contenidos, se ha prestado una especial atencin a la expresin formal. Por ello, la gua contiene un breve glosario de trminos para la comprensin de la terminologa especfica de la evaluacin, junto a referencias bibliogrficas que pueden servir de apoyo a quienes deseen profundizar en la materia. Pero la gua tambin ha sido maquetada con la pretensin de ser una herramienta de trabajo como tal, de ah las numerosas referencias a casos prcticos, los grficos explicativos, as como la posibilidad de hacer anotaciones en los mrgenes establecidos a tal fin. Est pues el lector ante una gua que, a modo de cuaderno personal, deseamos le sirva en sus tareas de evaluacin.
1
4 5 8 13 17 22 25
27
30 31 37 40 46 49
53
56 59 63 73
79
82 86 89 98 104
105
108 112 113 115 118 120 126 128 137 138 145 148 151
159 169
stas seran: deteccin de los problemas y necesidades; elaboracin del diagnstico: conceptualizacin y definicin de los problemas y necesidades, inclusin de los mismos en la agenda de la Administracin, diseo de un plan de accin, lo que supone establecer quin y cmo se hace la poltica o programa. Esto es, formulacin de los objetivos de la intervencin pblica, eleccin de los instrumentos y definicin de las acciones, ejecucin o puesta en prctica; y, por ltimo, la evaluacin de la poltica o programa aplicado que incluye su seguimiento y control.
rea de investigacin aplicada cuya finalidad es valorar la utilidad y bondad de la intervencin pblica mediante la aplicacin de un conjunto de tcnicas que se emplean en otros campos de las ciencias sociales. desarrollo de esta disciplina est
El