Guia IDR

EVALUACIN DE
POLTICAS PBLICAS
GUA PARA LA
Direccin y edicin JOS LUIS OSUNA CAROLINA MRQUEZ Redaccin ANA CIRERA CARMEN VLEZ
INSTITUTO DE DESARROLLO REGIONAL

FUNDACIN UNIVERSITARIA
DIRECCIN-COORDINACIN:
Prof. Dr. Jos Lus Osuna Llaneza Profa. Dra. Carolina Mrquez Guerrero
REDACCIN:
Ana Cirera Len Carmen Vlez Mndez
EDICIN:
Isabel Barrera Almanza
El equipo de Direccin y Redaccin desea dejar constancia de su agradecimiento a todo el equipo de Evaluacin de Polticas Pblicas (Carlos Bueno, Daniel Coq, M Jos Guerrero, Gustavo Contreras, Elena Gan, Eva Jimnez, Purificacin Lpez y Marta Romn) que con sus trabajos y comentarios enriquecieron el contenido de este proyecto. Adems, los profesores Francisco Alburquerque Llorens y Oneida Alvarez Figueroa contribuyeron, tras la lectura de los primeros borradores, a orientar el producto final. Agradecemos la colaboracin de todos ellos y asumimos nuestros propios errores.
Nota de presentacin Desde la Direccin del Instituto de Desarrollo Regional siempre se ha defendido la idea de que los trabajos contratados "en la calle" deban servir no slo para el funcionamiento de la Institucin a efectos de financiacin sino, sobre todo, para fortalecer la presencia investigadora y docente de la Universidad en la sociedad. Es decir, nos consideramos responsables de devolver a la sociedad andaluza, en particular, y a la espaola, en general, otros resultados adems del informe final del trabajo. As, formar a tcnicos especficamente cualificados, difundir mediante publicaciones los resultados, impartir docencia sobre los conocimientos adquiridos, etc., son tareas ineludibles del I.D.R. La Gua para la Evaluacin de Polticas Pblicas es buena muestra de ello. Un equipo de trabajo que, adems, en cinco aos ha permitido poner en marcha dos tesis doctorales, impartir cinco cursos sobre la cuestin, presentar ponencias en conferencias europeas, nacionales y regionales y ver cmo sus componentes son reclamados por otras instituciones y/o empresas, cumple sus objetivos. Por todo ello, recibimos con satisfaccin la prueba escrita de tal prctica y, convencidos de su demanda, podemos afirmar la consolidacin y continuidad de la lnea de investigacin en el campo de la Evaluacin de Polticas Pblicas, de cuya proyeccin futura no nos caben dudas.
El DIRECTOR DEL I.D.R. Carlos Romn del Ro
Prlogo Hace cinco aos, con el apoyo de la Consejera de Economa de la Junta de Andaluca, al Instituto de Desarrollo Regional se le present la oportunidad de abrir una nueva lnea de trabajo en materia de Evaluacin de Polticas Pblicas. Las pginas que siguen son fruto del esfuerzo colectivo de un grupo de trabajo en el que han participado ms de quince jvenes investigadores andaluces. Algunos de ellos orientaron su especializacin en este nuevo campo, al que han elegido como centro de atencin de sus tesis doctorales o de trabajos de investigacin diversos; otros completan su formacin en centros europeos y, entre todos, componen un equipo que cuenta ya con buena reputacin. He de confesar que, en un primer momento, ramos bastante escpticos en cuanto a la potencialidad investigadora y analtica de la nueva lnea. En efecto, pensamos que podra tratarse de una mera cuestin de modas, y dudbamos a la hora de encajar las tcnicas de evaluacin en el contexto de la investigacin cientfica. Pese a todo, aceptamos el reto de constituir un equipo que se formase en el manejo de las tcnicas y que --a partir de la revisin de las mismas y de la ya muy amplia bibliografa europea y americana-- fuese capaz de elaborar una metodologa, propia en alguna medida, para evaluar ex-ante programas de actuacin pblica. Es decir, apostamos por considerar, de manera ciertamente pretenciosa (qu investigador no debe serlo a priori?), que la evaluacin, aadida a la planificacin, uniendo racionalidad y tica, nos permitira dar un paso desde la lgica tcnico-econmica a la moral equidistributiva y contribuir tambin a la recuperacin de la economa como ciencia social, dentro del orden democrtico basado en el control presupuestario del gasto pblico. Adems, poco a poco se iba consolidando, en el que entendemos como Nuevo Marco Institucional de Desarrollo de las Economas, el proceso de descentralizacin del poder "hacia arriba" y "hacia abajo". En nuestro caso, hacia Bruselas (sede del poder supranacional, de la Unin Europea) y hacia Sevilla (sede del poder regional, de la Junta de Andaluca), lo que evidenciaba la necesidad de la evaluacin como instrumento de control financiero y de legalidad. Pero tambin, y sobre todo, como herramienta para racionalizar la toma de decisiones pblicas, generadora de informacin y, por qu no, como elemento determinante en la que, a nuestro entender, es una autntica e inaplazable reforma/revolucin de las administraciones pblicas. Porque los administrados tienen derecho a que se haga el mejor uso posible de los recursos que previamente les han sido detrados, as como a participar en los procesos de toma de decisiones sobre el empleo de los mismos. La nueva intervencin pblica slo se legitima con eficacia y con transparencia. Ello, a su vez, requiere un cambio de actitud general para promover la creacin de una "cultura evaluadora" tendente a conseguir que los agentes polticos, econmicos y sociales entiendan la evaluacin como un instrumento de mejora en la planificacin econmica y, consecuentemente, de transparencia democrtica, introduciendo las mayores dosis posibles de racionalidad en la toma de decisiones y evitando la posibilidad de ser utilizada como "arma arrojadiza" y/o "argumento triunfalista" en funcin de la posicin del agente que haga uso de los informes evaluatorios.
Con ello se cerrara el crculo que sita a la evaluacin como un elemento til para el desarrollo y aplicacin de las polticas pblicas, y tambin como mbito de investigacin que contribuya a reorientar el papel social de la ciencia econmica desdibujado tras los excesos de las ltimas dcadas. Todas estas cuestiones nos ponen en la pista del verdadero y ltimo sentido de la evaluacin, justificando la intervencin pblica dentro del inevitable nuevo papel del Estado en la Sociedad y, a tal fin, aquella resulta una magnfica herramienta. De hecho, en el Instituto de Desarrollo Regional entendemos que en el siglo XXI la intervencin pblica slo se legitima sobre la base de su eficacia y de su eficiencia, y que para la estimacin de ambas la evaluacin constituye un instrumento imprescindible. El texto que ahora presentamos no es el resultado de un trabajo aislado; es parte de un proyecto global de formacin e investigacin aplicada que, acorde con las consideraciones sealadas, ha detectado entre otras necesidades la de disponer de una "gua" que ayude, en la prctica, a llevar a cabo evaluaciones y que, de otra parte, contribuya a la formacin de evaluadores. No estamos, pues, ante un manual, sino ante una gua prctica que compendia buena parte de la bibliografa existente y que est dirigida a todos quienes quieran adentrarse en el campo de la evaluacin de polticas pblicas, sea por inters personal o profesional. Hemos pretendido que el evaluador, el universitario, el poltico, el gestor, el tcnico de la administracin --y, en definitiva, el ciudadano-- puedan encontrar aqu un instrumento de trabajo til para satisfacer sus necesidades de informacin. Para ello, se han sistematizado las aportaciones e investigaciones de otros autores, desde la ptica propia del equipo de evaluacin del Instituto de Desarrollo Regional, aadindoles la experiencia acumulada en estos aos de trabajo e investigacin, tanto en la evaluacin directa de programas pblicos como en la docencia a gestores y responsables de los mismos, y a universitarios interesados en las tcnicas. Toda vez que, insistimos, no se trata de un manual, no pretendemos abordar todos los aspectos de la evaluacin, sino recopilar los elementos y tcnicas ms destacadas de esta, relativamente nueva, herramienta con la idea de servir a su divulgacin.
EL SUBDIRECTOR DEL I.D.R. Jos Luis Osuna Llaneza
Prefacio La Gua para la Evaluacin de Polticas Pblicas pretende ser una recopilacin sistematizada de diversos modelos de evaluacin, centrada en recoger los conceptos clave y las herramientas de anlisis que permitan disponer de un esquema metodolgico, amplio y flexible, para ser adaptado a la evaluacin de planes y programas de intervencin pblica. Para ello se estructura en CINCO CAPTULOS: En el captulo 1: "Introduccin al concepto de evaluacin", se delimita el objeto de anlisis y se resumen las principales aportaciones tericas. Tambin se abordan las funciones y utilidad de la evaluacin, haciendo especial hincapi en las posibilidades previas que tiene un programa de ser evaluado (evaluabilidad) y en los distintos tipos de evaluacin que pueden acometerse. Partiendo de los supuestos de la existencia de un estudio de necesidades, de la definicin de objetivos y del establecimiento de una estrategia de intervencin en el programa a evaluar, en los captulos 2 a 4 se definen distintos tipos de evaluacin. Su desarrollo atiende a la clasificacin de la evaluacin segn su contenido; es decir, segn los elementos del programa que se est evaluando. Esta opcin ha sido tomada sobre la base de considerar que tal perspectiva ampla la interpretacin temporal de la evaluacin, entendindola como una "filosofa" o "cultura" de la planificacin que debe imbuir todas y cada una de las fases de elaboracin y ejecucin de programas. En el captulo 2: "Evaluacin conceptual o de diseo", se destacan los aspectos relacionados con aquellos elementos que justifican la necesidad de la intervencin y el diseo de su estrategia: problemas, medios y objetivos. El captulo 3: "Evaluacin del sistema de gestin", est dedicado a la evaluacin de los procedimientos puestos en marcha por los centros gestores para ejecutar y gestionar las actuaciones de programas pblicos, como va para mejorar su aplicacin, su eficacia y eficiencia. En el captulo 4: "Evaluacin del sistema de seguimiento de programas", se examinan los mecanismos y procedimientos necesarios para la recogida de informacin, que antes, durante y una vez finalizado el programa, ser necesaria para evaluar la intervencin. Por ltimo, en el captulo 5: "Tcnicas de evaluacin de la eficacia y eficiencia", se realiza una revisin de las principales tcnicas usadas para la evaluacin de resultados e impactos, identificando sus ventajas e inconvenientes y sealando algunas de las aplicaciones consideradas ms relevantes.
Adems de a los contenidos, se ha prestado una especial atencin a la expresin formal. Por ello, la gua contiene un breve glosario de trminos para la comprensin de la terminologa especfica de la evaluacin, junto a referencias bibliogrficas que pueden servir de apoyo a quienes deseen profundizar en la materia. Pero la gua tambin ha sido maquetada con la pretensin de ser una herramienta de trabajo como tal, de ah las numerosas referencias a casos prcticos, los grficos explicativos, as como la posibilidad de hacer anotaciones en los mrgenes establecidos a tal fin. Est pues el lector ante una gua que, a modo de cuaderno personal, deseamos le sirva en sus tareas de evaluacin.
Carolina Mrquez Guerrero
ndice Captulo 1. La evaluacin de polticas pblicas . . . . .

Algunas definiciones de evaluacin de polticas pblicas. . . . . . . . . . . . . . . . Evolucin histrica del desarrollo de la evaluacin . . . . . . . . . . . . . . . . . . . . Aproximaciones metodolgicas a la evaluacin de programas pblicos . . . . . Funciones y utilidad de la evaluacin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Tipos de evaluacin. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Evaluabilidad. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Anexo: Utilidad del anlisis de evaluabilidad . . . . . . . . . . . . . . . . . . . . . . . . .
1
4 5 8 13 17 22 25
Captulo 2. Evaluacin conceptual o de diseo . . . . .

Evaluacin de racionalidad y coherencia . . . . . . . . . . . . . . . . . . . . . . . . . . . . Relevancia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Pertinencia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Coherencia interna . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Coherencia externa en el diseo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Anexo: Aplicacin al Programa Operativo de Andaluca . . . . . . . . . . . . . . . .
27
30 31 37 40 46 49
Captulo 3. Evaluacin del sistema de gestin . . . . .

Evaluacin del sistema de gestin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Enfoques metodolgicos para la evaluacin del sistema de gestin . . . . . . . Metodologa de evaluacin del sistema de gestin de un programa . . . . . . . Anexo: Aplicacin al Programa Operativo de Andaluca . . . . . . . . . . . . . . . .
53
56 59 63 73
Captulo 4. Evaluacin del sistema de seguimiento de programas. . . . . . . . . . . . . . . . . . . . . . .

mbitos y niveles del sistema de seguimiento. . . . . . . . . . . . . . . . . . . . . . . . Responsabilidad y periodicidad del seguimiento . . . . . . . . . . . . . . . . . . . . . . Instrumentos del seguimiento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Fichas de seguimiento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Anexo: Aplicacin al POA. Sistema de informacin . . . . . . . . . . . . . . . . . . . .
79
82 86 89 98 104
Captulo 5. Tcnicas de evaluacin de la eficacia y eficiencia. . . . . . . . . . . . . . . . . . . . . . . .

Impactos, efectos estructurales y sinergias. Consideraciones previas . . . . Tcnicas de evaluacin de impactos, efectos estructurales y sinergias . . . . Anlisis shift-share. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Modelos input-output. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Mtodo experimental. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . La encuesta y la entrevista . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . La observacin directa y visitas in situ . . . . . . . . . . . . . . . . . . . . . . . . . El uso de la tcnica Delphi como herramienta para la evaluacin . . . . . . . Tcnicas para la valoracin de la eficiencia. . . . . . . . . . . . . . . . . . . . . . . . . . Anlisis coste-beneficio. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Comparacin entre los precios de licitacin, adjudicacin y ejecucin . . . El Anlisis frontera . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Anexo: Aplicacin prctica de la evaluacin intermedia . . . . . . . . . . . . . . . .
105
108 112 113 115 118 120 126 128 137 138 145 148 151
Breve glosario de trminos . . . . . . . . . . . . . . . Bibliografa . . . . . . . . . . . . . . . . . . . . . . . .
159 169
Captulo 1 La evaluacin de polticas pblicas
Gua para la evaluacin de polticas pblicas
La Evaluacin de Polticas Pblicas es un
stas seran: deteccin de los problemas y necesidades; elaboracin del diagnstico: conceptualizacin y definicin de los problemas y necesidades, inclusin de los mismos en la agenda de la Administracin, diseo de un plan de accin, lo que supone establecer quin y cmo se hace la poltica o programa. Esto es, formulacin de los objetivos de la intervencin pblica, eleccin de los instrumentos y definicin de las acciones, ejecucin o puesta en prctica; y, por ltimo, la evaluacin de la poltica o programa aplicado que incluye su seguimiento y control.
rea de investigacin aplicada cuya finalidad es valorar la utilidad y bondad de la intervencin pblica mediante la aplicacin de un conjunto de tcnicas que se emplean en otros campos de las ciencias sociales. desarrollo de esta disciplina est
El
motivado por la constante preocupacin por determinar cul debe ser el papel del sector pblico en la sociedad. La generalizacin del Estado del Bienestar, con la consiguiente aparicin de fuertes dficits pblicos por el incremento del gasto, ha intensificado el debate sobre el empleo de los recursos pblicos y sus resultados. Sin embargo, el estudio de esta cuestin no es novedoso. Se ha abordado desde diferentes perspectivas y con la aplicacin de distintas metodologas. Pero es aproximadamente en los aos 30 en Estados Unidos cuando empieza a acuarse el trmino de evaluacin de polticas pblicas en el marco de la Ciencia Poltica, y concretamente en el campo del Anlisis de Polticas Pblicas como marco terico de referencia.
En este proceso planificador la evaluacin se considera la ltima etapa. Su objetivo se centra en valorar los resultados de la poltica y, a su vez, servir de base para la planificacin de la intervencin pblica a lo largo del tiempo, formando parte de un proceso de retroalimentacin, explotando sus conclusiones y recomendaciones. La concepcin del anlisis de polticas pblicas incorpora tanto la pretensin de conocer los efectos de las polticas ejecutadas como el intento de racionalizar la toma de decisiones polticas, aprovechando las lecciones de la experiencia.
El
anlisis de polticas pblicas se ha
centrado en el estudio de las fases de formacin de las polticas y programas, teniendo como objetivo producir informacin til para la toma de decisiones. Entre las posiciones de los analistas de polticas, cabe destacar las de Laswell (1962) y Dye (1995) que consideran que el diseo de polticas se realiza en etapas identificables que pueden examinarse aisladamente.
La evaluacin de polticas pblicas
Esta
bsqueda de racionalidad en las
aspectos tales como: la gestin eficaz de los recursos, la difusin de una cultura de responsabilidad entre los gestores de los programas, la consideracin del receptor de la poltica como usuario, la preocupacin por conocer el impacto de la poltica, y la necesidad de incorporar las percepciones de los participantes en los programas.
decisiones y actuaciones pblicas se ha manifestado de diferentes formas: Mediante la elaboracin de planes y programas concretos de actuacin. A travs de la adopcin de sistemas de presupuestacin acordes con la planificacin (PPBS, PEC, RCB, entre otros)1 y fundamentados en una lgica tcnico-econmica de carcter mecanicista.
Estos procedimientos dan por supuesto
que la decisin de intervenir se toma por un actor nico y libre y que los objetivos se definen de forma explcita y concreta. Pero lo cierto es que la realidad es distinta. Los objetivos de la poltica son en la mayora de los casos declaraciones de intenciones y, por otra parte, las polticas estn sujetas a continuas revisiones. Adicionalmente, quienes toman las decisiones no siempre buscan la racionalidad tcnicoeconmica sino soluciones socialmente aceptables o polticamente convenientes a los problemas. En definitiva, los intentos de buscar la racionalidad a un programa o poltica olvidan en algunas ocasiones que las decisiones pblicas son negociaciones polticas y el resultado de la mediacin de diferentes grupos de inters.
As, frente a la concepcin tradicional de
la evaluacin como ltima etapa del proceso de planificacin, optamos por una visin integral donde la evaluacin se realiza en todas las etapas del diseo de programas, analizando la pertinencia y coherencia de los problemas, objetivos e instrumentos planteados, el proceso de aplicacin del programa y sus resultados.
Esta controversia propicia un replanteamiento sobre cul debera ser el eje central de la evaluacin dando prioridad a
Algunas definiciones de evaluacin de polticas pblicas

Evaluar es emitir un juicio crtico sobre una situacin determinada
En sentido amplio evaluar es emitir un juicio crtico sobre una situacin determinada, pero la amplia utilizacin de este trmino y la dificultad de delimitar su objeto de anlisis, han provocado el disenso sobre la definicin y sobre los elementos que conforman la evaluacin. Algunos de los principales autores dedicados al estudio de esta materia la definen como: Es el anlisis objetivo y cientfico de los efectos a corto y largo plazo de las polticas, tanto sobre los grupos sociales o situaciones para los cuales se dise la poltica como sobre la sociedad en general, y el anlisis del ratio de costes actuales y futuros sobre cualquiera de los beneficios identificados (Dye, 1995). La evaluacin de programas conlleva el empleo de mtodos cientficos para medir la ejecucin y resultado de programas para ser utilizados en la toma de decisiones (Ruthman, en Alvira, 1991). Consiste en la recopilacin sistemtica de informacin sobre actividades, caractersticas y resultados de un programa para su utilizacin por un grupo especfico, de cara a reducir incertidumbres, mejorar la eficacia y tomar decisiones en funcin de qu se est haciendo con el programa y a quin est afectando (Patton, 1987). La evaluacin es el proceso por el cual se analiza la eficacia y eficiencia de un programa. Esto implica la recogida, anlisis e interpretacin de la informacin sobre el logro de los objetivos del programa en relacin con las previsiones (Epstein y Tripodi, 1977).
Valoracin a posteriori de los resultados del programa
Todas estas definiciones ponen el nfasis en la valoracin a posteriori de los resultados de la poltica o programa; la evaluacin es despus de la planificacin. Sin embargo, consideramos que la evaluacin debe, adems, ocuparse de analizar el diseo, los sistemas de gestin y seguimiento, y el proceso de ejecucin de las polticas y programas desarrollados puesto que todos estos elementos condicionan sus resultados. En esta concepcin, evaluacin y planificacin son procesos relacionados. Rossi y Freeman (Rossi y Freeman, 1993) formulan una definicin, de lo que denominan evaluacin global (comprehensive evaluation), que agrupa los distintos tipos de actividades a los que debe responder una evaluacin: el anlisis de la conceptualizacin y diseo, ejecucin de un programa y la valoracin de su utilidad:
Evaluacin y planificacin son procesos relacionados
Es la aplicacin sistemtica de los procedimientos de la investigacin social para valorar la conceptualizacin y el diseo, la ejecucin y la utilidad de los programas de intervencin social.
En este manual seguiremos este enfoque, desarrollando la metodologa para el anlisis de cada uno de los elementos. Para acercar al lector al conocimiento de esta tcnica, y para que se familiarice con su terminologa, se han recopilado, segn diversos autores y modelos de evaluacin, los conceptos clave y herramientas de anlisis que nos permitirn llegar a establecer un esquema metodolgico lo suficientemente amplio y flexible para adaptarlo a la evaluacin de planes y programas de intervencin social.
Programa de intervencin social
Combinacin de objetivos y recursos que se organiza para que tenga un efecto en el bienestar de individuos o grupos sociales concretos. Pueden tratar de educacin, bienestar social, salud, vivienda, seguridad, rehabilitacin social, desarrollo econmico.
Ballart, X. (1992). Cmo evaluar programas y servicios pblicos?. M.A.P.
Evolucin histrica del desarrollo de la evaluacin

El desarrollo de este rea de investigacin no ha sido lineal, sino ms bien el producto de aproximaciones realizadas desde distintas pticas con distintos objetivos. Por tanto, para encuadrar correctamente el conjunto de aportaciones tericas, resultara necesario situarlas en el contexto histrico en el que la/s mismas se desarrollaron. Este es el objetivo de este epgrafe. Indagar sobre el origen y desarrollo de la evaluacin de polticas pblicas y situar su evolucin histrica en una correcta dimensin obliga a tomar como punto de referencia los efectos de factores tales como: el cambio ideolgico, poltico y social ocurrido durante este siglo, la expansin de programas de bienestar social, y el perfeccionamiento de las tcnicas de investigacin social y su empleo en el estudio de los problemas sociales. Todos estos factores son los que provocaron e impulsaron la aplicacin de los mtodos de evaluacin para el anlisis de las polticas pblicas (Rossi y Freeman, 1993). Actualmente, las distintas propuestas de reforma de las Administraciones Pblicas, como proceso de cambio institucional, han extendido el uso de la
Factores que provocaron e impulsaron la evaluacin
evaluacin, favoreciendo el desarrollo de procedimientos, formas organizativas y culturales ms flexibles, para conseguir actuaciones pblicas ms eficaces y eficientes en procesos de mayor transparencia democrtica. No es fcil establecer cul fue la primera aplicacin de la evaluacin como tcnica de anlisis de polticas y programas pblicos. Algunos autores consideran el trabajo de Alfred Binet como pionero en este campo (Monnier, 1995). Binet, para la realizacin de un estudio encargado en 1904 por el Ministro de la Instruccin Pblica Norteamericana, desarroll el mtodo conocido con el nombre de test de inteligencia de Binet y ello marc el comienzo de la sicologa experimental y la introduccin del experimentalismo como enfoque cientfico adaptado para la Administracin Pblica. Otros investigadores sitan los primeros esfuerzos evaluativos en los aos 30. Estos estaban dirigidos al anlisis de programas de educacin y formacin profesional e iniciativas de salud pblica para reducir la mortalidad provocada por enfermedades infecciosas (Rossi y Freeman, 1993). Desde entonces y, sobre todo, tras la II Guerra Mundial, la aplicacin de tcnicas de investigacin social creci a un ritmo acelerado ante la demanda de conocimiento sobre la repercusin de los programas de bienestar social que se haban generalizado a todos los estratos sociales. As, al final de los aos 50, la evaluacin de programas se encontraba consolidada en Estados Unidos y empezaba a emerger, aunque con menor intensidad, en Europa y otros pases industrializados, e incluso en pases menos desarrollados2 de la mano de programas de Naciones Unidas. Durante las dcadas de los 60 y 70 se asienta la evaluacin como rea de investigacin y estudio de diversas disciplinas cientficas y sociales llegando a constituirse como una industria en crecimiento en los Estados Unidos (Rossi y Freeman, 1993), donde: aparece una amplia relacin de bibliografa al respecto en la que se analizan y critican las tcnicas y enfoques metodolgicos utilizados hasta el momento, se recopilan experiencias de prcticas en evaluacin, se elaboran textos y manuales formativos, proliferan los foros de debate acadmicos y polticos, y se publican revistas y boletines especializados. Este proceso evolutivo se vio favorecido por la creacin de instituciones como la General Accounting Office (1921) en Estados Unidos, la Audit Commission o la National Audit Office (1988) en el Reino Unido, y la puesta en marcha de iniciativas encaminadas a modificar los procesos internos y estructuras organizativas de las agencias pblicas en aras a desarrollar en ellas la capacidad necesaria para la evaluacin de polticas. Entre estas iniciativas podemos ilustrar a modo de ejemplo la Efificiency Strategy (1979)
Introduccin de la evaluacin mediante el experimentalismo en la Administracin Pblica como enfoque cientfico para el anlisis de programas
Aos 60-70: consolidacin de la evaluacin como rea de investigacin
Creacin de instituciones y puesta en marcha de iniciativas
y la Financial Management Initiative en el Reino Unido; la creacin del Comit Interministerial de la Evaluacin (CIME) y el Fondo Nacional para el Desarrollo de la Evaluacin (FNDE) en Francia. Y es a partir de los aos 80 cuando se produce la aplicacin sistemtica y generalizada de la evaluacin en la mayora de los pases desarrollados.
General Accounting Office La General Accounting Office (GAO), se fund en 1921 como agencia independiente por el Bugdegt and Accounting Act, para llevar a cabo estudios de evaluacin. En sus inicios se limit a realizar controles contables y no es hasta despus de la II Guerra Mundial cuando dedica sus esfuerzos a investigar cmo haban sido utilizados los recursos pblicos, el personal y los medios asignados, as como a medir la eficacia global de la poltica. (Monnier, 1995 y Dye, 1995).
En Espaa la implantacin de este campo de investigacin es muy reciente y adems est insuficientemente extendido dentro de las Administraciones Pblicas. A pesar de ello, varias circunstancias han coadyuvado a que la evaluacin se convierta en un elemento imprescindible dentro del proceso planificador: Los intentos de modernizacin de la administracin espaola y en particular en lo relativo a la reorganizacin tendente a la creacin o reforma de centros de gasto3, en la que se ha incluido en numerosas ocasiones la bsqueda de instrumentos de gestin ms flexibles y con mayor capacidad de interaccin con el medio (presupuestacin por programas, creacin de agencias, etc.). La necesidad de controlar el dficit pblico y, por consiguiente, de justificar la eficiencia de las medidas aplicadas puesto que el sector pblico espaol ha experimentado en un corto espacio de tiempo un crecimiento que lo ha llevado a duplicar su participacin en el producto interior bruto. La entrada de Espaa en la Unin Europea y la consecuente posibilidad de beneficiarse de los Fondos Estructurales pero, al mismo tiempo, la necesidad de justificar su utilidad, aplicacin correcta y eficacia. As, la Comisin de la Unin Europea establece reglamentariamente la obligatoriedad de realizar, por los pases miembros beneficiarios, evaluaciones peridicas de los fondos recibidos. El proceso de descentralizacin poltico-administrativa y la multiplicidad de Entidades Territoriales con crecientes competencias, lo que exige un control de la actividad pblica que evite las duplicaciones y el despilfarro de recursos escasos. La toma de conciencia de un nuevo concepto de la ciudadana como
7
La evaluacin en Espaa
cliente de servicios pblicos. Los ciudadanos son cada vez ms conscientes de su derecho a conocer los beneficios que recibe del sector pblico ante el incremento de la presin fiscal. Esto supone la concepcin del ciudadano como cliente de los servicios pblicos. En esta evolucin del desarrollo e implantacin de la evaluacin se constata el papel determinante del sector pblico como principal promotor y patrocinador de la mayora de los trabajos de evaluacin realizados.
El sector pblico como promotor de la evaluacin
Aproximaciones metodolgicas a la evaluacin de programas pblicos

En este proceso de introduccin y expansin de la evaluacin, se observa la creacin de aproximaciones metodolgicas que, para evaluar un programa, van desde los que toman como referencia los objetivos explicitados en el mismo, hasta los que tratan de medir los logros alcanzados, estuvieran previstos o no. As, nos encontramos con:
La evaluacin centrada en objetivos

El modelo de Tyler (Tyler, 1950) utiliza como parmetro de referencia los objetivos de la poltica evaluada para efectuar mediciones comparadas, entre lo que pretenda inicialmente y lo realmente conseguido. Los objetivos de referencia permiten concretar y delimitar los cambios buscados, y su conocimiento es lo que orienta la eleccin de las variables dependientes en el anlisis y los criterios a utilizar. Este enfoque, recogido tambin por Weiss (Weiss, 1972 y 1983), se ha extendido y es, en la actualidad, uno de los ms aplicados, al menos en Europa.
Objetivos como parmetro de referencia
La evaluacin no centrada en objetivos o libre de objetivos

Los trabajos de Scriven (Scriven, 1967; 1973) rompen con los enfoques anteriores al considerar objeto de evaluacin todos los efectos provocados por el programa y no slo aquellos que estaban previstos inicialmente en su definicin. Toma como referencia para la evaluacin de los efectos realmente producidos las necesidades fundamentales detectadas, lo que hace que el anlisis sea menos sesgado y ms completo que si se consideran como parmetro de valoracin slo los objetivos, puesto que tiene en cuenta la realidad de la que se parte y se quiere modificar. Incluso propone que se obvie deliberadamente, por parte del evaluador, el conocimiento a priori de esos objetivos. Su aplicacin exige deslindar del cambio total en la sociedad el provocado por el programa, esto es, su efecto neto. Se deben analizar por tanto: El impacto sobre la situacin o poblacin objetivo. El impacto sobre situaciones o grupos que no son objetivo. El impacto sobre las condiciones actuales y futuras. Los costes directos, en trminos de los recursos utilizados en el
8
Necesidades detectadas como parmetro de referencia
programa. Los costes indirectos o costes de oportunidad.
Entre otras aproximaciones a la metodologa de evaluacin, consideradas en algunos manuales como enfoques o modelos, se van a sealar aquellas de mayor aplicacin:
Modelos descriptivos y aproximacin clnica o analtica (Meny y Thoening, 1992)

Los modelos descriptivos sistematizan a modo de inventario la informacin relativa a las actividades y resultados del programa, ofreciendo una descripcin detallada tanto de lo previsto o planificado como de lo que realmente se observa en la realidad. En una fase posterior se procede a valorar la utilidad del programa sobre la base de: comparaciones con descripciones de otros programas alternativos y, normas de calidad o parmetros establecidos por los grupos de implicados ms significativos en cada caso. Por su parte, los modelos clnicos tratan, adems de registrar los resultados, de explicar por qu un objetivo propuesto no ha sido alcanzado y por qu otros objetivos, no buscados en principio, s lo han sido. El analista, en este caso, debe escoger uno o varios parmetros que se correspondan con el objetivo buscado por la poltica pblica. Se intenta descubrir las diferencias entre la meta perseguida y la alcanzada efectivamente, explicndolas a travs de las condiciones en las que se ha ejecutado la poltica, intentado responder a cuestiones de tipo causa-efecto.
Descripcin de actividades y resultados
Anlisis de las causas
Modelo basado en la utilizacin de los resultados de la evaluacin

Entre los autores que han desarrollado este enfoque se encuentra Stake (Stake y Gjerde, 1974), que se caracteriza por adaptar el proceso de evaluacin a las necesidades del destinatario que encarga la evaluacin. Es un claro defensor de los mtodos cualitativos y, al igual que Wholey, Weiss y Crombach, pone nfasis en la utilizacin de los resultados de la evaluacin y en la implicacin de distintos grupos de inters en el proceso evaluativo:
Para Wholey la evaluacin debera servir para mejorar la gestin y los resultados de los programas pblicos. Argumenta que la eva-
Satisfaccin de las necesidades de informacin de los destinatarios de la evaluacin
luacin est imbricada con la gestin en el modelo de gestin orientado a resultados, de ah la importancia de establecer objetivos claros e hiptesis adecuadas y demostrables sobre los resultados perseguidos, y de poseer la suficiente capacidad y habilidad para gestionar un programa. Por tanto, incluye en su definicin de evaluacin el estudio de los componentes del programa y de la forma en que el programa funciona normalmente. Wholey introduce el trmino de evaluabilidad ya que considera que es necesario, antes de abordar la evaluacin de un programa, determinar hasta qu punto sta puede contribuir a mejorar el programa y sus resultados (Wholey, 1983). Para Weiss la preocupacin principal es la falta de credibilidad de los resultados de la evaluacin y su escasa utilizacin, debido a la existencia de mltiples partes afectadas por un programa y el contexto poltico donde se desenvuelve la intervencin. Recomienda la utilizacin de mtodos cuantitativos y cualitativos (Weiss, 1972 y 1983). Crombach resalta la importancia de afrontar el diseo y desarrollo de las evaluaciones de programas considerando los intereses y demandas de informacin de patrocinadores, decisores y dems grupos directamente relacionados con el programa. As, a pesar de que evaluadores e investigadores cientficos utilicen la misma lgica de anlisis y mtodos de investigacin, es el fin mismo de la evaluacin lo que los diferencia (Crombach, 1982). Otros autores en lnea con esta corriente son Suchman, Guba y Lincoln. Aunque sus enfoques metodolgicos difieren en algunos aspectos, todos consideran la evaluacin como investigacin aplicada que puede proporcionar conclusiones objetivas e imparciales sobre la consecucin de los objetivos del programa y aportaciones tiles para redefinir los medios y recursos necesarios para su logro. (Suchman, 1967; Guba, 1987; Lincoln y Guba, 1981). Este enfoque, tambin conocido como evaluacin pluralista o evaluacin naturalista se apoya en el reconocimiento de la pluralidad de sistemas de valores que coexisten en el seno de la sociedad (Monnier, 1995). El programa se concibe como un conjunto abierto y dinmico que integra a la evaluacin como elemento variable en funcin de la evolucin de los objetivos e intereses de los actores que intervienen en el mismo produciendo informacin til para la negociacin de nuevos programas (Weiss, 1983 y Patton, 1986). Segn Ballart, este modelo rechaza la idea de la evaluacin imparcial y objetiva de los resultados de un programa, para centrarse en la importancia de los valores y de las opiniones de la pluralidad de actores que tienen que ver con un programa. (Ballart, 1992). En definitiva, promueve la participacin activa de los agentes implicados
Evaluacin pluralista: Pluralidad de valores e intereses El programa es un conjunto abierto y dinmico Participacin activa de los agentes implicados en el programa
10
en un programa, otorgando menos importancia a la evaluacin cuantitativa de resultados que a la cualitativa de los procesos de gestin y ejecucin.
El modelo experimentalista4
La aplicacin de este mtodo lleva implcita la consideracin de la accin pblica como una ciencia donde es posible realizar experimentos sobre la realidad. Entre los que abogan por la utilizacin de este enfoque, Campbell afirma que la toma de decisiones se ha de fundamentar en la experiencia contrastada de los cambios en las condiciones sociales provocados por la intervencin. Para este autor la Administracin debera evaluar un programa nuevo sometindolo a experimentacin antes de hacerlo extensivo a toda la poblacin. (Campbell y Stanley, 1966). Presenta una Teora de la Causacin sobre la base de la cual se pretende demostrar que las hiptesis de causa-efecto que subyacen en un programa entre sus objetivos y sus medios son ciertas. Campbell, Stanley, Cook y otros autores han orientado sus esfuerzos en mejorar la metodologa del experimentalismo para acoplarla al campo de la investigacin social y han fomentado la generalizacin de este enfoque, muy utilizado en Estados Unidos, aunque sin desplazar el empleo de las tcnicas cualitativas (Cook y Campbell, 1979). Todos los defensores de las aproximaciones anteriores han ido desarrollando esquemas metodolgicos que, entre el extremo de los que toman como referencia exclusiva de la evaluacin los objetivos de los programas a los que tratan de medir los logros alcanzados independientemente de lo planificado, se basan en tcnicas cualitativas y/o cuantitativas de valoracin, buscando la racionalidad de las decisiones y actuaciones pblicas. De los enfoques y modelos recogidos en este epgrafe se pueden extraer algunos aspectos comunes sobre el concepto de evaluacin: Implica la recopilacin sistemtica de informacin sobre un amplio grupo de variables: realizaciones, resultados, impactos, procesos de gestin y ejecucin, etc. Es una tcnica de anlisis que utiliza instrumentos de la investigacin social. Se realiza porque es de utilidad para el grupo que la demanda: gestores, planificadores, investigadores, la sociedad, etc. Suministra informacin que permite satisfacer una amplia gama de objetivos como reducir la incertidumbre sobre la marcha del programa, facilitar la toma de decisiones, aportar informacin, etc. Trata de reconciliar los intereses de todos los afectados por el programa e implicarlos en su ptima ejecucin: agentes sociales, econ-
Experimentaciones sobre la realidad para fundamentar la toma de decisiones
Campbell, Stanley y Cook
11
micos, beneficiarios, gestores, etc. Llegados a este punto, el lector podra preguntarse cul es la funcin de la evaluacin? y para qu y a quin es de utilidad? Estos temas, funciones, mbitos y destinatarios de la evaluacin, se tratan en el siguiente epgrafe.
Aspectos comunes sobre el concepto de evaluacin
Sumario
Qu es evaluacin?
Aplicacin sistemtica de los procedimientos de investigacin social para valorar: La conceptualizacin y el diseo La gestin La ejecucin Utilidad de los programas de intervencin social
Cundo surge?
Tras la II Guerra Mundial, por la preocupacin por conocer la repercusin de los programas de bienestar social implantados Aos 60-70, consolidacin de la evaluacin como rea de investigacin: Publicaciones Foros de debate Aos 80, aplicacin sistemtica y generalizada
Por qu?
Cambio ideolgico, poltico y social Expansin de programas de bienestar social Perfeccionamiento de las tcnicas de anlisis Propuestas de reforma de las administraciones pblicas
En Espaa
Modernizacin y reforma de la Administracin Necesidad de controlar el dficit pblico Entrada de Espaa en la Unin Europea Proceso de descentralizacin poltico-administrativa Concepcin del ciudadano como "cliente"
Funciones y utilidad de la evaluacin
12
En lneas muy generales, la evaluacin trata de responder a preguntas tales como:

Principales interrogantes Cul es la naturaleza y dimensin del problema que se desea resolver? Dnde est localizado y a quin afecta? .............................. Qu posibles intervenciones podran paliar significativamente el problema? Cules son las alternativas? ................................................ Cul es la "poblacin objetivo" adecuada? ............................................. Est llevndose a cabo el programa o la poltica tal como se dise? ......................................................................................................... Cules son las variables del contexto socioeconmico que influyen en la marcha del programa? En qu medida?.......................... Es la actuacin efectiva? Est el programa o la poltica alcanzando a su poblacin objetivo?......................................................... Cules son los impactos de la intervencin en la poblacin objetivo? Cmo los perciben los beneficiarios?.................................... Cunto cuesta? Cul es el coste en relacin a los beneficios y a la utilidad de la misma?.............................................................................. Cumple la normativa legal establecida?..................................................
En definitiva,
cules son las funciones de la evaluacin y cul es su utilidad?

La evaluacin se realiza para que sus resultados sean utilizados, por tanto, debe producir informacin til para todos los que participan en el programa y fundamentalmente para sus destinatarios. Entre las funciones, complementarias e interdependientes, que cumple la evaluacin, deben considerarse:
Para qu?
Control administrativo, de legalidad y financiero Racionalizacin de la toma de decisiones pblicas Formacin de los implicados en el programa
Generadora de informacin
Va de reforma de las prcticas de la Administracin
1. La evaluacin como control administrativo, de legalidad y financiero

13
El control administrativo se refiere al funcionamiento interno de los servicios pblicos y no a los aspectos externos o a los efectos de la accin pblica sobre la sociedad (Meny y Thoening, 1992). El control pblico de legalidad y regularidad trata de comprobar si el gasto realizado se ajusta a los mandatos legislativos mientras que el control financiero recae sobre los flujos de gasto considerados como los costes de la actividad pblica. Es un control ms amplio que el de legalidad y se extiende a todos los aspectos de la actuacin econmica financiera del rgano controlado, pero sin tener en cuenta los objetivos perseguidos con la intervencin. En otras palabras, este tipo de controles verifica si los recursos se han utilizado correctamente y conforme a las normas pblicas sin valorar la eficacia ni los efectos de sus acciones. Se realizan interna o externamente, a travs de las Intervenciones Generales y de los Tribunales de Cuentas respectivamente. El control, elemento bsico del ciclo de la gestin econmica-financiera del sector pblico, ha evolucionado, incorporando entre sus funciones, la evaluacin de la eficacia, economa y eficiencia, las tres E. Esto se conoce como como Auditora Operativa5.
Se han utilizado correctamente los recursos y conforme a las normas pblicas?
2. La evaluacin para la racionalizacin de la toma de decisiones pblicas

Proporciona informacin til para la toma de decisiones
Evaluacin sumativa
La evaluacin se concibe como un procedimiento de creacin y obtencin de informacin que sirve para facilitar la toma de decisiones y juzgar entre distintas alternativas (Stufflebean, 1987). Al mismo tiempo, la evaluacin proporciona la informacin necesaria para decidir si un programa debe continuar, expandirse o por el contrario debe finalizar. Algunos autores denominan este tipo de evaluacin evaluacin sumativa (Scriven, 1967 y 1973). Se pueden deslindar dos aproximaciones subyacentes a la bsqueda de racionalidad: la tcnico-econmica y la poltica. Estas dos perspectivas son necesariamente complementarias. La toma de decisiones basada en la evaluacin de la racionalidad desde la perspectiva tcnico-econmica, centrada en el modelo tecnocrtico, presupone la existencia de objetivos claros y explcitos y la definicin de una estrategia unvoca de intervencin, hiptesis poco frecuentes en la realidad. Sin embargo, la mayora de las polticas no especifican los objetivos de forma clara y precisa e incluso persiguen algunos que pueden ser contradictorios. Adicionalmente, los decisores polticos, normalmente, no revisan las polticas y planes anteriores, sus objetivos sociales, los costes y beneficios que implica el logro de los objetivos de las polticas que estn en marcha y no jerarquizan las preferencias entre alternativas distintas (Lindblom, 1993). Por tanto, las deficiencias del modelo tecnocrtico deben paliarse, siempre que se asegure el rigor de la evaluacin, con los anlisis de racionalidad pol-
Evaluacin tcnico-econmica versus evaluacin poltica
14
tica y social, que encuentran su referente en el anlisis de polticas pblicas y que se caracterizan por usar aproximaciones cualitativas que incorporan el examen del entorno poltico-social en el que se desarrollan los programas.
3. Evaluacin como medio para la formacin de los implicados en el programa

En la administracin de los recursos pblicos, las aproximaciones tericas (a travs de investigaciones, trabajos y estudios) se encuentran contrapesadas por otras de carcter emprico, que a travs de la realizacin de evaluaciones permiten aprender el efecto experiencia que la ejecucin de la poltica tiene sobre sucesivos ejercicios de intervencin estatal. As, la evaluacin debe ser entendida como un proceso de aprendizaje o formacin; un instrumento para mejorar el conocimiento de los implicados en sus propios programas. Los responsables de estos aprenden a administrarlos, gestionarlos y adaptarlos a las necesidades del momento y del contexto, que se modifica constantemente. Este tipo de anlisis es tambin denominado evaluacin formativa (Scriven, 1967 y 1973). A la luz de los resultados de las evaluaciones, si se revela como necesario, los decisores pueden ir introduciendo modificaciones en el programa de cara a conseguir los objetivos propuestos o incluso pueden cambiar los objetivos si las necesidades de la poblacin han ido evolucionando en otra direccin. La evaluacin tiene, pues, una doble naturaleza: de control social y poltico de la actuacin en el desarrollo del proyecto global que supone un programa, que se dirige, por un lado, a garantizar el cumplimiento de los objetivos establecidos y, por otro, a mejorar la eficacia y eficiencia de la gestin funcionando como un proceso continuo de aprendizaje y formacin de los responsables de los programas y polticas pblicos.
Proceso de aprendizaje de los responsables de la gestin y ejecucin de programas
Evaluacin formativa
Mejorar la eficacia y eficiencia
4. Evaluacin como generadora de informacin

La evaluacin es una herramienta til para satisfacer las exigencias de informacin y transparencia de cuantos actores participan en el proceso socioeconmico. Debe dar respuesta a las necesidades informativas: Del poder legislativo y de la Administracin, para que a travs del ejercicio evaluatorio puedan enjuiciar el efecto conjunto y la eficacia relativa de sus actuaciones. De los centros gestores de las actuaciones del programa, para que tengan a su disposicin un poderoso instrumento de ayuda en la gestin, lo que sin duda permitir mejorar la eficacia y eficiencia de sus actuaciones.
La evaluacin debe dar respuesta a las necesidades informativas de: - El poder legislativo - Los centros gestores - La poblacin en general
Y de la poblacin en general, sobre el empleo de los recursos pblicos y, en concreto, a los grupos sociales especialmente afectados por una pol-
15
tica o programa, para que conozcan los efectos de la actuacin pblica. Adicionalmente, la informacin que se genera en la etapa de evaluacin prepara el terreno para la concertacin de los agentes socioeconmicos y grupos de inters que intervienen en los procesos de decisin pblica, favoreciendo los intercambios entre los diferentes agentes implicados a fin de introducir las modificaciones que demande la realidad.
Terreno para la concertacin
5. Evaluacin como tcnica de reforma de las prcticas de la Administracin

La incorporacin de prcticas de evaluacin, de forma interna o externa, en la Administracin constituye una estrategia del Sector Pblico, como agente con capacidad para actuar sobre objetivos econmicos y sociales, que permite aumentar la eficacia y eficiencia, sostenibilidad y estabilidad de las polticas pblicas. En este sentido, se trata de un cambio que afecta no slo a los parmetros o normas de las organizaciones sino al conjunto de actitudes, imgenes y actividades que conforman la gestin pblica. El desarrollo de procedimientos y formas organizativas y culturales ms flexibles son factores clave para generar una informacin de calidad que permita coordinar la toma de decisiones de los gestores y cumplir con los objetivos de las polticas. En este proceso de reforma, cobran un papel esencial los conocimientos y habilidades para la aplicacin y desarrollo de estas tcnicas de evaluacin por parte de las Administraciones implicadas. El objetivo ltimo de la evaluacin es, en este sentido, proporcionar las herramientas necesarias para continuar el proceso de reforma de la Administracin hacia una gestin ms eficaz y eficiente en una sociedad democrtica que exige transparencia en la gestin de los recursos pblicos, sobre todo en un contexto de descentralizacin poltico-administrativo como el actual. La evaluacin es, sobre todo, una cultura, una forma de entender la Administracin y la Gestin Pblica. Es, por tanto, algo ms que una tcnica o un requisito legal. La secuencia que se ha seguido en la presentacin de las funciones de la evaluacin en este epgrafe no es balad. Hasta hace poco tiempo la evaluacin se identificaba con control y auditora; hoy da, sin embargo, est comnmente aceptado que la funcin principal de la evaluacin no es exclusivamente verificar si los recursos previstos han sido bien aplicados o si las normas existentes han sido respetadas, sino valorar la oportunidad y bondad de una poltica o programa. Entendida de esta forma, como un instrumento al servicio de los decisores y gestores pblicos, para mejorar la eficiencia y eficacia de sus medidas, y para la sociedad en general, que quiere saber en qu y cmo se utiliza el dinero de sus impuestos, la evaluacin ha pasado a ser una tarea insoslayable y necesariamente integrada en el proceso de planificacin y programacin pblica.
Va para la reforma de la Administracin
Valorar la oportunidad y bondad de un programa
16
Se trata, en conclusin, de una tendencia evolutiva del marco en el que se desenvuelve la actividad del Estado. Desde esta perspectiva, anticiparse a los hechos, realizando evaluaciones de las polticas llevadas a cabo y de las que se van a iniciar puede constituir un slido punto de apoyo para la legitimacin de la intervencin estatal.
Tipos de evaluacin
De las clasificaciones de evaluacin propuestas en la literatura hemos seleccionado la siguiente tipologa:
Sumario Tipos de evaluacin segn:
Quin evala Interna Externa
Su funcin Sumativa Formativa
El contenido de la evaluacin Conceptual o de diseo Del proceso de aplicacin y gestin De resultados e impactos
La perspectiva temporal Ex-ante Intermedia Ex-post
A. Evaluacin interna frente a evaluacin externa

La evaluacin puede realizarse internamente, por personal del programa o por personal encargado de gestionarlo y ejecutarlo, o externamente, por especialistas externos contratados por la Administracin. Frente a la objetividad e independencia de la evaluacin externa, la evaluacin interna presenta como ventajas la mayor familiarizacin con el programa y por tanto un mayor conocimiento de sus mecanismos de gestin y ejecucin. De ah que lo ms recomendable sea la creacin de equipos de evaluacin mixtos, formados por personal ajeno al programa y por algunos responsables de su gestin y ejecucin.
Interna-externa
B. Segn su funcin
17
A Scriven (Scriven, 1967 y 1973) tambin se le conoce por acuar, diferenciando los tipos de evaluacin segn su funcin, los trminos de: Evaluacin formativa, que tiene por objetivo proporcionar informacin para mejorar el objeto evaluado, y
Formativa-Sumativa
Evaluacin sumativa, que es la que suministra informacin sobre si se debe de continuar o suspender un programa.
C. Segn el contenido de la evaluacin

Es posible distinguir tres tipos de evaluaciones en funcin de los elementos del programa que se estn evaluando: evaluacin conceptual o de diseo, evaluacin de la gestin o del proceso y evaluacin de los resultados e impactos.
Evaluacin conceptual o de diseo

Su objetivo es analizar el diseo del programa, esto es, su racionalidad y coherencia. El anlisis trata de verificar la bondad del diagnstico socioeconmico realizado (evaluacin de necesidades), constatar la existencia de objetivos claramente definidos y medibles, analizar su correspondencia con los problemas y examinar la lgica del modelo de intervencin diseado, tanto de forma interna al programa como en relacin con otras polticas y programas.
Racionalidad y coherencia
Evaluacin del proceso de aplicacin y gestin del programa

Consiste en examinar la forma en la que se gestiona y ejecuta el programa, esto es, su puesta en prctica. Trata de medir la capacidad de un organismo en relacin con el diseo, ejecucin, seguimiento y evaluacin de los programas y de valorar el grado de implicacin de los gestores con dichas tareas, su actitud, formacin, organizacin y la dotacin de recursos para llevarlas a cabo ptimamente. Por otro lado, la evaluacin de la gestin supone el estudio de la organizacin encargada de gestionar el programa y de sus procedimientos y criterios de funcionamiento interno.
Capacidad de gestin
Evaluacin de la puesta en prctica
Por tanto, afecta a todos los aspectos que influyen en la puesta en marcha de las actuaciones que llevarn a la ejecucin fsica y financiera de los programas.
Evaluacin de resultados e impactos

Trata de conocer hasta qu punto la poltica o programa aplicado est consiguiendo los objetivos establecidos (cuando es con referencia a objetivos) o est alcanzando los parmetros o criterios de valor definidos (cuando la evaluacin no est centrada en objetivos), y a que coste se consiguen (en trminos de tiempo, recursos humanos, recursos materiales y monetarios). En el primer caso estamos ante una evaluacin de
Eficacia y eficiencia
18
eficacia mientras que cuando se consideran los costes hablamos de evaluacin de la eficiencia. Suelen llevarse a cabo a dos niveles o escalas distintas:
a) Evaluacin de los resultados

Este nivel hace referencia a los objetivos ms inmediatos y directos perseguidos con la actuacin. Su evaluacin se centra en analizar los efectos sobre los usuarios/beneficiarios del programa (empresas, desempleados, grupos de atencin especial, etc.).
Objetivos directos e inmediatos
b) Evaluacin de los impactos

Por impacto se entiende el efecto o consecuencia ms general del programa. Consiste en analizar el efecto de la poltica en los agregados macroeconmicos o espaciales (crecimiento del PIB, distribucin de la renta, estructura productiva, tasas de paro y actividad, etc.). Algunos autores equiparan el nivel de resultados con los efectos sobre la poblacin objetivo definida en el programa de la intervencin y el nivel de impactos con aquellos efectos sobre la poblacin en general. El evaluador debe deslindar los efectos del programa de otros externos para determinar en qu medida los cambios son debidos a la intervencin.
Objetivos generales
D. Segn la perspectiva temporal

El cuarto criterio hace referencia al momento en que se va a llevar a cabo la evaluacin en relacin con la aplicacin o puesta en marcha del programa. Con arreglo a este criterio es posible distinguir tres tipos de evaluacin: ex-ante, intermedia y ex-post.
La evaluacin ex-ante
Se realiza antes de ejecutar el plan, poltica o programa, siendo su objetivo principal analizar su adecuacin a las necesidades que lo motivan y sus posibilidades de xito. Es decir, garantizar a priori que el programa, tal y como ha sido concebido, conseguir los objetivos para los que se ha planificado. Ms all del examen conceptual, la evaluacin ex-ante tambin se pronuncia sobre la funcionalidad de los mecanismos de gestin y seguimiento, sobre la coherencia de cada una de sus lneas de actuacin y sobre el impacto previsible del programa, y acerca de su eficiencia, entendida como la relacin costes-beneficios sociales y econmicos que se pueden obtener mediante su aplicacin.
Antes de la aplicacin del programa
La evaluacin intermedia
19
Se lleva a cabo a medio camino en la ejecucin. Consiste en el anlisis crtico del conjunto de datos recogidos sobre el programa y en la medicin de la forma en la que los objetivos perseguidos estn siendo alcanzados, explicando las diferencias y estimando anticipadamente los resultados finales de la intervencin. Las evaluaciones intermedias se pronuncian sobre la validez de la intervencin en curso, la pertinencia de los objetivos considerados y calidad del sistema de gestin y seguimiento del programa. Su objetivo principal es obtener una informacin relevante y precisa que permita introducir las modificaciones necesarias en el diseo o ejecucin del programa.
Durante la aplicacin del programa
Para ello, durante la ejecucin, resulta imprescindible recoger datos que describan el comportamiento del programa. Esta tarea de recopilacin de informacin es la que se denomina seguimiento. As, el seguimiento constituye una tarea que exige un esfuerzo notable de recogida de informacin, tanto fsica como financiera; informacin que es relevante y necesaria, para valorar, una vez finalizado el programa o a medio camino en su ejecucin, el impacto, la eficiencia y la eficacia del mismo y de cada una de sus actuaciones.
La evaluacin ex-post
Se realiza una vez finalizado el programa. Permite enjuiciar el xito del programa, el acierto de la estrategia diseada en el mismo, su grado de flexibilidad y capacidad de adaptacin a una realidad siempre cambiante, su eficacia y eficiencia y la adecuacin de los mecanismos de gestin y seguimiento previstos. Ahora bien, estos dos ltimos criterios de clasificacin (segn el contenido y segn la perspectiva temporal) no son excluyentes. Las evaluaciones exante, intermedia y ex-post pueden englobar todos los tipos de evaluacin contemplados en la clasificacin segn su contenido, con la nica diferencia de que ahora se realizan antes, durante o despus de la ejecucin del programa. Por tanto, esta clasificacin de la evaluacin en funcin del momento en que se haga en relacin con la aplicacin del programa no debe confundirse con la clasificacin en funcin de las fases de desarrollo de un programa, que se corresponde con los tipos de evaluacin segn su contenido. Por ejemplo, antes de la aplicacin o ejecucin de un programa (ex-ante) se pueden realizar todos y cada uno de los tipos de evaluacin definidos. De este modo, los objetivos generales de una evaluacin ex-ante podran ser: 1. 2. Asegurar la racionalidad y coherencia de la intervencin. Garantizar que el sistema de gestin diseado (incluido el sistema de seguimiento) y los recursos a l asignados (humanos, materiales, financieros, etc.) son los adecuados para poder ejecutar el programa y obte-
Despus de la aplicacin del programa
20
ner los resultados previstos. 3. 4. Prever y, en la medida de lo posible, cuantificar los impactos del programa. Realizar un anlisis coste-beneficio que permita comparar la estrategia de intervencin escogida con otras alternativas.
Objetivos generales de la evaluacin ex-ante
Cada uno de estos objetivos se correspondera con un tipo de evaluacin distinta:

Perspectivas de evaluacin ex-ante Objetivo 1 Objetivo 2 Objetivo 3 Objetivo 4 Evaluacin conceptual o de diseo Evaluacin ex-ante de la gestin Evaluacin ex-ante de impactos (eficacia) Evaluacin ex-ante de eficiencia
Todos estos anlisis evaluativos son relevantes aunque en algunas ocasiones el anlisis ex-ante se reduce a una evaluacin conceptual o de diseo, hasta tal punto que ambos conceptos (ex-ante y conceptual) suelen confundirse y utilizarse indistintamente. A medio camino en la ejecucin son la evaluacin de la gestin, de la eficacia y de la eficiencia, las tareas evaluatorias, en principio, ms tiles y pertinentes. Por ltimo, una vez finalizado el programa, es la evaluacin de impactos el principal objetivo de la evaluacin; indagando en las cuestiones relacionadas con el diseo y conceptualizacin del programa y en la gestin, ms con el objetivo de explicar las causas de las discrepancias encontradas que como un objetivo en s mismo. Por tanto, la perspectiva que clasifica la evaluacin segn su contenido ampla la interpretacin de la evaluacin como una fase independiente del ciclo de vida del programa, para definirla como una filosofa o cultura que debe imbuir todas y cada una de las fases de elaboracin y ejecucin de programas. Este es el motivo del enfoque que sigue la metodologa que se desarrollar en los captulos siguientes: ofrecer un marco comn adaptable a todos los tipos de intervencin pblica.
Enfoque integral de la evaluacin
21
Enfoque integral de la evaluacin

NECESIDADES PROBLEMAS SOCIEDAD IMPACTOS
OBJETIVOS ACCIN PBLICA RACIONALIDAD
INSTRUMENTOS
RESULTADOS
EFICIENCIA COHERENCIA EFICACIA EVALUACIN DE IMPACTOS
EVALUACIN
Fuente: Adaptado de Jacques Plante, 1.991, en Plan-ENA, Outils, pratiques et institutions pour valuer les politiques publiques, la Documentation Franaise
Toda accin pblica pretende incidir en la sociedad actuando sobre las necesidades y problemas detectados con el objetivo de provocar un impacto o cambio de esa realidad. Para ello, se define y articula un conjunto de objetivos y se pone en marcha una serie de instrumentos. El propsito de la evaluacin es analizar las distintas etapas, desde que se decide intervenir hasta que se manifiestan los impactos, comprobando la validez, tanto interna como externa, de las hiptesis causales de la intervencin.
Evaluabilidad
En principio y, antes de realizar una evaluacin, hay que considerar quines son sus destinatarios, qu informacin necesitan y cundo, cmo y para qu se utilizarn los resultados y qu fuentes de informacin y con qu recursos se cuenta para llevar a cabo la evaluacin. Las respuestas a estas cuestiones determinarn el tipo de evaluacin ms apropiado. Antes de realizar la evaluacin se debe:
Identificar a los usuarios de la evaluacin Conocer los intereses y motivaciones que hay detrs de la evaluacin Determinar, anticipadamente, la utilidad de la evaluacin Establecer los objetivos de la evaluacin Determinar qu cuestiones se van a analizar Con qu tiempo y recursos se cuenta para realizar la evaluacin
Decidir el tipo de evaluacin que se va a realizar
22
En funcin de estos elementos se debe analizar hasta qu punto el programa es evaluable. Esta cualidad debe contrastarse como paso previo y absolutamente necesario a toda evaluacin puesto que condiciona su calidad y utilidad, al tiempo que permite evitar gastos y esfuerzos innecesarios (Wholey, 1979). Los elementos que condicionan la evaluabilidad de un programa dependen del enfoque de evaluacin que se demande y de las necesidades de informacin de las partes interesadas. El concepto de evaluabilidad hace referencia a la posibilidad de ser evaluado. En sentido genrico, existen tres aspectos principales que determinan la evaluabilidad de un programa: 1. La calidad de la planificacin/programacin. Distinguimos entre:
Posibilidad de ser evaluado
Una evaluacin centrada en objetivos. Cuanto ms imperfecta sea la planificacin (objetivos vagamente definidos, saltos en las cadenas de objetivos, etc.) ms dificultosa se convierte la evaluacin. Esto es as, puesto que, como se ver ms adelante, durante la fase de evaluacin la lgica de "arriba abajo" que gua la tarea de planificacin y programacin se invierte, transformndose en una lgica de "abajo a arriba", remontando desde las acciones concretas a los objetivos especficos y generales que se persiguen con el programa. Una evaluacin sin referencia a objetivos. En este caso la calidad de la planificacin/programacin influye en menor medida en su evaluabilidad puesto que este tipo de evaluacin persigue fundamentalmente conocer el impacto del programa, pero no necesariamente el impacto deseado o previsto, sino cualquier tipo de impacto,previsto o no previsto, deseado o no deseado.
2. La existencia de la necesaria informacin en cantidad y calidad suficiente. La disponibilidad de esta informacin es una condicin sine qua non para poder evaluar cualquier tipo de intervencin, independientemente del enfoque de evaluacin que se escoja. Capacidad de gestin de la Administracin en relacin con la evaluacin. Son otros factores, todos ellos relacionados con la gestin de los programas, los que determinan de forma importante su evaluabilidad: Nmero de responsables y gestores del programa. Implicacin de los gestores en la tarea evaluatoria y actitud ante la misma (entusiasmo, resistencia). Para evaluar un programa es condicin indispensable que los responsables de su ejecucin y gestin quieran ser evaluados. Nivel de formacin de los cuadros de la Administracin vinculados con las tareas evaluatorias. Conocimientos de evaluacin de ese personal.
Aspectos que determinan la evaluabilidad: - Calidad de la planificacin/programacin - Existencia de informacin - Capacidad de gestin
3.
23
Dotacin de recursos para la evaluacin: presupuesto, medios tcnicos, recursos humanos y tiempo. En ltima instancia, el objetivo perseguido con el anlisis de evaluabilidad es crear un clima favorable de cooperacin e interaccin entre evaluados y evaluadores de forma que se faciliten las tareas que posteriormente habr que emprender para realizar las evaluaciones. Intenta de un modo sistmico examinar la idoneidad de la lgica y de las relaciones de causalidad entre las actividades programadas, objetivos y fines y la adecuacin de los sistemas de gestin y seguimiento articulados para la ejecucin del programa. Tambin trata de analizar el grado de aceptacin y capacidad de los decisores polticos, gestores y tcnicos para la puesta en funcionamiento del seguimiento y evaluacin. Por otro lado, es necesario tener en cuenta, desde un punto de vista metodolgico, algunas cuestiones intrnsecas al programa que se va a evaluar. No se puede acometer de la misma forma, por ejemplo, la evaluacin de un programa nuevo que la de un programa establecido desde hace tiempo. As es necesario distinguir, entre otras, las siguientes caractersticas:
Caractersticas de los programas

Programas que se han diseado de acuerdo a un modelo terico de planificacin Programas que no responden a ningn modelo de planificacin Programas con objetivos ambiguos y generales Programas que no cuentan con un plan de ejecucin detallado Programas donde no se define la poblacin objetivo Programas que no han diseado un sistema de gestin e informacin adecuado Programas tradicionales anteriormente experimentados Programas de corte sectorial Programas de mbitos (regional, nacional...) superiores o

Programas con objetivos claros y especficos Programas con un plan de ejecucin detallado Programas donde se especifica la poblacin objetivo a la que va dirigida la intervencin Programas que tienen un sistema de gestin e informacin operativo Programas nuevos o innovadores Programas de corte horizontal Programas de mbito local

Programas especficos a un territorio o colectivo Programas nicos en un territorio o para un colectivo Programa que tiene una nica fuente financiera
Programas que se ejecutan en varios territorios o para varios colectivos Programas que convergen con otros en el mismo territorio o para el mismo colectivo Programas que tienen ms de una fuente financiera
Fuente: Adaptado de Patton, 1987.
24
Toda vez que se ha constatado la posibilidad de realizar la evaluacin y que se conocen las caractersticas del programa a evaluar, el paso siguiente es determinar qu tipo de evaluacin realizar en relacin con los objetivos que persigan con la evaluacin los actores implicados (evaluados y evaluadores).
Anexo: Utilidad del anlisis de evaluabilidad Esta metodologa de evaluacin la aplic el IDR al Programa Operativo de Andaluca dando como resultado dos informes: * "Informe preparatorio del P.O.A. 1994-99: anlisis de evaluabilidad". * "Informe de evaluacin intermedia del P.O.A. 1994-99". El primero de los informes incorpora desarrollos metodolgicos para el anlisis de los tres elementos principales que determinan hasta qu punto un programa es evaluable: calidad de la planificacin, sistema de informacin y capacidad de gestin. Se examin la idoneidad de la lgica y de las relaciones de causalidad entre las actividades programadas, objetivos y fines y la adecuacin de los sistemas de gestin y seguimiento articulados para la ejecucin del Programa. Las conclusiones generales del mismo pusieron de manifiesto un conjunto de debilidades en el diseo del Programa y en el sistema de informacin, con especial incidencia en la definicin de los indicadores de seguimiento y evaluacin. Adems, una encuesta a gestores y responsables de las acciones, realizada con el objetivo de analizar el grado de aceptacin y capacidad de los decisores polticos, gestores y tcnicos para la puesta en funcionamiento del seguimiento y evaluacin, confirm las hiptesis sobre el bajo grado de implantacin de las tareas de seguimiento y evaluacin y la existencia de elementos que obstaculizaban la internalizacin de estos procesos. Estas afirmaciones demostraban la insuficiente capacidad de gestin para realizar las tareas de seguimiento y evaluacin por parte de los cuadros tcnicos de la Administracin. La reprogramacin del P.O. de Andaluca permiti constatar, en el informe de evaluacin intermedia, la introduccin de cambios cualitativos que dotaron de racionalidad y coherencia al programa y que mejoraban el sistema de seguimiento y gestin acordes con las recomendaciones y pautas a seguir que se marcaron en el informe de evaluabilidad. An as, la recomendacin central del informe intermedio, abundaba en esta lnea a la par que avalaba la utilidad del anlisis de evaluabilidad con carcter previo a las evaluaciones intermedias y ex-post. La evaluabilidad es una tipologa de estudio que refuerza y complementa las evaluaciones de carcter temporal (ex-ante, intermedia y ex-post) ya que pone a disposicin de los responsables del diseo y ejecucin del programa un conjunto de orientaciones que les permite introducir cambios que mejoran, cualitativa y cuantitativamente, el diseo del Programa y los mecanismos de gestin y ejecucin, en cualquier momento o etapa del ciclo de vida de un proyecto/programa.
25
Notas al pie:
1
PPBS: Program Planning Budgeting System o sistema de planificacin presupuestaria por programas. PES: Public Expenditure Survey: Sistema para introducir la evaluacin en el proceso formal de discusin del gasto pblico y RCB: Rationalisation Choix Budgtaire, para la racionalizacin de la eleccin presupuestaria, desarrollado en Francia. En Asia se llevaron a cabo evaluaciones de programas de planificacin familiar; en Latinoamrica de nutricin y salud pblica y en frica de programas agrcolas y desarrollo de comunidades y poblados. (Rossi & Freeman, 1993, pg. 11). Centro de gasto es la unidad o agencia administrativa que con presupuesto propio o no, ejecuta programas o proyectos. El modelo experimental como tcnica de anlisis se ver en el captulo 5. Ver captulo 3.
3.
4. 5
26
Captulo 2 Evaluacin conceptual o de diseo
La evaluacin conceptual o de diseo de

un programa tiene como objetivo la revisin de los elementos que justifican su necesidad y la forma en que se articula. En este captulo se desarrollarn estos conceptos y la metodologa para su evaluacin. Se sigue un esquema tecnocrtico que parte de los supuestos de existencia de un estudio de necesidades, objetivos y estrategias de intervencin definidos y se analizan las relaciones que vinculan dichos elementos.
En el primer enfoque la identificacin y jerarquizacin de problemas y la articulacin de las relaciones causaefecto la realiza el equipo de planificacin sin contar con las aportaciones de los implicados en el programa. En el segundo se enfatiza la importancia del consenso y la participacin activa de polticos, gestores pblicos, agentes sociales y beneficiarios ltimos en la identificacin de problemas, establecimiento de objetivos y determinacin de las medidas concretas de actuacin.
Para
introducir estos trminos, se
presenta, de forma descriptiva, la perspectiva holstica de la planificacin, que integra la evaluacin desde el primer momento en que se decide intervenir. En los apartados posteriores se plantean sucesivamente los elementos y relaciones a examinar para explicar las distintas fases y tareas de la evaluacin.
Siempre que se desee que el proceso de

ajuste necesario no sea traumtico y provocador de conflictos sociales de consecuencia difcilmente reparables, es recomendable, adems de una planificacin integrada que atienda a la solucin jerarquizada de los estrangulamientos, un permanente dilogo poltico y social.
Planificacin y evaluacin: una visin integral
Cualquier
tipo de intervencin pblica
parte, o debera partir, de un anlisis riguroso de la realidad: problemas y necesidades, causas y consecuencias de los mismos. Slo a partir de la correcta identificacin de estas variables es posible proponer objetivos y medidas que contribuyan a lograrlos.
Consideramos
que la segunda de las
Las formas de abordar esta fase de la

planificacin (deteccin, conceptualizacin y explicacin de los problemas y elaboracin del diagnstico) oscilan entre las orientaciones ms "autrquicas" hasta aquellas ms acordes con la planificacin estratgica.
formas de abordar la planificacin es la ms correcta; la planificacin de un programa o poltica debe pasar ineludiblemente por el consenso poltico y la concertacin con los agentes sociales afectados. Permite obtener una imagen de la realidad ms pluralista y contrastada y adems garantiza la colaboracin y el apoyo de todos aquellos que participan en el programa, aspecto central para el xito del mismo.
28
Ahora
bien, cualquiera que sea el
La
evaluacin se integra, en esta
enfoque de planificacin elegido, la imagen formada de la realidad que se quiere modificar se contrapone con la imagen ideal a la que se quiere llegar con el programa. Esto es en s la esencia de la planificacin. Cuanto ms claramente estn identificados los problemas y sus causas, y mejor vinculados estn con los objetivos, ms fcilmente se puede abordar el diseo de la estrategia de intervencin.
concepcin holstica, desde el primer momento de la planificacin y no en una ltima fase, independiente y asociada exclusivamente al anlisis de los resultados e impactos del programa. Planificacin y evaluacin se convierten en procesos relacionados que caminan a la par.
Frente al esquema lineal que sita a la

evaluacin en el ltimo peldao de la "escalera" de planificacin, la perspectiva integral la incorpora en todas sus fases, con independencia del momento en que la evaluacin se realice.
Este
paso,
que
se
denomina
transformacin de la "imagen en negativo" a "imagen en positivo", y que convierte las relaciones entre las causas y efectos de los problemas en relaciones entre fines y medios, es la base que utilizaremos en este captulo para la evaluacin conceptual o de diseo de un programa.
Tcnicas Delphi y DAFO El anlisis de los distintos modelos o tcnicas de planificacin sobrepasan los objetivos de este trabajo. A modo de ejemplo, se pueden considerar las posibilidades que ofrecen las tcnicas Delphi y DAFO. Tcnica DELPHI Su ventaja radica en su carcter abierto en lo referido a la participacin de agentes ms o menos implicados en dicho proceso. Consiste en la apertura de vas de comunicacin y debate, entre los diversos agentes interesados a partir de la informacin obtenida mediante otras tcnicas como la entrevista o la encuesta. El debate o discusin centrado en torno a las conclusiones de partida puede repetirse en sucesivas ocasiones segn se considere conveniente para conseguir unos resultados ms elaborados o si la complejidad de la situacin tratada lo requiere. Tcnica DAFO (Debilidades, Amenazas, Fortalezas y Oportunidades) La tcnica Dafo parte de cuatro variables que afectan a un mbito de actuacin concreto, a la hora de establecer un diagnstico de situacin. Dos de estas variables son de carcter intrnseco al estudio: debilidades y fortalezas, que son aquellas propiedades (negativas o positivas) que lo caracterizan. Las dos variables restantes son de tipo externo: conjunto de elementos y factores del entorno que inciden negativa o positivamente en el mbito de anlisis.
29
Evaluacin de racionalidad y coherencia

A la hora de llevar a cabo la evaluacin conceptual o de diseo su responsable debe responder a una serie de preguntas que estn directamente relacionadas con las hiptesis que en el proceso de planificacin se han planteado.
Principales interrogantes Estn adecuadamente conceptualizados los problemas? ................................ ...................
Cuestiones a resolver
Cul es la naturaleza y dimensin de los mismos? ................................ ............................... Cmo se distribuyen y a quin afectan? ................................ ................................ ................. Estn cuantificados? ................................ ................................ ................................ .................... Existe consenso social sobre los problemas identificados y su jerarquizacin? ................................ ................................ ................................ ................................ . Responden los objetivos del programa a las necesidades y
problemas de la poblacin? ................................ ................................ ................................ ...............
Son los objetivos alcanzables y realistas? Estn cuantificados o son medibles? ................................ ................................ ................................ .... Qu criterios se han utilizado para establecer las jerarquas de objetivos o estrategias? ................................ ................................ ................................ .......... Cul es la base de las hiptesis subyacentes en la estrategia diseada? ................................ ................................ ................................ ................................ ............ Est el programa diseado adecuadamente como para alcanzar los objetivos que persigue? ................................ ................................ ................................ .......
En definitiva,
existe racionalidad y coherencia en el diseo del programa?

Metodologa
La metodologa que estimamos ms apropiada a seguir para la evaluacin de estos elementos tiene la estructura que se presenta en el siguiente grfico1.
Sumario
Evaluacin conceptual
Evaluacin de los elementos que justifican la necesidad y estrategia del programa Racionalidad Relevancia Anlisis del diagnstico Pertinencia Calidad en la definicin de objetivos Interna Anlisis de la estrategia Coherencia Externa Otros planes, programas y normativas
30
Racionalidad. Implica el anlisis de la relevancia y pertinencia del programa. Es el examen de las relaciones entre las necesidades y/o problemas detectados en el mbito espacial donde se ejecuta el programa (y para una poblacin objetivo determinada) con los objetivos establecidos para la mejora o solucin de dichos problemas. a)
Diagnstico y objetivos
Relevancia. Consiste en la evaluacin del diagnstico plasmado en el programa.
b) Pertinencia. Consiste en la evaluacin de la calidad y adecuacin de la definicin de los objetivos. Coherencia. Es la evaluacin de la adecuacin de la jerarqua de objetivos establecidos en el programa y de la estrategia diseada para su consecucin. Debemos diferenciar dos niveles de anlisis diferentes: a)
Coherencia interna. Evaluacin de la articulacin de los objetivos con los instrumentos de la estrategia y su adecuacin con los problemas.
b) Coherencia externa. Anlisis de la compatibilidad tanto de los objetivos como de la estrategia del programa con otras polticas y programas con los que puedan tener sinergias o complementariedad, en el tiempo o en el espacio. Racionalidad y coherencia son dos aspectos relacionados e interdependientes. Un programa coherente en el sentido de una ptima correlacin entre actuaciones, medios y objetivos tendr solamente un impacto parcial y limitado si no es racional; si no existe relacin clara entre problemas, causas y objetivos. Son dos anlisis diferentes pero complementarios. A continuacin se tratan estos elementos de forma individualizada.
Anlisis diferentes pero complementarios
Relevancia
La evaluacin del diagnstico es el primer paso en la evaluacin de la racionalidad de un programa o intervencin. La accin de verificar, medir la magnitud y localizacin de problemas y de su poblacin objetivo es crucial ya que son los aspectos que justifican y dan origen a la intervencin. El objetivo esencial es, por lo tanto, analizar la calidad y veracidad del diagnstico. Se trata de conocer: hasta qu punto se ha identificado adecuadamente el alcance del problema y las caractersticas bsicas del mismo para hacerle frente, y la metodologa y fuentes usadas para su determinacin.
Evaluacin del diagnstico
31
Modificacin del entorno y presin de los agentes socio-econmicos
No obstante, la continua modificacin del entorno poltico social e institucional, en el que tiene lugar la toma de decisiones sobre la localizacin y asignacin de los recursos pblicos, imposibilita en numerosas ocasiones una aproximacin absolutamente racional al problema de dnde, cundo y cmo intervenir. Ms an, en muchas ocasiones, es la presin de los agentes socio-econmicos, sectores productivos y la opinin pblica, la que contribuye a fomentar la toma de decisiones polticas no sustentadas en anlisis rigurosos de la realidad. Esta imagen de la realidad, sin embargo, raras veces es nica para todos, acentundose esta divergencia en el establecimiento de las interacciones entre causas y efectos. En la prctica, la evaluacin de la calidad del diagnstico depende del nivel de conocimiento que posea el equipo evaluador de la realidad sobre la que se acta. Cuanto mayor sea ste, ms fcil es detectar posibles omisiones, incorrecciones en los datos utilizados, realizar una valoracin crtica del hilo argumental, etc. Por tanto, en el caso de equipos evaluadores sin conocimientos especficos sobre la situacin a evaluar, los resultados finales tendern a ser de orden formalista o, a lo sumo, de carcter meramente lgico, sin que se pueda realizar una valoracin ms profunda de los elementos ausentes o inadecuadamente utilizados. Para evaluar la calidad del diagnstico se deben revisar los siguientes elementos: 1. 2. Definicin y jerarquizacin de las necesidades que afectan a la poblacin objetivo. Anlisis del contexto socioeconmico externo.
La imagen de la realidad no es nica
1. Definicin y jerarquizacin de las necesidades que afectan a la poblacin objetivo

La determinacin del tamao, distribucin y densidad de los problemas que afectan al mbito de actuacin del programa y de las potencialidades susceptibles de explotacin son aspectos fundamentales para el posterior diseo de la estrategia. As mismo, constituye un factor fundamental la delimitacin correcta de la poblacin objetivo a la que va dirigida el programa. El objetivo de la evaluacin del diagnstico en relacin con estos elementos es conocer hasta qu punto se han identificado adecuadamente las caractersticas de los mismos: problemas, potencialidades y poblacin objetivo. A) El apropiado establecimiento de los problemas y fortalezas exige que los mismos sean:
Explcitos
Problemas, potencialidades y poblacin objetivo
Explcitos. Deben estar claramente resaltados como tales y no incluirse en una estructura discursiva de donde sea prcticamente imposible extraerlos. Conceptualmente claros, no permitiendo dudas ni ambigedades sobre el modo y la forma en que se exponen ni sobre su contenido.
Claros
32
Rigurosos, esto es, deberan proporcionar una imagen "fiel" de la situacin de la poblacin objetivo sobre la que se pretende intervenir. Completos, de manera que sirvan para caracterizar exhaustivamente la realidad objeto de intervencin. Medibles. Las necesidades que se presentan en el programa deben aparecer, en la medida de lo posible, cuantificadas. En todo caso deben ser mensurables. Deben especificarse las fuentes de informacin y los trabajos de investigacin realizados sobre los que se basa el diagnstico; y si han participado agentes clave, gestores, ejecutores y afectados por el problema. El papel del equipo evaluador es comprobar que la imagen "en negativo" reflejada en el programa cumple todos estos aspectos y se corresponden con la realidad sobre la que se pretende intervenir. Ahora bien, tan importante como la definicin y cuantificacin de los problemas es la determinacin de las causas y consecuencias de los mismos. La presentacin grfica de las relaciones causa-efecto de los problemas y fortalezas facilita su interpretacin y evaluacin. Los "rboles o diagramas de flujos"2 son una de las herramientas ms tiles al efecto. Son representaciones descriptivas de relaciones causa-efecto que adoptan visualmente la forma de rbol debido a las ramificaciones en cascada de dichas relaciones.
rbol de problemas
El equipo de trabajo encargado de elaborar el Plan de Modernizacin del Sector Pesquero Andaluz (Instituto de Desarrollo Regional), siguiendo el Enfoque del Marco Lgico, identific como problema focal la ineficiente comercializacin y distribucin de los productos pesqueros andaluces. ste y sus causas se recogen en el siguiente rbol de problemas.
El sector extractivo no incrementa la calidad de la oferta Escasa participacin del sector extractivo en el valor aadido del producto Escaso poder del sector en la determinacin de las condiciones de venta de su produccin Desconexin del sector extractivo con las actividades de comercializacin y distribucin Inadecuadas infraestructuras de comercializacin y distribucin Mercados de productos pesqueros no transparentes
Rigurosos
Completos
Medibles
Fuentes de informacin
Papel del equipo evaluador
Causas y consecuencias rboles de problemas
Desabastecimiento de los mercados e insatisfaccin de la demanda de productos pesqueros andaluces Ineficiente comercializacin y distribucin
Inexistencia de estrategias de diferenciacin de productos frente a las importaciones procedentes de otros pases y regiones
No se realizan campaas de promocin y publicidad
Escasa capacidad de control y sancin de los rganos inspectores y sancionadores Descoordinacin en la actuacin de los organismos inspectores y sancionadores competentes
Escasa regulacin y control de los mercados pesqueros
Escasa ordenacin proceso de comercializacin en origen Incumplimiento de las normas comerciales que conforman el Mercado nico
Fuente: Plan de Modernizacin del Sector Pesquero Andaluz. Consejera de Agricultura y Pesca, Junta de Andaluca. 1997
33
Rediseo
El establecimiento de las causas y efectos de los problemas debe venir especificado en el programa, consistiendo el trabajo del equipo evaluador en contrastar si la jerarquizacin que se ha realizado presenta incongruencias lgicas y si recoge todos los condicionantes significativos de los problemas. Sin embargo, no es muy frecuente la existencia de programas perfectamente diseados, donde las cadenas causales no presenten "saltos" ni deficiencias importantes. El trabajo del equipo evaluador abarca, en este caso, el "rediseo" del programa, suponiendo su participacin una gran contribucin al proceso de evaluacin (Wholey, 1979). B) En relacin con la delimitacin de la poblacin objetivo, el equipo planificador debera haber incluido cual es el grupo que rene las caractersticas apropiadas para su participacin en el programa y comprobar la motivacin e inters del mismo de cara a asegurar su colaboracin en el desarrollo de la intervencin. La poblacin objetivo a la que va dirigida el programa, o "poblacin diana", puede estar compuesta por un grupo de personas, organizaciones y condiciones (fsicas, financieras, geogrficas y polticas) sobre las que se pretende influir, bien para modificar las variables de partida, bien para asegurar su estado actual ante amenazas de deterioro de la situacin presente.
Definicin de poblacin objetivo Veamos un ejemplo de identificacin, en trminos absolutos, de la poblacin objetivo para una medida de formacin profesional. La actuacin en concreto se instrumenta a travs de programas de formacin para colectivos con especiales dificultades de insercin laboral. El objetivo de esta medida es mejorar la cualificacin profesional de los colectivos que soportan altas tasas de desempleo y presentan mayores dficits formativos para adaptarse a los requerimientos del sistema productivo. As, la poblacin objetivo se define como: colectivos desempleados que acrediten debidamente esta situacin mediante inscripcin en el INEM (Instituto Nacional de Empleo), y que renan algunas de estas caractersticas:
Personas en busca del primer empleo Mujeres con cargas familiares Jvenes desempleados menores de 25 aos Parados de larga duracin Personas afectadas por discapacidades
Fuente: Programa Operativo de la Provincia de Sevilla (FSE). Medida 1.3.2. Formacin de colectivos con especiales dificultades.
34
Los aspectos a evaluar son los siguientes: Comprobar si se ha realizado un "estudio de necesidades" y, en caso afirmativo, analizar su calidad. Los estudios de necesidades estn orientados a examinar qu problemas y potencialidades afectan a la poblacin destinataria del programa. Cuantificacin, en trminos absolutos o relativos, de la poblacin objetivo. Verificar si se ha determinado, de la forma ms exacta posible, las caractersticas que debe reunir la poblacin para formar parte del programa y los criterios para su seleccin. Evaluacin de la cobertura prevista en el programa. Consiste en determinar hasta qu punto la definicin de la poblacin objetivo incluida en el programa es congruente con las necesidades que se han puesto de manifiesto y con las restricciones financieras y temporales establecidas. Se pueden presentar dificultades en la ejecucin y desviacin en los resultados: una "infraestimacin": proporcin de la poblacin que realmente debera participar en el programa pero que queda excluida, una "sobrestimacin": participantes de un programa que no estaban inicialmente previstos.
Estudio de necesidades
Cuantificacin
Caractersticas
Cobertura prevista
Para analizar la cobertura prevista de un programa hay que: determinar si existe sesgo en la delimitacin de la poblacin objetivo, esto es, si se prev o no dar un tratamiento equilibrado a los distintos grupos que forman la poblacin objetivo, y efectuar un anlisis sobre las posibles barreras para acceder al programa: conocimiento del mismo por parte de la poblacin objetivo; accesibilidad fsica, y aceptacin squica o motivacional.
Estimacin incorrecta En el ejemplo siguiente nos encontramos con un problema de estimacin incorrecta de la poblacin objetivo: En una intervencin social diseada para rehabilitar a delincuentes juveniles en un suburbio, se descubri, despus de terminar el programa, que no haba delincuentes juveniles en la comunidad. Los planificadores creyeron que como la delincuencia juvenil era un problema general de la sociedad, podra encontrarse tambin en esta comunidad.
Fuente: Rossi, P. y Freeman, H., 1993.
35
2. Anlisis del contexto socioeconmico externo

Se denomina contexto socioeconmico externo, o contexto operativo, a todos los elementos del entorno (econmicos, polticos, legales, institucionales, etc.) de la intervencin y que afectan a la misma de forma directa e indirecta. Es decir, es la parte de la realidad que conforma las condiciones externas del programa, cuyas variables afectan a su ejecucin y sobre las cuales los planificadores y gestores no tienen un control directo, pero que necesariamente hay que sopesar para garantizar el xito de la intervencin. Los pasos para evaluar la calidad del anlisis del contexto socioeconmico que debe incluir un programa son: Verificar la inclusin de estudios de contexto operativo en el programa, identificando las variables que los integran.
Pasos a seguir
Elementos del entorno
Analizar la definicin de dichas variables. Deben ser instrumentales y estar dirigidas a la correcta identificacin de la problemtica sobre la que se pretende actuar. Es necesario, en este caso, revisar qu estudios de la situacin actual y pasada se han realizado. Comprobar la existencia de estudios de proyeccin de tendencias futuras donde se analicen cmo influirn los elementos del contexto externo en la ejecucin del programa y en los resultados e impactos buscados. Su anlisis servir para modelizar los distintos escenarios posibles de la intervencin. Examinar las fuentes de documentacin e informacin utilizadas para su determinacin. Hay que valorar si son rigurosas y fiables, si estn actualizadas y si son homogneas y comparables temporal y espacialmente.
Contexto externo. Akademgorok
Este ejemplo ilustra la importancia de tener en cuenta en los procesos de planificacin los factores del contexto externo y por tanto la necesidad de evaluar la calidad del anlisis de dichos factores. Akademgorok (cerca de Novosibirisk, principal centro industrial de Siberia) se planific en 1975 como una Ciudad de la Ciencia, emplazamiento planificado y construido por el gobierno. El objetivo era "la generacin de excelencia cientfica y actividades investigadoras sinrgicas" mediante la concentracin de una masa crtica de organizaciones y cientficos dedicados a la investigacin dentro de un espacio urbano de alta calidad. Sin embargo: Su ubicacin se realiz en una zona deshabitada a 25 kilmetros de Novosibirisk; un bosque que en primavera se llenaba de sanguijuelas. Para eliminarlas se usaron insecticidas que acabaron con la mayora de la flora y fauna, por lo que se tuvo que suspender el tratamiento. Una de las caractersticas clave del proyecto era la implantacin de empresas industriales para establecer vnculos entre la investigacin y su aplicacin. Sin embargo, los responsables de las empresas decidieron que cada una dependiera de sus propios institutos y no estuvieran vinculadas a los de la Ciudad de la Ciencia. No se tuvo en cuenta que no haba servicios de trenes para ir a la Ciudad de la Ciencia y slo exista un servicio de autobuses (el tiempo medio de espera del autobs era de 30 minutos a temperatura media de 30 bajo cero). Por otro lado, se agudiz la crisis de los aos 60-70 y no se pudieron resolver los problemas de vivienda que existan. Akademgorodok se convirti en un suburbio. A esto se le uni la imposibilidad de movilidad de la mano de obra y la incorporacin de la mujer al mercado de trabajo, lo que tuvo como consecuencia un excedente de trabajadores muy importante.
36
Fuente: Resumen adaptado de Manuel Castells y Peter Hall, (1994). Cancin triste de las Ciudades de la Ciencia, innovacin planificada? El Sueo Siberiano: Akademgorodok, en Castells, M. y Hall, P. (1994), Las tecnpolis del mundo. La formacin de los complejos industriales del S. XXI. Alianza Editorial, pp. 71-93.
Sumario
RELEVANCIA
A n li s is de l di agn s t i c o
Problemas
Explcitos Claros Rigurosos Completos Medibles
Causas y efectos
Poblacin objetivo
Estudio de necesidades Cuantificada Caractersticas Cobertura prevista
Contexto socioeconmico
Existen estudios? Definicin de variables Estudios de proyeccin Fuentes de informacin
Pertinencia
La evaluacin de la pertinencia consiste en el anlisis de la calidad en la formulacin de los objetivos del programa. Evaluar consiste siempre en poner en relacin algo con una tabla de valores cualquiera que sea sta, negociada, impuesta, tica, econmica, conservadora, etc. Si en un programa aparecen los objetivos que se persiguen de forma expresa, la evaluacin de sus resultados e impactos se podr hacer en funcin de dichos parmetros. Por el contrario, si los objetivos son ambiguos o no estn explcitamente detallados, habr que realizarla en funcin de criterios de valoracin que se establezcan ad hoc. La eficacia y eficiencia de la intervencin se estiman en relacin a la contribucin del programa, a la consecucin de los objetivos establecidos, o segn el grado de satisfaccin de esos criterios de valoracin. Por tanto, la premisa fundamental para asegurar, al menos a priori, el xito de una intervencin es que se hayan definido los objetivos de forma clara y medible. Sin embargo, en algunas ocasiones "son ms una expresin de buenos deseos que una formulacin de objetivos, lo que no hace sino reflejar la ambigedad de la situacin" (Prior, 1993). Existen algunas reglas prcticas3 tiles a la hora de realizar la evaluacin de la calidad de los objetivos. Se trata de revisar:
Definicin de objetivos
Reglas prcticas
37
Compromisos asumidos
Que las expresiones y verbos utilizados indiquen claramente los compromisos asumidos por los poderes pblicos sobre la base de una conducta, en principio, medible y observable. Los objetivos que se definen en trminos de "impulsar", "fomentar", "promover", etc., son susceptibles de varias interpretaciones por lo que no indican con claridad su contenido. Igual ocurre con la expresin "mejorar", a pesar de que supone un incremento respecto a la situacin inicial no contiene ningn parmetro de valoracin para cualificar esa mejora. En contraste, "aumentar", "abastecer", "disminuir", etc. son acciones especficas orientadas a comportamientos mensurables. Que se haya establecido un sola meta o fin. Los planes o documentos programticos pueden tener mltiples objetivos pero deben responder a una nica meta o fin ltimo. Estos se establecen habitualmente de forma amplia y general. Son los objetivos los que traducen estos fines en trminos operativos y concretos. Un objetivo que establezca dos o ms fines requerir diferentes estrategias de actuacin, dificultando su determinacin y su evaluacin. Que los objetivos sean claros y concretos. No debe quedar ninguna duda sobre su autntico significado, por lo que, en algunos casos, se recomienda la alusin a una o ms variables cuantificadas. Cuando los objetivos no estn definidos de forma clara y concreta, sino que por el contrario se pueden interpretar de diversa forma, son los resultados ms directos de las acciones a realizar los que deben ayudar a resolver la ambigedad para dar mayor funcionalidad a la estrategia. Que se haya especificado un slo resultado o producto para cada actuacin concreta. No slo debe estar claro el propsito o fin ltimo buscado, sino que tambin deben indicarse los resultados inmediatos o productos a obtener, para poder valorar la actuacin. Es aconsejable establecerlos separadamente, especialmente cuando afectan a diferentes niveles de planificacin, ya que el logro de un objetivo puede verse condicionado, en parte o totalmente, por el logro de resultados de niveles inferiores o superiores. Que se hayan previsto unas fechas de consecucin de los objetivos. En cualquier planificacin es conveniente especificar el tiempo esperado para el logro de los objetivos, sobre todo si lo demandan las actividades que se van a realizar. El propsito de estas reglas es responder a las siguientes cuestiones: Podra alguien que lee el objetivo, con o sin conocimiento del programa, saber cul es el fin o propsito del mismo? Qu resultados visibles o medibles estarn presentes como evidencia de que los objetivos se han conseguido?
Una sola meta o fin
Objetivos claros y concretos
Un solo resultado o producto
Plazo de ejecucin
38
Calidad en la definicin de objetivos Consideremos los siguientes ejemplos de definicin de objetivos de un programa de promocin econmica para la disminucin del desempleo: mejorar el sistema educativo y de formacin adaptndolo a las nuevas exigencias aumento del empleo estable y eficiente propiciar la inversin generadora de empleo apostar por el desarrollo de nuevas iniciativas empresariales en sectores de futuro que generen empleo movilizar recursos pblicos y privados que aprovechen las ventajas competitivas de cada sector o zona contribuir al desarrollo econmico y a la creacin de empleo De la lectura de los objetivos no se puede deducir, a menos que se establezcan objetivos ms concretos, cules sern los resultados del programa puesto que no aparecen cuantificados y la mayor parte de las definiciones son ambiguas y conducen a varias interpretaciones.
Sumario Pertinencia En la formulacin de objetivos, estos deben: Reflejar compromisos asumidos por los poderes pblicos Establecer una sola meta o fin Ser claros y concretos Especificar un solo resultado o producto Prever un periodo temporal para su consecucin
Podra alguien que lee el objetivo saber cul es el fin o propsito del programa?
Qu resultados medibles o visibles estarn presentes como evidencia de que los resultados se han obtenido?
39
Coherencia Interna
A) Jerarqua de objetivos Al igual que los problemas y potencialidades, el establecimiento de objetivos debe hacerse siguiendo una jerarqua. Esta ordenacin permite distinguir diferentes niveles en la estrategia de intervencin planificada, entendiendo por estrategia el conjunto de instrumentos y medios previstos en el programa para ejecutarlo en la prctica. La lgica sera la siguiente: utilizando un cierto nmero de insumos (recursos financieros, humanos, tcnicos, fsicos y otros), se realizan unas actividades que permiten obtener determinados resultados. Estos resultados provocan cambios en las condiciones o variables afectadas y en el entorno socioeconmico del programa (objetivos y meta final).
La lgica de la planificacin
Meta Factores Externos Factores Externos Factores Externos Factores Externos Factores Externos 3 3 Objetivos Especficos 3 3 Si los insumos estn disponibles, las actividades se realizarn. Si las actividades se realizan, entonces se producirn resultados. Si se producen los resultados, entonces se lograrn los objetivos A largo plazo, esto contribuir al cumplimiento del fin ltimo o meta
Resultados
Actividades
Insumos
Si bien el grado de certeza de la primera hiptesis puede ser elevado, ya que los resultados estn ampliamente bajo el control del equipo del programa, disminuye en los niveles superiores, debido a la influencia de los factores externos en las relaciones de causalidad mostradas
Fuente: Enfoque del Marco Lgico, 1993.
En ella se encuentran implcitas una serie de hiptesis que afectan fundamentalmente a dos mbitos diferentes y que deben contrastarse durante la evaluacin: 1.
Hiptesis sobre las relaciones causales
Hiptesis sobre las relaciones causales entre los distintos niveles de intervencin. Parte de la tarea de disear un "modelo de repercusin" que establezca las relaciones esperadas entre un programa y sus metas. Consiste en especificar las variables causales en trminos mensurables, permitiendo prever qu influencia van a tener ciertas acciones sobre las condiciones que el programa busca modificar. Hiptesis sobre los factores del contexto externo que pueden afectar a los resultados del programa. Durante el perodo de ejecucin es posible que el entorno en el que se desenvuelven las distintas intervenciones vare sustancialmente y que comprometa su impacto final.
2.
Hiptesis sobre los factores del contexto externo
40
El establecimiento de estas hiptesis es fundamental. La ausencia de una estrategia funcional bien detallada limita las posibilidades de controlar y explicar el comportamiento del programa y la bsqueda de las causas de los efectos producidos. La representacin grfica de la clasificacin o jerarquizacin en cascada de objetivos en forma de "rboles de objetivos"4 es un buen mtodo para evaluar la articulacin de la estrategia del programa. Durante la evaluacin la lgica de "arriba a abajo", que gua la fase de elaboracin del programa, se invierte, transformndose en una lgica de "abajo a arriba", remontando desde las acciones concretas hacia los objetivos y fines que se persiguen.
rboles de objetivos
rbol de objetivos
Incluimos la representacin grfica de la relacin entre objetivos de la estrategia diseada para combatir los problemas de comercializacin detectados en el sector pesquero andaluz en el Plan de Modernizacin del Sector Pesquero Andaluz. El rbol de problemas se incluy en el epgrafe de relevancia.
El sector extractivo incrementa la calidad de oferta El sector extractivo incrementa su participacin en el valor aadido del producto El sector extractivo mejora las condiciones de venta su produccin El sector extractivo aborda actividades de comercializacin y distribucin de sus productos Existen infraestructuras de comercializacin y distribucin eficaces para que los productos Los mercados de productos pesqueros son transparentes
Los productos pesqueros andaluces se comercializan y distribuyen de forma moderna y competitividad
Se garantiza el abastecimiento de los mercados y satisface la demanda real y potencial de los productos pesqueros andaluces Se crea una imagen de calidad de los productos pesqueros andaluces, fuera y dentro de Espaa y de Andaluca
Se realizan campaas publicitarias de los productos pesqueros andaluces El cuerpo de agentes inspectores pesqueros disponen de medios humanos, legales y materiales
Existe un marco legislativo y un control del cumplimiento del mismo que garantiza el desarrollo de las actividades de comercializacin
Los organismos inspectores y sancionadores competentes actan coordinadamente Existe y se cumple la normativa sobre clasificacin, embalaje y etiquetado de los productos Se controla el cumplimiento de la normativa higinico-sanitaria
Fuente: Plan de Modernizacin del Sector Pesquero Andaluz. Consejera de Agricultura y Pesca, Junta de Andaluca. 1997
El papel del evaluador es asegurar, para todos y cada uno de los niveles de programacin (actuaciones, resultados, objetivos y meta), que no existan conflictos entre objetivos, ni al mismo nivel ni a niveles superiores o inferiores. Esto exige a su vez la identificacin de las estrategias de actuacin propuestas y la valoracin de la eleccin realizada sobre la base de un cierto nmero de criterios tales como la posibilidad de xito, presupuesto disponible, tiempo necesario para que surtan los efectos, etc.
Papel del evaluador
41
Articulacin en cascada
META
OBJETIVOS GLOBALES
SUBPROGRAMAS
OBJETIVOS ESPECFICOS
ACTUACIONES
2 Planificacin Evaluacin
RESULTADOS
En el grfico se verifica la existencia de distintos niveles de objetivos: el de los resultados, que se interpretaran como los efectos directos e inmediatos producidos por la ejecucin de una actuacin,
Niveles de objetivos
el de los objetivos especficos o intermedios, de naturaleza ms indirecta, el de los objetivos globales, y el de la meta o fin. La situacin ideal es aquella donde se producen sinergias positivas y complementariedad en todos los niveles y entre todos ellos. Esta articulacin en cascada exige que en cada uno de los niveles se tenga presente: Que los objetivos especficos de un nivel sirvan como marco de referencia de las intervenciones del nivel inmediatamente inferior, constituyendo, de hecho, el objetivo global de ese nivel inferior. Inversamente, de abajo a arriba, los objetivos especficos de un nivel debern constituir los resultados que se esperan alcanzar en los niveles
42
superiores, y el objetivo global de un nivel ser contribuir a alcanzar el objetivo especfico del nivel superior. La evaluacin del logro de los objetivos es menos dificultosa cuando se establecen los objetivos siguiendo las recomendaciones anteriores, ya que se puede valorar fcilmente, e incluso cuantificar, cmo contribuye la repercusin de la ejecucin de una tarea concreta a la consecucin de su objetivo ms inmediato. La estructura lgica deber ser piramidal de forma que al descender se vaya ensanchando la base. Puede instrumentarse ms de una actuacin para la consecucin de un objetivo directo o resultado, dejando preestablecido cmo se espera que contribuya cada una de ellas a la consecucin del fin o meta global del programa. Estaramos ante el caso de estrategias alternativas que llevan al logro del mismo resultado. Por el contrario, la clasificacin lineal de objetivos, sin distincin entre diferentes niveles de planificacin, hace que no se cuente con una estrategia explcita de actuacin, suponindose que todos los objetivos contribuyen de la misma forma al logro del fin o meta de programa, siendo muy difcil atribuir prioridades y asignar recursos, lo que complica su evaluacin.
Tomemos como ejemplo el siguiente, donde se ponen de manifiesto los dos supuestos: un slo objetivo directo por accin, una accin que corresponde a ms de un objetivo directo. Desarrollo Econmico Sostenible
Estructura piramidal
Clasificacin lineal
Correccin de dficits en equipamientos pblicos y red viaria
Dotar a la zona de una red viaria que posibilite la conectividad interna y la accesibilidad externa
Preservar las normas de conservacin del medio ambiente
Reducir la contaminacin de los transportes
Limitar el impacto Desarrollo de las infraestructuras en los usos del suelo
Mejora la conexin con los principales ejes de comunicacin
Planeamiento viario
Dotacin de equipamientos urbanos
El lado izquierdo del grfico muestra perfectamente la relacin causal entre objetivos. Vamos desde las acciones concretas que se proponen a los objetivos directos, especficos y por ltimo al global. Estn jerarquizadas y conectadas las relaciones de manera que un ejercicio de reflexin lgica nos permite reconstruir toda la cadena causal. Por contra, el lado derecho presenta una estructuracin ms deficiente, de forma que no se puede establecer claramente cuales son los objetivos concretos que se persiguen con las actuaciones.
43
B) Correspondencia entre problemas y objetivos Finalmente, la evaluacin debe contemplar el anlisis de la correspondencia entre los problemas y sus causas y los objetivos y sus efectos. La pregunta fundamental a la que debe dar respuesta esta relacin causal es: responden los objetivos del programa a las necesidades y problemas de la poblacin objetivo? La congruencia debe darse a los distintos niveles de programacin de forma que no existan "saltos" en la planificacin y que cada objetivo tenga su reflejo en un problema o potencialidad no adecuadamente explotada. Esto asegurara que los objetivos perseguidos con la intervencin se derivan del diagnstico realizado y que, por tanto, el programa est bien orientado. La situacin ideal es aquella donde la comparacin entre los rboles de problemas y objetivos es automtica y presentan una simetra absoluta. Todos y cada uno de los objetivos reflejaran la imagen en positivo de los problemas identificados, lo que inducira a interpretar que se ha utilizado un enfoque integrado de planificacin en la elaboracin del programa.
rbol de problemas y objetivos
PROBLEMAS OBJETIVOS
Planificacin flexible
Sin embargo, la evaluacin de las cadenas de objetivos debe contemplar la posibilidad de una planificacin flexible. Ello debera de ser as puesto que, durante el desarrollo del programa, pueden producirse variaciones motivadas por cambios en los factores o condiciones externas o por las modificaciones que la ejecucin del programa va provocando. En todo caso, puede que se hayan alterado las caractersticas del diagnstico realizado respecto a los problemas, potencialidades y poblacin objetivo iniciales. La planificacin flexible debe permitir la revisin y adaptacin peridica de los objetivos y estrategia de intervencin en el rbol de objetivos, facilitando la introduccin de modificaciones encaminadas a la supresin, redeficin o inclusin de objetivos que inicialmente no estaban previstos. En los siguientes grficos representamos las imgenes en negativo y positivo para un programa cuyo objetivo principal es la creacin de empleo. Su determinacin se ha realizado siguiendo la metodologa del Enfoque del
44
Marco Lgico. Se ha detectado como problema focal el elevado nivel de desempleo, provocado por la escasa competitividad de la economa regional y el bajo nivel de diversificacin productiva. Para cada uno de estos problemas, que podramos denominar de segundo nivel, se han apuntado sus causas. Esta imagen en negativo de la realidad de la regin analizada se ha transformado en aquella situacin ideal a la que se quiere llegar a travs de la intervencin pblica formulada.
"Imagen en negativo"
Elevado nivel de desempleo
Escasa competitividad de la economa regional CAUSAS Baja cualificacin de recursos humanos Escaso nivel de desarrollo tecnolgico Escaso desarrollo industrial
Escasa diversificacin productiva CAUSAS Falta de espritu empresarial
"Imagen en positivo"
Creacin de empleo
Aumentar competitividad de la economa regional MEDIOS Cualificacin de recursos humanos Aumentar el desarrollo tecnolgico Aumentar el desarrollo industrial
Diversificar la estructura productiva MEDIOS Desarrollo del espritu empresarial
Observamos que entre el rbol de problemas y el de objetivos existe una perfecta simetra. As, los problemas y sus causas se corresponden con los objetivos y sus medios.
45
Sumario Coherencia Interna Clasificacin y jerarquizacin de objetivos Clasificacin en cascada Estructura piramidal Estrategias alternativas Sinergias y complementariedad entre objetivos Hiptesis sobre las relaciones causales y factores de contexto Responden los objetivos del programa a las necesidades y problemas de la poblacin objetivo a los distintos niveles de intervencin? Correspondencia entre problemas y objetivos
Coherencia externa en el diseo

El anlisis de coherencia externa permite valorar el grado de correspondencia que existe entre un programa y otras intervenciones que se estn ejecutando en su mismo espacio temporal y fsico-territorial. Este tipo de evaluacin es importante por dos razones fundamentales: la primera, porque no tiene sentido que programas que se aplican a un mismo territorio sean contradictorios, ms an cuando lo que se pretende es eliminar o, al menos reducir, los problemas existentes; y, la segunda, porque es uno de los elementos importantes a la hora de analizar las sinergias entre diferentes programas que pueden reforzar o anular los impactos buscados. Los programas a tener en cuenta en la evaluacin de coherencia externa pueden estar formalizados en distinto grado y tener un desarrollo legislativo ms o menos amplio, por lo que la evaluacin de la coherencia externa implicara: La bsqueda de compatibilidad general y coordinacin entre las distintas polticas e intervenciones: objetivos, instrumentos, etc. La adecuacin y respeto a una normativa de orden superior.
Objetivos e instrumentos
Este tipo de evaluaciones requiere el anlisis de los objetivos e instrumentos de intervencin de forma comparada entre los programas que convergen en un territorio o para un poblacin determinada. Habra que contrastar el grado de complementariedad existente y los posibles efectos sinrgicos derivados de la aplicacin conjunta de los mismos. As, en algunas ocasiones, las medidas que se articulan en un programa se plantean como instrumentos que contribuyen a la solucin de aspectos
46
parciales de un problema o necesidad detectada. Buscar la complementariedad entre los programas implica tomar como supuesto de partida el hecho de que las actividades de varios programas tienen un mayor impacto que la suma de los impactos de esas mismas actividades consideradas separadamente, es decir, se debe buscar el valor aadido de un grupo de actuaciones. Ahora bien, tambin puede darse el caso de que se produzca una disminucin parcial de los impactos. En este supuesto, la evaluacin de coherencia externa busca identificar las causas que originan dichos efectos. La metodologa ms apropiada para la valoracin de la coherencia externa se basa en el anlisis de los problemas, objetivos y estrategias de los programas en sus distintos niveles de planificacin. Tomando como base los pasos metodolgicos expuestos en los epgrafes anteriores, consistira en la revisin de las relaciones o vnculos de las cadenas causas-medios de los programas evaluados.
Coherencia externa
Programa A Objetivos
Metodologa
Programa B
Objetivos
Estrategia de intervencin
Estrategia de intervencin
Reparto presupuestario
Reparto presupuestario
Se trata, por tanto, de comparar los rboles de problemas y objetivos de los distintos planes con los que el programa pueda presentar complementariedad o incompatibilidad. La normativa legal puede condicionar o potenciar el desarrollo de programas pblicos. En todo caso, es necesario que la ejecucin de las actuaciones tenga presente qu normativas o directrices vigentes hay que respetar y observar tanto en el diseo como en la ejecucin del programa.
Normativa legal
47
Coherencia entre el FEDER y el FSE Esta bsqueda de complementariedad se pone de manifiesto en la coordinacin de programas financiados con Fondos Estructurales de la Poltica Regional Europea. Esto es as, por ejemplo, con el FEDER (Fondo Europeo de Desarrollo Regional) y FSE (Fondo social europeo). Ambos son complementarios, ya que mientras que el primero tiene como finalidad principal corregir los principales desequilibrios regionales mediante una participacin en el desarrollo y el ajuste estructural de las regiones menos desarrolladas y en la reconversin de las regiones industriales en decadencia, el FSE establece como finalidad prioritaria la lucha contra el paro, el mejor funcionamiento del mercado laboral y el fomento de la solidaridad social y la igualdad de oportunidades para los colectivos especialmente desfavorecidos. No son instrumentos asilados. Por el contrario, las intervenciones diseadas en los programas deben reforzarse mutuamente para conseguir, con la explotacin combinada de los recursos disponibles, alcanzar el objetivo ltimo de creacin de empleo.
Fuente: Marco Comunitario de Apoyo 1994-99 para las regiones espaolas objetivo 1. Comisin de las Comunidades Europeas
Respeto de la normativa y directrices comunitarias Para las intervenciones financiadas con los Fondos estructurales de la Poltica regional de la Unin Europea, la necesidad de concurrencia con las polticas nacional y comunitaria se convierte no slo en un factor que puede potenciar los impactos esperados de la ejecucin de la actuacin, sino que se configura como un requisito de obligado cumplimiento. As, es necesario velar por el respeto de las directrices y normativas comunitarias en materia de medio ambiente, igualdad de oportunidades en el mercado laboral, contratos pblicos, PYMEs y redes transeuropeas.
Fuente: Marco Comunitario de Apoyo 1994-99 para las regiones espaolas objetivo 1. Comisin de las Comunidades Europeas
48
Anexo: Aplicacin al Programa Operativo de Andaluca
La aplicacin de esta metodologa de evaluacin al P.O. de Andaluca 199499, en su versin original presentada en diciembre de 1994, permiti establecer una serie de conclusiones que se resumen a continuacin: Debilidades en lo relativo al diagnstico provocadas, fundamentalmente, por su escasa estructuracin interna. Los problemas aparecan de manera dispersa y, en algunos casos, o no se hacan explcitos o no se estableca una escala jerrquica entre ellos lo que provocaba vacos importantes que impedan obtener una imagen suficientemente rigurosa de la problemtica regional. Se reconstruyeron los rboles de problemas correspondientes a los tres identificados en el diagnstico como focales: recursos humanos, estructura productiva y aquellos de ndole infraestructural. Sin embargo, persistieron dos carencias graves: Ausencia de estudios de necesidades concretos que justificaran las relaciones entre los problemas, sus causas y efectos. Heterogeneidad en el grado de desarrollo de los distintos elementos que integraban los niveles medios e inferiores de las cadenas de problemas.
Adems, el anlisis de la poblacin objetivo pecaba de generalista, es decir, de falta de concrecin. Si bien es cierto que el problema, por su extensin y complejidad, poda incitar al simplismo globalizador, en ningn caso era justificativo no profundizar con mayor rigor en la cuestin. Problemas en la definicin de objetivos derivados de la ambigedad con la que se formularon algunos de ellos. Adicionalmente, se demostr que la falta de una clasificacin jerrquica no permita establecer claramente cules eran los objetivos en cada nivel de planificacin. Se detectaron, por tanto, importantes "saltos" en las cadenas de objetivos. Para ayudar a resolver esta carencia se reprodujeron los rboles de objetivos de cada uno de los ejes de desarrollo del P.O. y se identificaron los "vacos" existentes con interrogantes y lneas discontinuas. Como ejemplo podemos representar el diagrama relativo al Eje 3: "Turismo".
49
rbol de objetivos del eje 3: Turismo (Imagen en positivo)

Crecimiento del empleo estable y eficiente Desarrollo equilibrado y sostenible
Convergencia
Aumento de competitividad
Apoyar proceso de renovacin de actividades productivas
Mejorar la calidad de los establecimientos e infraestructuras tursticas
Adecuacin de la oferta
Diferenciar y promocionar el producto turstico
Preservacin del Patrimonio Cultural
? ?
Ordenacin y explotacin del Patrimonio artstico cultural
La dificultad de establecer las relaciones de causalidad entre problemasobjetivos se trat de resolver representando conjuntamente la "imagen en negativo" e "imagen en positivo" que en el Programa se identificaba haciendo corresponder, en los mismos niveles jerrquicos, problemas con objetivos. De esta forma, se facilitaba a los gestores la toma de las medidas oportunas para mejorar la calidad en la planificacin. La exposicin de la estrategia tambin careca de algunas caractersticas bsicas que aseguran la coherencia interna de un Programa. Al igual que ocurra para los objetivos, se puso en evidencia una "ruptura" en el nivel de los ejes o subprogramas de actuacin que haca que la estrategia quedara incompleta y que no alcanzara un grado de articulacin ptimo. Este problema pona de manifiesto el diseo inadecuado de los instrumentos y medidas de intervencin puesto que no exista una correspondencia unvoca entre acciones y objetivos perseguidos. Con el estudio pormenorizado de cada subeje de actuacin y de sus acciones en ellos, se demostraba la ausencia de medidas para alcanzar determinados objetivos o la articulacin de actuaciones que no tenan vinculacin alguna con los distintos objetivos del Programa.
50
A continuacin se reproduce el grfico correspondiente al Eje 2.

Eje 2: Desarrollo del tejido econmico ACCIONES OBJETIVOS
Expansin sistema productivo Aumento competitividad
2.1.B1
Crecimiento de la inversin privada
? ?
Fomento de iniciativas empresariales
?
Reduccin de riesgos en sectores con ms peso en la industria Atraccin de industrias con fuertes ventajas comparativas Acciones puntuales para mejorar la posicin competitiva
2.1.B2 2.2.2
Potenciacin y diversificacin de la estructura productiva
2.1.B7 2.2.6
Apoyar proceso de renovacin de las actividades productivas
Fomento de prospecciones de nuevos mercados
Difusin de informacin: oportunidades de negocios, reglamentos. Apoyo a la presencia en ferias y certmenes internacionales
?
2.2.9 2.3.1 2.3.2
Poltica de suelo industrial
Conseguir nuevos mercados en cualquier sector
Fomento de la creacin empresas comerciales y asociaciones de empresa Calidad
2.2.1
Incentivar los factores de diferenciacin del producto
Servicios complementarios Tecnologa
2.1.B3, 2.1.B5, 2.2.4, 2.2.5
Apoyo a iniciativas locales
2.1.B8, 2.2.3, 2.2.7
De forma general se concluy en el anlisis de racionalidad y coherencia que el P.O.de Andaluca presentaba graves problemas de diseo.
51
Notas al pie:
1.
Esta metodologa es una adaptacin de la propuesta por la Comisin de la Unin Europea para la evaluacin de programas financiados con Fondos Estructurales: Orientations methodologiques pour le suivi et les valuations intermediaires des CCA, DOCUP et interventions. Bruselas. Comisin Europea. 1995. Comisin Europea: (1993) Proyect cicle management. Integrated approach and logical frame work. Direccin General de Desarrollo, Unidad de Evaluacin, Bruselas. Y Enfoque del Marco Lgico. Manual para la planificacin de proyectos con una orientacin hacia objetivos. (Managua, 1993). Se ha tomado como fuente: Shorrel, S. y Richardson, W. C. (1978). Health Program Evaluation. The C.V. Mosby Co., Saint Louis, citado en Rossi y Freeman (1993): Evaluation a systematic approach. Sage Publications. Representaciones descriptivas de las relaciones medios-fines, en contraposicin con los rboles de problemas que recogen las relaciones causa-efecto.
2.
4.
52
Captulo 3 Evaluacin del sistema de gestin
La
incorporacin
del
proceso
evaluatorio en las funciones de planificacin, gestin, ejecucin y control permite afrontar con mayores garantas de xito el gran reto de lograr la modernizacin de la Administracin Pblica basada en criterios de responsabilidad, minimizacin de costes y atencin al usuario.
En
Europa, los mayores esfuerzos se
han centrado en el logro de la "disciplina presupuestaria" preconizada en el Tratado de Maastricht en aras de garantizar el objetivo de convergencia nominal. Esto ha trado consigo un gran desarrollo y aplicacin de anlisis econmicos-financieros bajo los tradicionales criterios de las auditoras y controles de legalidad llevados a cabo dentro de la propia Administracin o de forma externa.
eficiencia con la que se utilizan los recursos. Para que la poltica econmica y social lleve al logro de la equidad y al desarrollo econmico tiene que elevar su racionalidad, cambiar la forma en que se ejecuta y lograr mayor certeza respecto a sus resultados. Ello slo puede lograrse evaluando lo que se va a hacer, lo que se est haciendo y estableciendo mecanismos permanentes de seguimiento y anlisis para posteriormente conocer lo que se ha hecho realmente y cules han sido sus repercusiones. Y esto no slo en coyunturas caracterizadas por crisis econmicas y control del gasto pblico, sino tambin en situaciones de auge econmico, en las que surgen nuevas necesidades que requieren mayores recursos financieros.
Se
demanda una mejora en la gestin
Este aspecto, aunque importante, deja

desierto el examen de otros elementos de cierta importancia que s son contemplados por la evaluacin de polticas y programas pblicos y que trascienden de la esfera de lo puramente monetario para abarcar aspectos socioeconmicos, culturales, de gestin y organizacin.
de estos recursos, y ello por varias razones: Su escasez y la presin desde diversas esferas polticas y sociales por mejorar la gestin financiera y su sistema de distribucin y asignacin de recursos. Exigencias de mayor responsabilidad y transparencia en los procesos de gestin del gasto pblico. El auge del concepto, desarrollado en la Administracin Britnica, de "value for money" o "valor a cambio del gasto", lo que conlleva un
La
cuestin no es slo la carencia de
recursos. Por el contrario, lo ms importante es el desconocimiento que se tiene respecto a la eficacia de las acciones que se financian y a la
54
Evaluacin del sistema de gestin
cambio en la consideracin de los destinatarios como "clientes" de los productos y servicios pblicos. Esto exige un aumento de flexibilidad y capacidad de adaptacin de la Administracin a las demandas de los ciudadanos.
esperados, con un nivel de eficacia y eficiencia ptimo, si para su desarrollo no cuenta con: un sistema de gestin adecuado, y con un correcto seguimiento, sistema de
Un
buen instrumento sobre el que
Gestin
y seguimiento son, como
basar este proceso de asignacin de recursos es la evaluacin, al mismo tiempo que la gestin de los programas debe ser la dimensin fundamental a tener en cuenta durante su aplicacin.
veremos, dos elementos relacionados que nos permiten conocer: quin hace qu y cmo; qu procedimientos se han institucionalizado para la puesta en marcha de las actuaciones, si el programa se est ejecutando de acuerdo con su diseo; verificar los progresos en la ejecucin del programa, etc.
Hablamos de dos tipos de gestin:

Gestin Pblica, entendida como los mecanismos de decisin para la asignacin y distribucin de recursos pblicos y la coordinacin y estmulo de los gestores para lograr objetivos colectivos (Albi et alia, 1997). Gestin de programas: procesos, criterios y mecanismos puestos en marcha por los administradores y responsables para la ejecucin de programas.
En este captulo nos ocuparemos de la

evaluacin del sistema de gestin de programas como va para mejorar su aplicacin y por tanto, su eficacia y eficiencia. El segundo de estos elementos, el sistema de seguimiento y su evaluacin (en algunos manuales, monitoreo) es objeto del siguiente captulo.
Este
ltimo aspecto es fundamental
puesto que condiciona la repercusin final de los programas en relacin con los objetivos e impactos perseguidos. As es, la utilidad de un programa est en funcin de varios elementos, entre ellos, como se ha visto en el captulo precedente, de su diseo. Sin embargo, ningn programa, por muy buenos que sean su diagnstico y estrategias de actuacin, puede lograr los efectos
De
este modo, nos centraremos en
aquellos procedimientos relacionados con la ejecucin de las actuaciones que se instrumentan a travs de los programas pblicos. Esto supone el estudio de los mecanismos de coordinacin para la puesta en marcha de un programa y para el logro eficaz y eficiente de sus objetivos.
55

La evaluacin de la gestin de un programa se articula en torno a los siguientes aspectos:
Elementos a evaluar
Racionalidad de los objetivos de gestin propuestos a la luz de los medios disponibles para su funcionamiento. Divisin de tareas y competencias establecidas entre las distintas Administraciones y organismos responsables de la gestin y ejecucin de las actuaciones del programa, e incluso dentro de los propios rganos ejecutores. Mecanismos de coordinacin entre organismos gestores y ejecutores. Suficiencia de los medios humanos, materiales y econmicos empleados a fin de garantizar una correcta y eficaz gestin del programa.
Capacidad para gestionar y ejecutar programas
As mismo, existen otras variables relacionadas con la capacidad de los organismos implicados para gestionar un programa, que pueden condicionar sus efectos y que tambin han de ser evaluados: Grado de implicacin de los gestores en la puesta en marcha del programa. El nivel de formacin de los cuadros tcnicos. La evaluacin del grado de adecuacin del sistema de gestin requiere, por tanto, la consideracin de los siguientes elementos:
Elementos
Estructura de la organizacin Formulacin de la estrategia Recursos humanos
Proceso de direccin Objetivos estratgicos Cultura organizativa
El xito de una buena gestin de programas depende de la capacidad para definir la estrategia de accin y de que tenga las adecuadas y precisas estructuras para dirigir las complejas actividades internas. Por otra parte, la estructura de una organizacin debe estar en consonancia con los recursos humanos, cultura organizativa y proceso de direccin adecuada.
56
Es necesario tener en cuenta que el anlisis del sistema de gestin puede abarcar un mbito ms amplio que el del programa en s, al incorporar elementos, en la mayora de los casos, comunes a la gestin y ejecucin de otros proyectos o actuaciones que desarrollan los rganos ejecutores y gestores simultneamente. Supondra, por consiguiente, el estudio de una organizacin administrativa y de sus criterios y procedimientos de funcionamiento interno. Su evaluacin puede arrojar conclusiones que impulsen cambios significativos en la estructura de las organizaciones, cambios que impliquen un proceso de transformacin y adaptacin a las nuevas demandas de gestin y que incluso pueden superar el horizonte temporal y funcional del programa. Origen. Cambio en los sistemas tradicionales de gestin La aplicacin de los llamados enfoques integrales de gestin, que incorporan los elementos anteriores tuvo su origen en el desarrollo de la contabilidad pblica y de los sistemas de presupuestacin por programas. Se pude sealar la dcada de los 70 como referencia, a nivel internacional, del cambio en los procedimientos y normas de contabilidad pblica. Supusieron un avance respecto a su funcin tradicional. As, adems de reflejar la ejecucin presupuestaria, como se establece en el Manual de Contabilidad del Gobierno de la Organizacin de las Naciones Unidas1, se incorpora como objetivo: ofrecer informacin de inters: para los ciudadanos, til para la planificacin y direccin de la gestin pblica, para quienes tienen que tomar decisiones, y para que al mismo tiempo se puedan realizar anlisis econmicos de la realidad sometida a control. Respecto a la presupuestacin por programas 2, su auge vino determinado por la necesidad de contar con instrumentos que permitieran mejorar los procesos de asignacin del gasto pblico y aumentar la eficacia y eficiencia de las organizaciones pblicas. Esta modalidad de diseo del presupuesto se compone de fases secuenciales: planificacin, presupuestacin, ejecucin control y evaluacin, Son fases interdependientes y mutuamente condicionantes, de forma que configuran un sistema de retroalimentacin donde los sistemas de informacin juegan un papel clave. En sintona con las medidas anteriores, tambin se ha ido tomando conciencia en la Administracin de la necesidad de orientar la gestin de recursos a la administracin por objetivos y a la responsabilizacin de los resultados, en
mbito ms amplio que el del programa
Cambios en la contabilidad pblica
Presupuestacin por programas
Administracin por objetivos y responsabilizacin de los resultados
57
detrimento del modo, casi exclusivo, de "control". Los fines perseguidos con estos sistemas son varios: Institucionalizar el establecimiento de objetivos medibles. Introducir la medicin de resultados. Promover una mayor autonoma de gestin. Fortalecer la transparencia y la rendicin de cuentas. Introducir mecanismos que impidan la dilucin de responsabilidades. Mejorar los procedimientos de asignacin de recursos, etc. En resumen, se persigue el perfeccionamiento de los procesos de toma de decisin para mejorar los resultados de los programas pblicos y proporcionar un servicio ms eficaz, eficiente y de mayor calidad. Para ello en todos los pases se han ido adaptando la organizacin y sistemas de presupuestacin a este nuevo enfoque integral de gestin pblica y se han combinado sistemas de verificacin de resultados con mtodos de evaluacin de polticas pblicas. Gestin pblica frente a gestin privada No nos resultan ajenos los comentarios sobre el despilfarro y la ineficiencia del sector pblico en la ejecucin y asignacin del gasto frente al sector privado. Sin embargo, varias razones cuestionan la dificultad, e incluso conveniencia, de adoptar de forma mimtica las tcnicas gerenciales del sector privado en el sector pblico:
Objetivos
Las organizaciones pblicas producen bienes y servicios pblicos que responden a objetivos complejos. Por tanto, la medicin de su logro no se puede basar en un criterio simple como la "maximizacin del beneficio", objetivo prioritario de las empresas privadas. Adems, el sector pblico enuncia principios generales de actuacin, no definiendo normalmente los objetivos con claridad operativa. Por otra parte, el sector pblico no suele perseguir un nico objetivo identificable; por el contrario, busca de forma simultnea un conjunto de fines que en algunos casos se complementan pero que en otros requiere la puesta en marcha de actuaciones, en cierta medida contradictorias.
Eficiencia social
La bsqueda de la eficiencia no slo es de carcter econmico, sino que tambin ha de considerarse la eficiencia social o contribucin a la maximizacin del bienestar social. Por tanto, entran en juego un conjunto de beneficios de carcter social de difcil cuantificacin, as como las externalidades, positivas o negativas (beneficios indirectos y efectos de difusin) cuya suma es la que hay que comparar con los costes de la produccin o prestacin de los bienes y servicios pblicos.
58
Adicionalmente, al no proceder sus ingresos del mercado sino de los presupuestos pblicos, resulta difcil encontrar parmetros de referencia para evaluar la eficiencia de su actuacin. Existen dificultades para identificar a los responsables directos de la gestin. Las responsabilidades asignadas a distintos niveles no siempre estn claramente especificadas. Por el contrario, la distribucin de responsabilidades suele estar diluida y adems el sistema de incentivos no fomenta el compromiso de los gestores. Son estos motivos los que justifican buscar tcnicas y criterios en la evaluacin de polticas pblicas que permitan medir y valorar la eficacia y eficiencia del sector pblico.
Distribucin de responsabilidades
Enfoques metodolgicos para la evaluacin del sistema de gestin

Existen diversos enfoques desde los cuales nos podramos aproximar a la metodologa de evaluacin de la gestin. Estas aproximaciones se pueden establecer en un "continuo" que ira desde los controles de carcter financiero, de regularidad legal y contable hasta aquellos que tratan de evaluar econmicamente la gestin pblica atendiendo a los aspectos de: eficacia, eficiencia y economa, las tres E, y diagnstico, diseo y desarrollo, "las tres D".
"Las tres E" y "Las tres D"
LAS TRES E LAS TRES D
Economa: utilizacin de los recursos con criterios de utilidad y asignacin adecuada. Eficacia: logro de los objetivos propuestos sin tener en cuenta los costes.
Diagnstico: estudio de la realidad sobre la que se pretende intervenir para planificar la actuacin. Diseo: formulacin de iniciativas para resolver los problemas y establecer nuevas soluciones con estructuras y estrategias adecuadas. Desarrollo: ejecucin de las soluciones como un proceso de aprendizaje superando las resistencias al cambio, redefiniendo problemas y soluciones.
Eficiencia: logro de los objetivos como el mnimo coste posible o maximizacin de los beneficios para un coste determinado
De las principales aportaciones de los enfoques que abordan el anlisis de gestin desde la perspectiva econmica sealamos los siguientes:
59
Control de Gestin La tcnica del control de gestin procede del mbito empresarial y tiene como fundamento la "necesidad de incrementar la autonoma, flexibilidad y responsabilidad de los gestores en sus procesos de toma de decisiones y planificacin de objetivos, tanto a nivel estratgico como operativo"3 . El concepto es muy general y se inserta en el contexto de la organizacin y prcticas administrativas como herramienta de control al servicio de los directivos y gestores para, segn Salvador Centelles (Centelles, 1994), evaluar el desempeo general de la actividad administrativa: a largo plazo, relacionado con la planificacin estratgica, y a corto plazo, relacionado con la planificacin operativa de carcter diario, a todos los niveles: medios (recursos y procesos) y fines. Este tipo de control est ntimamente vinculado a la finalidad de alcanzar las dimensiones de eficiencia y eficacia de las actuaciones pblicas. A la hora de instrumentar el control de gestin hay que tener en cuenta cuatro variables fundamentales: 1. 2. 3. 4. Nivel de ambigedad en la definicin de objetivos de una organizacin. Posibilidad real de medir los resultados de la actividad de la organizacin. Grado de estandarizacin de la actividad sometida a control. Posibilidad de conocer los efectos de la intervencin.
Auditora de rendimiento o "performance" Segn la "Canadian Comprehensive Auditing Foundation"4, se podra definir la evaluacin de gestin como: "la evaluacin independiente y objetiva de la fiabilidad de la gestin en relacin con el rendimiento, o la evaluacin del sistema de direccin y de la prctica, de acuerdo a determinados criterios generales aceptados o consensuados previamente entre el evaluador y el gestor pblico". La auditora de rendimiento se basa en dos principios generales: principio de eficacia, eficiencia y economa segn el cual la Administracin Pblica debe dirigirse de forma que puedan utilizarse los fondos pblicos de la mejor manera posible, es decir, que se pueda obtener el mayor contravalor tanto en cantidad como en calidad, y principio de responsabilidad; las personas que administran los "negocios" pblicos deben ser responsables de una gestin prudente y eficiente de los fondos que les han sido confiados y deben rendir cuentas de esa gestin.
60
Elementos del control de gestin

Objeto de Estudio Fase del proceso de produccin Comprensin de la finalidad de la accin Comprensin de la organizacin pblica Paradigmas Racionalidad del enfoque Comprensin de la realidad organizacional Percepcin del papel de los actores Inters del anlisis Mtodos Periodicidad del anlisis Modo de comprensin de las variables Consideracin del proceso de realizacin Posicin del observador experto Informacin Fuentes de informacin Naturaleza de la informacin Modo de usar la informacin Anlisis de resultados, realizaciones y actuaciones Especificacin a priori de manera explcita Racionalidad a priori
Racionalidad econmica Concepcin mecanicista de la realidad Actores de la gestin de la organizacin Retroaccin (efecto a corto plazo) Investigacin sistemtica Observacin de un estado en un momento dado Enfoque comparativo En la organizacin Internas Cuantitativa "Tablero de mandos"
Fuente: Tomado de: Gibert, Andrault, 1984, pg. 130
Enfoque integral de gestin del ciclo de vida de un proyecto El ciclo integral de la vida de un proyecto tendra las siguientes fases5: programacin de las actuaciones, diseo de los mecanismos de ejecucin y gestin, ejecucin y gestin del programa, y evaluacin. Segn este enfoque, se deben examinar todos los aspectos de gestin relacionados con cada una de estas fases, fundamentalmente: la divisin de tareas y competencias, la coordinacin establecida entre los distintos organismos responsables de los programas, y la suficiencia de medios econmicos y humanos para una gestin correcta y eficaz.
61
Gestin integral de un proyecto
Indicaciones para la programacin y reprogramacin Resultados e impactos Evaluacin
Planificacin
Ejecucin/Gestin
Diseo del sistema de gestin y ejecucin
Esta ltima aproximacin es la que proponemos para la evaluacin de la gestin de un programa. Se trata de evaluar los mecanismos y procedimientos establecidos por un organismo para la ejecucin del programa que se est evaluando.
Sumario
La eficacia y eficiencia de un programa depende de: Diseo del programa Sistema de gestin Quin hace qu? Cmo se hace?
Cambios en los sistemas tradicionales de gestin Cambios en los procedimientos y normas de contabilidad pblica Auge de la presupuestacin por programas Administracin por objetivos y responsabilizacin de los resultados Establecer objetivos Medir resultados Autonoma de gestin Rendicin de cuentas Procedimientos para asignar recursos
Dificultades para medir la eficiencia
- Objetivos complejos y ambiguos - Eficiencia econmica y "social" - Identificar a los responsables de la gestin
Enfoques de evaluacin
- Control de gestin - Auditora de rendimiento - Enfoque integral de gestin
62
Metodologa de evaluacin del sistema de gestin de un programa

Para la evaluacin del sistema de gestin se recomienda analizar de forma separada los aspectos que condicionan la ejecucin de un programa: Racionalidad de los objetivos y estrategia de gestin diseados. La organizacin interna de la divisin de tareas y responsabilidades, haciendo especial nfasis en los recursos humanos y materiales. El sistema administrativo para la difusin y promocin de las actuaciones de los programas y la recepcin, tramitacin y anlisis de los expedientes. Mecanismos y procedimientos para la recogida de informacin sobre los progresos y atrasos en la realizaciones de las acciones ejecutadas. I. Racionalidad de los objetivos y estrategias de gestin diseados Los sistemas de gestin no son neutrales y el resultado final del programa depender de forma decisiva de cmo est diseado este proceso, de cules sean sus objetivos y de cmo se lleve a la prctica. La evaluacin debe responder a preguntas tales como: Estn claramente especificados los objetivos de cada nivel de gestin? Son cada uno de los pasos administrativos establecidos necesarios? Podra simplificarse el proceso/procedimiento? Una buena organizacin necesita establecer objetivos y una planificacin ordenada. Como dijo Urwick (en Koontz y Wihrich, 1994) la falta de diseo en la organizacin es ilgica, cruel, un desperdicio e ineficiente. Es ilgica porque lo que se requiere primero es un buen diseo o planificacin. Es cruel porque quienes ms sufren por la falta de diseo en la organizacin son aquellas personas que trabajan en la misma. Es un desperdicio porque a menos que los trabajadores se ordenen con claridad a lo largo de lineas de especializacin funcional, es imposible capacitar a nuevos trabajadores para que ocupen puestos cuando sus titulares sean ascendidos, renuncien, etc.. Es importante, por otro lado, tener en cuenta que la viabilidad del seguimiento y evaluacin del sistema de gestin depender de cmo se superen los obstculos que dificultan el diseo de criterios adecuados para su valoracin y las condiciones organizativas del sector pblico. Entre estas variables se encuentran los factores de: incertidumbre de las relaciones de causa-efecto y aparicin de resultados no previstos,
Elementos a evaluar
Viabilidad del seguimiento y evaluacin del sistema de gestin
63
interdependencia entre las organizaciones, unidades administrativas y polticas y los clientes, diversidad e inestabilidad de intereses y objetivos, que limitan el alcance de los resultados en trminos de eficacia y eficiencia, la incapacidad de predecir y controlar los factores externos que afectan a los resultados finales o impactos de los programas, lo que condiciona la eficacia y eficiencia de la gestin de un programa. II. Divisin de tareas y responsabilidades Uno de los elementos que especficamente incide y determina el sistema de gestin de un organismo es la divisin de tareas y responsabilidades entre actores ejecutores y gestores. Su evaluacin debe revisar la asignacin, entre los diferentes rganos administrativos, de las funciones relativas a las tareas de ejecucin, seguimiento y evaluacin de los programas y la coordinacin entre estos centros. Su importancia radica en que es un instrumento de ayuda para la resolucin de los problemas de transparencia e informacin que sufren las instituciones pblicas. Se trata de responder a los siguientes interrogantes: Estn las funciones de los distintos "departamentos/personas" claramente diferenciadas y especificadas? Existen solapamientos, repeticiones, ambigedad en la delimitacin de funciones? Conocen los tcnicos de los distintos departamentos, y en los distintos niveles jerrquicos, su funcin en el proceso global? Para realizar este tipo de anlisis es conveniente utilizar: Como apoyo grfico, los organigramas funcionales de los centros evaluados, esto es de los implicados en la gestin, ejecucin y seguimiento del programa. Los estatutos u otras normas que rigen las funciones y sistemas de coordinacin de los centros. Como ejemplo, a continuacin se reproduce un diseo organizativo que se corresponde con un modelo "departamental" donde se representan los flujos de informacin formales e informales (reglas no escritas de comportamiento organizacional) entre los distintos departamentos:
64
Flujos de informacin
S T A F F A P O Y O
Relaciones Formales Relaciones Informales
La estructura funcional representada est compuesta por tres unidades especializadas, cada una con un nico Director a la cabeza. El poder est centralizado, con cadenas nicas de mando que informan a sus directores funcionales, quienes a su vez informan al Director General. Los conflictos de intereses es la consecuencia inevitable de la necesidad de que haya diferentes actividades especializadas, cuya integracin, dentro de la organizacin, hace falta coordinar. La coordinacin se logra desarrollando sistemas que integren distintas actividades de la organizacin (planificacin, programacin y presupuestacin) y ajustando la estructura y los procesos de direccin para alcanzar los objetivos estratgicos. Por tanto, deberan emplearse comits u otros instrumentos integradores para intercambiar informacin y coordinar las actividades, si se pretende que se tomen decisiones a niveles ms bajos de la organizacin, ya que las decisiones, en este tipo de organizacin, tienden a fluir hacia lo alto, desde el nivel en el que existe la informacin necesaria para tomar la decisin. Es caracterstico de las organizaciones con este tipo de estructura de departamento que tengan "staffs" de apoyo que sean un reflejo de la estructura funcional existente en los departamentos: controlan, coordinan y apoyan a las actividades de stos.
Toda estructura organizacional se puede representar de forma grfica, puesto que un diagrama simplemente seala las relaciones entre los departamentos a lo largo de las lneas principales de autoridad. El simple hecho de representar la organizacin en una grfica puede mostrar las incongruencias y complejidades existentes, lo que facilita su correccin. Pero los organigramas deben presentar, adems de las relaciones de autoridad formales, el circuito de relaciones informales. La organizacin informal tiende a existir cuando los miembros de la organizacin formal se conocen lo suficiente como para intercambiarse informacin. Proporciona cierta cohesin a la organizacin formal infundindole a los miembros la sensacin de pertenecer a ella, de posicin,
65
de respeto y de satisfaccin. La evaluacin de este elemento cobra mayor importancia cuando existen mltiples organizaciones que participan en la ejecucin directa de un programa. Se debe identificar cul es el papel de cada una de ellas en todo el proceso y cmo se articulan las relaciones, formales e informales, y los flujos de comunicacin e informacin entre ellas. Es necesario que se desarrollen procedimientos y formas organizativas flexibles para generar una informacin de calidad que permita evaluar el grado de consecucin de los objetivos y coordinar la toma de decisiones de los gestores. Para revisar este aspecto, hay que analizar cmo se articulan en los organigramas o estructuras funcionales de las entidades los siguientes elementos:
Definicin de tareas
Procedimientos y formas organizativas flexibles
Definicin de tareas. Comprobar si se ha realizado una definicin clara y expresa del contenido de las tareas y funciones de cada puesto de trabajo en relacin con las tareas de ejecucin, seguimiento y evaluacin. Reparto de tareas. Analizar cul es el reparto de tareas y competencias en cuanto a las responsabilidades, a distintas escalas organizativas. Revisin de los mecanismos, formales e informales, para la coordinacin y la comunicacin, vertical y horizontal, entre los distintos centros ejecutores y/o gestores de los programas. Por tanto, implica la evaluacin de: Los recursos humanos. El principal elemento que determina la capacidad para llevar a cabo las tareas de gestin de un programa es la dotacin, en cantidad y "calidad", de los recursos humanos para el desempeo de tales tareas. Este aspecto, directamente relacionado con la organizacin interna, hace referencia a los sistemas de incentivo/penalizacin de rendimiento, el establecimiento de carreras profesionales, la estructura y dimensionamiento en relacin con las actividades a realizar, nivel de actividad y ocupacin, etc. La evaluacin debe pronunciarse sobre factores relacionados con: La existencia de personal infrautilizado o inactivo. La motivacin de los implicados en la gestin y ejecucin del programa. La cualificacin del personal para desempear las funciones asignadas. La definicin y asignacin de responsabilidades . La adecuacin de los mtodos de trabajo.
Reparto de tareas
Coordinacin
Dotacin de recursos humanos
Motivacin, cualificacin y asignacin de responsabilidades
66
Si el personal disponible no se ajusta a la estructura ideal, y no puede despedirse, una de las posibilidades es modificar la estructura para que se adapte a las habilidades, actitudes o limitaciones individuales con el fin de maximizar el logro de las metas a cumplir y las actividades a realizar. Recursos econmicos, materiales y temporales. La dotacin de estos tres elementos es clave para el funcionamiento de un sistema de gestin adecuado. Algunos de los indicadores a tener en cuenta para su evaluacin son: Adecuacin de la dotacin de medios a las necesidades reales. Existencia de economas de escala. Consumo de servicios internos y externos. Disponibilidad de tiempo para ejecutar las tareas. Asignacin presupuestaria para llevar a cabo las tareas de gestin y seguimiento.
Voluntad poltica. La existencia de una clara voluntad poltica para la implantacin de un sistema de gestin adecuado es un factor de xito para asegurar que los cambios que se vayan a introducir en las organizaciones tengan la incidencia buscada, evitando as que se utilice este proceso con efectos "publicitarios o propagandsticos". Inters por el proceso. Al igual que en el caso de la voluntad poltica, es necesaria la existencia de un elevado inters por parte de todos los involucrados en el proceso para que las tareas de gestin, seguimiento y evaluacin se entiendan como una "nueva cultura administrativa". Esto permite entender la estrategia de cambio como una transformacin que afecta al conjunto de actitudes, imgenes, papeles y actividades de los funcionarios pblicos. III. Promocin y difusin de un programa Los mecanismos de promocin y difusin de un programa de intervencin pblica, aspectos inherentes a su gestin, tienen incidencia directa sobre el grado de xito en la ejecucin del mismo y, por tanto, en el logro de sus objetivos. La eficacia y eficiencia de las medidas a llevar a cabo se eleva gracias a los efectos producidos por la publicidad de la actuacin instrumentada ya que aumenta el nivel de informacin de la poblacin objetivo fomentando su implicacin y participacin y la transparencia de todo el proceso de desarrollo de un programa. En relacin con este elemento se pueden diferenciar dos niveles distintos de actuacin:
Voluntad poltica e inters por implantar un sistema de gestin, y seguimiento adecuado
Publicidad del programa y sus actuaciones
67
Un primer nivel debera estar orientado a la publicidad global del programa. En un segundo nivel, se encontraran las acciones especficas de promocin y difusin de cada una de las actuaciones. Esto es, el plan de comunicacin que bsicamente debe recoger los aspectos relacionados con las exigencias de elegibilidad, temporalidad, etc. para acogerse a las actuaciones previstas en el programa.
Ejemplo Existe, segn normativa comunitaria nacional, regional y local, la obligacin de dar publicidad a determinadas actuaciones en los Boletines Oficiales de dichos mbitos, as como otras exigencias relativas a la necesidad de compatibilizar el rgimen de ayudas con la normativa existente sobre competencia, respeto de la legislacin medioambiental, etc.
Dentro del plan de comunicacin habra que revisar si se da el debido conocimiento sobre los siguientes aspectos: 1.
Presupuesto para la ejecucin de las actuaciones del programa. La dotacin presupuestaria, as como su distribucin, son factores clave para determinar las posibilidades de intervencin pblica. En funcin de la cuanta disponible para ejecutar distintos proyectos, el alcance de una intervencin en cuanto al grado de cobertura de la poblacin objetivo es variable. Nos podemos encontrar con:
sobredimensionamiento de la poblacin objetivo, si el presupuesto es insuficiente, o con una infradimensin en el caso de que no se gestione el presupuesto adecuadamente de manera que exista una ineficiente utilizacin de los recursos. Adicionalmente, el anlisis del reparto financiero entre las lneas de un programa permite verificar la "estrategia implcita" del mismo, o peso relativo que cada actuacin tiene sobre el global, an teniendo en cuenta que el coste de ejecucin de proyectos de diferente naturaleza no es homogneo ni comparable. As, no podemos comparar la asignacin presupuestaria para la construccin de una autopista con el presupuesto destinado a la realizacin de un curso de formacin.
Reparto presupuestario entre actuaciones
2.
Requisitos para participar en el programa
Criterios de seleccin y requisitos. Un aspecto que preocupa especialmente a los gestores es el establecimiento de criterios objetivos y claros para la seleccin de los proyectos a poner en marcha y financiar. Desde este punto de vista, los responsables del programa deben valorar las cualidades de los proyectos en cuanto a los posibles efectos socioeconmicos, culturales o de otra naturaleza perseguidos
68
con la intervencin. Los criterios cuantitativos se determinan por los estudios de viabilidad tcnico-econmica y por el ajuste a los gastos presupuestados y condiciones de financiacin de los mismos. Para los beneficiarios potenciales resultara de gran utilidad conocer detalladamente los contenidos de estos conceptos para participar en el programa.
Ejemplo Para una actuacin pblica consistente en la concesin de subvenciones para promocionar la inversin productiva privada, se tendran que establecer los criterios objetivos y procedimientos de seleccin de los beneficiarios en relacin con: efecto multiplicador del proyecto hacia otros sectores relacionados con el de la inversin, capacidad de generar empleo, etc. De acuerdo a estos criterios se podran identificar los proyectos, aprobados, denegados y rechazados, explicando la adecuacin a los criterios establecidos y las razones de su exclusin, en su caso.
3.
Horizonte temporal para la presentacin de solicitudes. Este apartado hace referencia al perodo de vigencia con el que se cuenta para la presentacin de las propuestas concretas de actuacin. La posibilidad de comprometer los recursos disponibles y, con ello, ejecutar financieramente el programa en las cuantas establecidas inicialmente viene condicionada por la presentacin de los proyectos dentro de los plazos de vigencia del programa. Para ello es imprescindible que en la convocatoria quede claramente establecido la forma, tiempo y lugar de presentacin de las solicitudes.
Plazo de presentacin de solicitudes para participar en el programa
La evaluacin de este mbito de gestin, de carcter ms administrativoburocrtico, debe responder a cuestiones tales como: Existen manuales o guas de procedimiento para la gestin del programa a ejecutar? Existen modelos normalizados para las solicitudes de ayudas que recojan todos los aspectos necesarios para identificar los proyectos? La inclusin de determinados aspectos como la identificacin de los beneficiarios, caractersticas de las empresas, proyectos, etc., facilita la elaboracin de bases de datos y realizacin de encuestas que sern de gran utilidad para la evaluacin de impactos. Se ha contemplado la posibilidad de instrumentar algn servicio de ayuda a los solicitantes para gestionar sus propuestas de participacin en el programa? Est diseado un mecanismo rutinario de recepcin y registro de solicitudes? Est informatizado?
69
Se han realizado informes de valoracin o evaluacin de las solicitudes de ayuda?, son homogneos y presentan unos requisitos mnimos de calidad? Esto asegurara que los criterios establecidos se aplican de forma idntica para todas las solicitudes y adems facilita el control de la gestin. Se ha arbitrado algn sistema de comunicacin a los beneficiarios? Adicionalmente, todos estos aspectos sirven de base para medir la eficacia y eficiencia en el desarrollo de las tareas rutinarias de administracin de los expedientes. Estas tareas son de vital importancia para el buen desarrollo del programa, aunque en algunas ocasiones se descuida su diseo. La utilizacin de lo que vamos a denominar "tarjetas de identificacin de cuellos de botella", sirve para evaluar la calidad de los mecanismos de difusin y promocin del programa y los sistemas de registro y aprobacin de solicitudes. En el siguiente grfico puede verse el diseo de uno de los modelos de tarjeta.
Calidad de los mecanismos de promocin y difusin
Tarjeta de identificacin de cuellos de botella

Fase: Promocin y difusin Centro: Objetivos: Recursos: Tiempo: Valor aadido: Fase: Anlisis solicitudes Centro: Objetivos: Recursos: Tiempo: Valor aadido: Fase: Convocatoria Pblica Centro: Objetivos: Recursos: Tiempo: Valor aadido: Fase: Admisin de Proyectos Centro Objetivos Recursos Tiempo Valor aadido Fase: Presentacin solicitudes Centro: Objetivos: Recursos: Tiempo: Valor aadido: Fase: Resolucin Centro: Objetivos: Recursos: Tiempo: Valor aadido: Fase: Recepcin Solicitudes Centro: Objetivos: Recursos: Tiempo: Valor aadido: Fase: Comunicacin Centro: Objetivos: Recursos: Tiempo: Valor aadido:
Para evaluar de forma cuantitativa cada una de las fases del sistema, en la tarjeta de identificacin se deben recoger, como mnimo, los siguientes aspectos: Fase: se debe identificar la fase de gestin que se va a evaluar. Las distintas tareas deben ser identificables de forma que se puedan analizar individualmente. Centro: en la tarjeta se debe anotar cul es el centro o unidad responsable de la realizacin de la tarea. Objetivos: hace referencia a la funcin que tiene la tarea analizada dentro del proceso global de gestin. Si se establece claramente el objetivo se podr realizar una evaluacin de eficacia en relacin con el mismo y comprobar hasta qu grado se est gestionando adecuadamente el programa.
70
Recursos: tanto monetarios como fsicos. En la medida de lo posible sera conveniente poder cuantificar los costes totales y los costes unitarios de realizar la tarea, as al realizar la evaluacin se facilita la bsqueda de los factores de ineficiencia del programa. Tiempo: para realizar la tarea y duracin de la misma. El tiempo es una variable muy importante que hay que planificar adecuadamente para no obstaculizar todo el proceso. Un retraso en una fase puede alterar todo el sistema de gestin. As mismo, si estimamos con amplitud el tiempo necesario podemos dejar ociosos recursos valiosos para otras tareas. Valor aadido: el ideal sera poder cuantificar el valor aadido que aporta cada tarea o fase al proceso total. Sin embargo, lo ms factible es determinar si la tarea en cuestin supone slo un coste ms o por el contrario es necesaria para el ptimo funcionamiento del proceso de gestin de las actuaciones del programa. El sentido ltimo sera decidir si se debe suprimir o mantener dicha tarea. De forma general, reproducimos grficamente en la pgina siguiente el proceso de gestin de un programa de ayudas a empresas. Dicha sistematizacin se ha realizado sobre la base de manuales de procedimiento. De acuerdo con el esquema siguiente, se pueden diferenciar cuatro etapas por las que puede pasar un proyecto para acogerse al rgimen de ayudas contemplado en el programa: Proceso de planificacin: divisin de tareas y responsabilidades. Promocin y difusin del programa y sus actuaciones. Presentacin y solicitudes de ayudas. Sistema interno de evaluacin para la aprobacin de las mismas. IV. Mecanismos y procedimientos para la recogida de informacin Este elemento, que hace referencia a la cantidad y calidad de la informacin y al modo de hacerlo, se examina en el captulo siguiente con el nombre de seguimiento.
71
Procedimiento de gestin IDENTIFICACIN DE LA ACTUACIN
OBJETIVOS GENERALES
BENEFICIARIOS: Delimitar la poblacin objetivo
INSTRUMENTACIN: Definir proyectos de actuacin
PROCEDIMIENTO
RGANO GESTOR Y/O RESPONSABLE DE LA EJECUCIN

Difusin y publicidad del programa y del procedimiento de ejecucin Convocatoria pblica de las medidas
Presentacin de solicitudes para acogerse al programa COMIT DE EVALUACIN: Revisin administrativa del expediente Evaluacin econmica/financiera de la solicitud
Registro
Unidad de gestin/ejecucin
Comunicacin de la resolucin a los beneficiarios
NO
Fase de adjudicacin
Plazo de subsanacin
72
Sumario Elementos a evaluar
Racionalidad
Objetivos Etapas administrativas Funciones
Divisin de tareas
Coordinacin Comunicacin Implicacin Dotacin de recursos Formacin
Promocin y difusin
Nivel de informacin Implicacin y participacin Transparencia
Recogida de informacin
Cantidad Calidad Modo de hacerlo
Anexo: Aplicacin al Programa Operativo de Andaluca La capacidad de la Administracin para evaluar polticas pblicas es un aspecto al cual se ha prestado escasa atencin, siendo uno de los factores ms determinantes para garantizar la evaluabilidad, tanto si la evaluacin es realizada por evaluadores externos como si se lleva a cabo por la misma organizacin. El Instituto de Desarrollo Regional realiz un estudio* que pretenda cubrir esta laguna, intentando dar respuesta a la demanda de metodologas que otorgasen a los tpicos trabajos de evaluacin un carcter ms moderno y menos generalista, de manera que pudiera ser utilizado como herramienta de trabajo y gua para los responsables y gestores de las acciones implementadas en el marco de los Fondos Estructurales.
La finalidad del estudio era conocer el grado de implantacin del seguimiento y la evaluacin en la Administracin Regional Andaluza, la familiarizacin y formacin de los gestores y decisores polticos respecto a estas tareas y, por ltimo, los elementos que dificultaban o en su caso potenciaban la internalizacin de los procesos de seguimiento y evaluacin en las prcticas cotidianas de gestin. La metodologa empleada consisti en la utilizacin conjunta de tcnicas cualitativas y cuantitativas: 1. 2. Anlisis de los documentos programticos de los Programas Operativos con el fin de conocer el contenido y diseo de los Programas. La entrevista en profundidad a "figuras clave" en la gestin de los Programas, con el objeto de obtener una visin real del funcionamiento de los Programas as como una descripcin detallada de las tareas emprendidas respecto a su gestin interna.
*Esta investigacin se engloba dentro de un proyecto ms amplio de evaluacin: La
evaluacin ex-ante de los Programas Operativos de Andaluca 1994-99 y Doana II Fase 1994-99. Estos Programas fueron aprobados en el Marco Comunitario de Apoyo 1994-99.
73
Varias fueron las ventajas de la utilizacin de estas tcnicas: Implicacin de los responsables de las distintas fases de los Programas en el proceso evaluador. Recogida de informacin rica y rigurosa para el diseo del cuestionario usado en la encuesta. 3. La encuesta, realizada a todos aquellos responsables del diseo, gestin, seguimiento y evaluacin de las acciones de los Programas Operativos. Se trat, por tanto, de un estudio de opinin y actitudes para detectar los motivos que explicaban los efectos de las situaciones nuevas y las transformaciones funcionales que haban tenido lugar en la Administracin debido, principalmente, a la recepcin de las ayudas comunitarias. Los datos tcnicos de la encuesta se encuentran resumidos en la siguiente tabla:
Objetivos del cuestionario Conocer el grado de implantacin de la evaluacin y el seguimiento Ofrecer una aproximacin al concepto de evaluacin y seguimiento Determinar los elementos que intervienen en el seguimiento y evaluacin Delimitacin poblacin de estudio Directores Generales (7) Jefes de Servicio (18) Tcnicos (15) Diseo del cuestionario 141 preguntas (80 cerradas y 61 abiertas) Las preguntas se agruparon en 4 bloques que se correspondan a los tres objetivos y una cuarto para observaciones Otras tareas Trabajo de campo (4 meses) Codificacin de las preguntas Grabacin de datos Anlisis estadstico de la informacin con el Paquete Estadstico para las Ciencias Sociales (SPSS/PC+) Interpretacin de los resultados
La poblacin a la que se dirigi la encuesta coincidi con el "universo real" que se tena que investigar. No se tuvo, por tanto, que realizar una muestra debido a que era de reducidas dimensiones y estaba bien estructurada y jerarquizada, lo que, por otra parte, facilit el contacto con los encuestados. La poblacin objetivo se compuso de varias subpoblaciones: Gestores de planificacin: Directos Generales, Jefes de Servicio y Tcnicos responsables de la coordinacin de las acciones del Programa Operativo. Directores Generales, Jefes de Servicio y Tcnicos de las distintas Consejeras relacionados con el diseo, gestin, ejecucin, seguimiento y evaluacin de las acciones del P.O. Otros tcnicos (Jefes de Servicio) que no gestionaban acciones en el P.O. pero cuya informacin resultaba relevante puesto que ocupaban puestos de trabajo estratgicos relacionados con las tareas de seguimiento y
74
evaluacin. Incluir a estos tcnicos fue de gran utilidad porque se obtuvo informacin directa sobre cmo se llevaba a cabo el seguimiento y sobre los problemas con los que se encontraban para la realizacin de estas tareas de forma ptima. Las principales conclusiones alcanzadas con el anlisis de los datos obtenidos con la encuesta apuntaban en las siguientes direcciones: En general se comprob que la existencia de un alto nivel de familiarizacin con los conceptos de seguimiento y evaluacin era, fundamentalmente, terico ya que la mayora de los encuestados no haban participado en la realizacin de las tareas de seguimiento y evaluacin que se haban llevado a cabo en la Administracin. Esto, por otro lado, no se corresponda con una formacin ni cualificacin especfica para realizar estas tareas; por el contrario, existan ambigedades, contradicciones e inexactitudes conceptuales al definir los trminos de seguimiento y evaluacin.
Grfico 1. Familiarizacin con las tareas de seguimiento y evaluacin 95% 100% 100% 35% 50% 5% 0% 0% 65%
Grfico 2. Participacin en las tareas de seguimiento y evaluacin
50%
0% S No No sabe/no contesta
0% S No No sabe/no contesta
Fuente: Encuesta. Elaboracin propia.
La confusin a la hora de delimitar los conceptos de seguimiento y evaluacin proceda, por una parte, de la identificacin que haca la poblacin encuestada de los trminos de: "seguimiento y evaluacin intermedia" y "evaluacin slo como evaluacin de eficacia en el logro de resultados". Por otra parte, de la vinculacin directa del concepto de seguimiento o bien al seguimiento financiero exclusivamente o bien al control de "legalidad". Por ello, aunque el total de encuestados afirmaba la gran diferencia existente entre el seguimiento y la evaluacin (Grfico 3), no posean el conocimiento sobre los elementos y mbitos que abarcaba cada uno de ellos, (Grfico 4).
G r i 3.D ier fco f enci concept ent e a ual r segui i o y eval n m ent uaci 100%
G r i 4.For aci espec i par el fco m n fca a segui i o y l eval n m ent a uaci
100%
100% 26% 50% 0% 0% 0% No N o sabe/ cont a no est S No
74%
50%
0% S
75
Con relacin al seguimiento, ste se entenda como un proceso extraordinario que se practicaba en determinadas ocasiones y ante requerimientos especficos ms que como un mecanismo interno y normalizado que, necesariamente, deba ser paralelo a la gestin para garantizar la disponibilidad de los flujos de informacin demandada (grfico 5). Se verific la ausencia de directrices que marcasen las pautas a seguir en las tareas de seguimiento lo que se traduca en una falta de estandarizacin, sistematizacin y homogeneizacin de los procesos de recopilacin de informacin. Por otra parte, no exista un desarrollo metodolgico de tcnicas de anlisis de informacin que posibilitase un ptimo seguimiento de las acciones llevadas a cabo, no permitiendo su posterior evaluacin. Sin embargo, la poblacin encuestada, al conocer por explicacin de los evaluadores las funciones y ventajas que un adecuado sistema de seguimiento puede reportar, mostr un gran inters y concedi una gran importancia a la puesta en funcionamiento de este sistema, que adems en la mayora de los Centros Directivos estaba escasamente implantado (Grfico 6). Para paliar este problema, que resulta de la escasa internalizacin de las tareas de seguimiento y evaluacin en los Centros, la Administracin ha emprendido una serie de actuaciones encaminadas a fomentar una "cultura de evaluacin" y un cambio en las tcnicas de gestin. Entre estas acciones concretas se podran destacar la creacin de departamentos especficos y figuras administrativas que facilitan la operativizacin de estos procesos y la constitucin de "Grupos de Seguimiento de Fondos Comunitarios" donde estn representadas todas las Consejeras que se benefician de estos Fondos.
Grfico 5. Origen de la iniciativa para el seguimiento y evaluacin 60% 40% 20% 0% Comisin Europea Consejera Direccin General Tcnicos 32% 18% 9% 60% 31% 40% 20% 0% Alto Medio Bajo 26% Grfico 6. Grado de implantacin del seguimiento y evaluacin
41%
43%
El ltimo aspecto analizado en la encuesta fue el estudio de los factores que potenciaban u obstaculizaban la consecucin de un elevado grado de implantacin de las tareas de seguimiento y evaluacin en la Administracin y, con ello, el fomento de una nueva visin sobre determinados aspectos de la gestin diaria de tcnicos, gestores y decisores polticos. De todos los "aspectos" sealados por los encuestados se procedi a una sistematizacin de los mismos de forma que fue posible identificar una escala de siete
76
categoras de elementos que determinaban la capacidad para llevar a cabo el seguimiento y evaluacin del Programa (grfico 7), a partir de la media de las puntuaciones otorgadas por los encuestados a cada categora.
G r i 7.El ent que det m i fco em os er nan l capaci a dad par elsegui i o y a m ent eval uaci n 7, 3 5, 1 5 3 1, 6 3, 6 5, 4 6, 5
10
0 Or gani n zaci R ecur sos hum anos Vol ad poltca unt i I er porelpr nt s oceso P l fcaci anii n C onoci i os en eval m ent uaci n R ecur sos
Organizacin. Los aspectos que resaltaron como obstculos fueron la inadecuada definicin de competencias y responsabilidades, el establecimiento ambiguo de objetivos, la escasa coordinacin, y la discontinuidad y ausencia de transparencia en el flujo de informacin sobre recursos y resultados. Planificacin. El estudio de la metodologa y de los sistemas ms habituales de planificacin utilizados en la Administracin revel la conveniencia de que se llevaran a cabo ms estudios de necesidades previos a los procesos de programacin de intervenciones. Este tipo de estudios podra ayudar a la resolucin de determinados problemas que condicionan la planificacin tales como las presiones polticas o la disponibilidad financiera. Recursos humanos. El principal obstculo detectado fue la insuficiencia del nmero de personas para llevar a cabo las tareas de seguimiento y evaluacin de los proyectos. Este aspecto, directamente relacionado con la organizacin interna, se podra paliar, segn argumentaban los encuestados, con una mejor distribucin orgnica de los puestos de trabajo. Conocimientos especficos en evaluacin. La inadecuada formacin en esta materia de los gestores, tcnicos y decisores ya se abord anteriormente, sin embargo es importante resaltar que los encuestados aportaban un conjunto de soluciones que pasaban desde: los cursos de formacin, la creacin de gabinetes especializados, elaboracin de manuales de evaluacin, etc., que se comprometan seguir. Voluntad poltica. Los resultados obtenidos con el anlisis de este factor demostraron la existencia de una clara voluntad poltica para la implantacin del seguimiento y la evaluacin, aunque no tan ntidamente los objetivos perseguidos con ella. As, muchos afirmaban la existencia de un claro efecto "publicitario o propagandstico".
77
Recursos econmicos, materiales y temporales. La dotacin de estos tres elementos clave para el funcionamiento de un sistema de seguimiento y evaluacin fue valorada como insuficiente. Paralelamente, eran clasificados como elementos determinantes de la viabilidad de la implantacin de estos procesos, y como los obstculos de ms fcil solucin para conseguir el ptimo buscado. Inters por el proceso. Al igual que en el caso de la voluntad poltica, la encuesta arroj la existencia de un elevado inters por parte de todos los involucrados en el proceso de seguimiento y evaluacin, aunque el problema detectado fue que en muchos casos se trataba ms de un inters a nivel personal que un propsito general del Centro. El hecho de que ninguna de las evaluaciones realizadas en la Administracin haya sido interna exclusivamente significa que el saber hacer metodolgico no se incorporara a la misma, sino que la herramienta segua adscrita a los evaluadores externos. Adems, las escasas evaluaciones efectuadas hasta ese momento haban sido propuestas especficas con criterios ajenos a la Administracin. As, a pesar del discurso que aboga por la implantacin de la evaluacin y del aparente alto grado de familiarizacin con las tareas de evaluacin que los encuestados afirmaban tener, en la Administracin Regional la evaluacin se consideraba como un procedimiento excepcional dirigido a establecer un juicio posterior, y no como una herramienta indispensable a la hora de formular la propia accin, de proceder a su ejecucin y de mejorar la planificacin. La conclusin general que se puede extraer del anlisis de los resultados de la encuesta es la importancia que los esfuerzos en desarrollos metodolgicos en materia de seguimiento y evaluacin y su operatividad tienen en el contexto actual de las Administraciones. La evaluacin, ms que una tcnica de control de las actividades, es toda una filosofa para entender la gestin de recursos escasos. En consecuencia, su incorporacin no puede ser inmediata sino a travs de un proceso de aprendizaje que tome como punto de partida la experiencia de la Administracin.
Notas al pie:
1. 2.
Organizacin de la Naciones Unidas (1971). Manual para la contabilidad del Gobierno. Ya en Espaa en 1989 se comienza una experiencia orientada al seguimiento de objetivos integrando como elementos compatibles los procesos de planificacin, presupuestacin, gestin y control. Ley 37/88 de Presupuestos Generales del Estado para 1989. Alcalde de Hernndez (1995): El control de gestin en el sector pblico. Su aplicacin en el MOPTA, en Gestin y Anlisis de Polticas Pblicas n. 3, pg. 68. Canadian Comprehensive Auditing Foundation (1987). Effectiveness reporting and auditing in the public sector. Ottawa. Comisin Europea. (1993). Proyect cycle management. Integrated approach and logical frame work. Direccin General de Desarrollo, Unidad de Evaluacin, Bruselas.
3.
4.
5.
78
Captulo 4 Evaluacin del sistema seguimiento de programas de
Uno
de los factores que condicionan el
alcance de la evaluacin de un programa, y concretamente la valoracin de su ejecucin, es la cantidad y calidad de los datos disponibles sobre el mismo puesto que para poder abordar la evaluacin de un programa es imprescindible conocer con el mayor grado de exactitud posible qu es lo que se est haciendo o lo que se ha hecho.
Sin
embargo, las tareas de seguimiento
no deben concebirse como un objetivo en s mismo, sino como una herramienta til para describir qu se est haciendo y cmo.
La importancia del seguimiento radica en

que permite: Obtener toda aquella informacin que, al inicio, a medio camino y una vez finalizado el programa, ser necesaria para evaluar su impacto, su eficacia y eficiencia. Describir la evolucin de las actividades del programa y el desarrollo de la intervencin estableciendo criterios sobre ndices y relaciones de acuerdo con un esquema y secuencia predeterminados. Identificar los puntos crticos en la gestin y ejecucin, permitiendo detectar problemas. Alertar a los responsables sobre los riesgos de implantar un programa distinto del diseado.
Pero no es la ausencia de informacin el
principal obstculo con el que se encuentra el equipo evaluador, sino su desagregacin, falta de organizacin, estructura y periodificacin. Esto podra resolverse sin muchas trabas cuando lo que se va a evaluar es un pequeo proyecto. La dificultad surge cuando se trata de evaluar un amplio programa de intervencin, debido a la informacin que se genera.
Estos son los problemas que el sistema de

seguimiento debe resolver y que, adems, justifican su importancia.
El
principal objetivo del sistema de
seguimiento es la verificacin peridica de lo que se est realizando, desde la perspectiva fsica y financiera. Frente a la evaluacin, cuyo objetivo es emitir un juicio crtico acerca de la validez de la intervencin, el seguimiento informa aisladamente de cada uno de los elementos de un programa. El seguimiento informa, la evaluacin concluye.
En definitiva:
Facilitar la toma de decisiones sobre las acciones correctivas a emprender.
80
Evaluacin del sistema de seguimiento de programas
Facilitar a la organizacin el cumplimiento de sus objetivos y la medicin de los progresos realizados para su consecucin.
La adecuacin de las herramientas utilizadas para su instrumentacin y la fiabilidad de la informacin que suministra.
La evaluacin del sistema de seguimiento

debe dirigirse a examinar su contenido, fiabilidad y oportunidad, determinando el grado en el que contribuye a la gestin diaria del programa y a su ptima ejecucin.
no hay ningn modelo de seguimiento que se adapte perfectamente a todos los programas. Hay que tener en cuenta: La naturaleza de las actuaciones. Las necesidades de informacin. La estructura organizativa de la administracin encargada de gestionarlo.
Es necesario considerar previamente que
Debe constatarse:
Que el sistema abarque todos los aspectos del programa, describindolos en detalle. Su adaptacin y ajuste a las estructuras organizativas de los rganos gestores y ejecutores. Esto es, debe comprobarse que est integrado en la gestin diaria y que cuenta con todos los implicados en la ejecucin y gestin del programa.
elementos a evaluar del sistema de seguimiento:
En
el grfico siguiente se recogen los
Elementos del sistema de seguimiento
mbitos y niveles Elementos Responsabilidad y periodicidad Instrumentos: Indicadores Otros instrumentos Fichas Biogrficas de las actuaciones
81
mbitos y niveles del sistema de seguimiento

A) mbitos
La articulacin del sistema de seguimiento debe ser tal que permita recopilar y sistematizar informacin sobre: La participacin de la poblacin objetivo. Uno de los aspectos que condicionan el logro eficaz de los objetivos propuestos en un programa es la participacin de la poblacin a la que va dirigida la intervencin. El empleo eficiente de los recursos de un programa requiere: que se maximice el nmero de poblacin beneficiaria, y que se minimice el sesgo de cobertura de la misma, es decir, reducir el nmero de beneficiarios que no deberan serlo o aumentar el nmero de aquellos que deberan participar y no lo hacen. Es necesario, dada su importancia sobre la validez de las evaluaciones y de los efectos de las intervenciones, que el sistema de seguimiento vaya verificando, progresivamente: el grado de cobertura de la misma, sus caractersticas, y adecuacin al diseo del programa. La gestin del programa. El seguimiento de la gestin que se est llevando a cabo por el centro encargado del desarrollo del programa es necesario para evaluar posteriormente la eficacia y eficiencia en la gestin de los proyectos. Comprende las tareas que estn asociadas a las distintas fases del "ciclo de vida" del programa de intervencin (vase captulo 3). El cumplimiento de la normativa legal que pueda afectar a las actuaciones insertas en el programa. El sistema de seguimiento debe registrar la informacin relativa a aquella normativa vigente que condiciona la puesta en marcha del programa, con el fin de controlar su efectivo cumplimiento y la coherencia con sus objetivos. Por ejemplo, en el caso de una accin consistente en la concesin de subvenciones financiadas por Fondos Estructurales de la Unin Europea hay que tener en cuenta la observancia de la normativa sobre competencia, contratos pblicos y medio ambiente, entre otras. La evolucin del contexto socioeconmico donde se desarrolla la intervencin. Toda intervencin pblica se programa en un contexto econmico, poltico, social e institucional determinado, cuya principal caracterstica es su dinamicidad y continua evolucin. El seguimiento de este contexto trata de medir la evolucin y comportamiento de las variables que lo integran. Su determinacin es una condicin necesaria no slo para poder prever los efectos de la intervencin sino incluso, y
Seguimiento de la participacin y cobertura de la poblacin objetivo
Seguimiento de la gestin
Seguimiento del cumplimiento de la normativa
Seguimiento del contexto socioeconmico
82
ms importante, para evaluar su propia viabilidad. La ejecucin del programa, sus resultados directos y sus costes. Con el seguimiento fsico se recopila informacin acerca de la puesta en marcha y ejecucin del conjunto de acciones y medidas previstas. Esto es necesario para poder comprobar cmo la ejecucin de una actuacin permite alcanzar unos resultados directos e inmediatos tendentes a la consecucin de unos objetivos ms globales. El seguimiento financiero trata de ver si se usan los fondos apropiadamente y dentro de los lmites establecidos por el presupuesto. Desvos o atrasos respecto a los plazos previstos. El sistema de seguimiento diseado debe contemplar la existencia de medidas que recojan los atrasos o desvos de las realizaciones, fsicas y financieras, respecto a los calendarios previstos, as como sus causas. Escenarios futuros. Es conveniente que previamente se preparen distintos escenarios en los que la accin se pueda desarrollar, tarea que deber acometerse en el momento mismo de la planificacin, es decir, antes de la intervencin Estos escenarios seran representaciones de las actividades del programa a lo largo del perodo vital del mismo, donde se describiran aspectos tales como: los recursos disponibles para la realizacin de los proyectos, los plazos de ejecucin, las condiciones externas necesarias para el correcto desarrollo de las actuaciones, y las posibles causas que puedan provocar un retraso en la ejecucin de la accin. En general, entre las posibles causas de los atrasos podemos sealar aquellas vinculadas a la gestin, participacin de la poblacin objetivo, incidencia del contexto socioeconmico de la intervencin y problemas tcnicos en la ejecucin de los proyectos. La gestin, sobre todo en relacin con la planificacin y con la ejecucin fsica y financiera de las acciones, as como en lo relacionado con la coordinacin entre las Administraciones implicadas en la ejecucin del programa. Una mala coordinacin entre los centros responsables de un programa puede paralizar su ejecucin por provocar dilucin en la asuncin de responsabilidades. Causas de naturaleza tcnica: fsica y/o financiera. Entre ellas podemos encontrar, por ejemplo, los problemas derivados de no haber realizado antes de la ejecucin de la accin estudios sobre las condiciones tcnicas del proyecto o sobre el impacto medioambiental. Entre las causas de origen financiero se encuentran los retrasos en el cobro de la financiacin por parte de los financiadores principales del
Seguimiento fsico y seguimiento financiero
Atrasos y desvos
Causas de los atrasos
Gestin
Causas tcnicas
83
programa, lo que provoca atrasos en el pago a terceros, llegando en ocasiones incluso a paralizar la ejecucin de una obra. Participacin de la poblacin objetivo. Por ejemplo, para el caso concreto de una accin que consista en la concesin de subvenciones a empresas, es imprescindible prever cul va a ser la respuesta de los potenciales beneficiarios de la actuacin puesto que la accin puede no ejecutarse por no haber suficiente demanda de subvenciones. Evolucin del contexto socioeconmico, como cambios imprevistos en el marco econmico, un cambio poltico, una catstrofe natural, etc.
Participacin de la poblacin objetivo
B) Niveles de seguimiento
El sistema de seguimiento debe articularse para los distintos niveles de planificacin diseados en el programa ya que cada uno tiene unos objetivos concretos y unas caractersticas propias. Se sigue as la cadena lgica de "abajo a arriba" en las relaciones causales que se hayan preestablecido.
Cada nivel de planificacin debe contar con un sistema de seguimiento propio
Esto significa que cada nivel de actuacin ha de contar con un sistema de informacin propio que suministre todos los datos necesarios para las evaluaciones. En el siguiente grfico se ha seguido la nomenclatura proyecto, accin, medida y programa, comn en numerosos programas y planes, aunque no es la nica que puede encontrarse en la planificacin.
Niveles de seguimiento Programa

Impacto global Impacto especfico Resultado Realizacin Impacto global Impacto especfico Resultado Impacto especfico
Medida
Accin
Proyecto
Realizacin
Resultado Realizacin
Resultado Realizacin
Debe, por tanto, definirse un sistema de informacin para los siguientes niveles:
84
Proyecto. Es el nivel ms concreto de programacin o unidad mnima de planificacin (en la secuencia mostrada en el grfico anterior). El seguimiento individualizado para cada uno de los proyectos definidos posibilita el control pormenorizado del programa. Puesto que el objetivo del proyecto es contribuir a la realizacin material de la actuacin, la informacin fundamental a recoger ser sobre su realizacin y resultados. Los impactos son, sin embargo, difciles de imputar a este nivel, aunque depende de la envergadura y naturaleza del proyecto. Accin. Se puede definir una accin como un conjunto de proyectos de similares caractersticas que persiguen un objetivo comn. Contar con informacin que permita evaluar cada una de las acciones es un elemento cualitativamente diferenciador de una planificacin evaluable de la que no lo es, por lo que disponer de la misma resulta absolutamente imprescindible. Para las acciones se debe recopilar informacin sobre su realizacin y sus resultados, as como de sus objetivos especficos.
Ejemplo En una accin de construccin y mejora de infraestructura de transporte por carreteras, compuesta por distintas actuaciones en diferentes tramos, cada una de stas sera, segn la nomenclatura anterior, un proyecto, del que puede recogerse informacin individualizada sobre la realizacin y sus resultados directos. Por ejemplo, kilmetros de carretera construidos y aumento de la velocidad en el tramo. Tomando la accin como una unidad, se podra analizar el impacto que sta provoca en las variables que se tomen como referencia para medir sus objetivos, por ejemplo, mejora de la conexin interna y externa de las reas afectadas.
Proyecto
Accin
Medida. Es en este nivel donde se define explcitamente la estrategia de actuacin del programa, concretndose posteriormente en acciones y proyectos; son, por tanto, las lneas generales de intervencin que el programa contempla. El seguimiento de las medidas permite disponer de parmetros de contraste en la evaluacin de la coherencia del programa en su conjunto y de los impactos que provoca. Programa. El seguimiento a este nivel es bsico para evaluar los efectos globales de la intervencin debido a que recopila informacin general sobre los niveles anteriores.
Medida
Programa
85
Responsabilidad y periodicidad del seguimiento

A) Responsabilidad del seguimiento
El seguimiento debe realizarse internamente
A diferencia de las evaluaciones, en las cuales el evaluador externo puede, y debe, desempear un papel importante, las tareas de seguimiento deberan realizarse internamente por los gestores del programa. Y esto debe ser as por varias razones: Porque el seguimiento constituye una tarea propia e inseparable de la gestin. Porque, como consecuencia de lo anterior, el gestor tiene la obligacin, el derecho y la facilidad de acceder a la informacin necesaria. Y porque nadie mejor que el propio gestor conoce el programa, su origen, desarrollo y conclusin. Ahora bien, ese conocimiento de los gestores debe quedar exhaustivamente recogido por el sistema de seguimiento. As como en la elaboracin y ejecucin de los programas las funciones y responsabilidades se encuentran distribuidas entre distintos rganos, las funciones y responsabilidades del seguimiento se distribuyen entre los centros directivos y otros organismos ejecutores.
El sistema de seguimiento debe satisfacer las necesidades de informacin de cuantos participan en el programa
Debido a la implicacin, comnmente, de diversos centros pblicos con distintas competencias en relacin con la gestin y ejecucin de los programas, el sistema de seguimiento debe satisfacer las necesidades de informacin de cuantos participan en el programa. Por ejemplo: El rgano de mximo nivel requerir informacin agregada sobre el conjunto del programa. Cada uno de los centros gestores (centros directivos) demandar informacin detallada sobre aspectos que incidan de forma directa en su gestin. Igualmente, el sistema de seguimiento debe ser lo suficientemente flexible como para proporcionar informacin til tanto a aquellas unidades con funciones meramente administrativas como a aquellas con comportamientos ms empresariales.
Cada centro directivo debe realizar el seguimiento de sus propias acciones
Cada centro directivo debe realizar el seguimiento de sus propias medidas, acciones y proyectos, mientras que debe instrumentarse un centro o departamento que ejerza una doble funcin: 1. Coordinar el seguimiento de las actividades de los centros directivos implicados en el programa y recopilar los informes de seguimiento fsico y financiero. 2. Seguimiento global del programa.
86
La existencia de gabinetes especficos como los Comits de Seguimiento, operativos en muchos de los programas pblicos gestionados por la Administracin espaola en la actualidad, asumen estas funciones de coordinacin y seguimiento global. Concretamente han ido ejerciendo labores tendentes a: Asegurar el buen funcionamiento del programa en orden a la obtencin de los objetivos propuestos. Realizar el seguimiento de la ejecucin fsica y financiera del programa mediante la realizacin de informes, controles por muestreo y elaboracin de indicadores (fsicos y financieros) que ponen de manifiesto el estado de avance de las actuaciones as como los progresos realizados en la gestin del programa. Coordinar las actuaciones de promocin y publicidad del programa con las autoridades competentes. Proponer las reprogramaciones que se consideren pertinentes a la luz de los progresos en la ejecucin y gestin de las actuaciones. La tarea del evaluador externo en este campo es asesorar sobre la calidad de los mecanismos diseados y sobre el grado de viabilidad y factibilidad que las evaluaciones a realizar tendrn en funcin de la informacin que se pueda suministrar a travs del sistema de seguimiento que se establezca.
Comits de seguimiento
B) Periodicidad del seguimiento

La diversidad y especificidad de los proyectos y acciones incluidas normalmente en los programas pblicos hace difcil establecer a priori, y an ms normalizar, la periodicidad con que hay que realizar el seguimiento. Adems, para algunas actuaciones ser necesario hacer un seguimiento casi continuo mientras que para otras, cuya realizacin es ms espaciada en el tiempo, el seguimiento resulta ms operativo y funcional si se realiza con una mayor secuencia temporal. Por ejemplo, para el seguimiento del contexto socioeconmico la periodicidad viene condicionada por la disponibilidad de las estadsticas de referencia. Adems, dado que la identificacin de los cambios ocurridos en el entorno de las intervenciones exige, normalmente, estudios ad hoc difciles de abordar en el marco de la gestin del "da a da", parece ms coherente realizarlo de forma menos constante. De cualquier modo, es cierto que existen unos condicionantes temporales externos para el seguimiento de todas y cada uno de las intervenciones; estos son: Las reuniones de los Comits de Seguimiento, si existen o estn constituidos. Los plazos, generalmente, anuales, fijados presupuestariamente en los programas para la ejecucin de las acciones.
87 Condicionantes temporales No se puede establecer a priori la periodicidad del seguimiento
Aunque esta periodicidad puede ser til como fecha de referencia para realizar el seguimiento, no siempre se corresponde con las etapas del ciclo de vida de los proyectos y acciones ejecutadas, por lo que debera funcionar ms como elemento externo de control que como condicionante de la periodicidad del seguimiento.
Sumario Diferencias entre evaluacin y seguimiento Evaluacin Seguimiento
Emitir juicios crticos sobre la validez, bondad y utilidad de la intervencin Exige importantes recursos Se puede realizar tanto internamente como por evaluadores externos Conclusiva
Informacin aislada de los elementos del Programa No implica un coste demasiado elevado En principio se debe realizar internamente por la Administracin Informativa
El seguimiento debe contemplar
La participacin de la poblacin objetivo La gestin del programa El cumplimiento de la normativa legal que pueda afectar a las actuaciones insertas en el programa La evolucin del contexto socioeconmico donde se desarrolla la intervencin La ejecucin del programa, sus resultados directos y sus costes Desvos o atrasos respecto a los plazos previstos Escenarios futuros
88
Instrumentos del seguimiento

El seguimiento se puede realizar de forma cualitativa o cuantitativa mediante la formulacin de indicadores, descriptores e informes peridicos y otros instrumentos. Los usados con mayor frecuencia son los indicadores y los informes narrativos. Por este motivo, le dedicamos una especial atencin a los indicadores, diferencindolos del resto de herramientas utilizadas en el seguimiento.
Seguimiento cualitativo y cuantitativo
A) Indicadores
Los indicadores son expresiones cuantitativas y/o cualitativas de la realidad objeto de estudio y constituyen una de las formas ms relevantes de sistematizar informacin. Sin embargo, muestran slo aspectos parciales de las variables que se pretenden medir. Por ello, aunque resulta ms til tener una medida que carecer de cualquier estimacin o parmetro de valoracin, ningn indicador es completo ni perfecto. Consecuentemente, es necesario definir una "batera de indicadores" que recoja exhaustivamente todos los aspectos fundamentales de la actuacin y aporte una visin global de la misma. No se puede establecer taxativamente el nmero ptimo de indicadores que deben definirse para hacer el seguimiento ya que depende de la especificidad de la actividad que se quiere analizar. En cualquier caso: no debe ser inferior al necesario para conocer la entidad de la accin concreta, ni tan numeroso que produzca una sobrecarga de informacin que dificulte el estudio. Con la formulacin de los indicadores se pretende satisfacer dos funciones: Funcin descriptiva. Contar con un elemento de recogida de informacin para ilustrar la situacin y evolucin de las variables analizadas. Funcin normativa. Tener parmetros de referencia para la evaluacin del logro de los objetivos de un programa. Con el fin de optimizar las funciones para las que se definen los indicadores, estos deben satisfacer determinadas propiedades. Estas pueden evolucionar en el tiempo e incluso ser contradictorias, de ah que se imponga la necesidad de su revisin peridica para que los indicadores mantengan todos sus atributos. Las cualidades que debe cumplir un buen indicador son1: 1. Pertinencia y relevancia. El indicador debe medir los elementos ms significativos del programa que estn directamente relacionados con lo que se quiere evaluar.
Los indicadores cumplen dos funciones: descriptiva y normativa
Es necesario establecer una batera o conjunto de indicadores
89
2. Unicidad. El indicador debe utilizarse para medir un slo aspecto de la actuacin.

Cualidades de los indicadores
3. Exactitud y consistencia. Los indicadores deben suministrar medidas exactas, proporcionando las mismas mediciones siempre que se use igual procedimiento de medicin, independientemente de las personas que lo efecten. 4. Objetividad. Cada indicador tiene que reflejar hechos y no impresiones subjetivas. 5. Ser susceptible de medicin. La realidad sobre la que se quiere construir el indicador debe ser medible, siendo la expresin del indicador cuantitativa. 6. Fciles de interpretar. 7. Accesibilidad. El indicador debe basarse en datos fcilmente disponibles de forma que pueda obtenerse mediante un clculo rpido y a un coste aceptable, tanto en trminos monetarios como de recursos humanos necesarios para su elaboracin. 8. Comparables, espacial y temporalmente.
Aspectos medibles INDICADORES VERIFICABLES OBJETIVAMENTE Cantidad .............................................................................. Calidad................................................................................. Poblacin Objetivo ............................................................. Tiempo/perodo .................................................................. Lugar.................................................................................... FUENTES DE INFORMACIN Apropiadas, especficas, relevantes, fiables, accesibles, coste razonable Cunto? Qu? Quin? Cundo? Dnde?
Tipologa de indicadores
No existe una nica clasificacin de indicadores
La tipologa de indicadores es muy amplia y no existe una nica aplicable a todos los programas de intervencin pblica. Algunas clasificaciones se basan en2: El papel desempeado por los indicadores, distinguiendo entre los indicadores descriptivos y normativos. Una tipologa que se aproxima a este criterio de clasificacin es la propuesta por la Comisin Europea3
90
para el seguimiento y evaluacin de los programas financiados con Fondos Estructurales que distingue entre indicadores de base y complementarios. Segn el objeto de medicin, distinguiendo entre indicadores de recursos, de resultados, de impactos, de gestin y de contexto socioeconmico de la intervencin. Estas categoras no son excluyentes, de forma que los indicadores de gestin, por ejemplo, pueden ser descriptivos o normativos; depende de si slo suministran informacin sobre lo que realmente ocurre o si establecen una norma o referente para la evaluacin, aportando juicios de valor implcitos sobre lo que debe ser. Independientemente de la clasificacin que se escoja, los indicadores deberan establecerse ex-ante para garantizar la evaluabilidad del programa, de ah la importancia que se les otorga a stos en el marco de la evaluacin. Esto, no obstante, no implica que a lo largo del perodo de ejecucin de una actuacin, y debido a distintas razones, se pueda aumentar el nmero de indicadores que forman parte de la "batera" que se haya definido en un principio, o que por el contrario se eliminen algunos. Veamos cada uno de estos grupos de indicadores, tratando conjuntamente ambas clasificaciones. Indicadores de base. Reflejan el desarrollo real del programa en cuanto a su realizacin, resultado e impactos.
Los indicadores deberan establecerse ex-ante
a)
Indicadores de realizacin. Sirven para medir la ejecucin financiera y fsica de las actuaciones del programa:
Los de carcter financiero siguen los gastos en que se incurre en el proceso de realizacin de una accin; por ejemplo, el coste de una autopista y el coste de un programa de formacin. Los indicadores fsicos reflejan el estado de avance o de ejecucin fsica; por ejemplo, el nmero de kilmetros construido de autopista y el nmero de alumnos formados en un curso de formacin. Estos indicadores se formulan tomando como referencia la descripcin de los proyectos incluidos en cada accin y el presupuesto disponible para su ejecucin. Las fuentes de informacin para su diseo son los documentos preexistentes sobre el proyecto y las memorias de ejecucin que elaboren los centros gestores o ejecutores.
Indicadores que miden la ejecucin fsica y financiera de las actuaciones del programa
b)
Indicadores de resultado. Cuantifican los productos generados como consecuencia de la actuaciones realizadas, es decir, miden los efectos directos o inmediatos, la calidad y el rendimiento que la
91
realizacin de una accin consigue. Estos indicadores tambin pueden ser: De naturaleza fsica: reduccin del tiempo de recorrido y tasa de alumnos que han superado con xito un programa de formacin. De naturaleza monetaria: disminucin de los costes de transporte y coste unitario de formacin de cada alumno participante en el programa. Para construir estos indicadores se toman como base los objetivos directos de las acciones contempladas en los programas. Las fuentes de informacin son los documentos programticos sobre las acciones y la formulacin de los posibles efectos derivados de la realizacin de los proyectos que tanto gestores, ejecutores, beneficiarios y evaluadores realicen.
Indicadores que miden los resultados directos e inmediatos
c)
Indicadores que miden los resultados globales
Indicadores de impacto. Registran la incidencia del programa a evaluar sobre sus objetivos especficos y globales y sobre la poblacin objetivo. Siguiendo los ejemplos anteriores, los indicadores de impacto deben valorar la mejora de la conexin interna y externa del rea de intervencin y la reduccin de los costes de transportes y, en cuanto a la actuacin de formacin, la cualificacin de los beneficiarios y su mejora en la capacidad de acceso al mercado de trabajo.
Los indicadores de impacto se formulan sobre la base de los objetivos especficos y globales establecidos en el programa, siendo la fuente de informacin bsica, al igual que en los casos anteriores, el material documental disponible. Adems, se pueden emplear tcnicas donde la participacin de los implicados en el programa es clave para determinar indicadores o descriptores de impactos. Estas tcnicas se vern en el captulo siguiente.
Los indicadores complementarios se formulan sobre los indicadores de base
A partir de estos indicadores de base se calculan los denominados indicadores complementarios, que se determinan en relacin con lo planificado en el programa, si existen previsiones, o con unos parmetros de referencia (llamados tambin comparadores) sobre lo que debera alcanzarse con la ejecucin del programa. Los indicadores complementarios son de dos tipos:
a)
Indicadores de eficacia. La eficacia hace referencia al logro de los objetivos previstos sin tener en cuenta los costes. Estos indicadores pueden enunciarse en relacin con las previsiones sobre las realizaciones, resultados e impactos. Indicadores de eficiencia. La eficiencia de una actuacin es la relacin existente entre los objetivos alcanzados y sus costes. Los indicadores, en este caso, permiten medir las realizaciones,
b)
92
resultados e impactos obtenidos en relacin con los recursos movilizados. Se puede entender en dos sentidos: maximizar el logro de los objetivos para un coste determinado, o minimizar los costes para un logro especfico de objetivos. Disponer de los indicadores de seguimiento de las realizaciones, resultados e impactos es una condicin sine qua non para la posterior definicin de los indicadores complementarios de eficacia y eficiencia y, por consiguiente, para la posterior evaluacin del programa. A continuacin puede observarse en este ejemplo relativo a un proyecto de infraestructura la complementariedad entre los indicadores de base y los de eficacia y eficiencia.
Ejemplo
DE BASE Realizacin N de km. construidos Resultado Disminucin del tiempo de transporte COMPLEMENTARIOS Eficacia N de km. construido/n km. previstos Eficiencia N de km. construidos en relacin al tiempo y coste
A la clasificacin de indicadores propuesta le debemos aadir otros tipos adicionales: los indicadores de contexto socioeconmico y de gestin.
Indicadores de gestin. Su objetivo es recopilar informacin sobre el proceso de gestin de los programas. En esta categora podemos diferenciar distintas esferas: recursos humanos, temporales y materiales y los indicadores relativos a los mecanismos de publicidad y tramitacin de solicitudes para participar en el programa. Entre estos ltimos, podemos sealar a modo de ejemplo:
Nmero, tipo y coste de las acciones de promocin, difusin y publicidad realizadas. Medios de difusin utilizados y criterios para la seleccin de los mismos. Grado de cobertura de la poblacin objetivo (poblacin objetivo que ha recibido la informacin). Eficacia de las acciones de promocin, difusin, etc. (Elaboracin de encuestas que permitan medir el impacto de la publicidad).
Indicadores que recopilan informacin sobre el proceso de gestin del programa
93
Los indicadores de eficiencia: coste/beneficio o coste/utilidad (coste de las "campaas" de publicidad/objetivos alcanzados). Criterios y procedimientos de seleccin de los proyectos. Proyectos presentados. Proyectos aprobados. Anlisis de la adecuacin de los proyectos aprobados a los criterios establecidos o perfil de la poblacin objetivo. En caso de discrepancia habra que explicar las razones y justificar la pertinencia de la ayuda concedida o servicio prestado. Proyectos denegados o rechazados y razones de su exclusin. Las fuentes de informacin para disear y rellenar estos indicadores son, principalmente, los procedimientos que se hayan articulado por parte de los rganos ejecutores y gestores del programa (vase captulo 3) .
Indicadores de contexto socioeconmico: recogen datos exgenos al programa pero que influyen en l. Definen una realidad en un momento del tiempo que es la que determina el entorno en el que se formula y ejecuta el programa.
Los indicadores de contexto socioeconmico son:
Indicadores que miden la evolucin del contexto socieconmico
Los demogrficos: nmero de habitantes, densidad de poblacin, la tasa de migracin, etc. Los de empleo: poblacin ocupada, nmero de empleos netos creados, tasa de actividad y de desempleo, etc. Los de produccin: distribucin del valor aadido bruto por sectores de actividad, producto interior bruto por habitante, etc. Los de renta: renta regional bruta por habitante, renta familiar bruta disponible, etc. Las fuentes de informacin son las estadsticas locales, regionales, nacionales y supranacionales.
B) Otros instrumentos del seguimiento

Como ya se ha comentado, la informacin que recoge un indicador es una apreciacin parcial de la realidad, de forma que, adems de resultar necesario definir un conjunto de indicadores que refleje todos los aspectos relevantes y que ofrezca una visin global de la actuacin, es tambin esencial el uso de otros instrumentos de seguimiento para valorar no slo lo cuantificable sino tambin lo cualificable de una intervencin pblica. As, las medidas cuantificadas deben reforzarse con informacin de carcter cualitativo que aada matizaciones o explicaciones sobre: la ejecucin fsica y financiera,
94
la gestin del programa, la participacin de la poblacin objetivo y su opinin sobre la intervencin, y la evolucin del contexto socioeconmico de la intervencin. Los instrumentos utilizados en el seguimiento, adems de los indicadores, son4: Informes peridicos de seguimiento. Son estudios ad hoc sobre aspectos de una determinada actuacin que exigen un anlisis particular y exhaustivo. Observacin directa. En muchos casos, la posibilidad de valorar hasta qu punto se estn modificando las condiciones socioeconmicas de una determinada rea exige la interaccin personal de los analistas con dichas variables como nica va para realizar su seguimiento. Encuestas y entrevistas en profundidad. Su utilidad reside en la posibilidad que ofrecen de conocer, a travs de la poblacin objetivo, en qu medida las intervenciones que se desarrollan en un rea estn modificando las condiciones de la misma, as como la satisfaccin de dicha poblacin con estos cambios.
Ejemplo: batera de indicadores Supongamos una actuacin llevada a cabo en la Comunidad Autnoma de Andaluca, consistente en la construccin y mejora de redes de abastecimiento y estaciones de tratamiento de agua potable (ETAP), cuyo objetivo es optimizar el uso de los recursos hdricos y conseguir una dotacin en calidad y cantidad ptima para resolver los desajustes que se manifiestan en el sistema hidrulico. Para ello se planifica la realizacin de pequeas actuaciones relacionadas con el abastecimiento en reas municipales y supramunicipales. Los indicadores que se definieron en principio fueron: N de depsitos de regulacin. N de plantas potabilizadoras. Pero con esta limitada informacin poco se puede hacer para analizar el grado de cumplimiento de los objetivos. Por ello, una "batera de indicadores" adecuada sera, por ejemplo: N de conducciones realizadas. N de municipios afectados por las conducciones. N de depsitos construidos. N de municipios en los que se han construido depsitos. N de ETAPs construidas y/o ampliadas. N de municipios en los que se han construido y/o ampliado ETAPs.
Otros instrumentos utilizados para el seguimiento, de carcter cualitativo
95
Veamos la definicin de indicadores para una accin de ampliacin y promocin de suelo industrial de un programa imaginario.
Ejemplo: infraestructura de suelo industrial La accin consiste en la ampliacin y consolidacin de las infraestructuras de suelo industrial existentes para adecuarlas a la demanda real actual y a la prevista a medio plazo, al encontrarse casi a un 100% de ocupacin las actuales. Se hace necesario completar la oferta relativa a empresas innovadoras e incubadoras de empresas, con otras tendentes a prestar servicios a las empresas ya instaladas y en funcionamiento. La actuacin comprende los siguientes proyectos: Urbanizacin de la zona de ampliacin del polgono: 15.000 m2 en la zona Sur, destinados a la ubicacin de PYMEs. 20.000 m2 de la zona Norte, para albergar empresas de mediano y gran tamao. Edificios para actividades construccin para las PYMEs. industriales: 3.000 m2 de nueva
Promocin y difusin. Se realiza un proceso de promocin y marketing, tanto a nivel local como regional, nacional e internacional. Centro de empresas: 3.268,4 m2, donde se prev que se instalen 12 empresas por cada una de las 2 plantas existentes. M2 de superficie computables al centro de empresas. M2 de urbanizacin de suelo para implantacin de industrias auxiliares. M2 instalaciones para empresas auxiliares. Inversin realizada en el Centro de Empresas (Millones de pesetas). M2 de ampliacin de oferta de suelo del Polgono para grandes industrias. Inversin realizada en promocin y publicidad de la actuacin (difusin). Medios de comunicacin utilizados para llevar a cabo la promocin. M2 alquilados en el Centro de empresas. N de empresas instaladas en el Centro de empresas. Inversin inducida en las empresas instaladas en el Centro de Empresas. N de empresas instaladas en el Polgono Industrial La Calabaza: nuevas, ampliaciones y traslados.
Indicadores de realizacin:

Indicadores de Resultado:

Tambin se deben definir indicadores de empleo. Del mismo modo, en el momento de definir los indicadores, es decir, en el momento de la planificacin de las actuaciones, se deben realizar las previsiones de realizacin y resultado, para as poder definir los indicadores complementarios de eficacia.
96
Ejemplo: ayudas para la promocin y desarrollo industrial La actuacin consiste en la concesin de subvenciones a fondo perdido a empresas del sector privado para que acometan proyectos sostenibles a largo plazo. Los conceptos subvencionables son: Inversiones en activos productivos realizadas por PYMEs. Inversiones en la fase de planificacin de proyectos que busquen la diversificacin de productos. Inversiones llevadas a cabo en la fase de produccin. Inversiones en I+D.
Este tipo de ayudas favorecer la inversin en: 1. 2. 3. Procesos productivos para la transformacin en otros productos de mayor valor aadido. La reorientacin o ampliacin de productos industriales considerados emergentes en la zona. La adaptacin, generacin y adquisicin de nuevas tecnologas necesarias para alcanzar los objetivos anteriores.
Los proyectos que se presenten para solicitar las ayudas se seleccionarn atendiendo a los siguientes criterios: Viabilidad tcnico-econmica del proyecto. Contribucin a la generacin de empleo directo e inducido. Efectos de arrastre sobre las producciones de la regin, y contribucin a la demanda y desarrollo de las empresas andaluzas. Capacidad de transferencia tecnolgica hacia otras empresas. Capacidad de transformacin de materias primas. Contribuir a dinamizar la estructura productiva de la zona y la incorporacin a la misma de elementos innovadores. Cooperacin con Universidades, Centros Pblicos y Privados de Investigacin y otras empresas del sector industrial. N de subvenciones segn conceptos subvencionables. Volumen total de subvenciones segn conceptos subvencionables. Subvencin media segn conceptos subvencionables.
Indicadores de realizacin:
N de empresas subvencionadas segn conceptos subvencionables. Indicadores de resultado: Inversin inducida (inversin total-subvencin). N de estudios tcnicos de planificacin realizados. N de proyectos de I+D realizados. N de plantas pilotos y/o prototipos construidas en las empresas. N de departamentos de I+D creados en las empresas.
97
Fichas de seguimiento
El sistema de seguimiento implantado debe: asegurar la recogida de la informacin, prever los recursos materiales y humanos necesarios para llevar a cabo esta tarea, y contar con una presentacin y tratamiento de los datos de forma que se facilite la interpretacin y su anlisis posterior. El mtodo ms adecuado para ello es el establecimiento de unos registros normalizados, que podramos denominar "fichas biogrficas", que recojan todos los indicadores relevantes y pertinentes de la actuacin ejecutada, as como la informacin complementaria que aporten otros instrumentos sobre todos los mbitos de seguimiento. Para posibilitar la agregacin, cuando sea necesaria, y el tratamiento de los datos, estos registros deberan tener soporte informtico a modo de base de datos u hoja de clculo, u otra aplicacin informtica, que posibilite no slo el seguimiento financiero de las acciones sino tambin el fsico. Estos registros se deben usar para realizar el seguimiento de la gestin y ejecucin del programa, participacin de la poblacin objetivo y de las desviaciones y sus causas respecto a lo previsto, al igual que debe recoger informacin sobre el cumpliento de la normativa legal que afecta al programa. Las caractersticas de algunos programas permiten que la evaluacin de su puesta en marcha requiera slo un sencillo sistema de seguimiento, mientras que otros de naturaleza compleja, por la participacin de mltiples agentes y diversidad de actuaciones, exigen destinar mayor nmero de recursos a su sistema de seguimiento. El sistema de seguimiento debe ser, en todo caso, lo bastante simple para que no resulte una carga excesiva al personal del programa pero lo bastante completo para satisfacer las necesidades de informacin de cuantos participan en el programa y su evaluacin. Debe tenerse en cuenta que un sistema de informacin (sistema de seguimiento) puede ser ignorado por su complejidad o porque requiera mucho tiempo para su aplicacin. Es importante, adems, que el personal implicado en las tareas de seguimiento reciba una formacin adecuada y especfica sobre las tareas y tcnicas relacionadas con el uso del sistema de seguimiento. Por otro lado, es necesario que estn informados de los desarrollos y modificaciones que afecten a los registros, por ejemplo, de los objetivos del programa, de su estrategia, de la poblacin a la que va dirigida la intervencin, etc. A continuacin mostramos un ejemplo de una ficha de seguimiento adaptada de la original, elaborada por el IDR, para el Programa Operativo de la provincia de Sevilla, Fondo Social Europeo, 1994-99 (FSE), gestionado por la
Fichas biogrficas de cada actuacin para llevar a cabo el seguimiento
98
Sociedad Instrumental Sevilla Siglo XXI, S.A. La accin 2.B. perteneciente a la medida 2 tiene por objetivo sensibilizar a los trabajadores de las PYMEs y colectivo de desempleados de la provincia mediante la concesin de ayudas para premiar proyectos empresariales, adquisicin de programas de autoevaluacin de proyectos, financiacin de gastos de comunicacin, publicidad, etc.
Ficha de Seguimiento Programa Operativo FSE
N de Expediente:
MEDIDA 2: ACCIN 2.B: Sensibilizacin para la vida activa y el fomento de la cultura emprendedora Fomento de la cultura emprendedora en los trabajadores en activo y desempleados
Fecha de recogida de datos:
Datos de la Entidad Gestora/Ejecutora (selese lo que proceda):

Entidad Gestora/Ejecutora del Proyecto: Unidad Administrativa o Departamento responsable de la Gestin/Ejecucin de la Accin: Coordinacin de la Entidad Gestora/Ejecutora Nombre: Direccin: Nombre: Direccin: Responsable del proyecto Responsable del proyecto en la Entidad:
Identificacin de la accin
Localizacin de la Accin
Municipio/s a los que afecta:
Breve descripcin (objetivos perseguidos): Relacin con los objetivos del P.O. FSE: Relacin con otros programas Descripcin beneficiarios (poblacin a la que va dirigida esta Accin):
99
Publicidad de la Accin SI: NO: Fecha: Relacin con otras Polticas Comunitarias: Contratos Pblicos (seale lo que proceda, introduciendo todos los proyectos realizados). Concepto No Publicacin en el DOCE S Fecha Ref. No Publicacin en el BOE S Fecha Ref. No Publicacin en el BOJA S Fecha Ref. No Publicacin en el BOP S Fecha Ref.
Ejecucin Financiera* (Millones de pesetas)

Nombre del Proyecto Gasto Total Gasto Elegible Financiacin FSE Gasto Cofianciado Pagos certificados % Pagos sobre G.E
Total
* Los datos de ejecucin financiera conviene recogerlos por periodos presupuestarios
Incidencias en la ejecucin financiera (justificacin)

Seale los desvos o retrasos en la ejecucin del presupuesto. Proyectos No iniciado En ejecucin Finalizado Suspendido Otros
100
Ejecucin fsica
Proyectos Publicidad Medios Fecha Beneficiarios Fecha de inicio/finalizacin Prevista Real Localizacin
Contrato de Asistencia Tcnica
(Ver anexo I)
Incidencias en la ejecucin fsica (justificacin).

Proyectos No iniciado En ejecucin Finalizado
Seale los desvos o retrasos en la ejecucin fsica con respecto a los plazos previstos. Suspendido Otros
Justifique su respuesta:
Criterios de seleccin A. Proyectos comtemplados en la accin: B. Beneficiarios de cada proyecto:
101
Sistema de Indicadores de Seguimiento*

Indicadores de Base Indicadores de Realizacin Denominacin
1997 Previsto Realizado 1998 Previsto Realizado 1999 Previsto Realizado
Indicadores de Resultado Denominacin

1997 1998 1999
Indicadores Complementarios Indicadores de Realizacin Eficacia

Indicadores de realizacin/previsin de los indicadores de realizacin 1997 1998 1999 Total periodo
Eficiencia
Coste total/indicadores de realizacin (coste unitario)
1997
1998
1999
Total periodo
Indicadores de Resultado Eficacia

Indicadores de resultado/previsin de los indicadores de resultado 1997 1998 1999 Total periodo
Eficiencia
Coste total/indicadores de resultado (coste unitario)
1997
1998
1999
Total periodo
Indicadores de Empleo
1997 Previsto Realizado 1998 Previsto Realizado 1999 Previsto Realizado
Empleo creado Empleo mantenido Tipo de contrato: Duracin Fecha inicio: Indicar:
>45 < 25 Minusvlidos Mujeres
Observaciones: bajas, renuncias, etc.:
102
ANEXO I.- (Rellenar un formulario para cada contrato de asistencia tcnica) Empresa/tcnico contratada/o por servicios de asistencia tcnica
Empresa/tcnico contratada/o
Direccin:
Telfono:
Fax:
Objeto del trabajo
Adjudicacin del contrato: Procedimientos de adjudicacin del contrato (abierto, restringido, negociado): Criterio de adjudicacin (concurso, subasta):
103
Anexo: Aplicacin al POA. Sistema de informacin
El segundo elemento que se analiz en el Dictamen de evaluabilidad del P.O. de Andaluca (en su versin original) fue el sistema de informacin del Programa. Este presentaba las siguientes caractersticas: Centrado casi exclusivamente en la formulacin de indicadores de realizacin , era manifiestamente insuficiente. Adems, no se especificaron el resto de elementos que debe contener, como mnimo, un sistema "ptimo" de informacin; elementos como son: la responsabilidad, periodicidad y desvos y retrasos respecto a los plazos previstos. En cuanto al sistema de seguimiento articulado a travs de indicadores se pueden resaltar las siguientes notas: No se haban definido indicadores en cada uno de los niveles de programacin y el esfuerzo realizado para el establecimiento de los existentes era muy desigual para el conjunto de las distintas acciones. No se diferenciaban los indicadores de resultado de los de impacto y adems, en muchos casos, los indicadores definidos como de resultado, realmente medan realizaciones. Los indicadores de eficacia no estaban formulados y al no estar cuantificadas las previsiones sobre los valores de los indicadores de realizacin y resultado resultaba de toda manera imposible establecer los indicadores complementarios necesarios para medirla.
Este conjunto de conclusiones, avalaron y justificaron la necesidad de introducir, por parte de los destinatarios de la evaluacin, cambios significativos en el Programa de cara a mejorar las deficiencias encontradas, deficiencias que suponan un claro obstculo a la ejecucin satisfactoria en trminos de obtencin de los objetivos perseguidos del Programa. Por ello, se puede afirmar que las expectativas, y finalmente la utilidad y satisfaccin de los usuarios o "clientes" del trabajo de evaluacin realizado, s se vieron cumplidas ptimamente.
Notas al pie:
1.
Adaptado de Ortigueira Bouzada, M. (1987). Administraciones pblicas: teora bsica de las auditoras de gestin. Publicaciones del Sur. Segn las tipologas establecidas en Ortigueira Bouzada, M. (1987) op. cit. y Albi et alia, (1997). Gestin Pblica. Fundamentos, tcnicas y casos. Ariel. Barcelona. Comisin de las Comunidades Europeas. (1995). Orientations mthodologiques pour le suivi et les valuations intermediaires des CCA, DOCUP et interventions. Bruselas. Las tcnicas se desarrollarn en otro captulo. Aqu hacemos hincapi en la importancia de tener informacin sobre qu es lo que se est haciendo y cules son los logros que se estn obteniendo, y para ello hay que tener presente todo tipo de informacin relevante.
2.
3.
4.
104
Captulo 5 Tcnicas de evaluacin de la eficacia y eficiencia
Hasta ahora hemos visto la metodologa

para evaluar el diseo, la gestin y el seguimiento de un programa. Sin embargo, no debemos olvidar que uno de los principales objetivos de la evaluacin de un programa es establecer, con tanta certeza como sea posible, si la
intervencin produce o no los efectos que busca, es decir, determinar cul es la repercusin del programa.
La metodologa para evaluar los efectos
provocados por un programa sigue el esquema siguiente:
Evaluacin de impactos
Evaluacin de Impactos
Verificar y cuantificar el cambio en la poblacin objetivo
Determinacin del impacto del programa
Determinacin y valoracin de la eficacia del programa Es Eficaz No es Eficaz
Anlisis de la eficiencia
Anlisis de las causas de la ineficacia
Eficiente
Ineficiente
Diseo del programa
Causas de ineficiencia Gestin Anlisis de las causas de ineficiencia
Recomendaciones
106
Tcnicas de evaluacin de la eficacia y eficiencia
Lo primero que hay que realizar en
la evaluacin es determinar y cuantificar los cambios que se han producido en la poblacin objetivo, midiendo sus caractersticas antes, durante y despus de la intervencin. Una vez cuantificada la magnitud del cambio hay que deslindar en qu medida ste se debe al programa llevado a cabo y no a otros factores, azarosos o no.
programa? Se trata de separar el efecto provocado por el programa, efecto neto de la intervencin, de otras influencias endgenas o exgenas. Ello implica: Conocer los efectos que en la poblacin objetivo estn teniendo otras polticas y otros procesos paralelos e independientes. Conocer los efectos o alteraciones provocadas por la metodologa seleccionada para la evaluacin.
La demostracin de que los cambios

operados en la poblacin objetivo se deben a la intervencin pblica es quiz el aspecto ms problemtico de la evaluacin. Es decir, son los efectos detectados imputables al
Efectos netos de la intervencin +/-
De forma que:
Efecto de otros programas +/Efectos debidos al mtodo
Impacto =
Quedara por determinar:

cul ha sido la contribucin de cada accin concreta al logro de esos efectos, y otros resultados difcilmente medibles con mtodos estrictamente cuantitativos como son el grado de satisfaccin de la poblacin objetivo, el cambio de las expectativas y conductas de los participantes, etc.
El
objetivo de este captulo es
realizar una revisin de las principales tcnicas de evaluacin de resultados e impactos (incluyendo la valoracin de los efectos estructurales y de la sinergias), identificando sus ventajas e inconvenientes y sealando algunas de las aplicaciones que hemos considerado ms relevantes. En cuanto a sus aspectos tcnicos se facilitan referencias de algunos manuales pertinentes.
107
Impactos, efectos estructurales y sinergias. Consideraciones previas

Impactos, efectos estructurales y sinergias son aqu los conceptos clave: Los impactos son los efectos ms indirectos que se producen como consecuencia de la ejecucin de una accin. Los efectos estructurales pueden definirse como los impactos que se mantienen en el tiempo y que se traducen en cambios en la estructura econmica y social de la realidad sobre la que se interviene. Rebasan la esfera de los econmico entrando en el campo de lo social e institucional. Las sinergias son los efectos que se producen cuando el conjunto de acciones o medidas de un programa provoca un impacto mayor (sinergia positiva) o menor (sinergia negativa) que la suma de los impactos de esas medidas separadamente. Se puede considerar la sinergia como el "valor aadido" de un conjunto de acciones.
Eficacia y eficiencia
Impactos, efectos estructurales y sinergias
Recordemos que la eficacia hace referencia al logro de los objetivos propuestos y la eficiencia al logro de esos objetivos en relacin con el coste tanto monetario como de otra naturaleza, en que se incurre para conseguirlos. La evaluacin de estos elementos presenta una serie de condicionantes metodolgicos comunes: Necesidad de clasificar y cuantificar los objetivos. La evaluacin de la eficacia y eficiencia se podra realizar aunque los gestores pblicos no hayan cuantificado los objetivos que se persiguen con la ejecucin del programa, aunque el resultado de esta evaluacin no sea totalmente satisfactorio y los juicios que se emitan acerca de la intervencin sean necesariamente subjetivos, a menos que se establezcan parmetros de referencia para su valoracin. Por tanto, si en el programa se explicitan los objetivos y stos aparecen cuantificados, la evaluacin de la eficacia, y a su vez la evaluacin de impactos, efectos estructurales y sinergias, se realizar sobre la base de estos objetivos y, en principio, sin mucha dificultad. Si por el contrario, como suele ocurrir en la prctica, no se establecen claramente los objetivos y/o no aparecen cuantificados, es necesario determinar parmetros de referencia o criterios de valor, bien de forma consensuada entre el equipo evaluador y el equipo gestor, bien de forma "autoritaria" por uno de los dos. El establecimiento de estos estndares puede provenir tambin de la opinin de expertos, de la experiencia pasada, de normas legales, de comparaciones con otras alternativas, etc. Aunque no siempre es sencillo establecer estos criterios, su determinacin es una precondicin para la evaluacin.
Necesidad de clasificar y cuantificar los objetivos
Parmetros de referencia
108
Los impactos, sinergias y efectos estructurales no se manifiestan inmediatamente. Es preciso dejar transcurrir un tiempo entre la ejecucin de un programa y la manifestacin de sus primeras repercusiones. Durante este tiempo, a los efectos provocados tericamente por el programa se le suman los provocados por factores exgenos fuera de control de los gestores (influencias del contexto socioeconmico o los causados por otras actuaciones pblicas). Cuanto mayor sea el tiempo que hay que dejar transcurrir para que se manifiesten los efectos, mayor es la "contaminacin" de los elementos exgenos sobre los producidos realmente por el programa. Disponibilidad de los datos. Mientras que la informacin para la evaluacin de las realizaciones de un programa, con mayor o menor rigor, ha sido recogida durante su proceso de ejecucin, para la evaluacin de impactos, efectos estructurales y sinergias no ocurre igual. Normalmente un programa termina para el gestor cuando finaliza su perodo de aplicacin. Por ejemplo, se considera que una accin consistente en la concesin de una lnea de ayudas finaliza una vez que se conceden y se pagan. No se realiza, habitualmente, un seguimiento sobre aspectos relacionados con la aplicacin de la ayuda concedida, el empleo efectivamente generado, el nuevo volumen de ventas, etc., elementos necesarios para determinar los impactos provocados por tal actuacin. Esta informacin no suele estar disponible por haberse considerado un ciclo de vida del programa menor de lo que debe hacerlo el evaluador.
Se deber prever el futuro del proyecto durante su ciclo de vida til y durante un perodo suficientemente largo para entender sus posibles repercusiones a mediano y largo plazo. Para la mayora de las infraestructuras este lapso no es (indicativamente) inferior a 20 aos; para inversiones productivas, de unos 10 aos.
Fuente: Comisin Europea. Direccin General de Poltica Regional. "Gua para el anlisis de coste-beneficio de grandes proyectos".
Los impactos, sinergias y efectos estructurales no se manifiestan inmediatamente
Disponibilidad de la informacin
Necesidad de valorar los efectos aislados de cada actuacin y ponderar su contribucin al efecto global. Es decir, - cules son los efectos de cada actividad dentro del programa?, - cul es la contribucin de cada actuacin al "efecto global"?, - cules son los mecanismos que los producen? Es necesario considerar aquellas consecuencias inesperadas o no buscadas, tanto negativas como positivas. Pora ello se siguen otros criterios globales de valor o mritos como por ejemplo: La satisfaccin de las necesidades de los beneficiarios. Los efectos del programa tal y como son vistos por el personal
Efectos aislados de cada actuacin y su contribucin
109
tcnico del programa y por sus administradores (gestores y otros responsables).

Consecuencias inesperadas o no buscadas
Las necesidades de informacin de las partes interesadas.
Anlisis de aspectos sociales e institucionales
Un programa provoca cambios no slo en la esfera de lo econmico sino tambin en lo social e institucional por lo que la evaluacin de estos efectos conlleva el anlisis de una serie de aspectos inmateriales. As, la existencia de factores condicionantes ms all de los elementos puramente econmicos, tales como los sociolgicos, polticos y culturales, y la ausencia de comportamientos uniformes ante la aleatoriedad de los fenmenos sociales, hace que cualquier metodologa que ignore este hecho sea incompleta e inadecuada para la evaluacin de la repercusin de un programa. Todos estos condicionantes suponen: la existencia de valores y ponderaciones, la mayor parte de las veces no explcitos y cargados de juicios de valor, polticos y sociales, en la eleccin y aplicacin de las tcnicas para evaluar la eficacia y eficiencia de los impactos, efectos estructurales y sinergias. que su evaluacin slo sea posible con modelos de cierta complejidad tcnica que requieren gran esfuerzo y tiempo de elaboracin, al margen de la subjetividad implcita en la eleccin de las variables a medir, y que ningn mtodo proporcione por s slo una explicacin suficiente de la incidencia de un programa, aunque s nos ayudan a extraer indicios de los efectos provocados y a identificar las tendencias y su direccin.
Ningn mtodo proporciona por s slo una explicacin suficiente de la incidencia de un programa
Tcnicas cuantitativas y cualitativas
Todo ello ha provocado que la metodologa de evaluacin de impactos haya evolucionado hacia un concepto ms amplio donde los aspectos cualitativos cobran cada vez mayor relevancia, y las tcnicas cuantitativas tienden a integrarse como un elemento ms del proceso evaluador. Los mtodos cualitativos aportan dinamismo y variedad de perspectivas de la que carecen los cuantitativos, siendo aconsejable consecuentemente la utilizacin conjunta. La ventaja del uso de tcnicas cuantitativas es que permite medir reacciones o cuestiones en un grupo de variables (individuos, empresas, etc.) posibilitando su agregacin y su tratamiento estadstico sin muchas trabas. Por su parte, la utilizacin de tcnicas cualitativas tiene la ventaja de que recogen una riqueza de detalles y opiniones sobre los grupos o variables, aunque de difcil agregacin y estandarizacin. Es importante adems: Identificar cmo los implicados en el programa toman sus decisiones en relacin con su participacin en el programa y conocer la valoracin de su participacin. Conocer cul es la importancia dada por ellos a las diferentes actuaciones.
110
Incorporar su percepcin de los efectos provocados por el programa. En esta lnea se encuentra el enfoque metodolgico recomendado por la Comisin de la Unin Europea para la evaluacin de las actuaciones de naturaleza estructural. Combina el anlisis de carcter "antes y despus" (top-down) que posibilita evaluar el impacto total y el efecto neto de la intervencin, con estudios "de abajo-arriba" (bottom-up) para analizar las relaciones de causalidad y determinar el impacto de cada medida especfica a travs de la informacin recogida de los participantes y beneficiarios del programa. En el siguiente grfico se recoge este enfoque. Las tcnicas para su aplicacin, as como los conceptos que aparecen en l, se irn desarrollando a lo largo del captulo.
Anlisis top-down y bottom-up
Anlisis top-down y bottom-up
Top down
Antes Durante Despus
Bottom up
Unin con la dimensin top down Efectos estructurales y sinrgicos Efectos indirectos, adicionalidad y desplazamiento Datos del seguimiento Impactos
Grupo control
X Agregacin y sntesis
Grupo Comparador
Resultados netos
Anlisis de proyectos
Mide la diferencia entre la situacin de partida y la conseguida tras la aplicacin del programa. Compara los resultados entre el grupo de control al que se aplica el programa y el grupo que no recibe tratamiento para analizar el valor aadido de la intervencin. Utiliza estadsticas para analizar las tendencias de los efectos provocados. Analiza el impacto global pero no identifica la contribucin de cada medida especfica.
Proporciona indicios sobre las relaciones causa-efecto de los cambios provocados. Se basa en investigaciones empricas para analizar los resultados netos del programa. Analiza el valor aadido neto usando informacin de los beneficiarios y realizando comparaciones con otras actividades que no reciben ayuda para analizar la adicionalidad, los efectos indirectos y los de desplazamiento. Identifica la contribucin de cada medida especfica, pero difcilmente analiza los impactos ms globales del programa.
Fuente: Tomado de Malan, J. (1998). "Traslating theory into practice: lessons from the ex-post evaluation of the 1989-93 Objetive 2 Programmes. Ponencia presentada en la Conferencia sobre Prcticas de Evaluacin en el Campo de la Poltica Estructural. Programa Europeo MEANS, Sevilla, 1998 (Mimeo).
111
Tcnicas de evaluacin de impactos, efectos estructurales y sinergias

Algunos investigadores (entre ellos, Coronado, 1997) agrupan las tcnicas para evaluar los impactos en dos categoras:
Metodologas explcitas y no explcitas
Metodologas no explcitas; aquellas que no incorporan los instrumentos de la poltica o programa. Metodologas explcitas; aquellas que incorporan tanto los instrumentos de la poltica como otras variables relevantes que pueden influir en las variables objetivo.
Otros autores establecen la distincin entre:

Tcnicas de evaluacin microeconmicas y macroeconmicas
Tcnicas de evaluacin microeconmica; identificada fundamentalmente con la valoracin de una accin y en relacin con las realizaciones y resultados. Tcnicas de evaluacin macroeconmica; centrada en la evaluacin global y relacionada con el nivel de impactos. A nuestro juicio debera de establecerse un procedimiento general para realizar la evaluacin de las intervenciones, sin especificar si se trata de una evaluacin microeconmica o macroeconmica, al considerar que, en principio, no tiene mucho sentido hacer esa distincin ya que la aproximacin micro o macro depender de los objetivos y alcance de la intervencin. En efecto, es posible evaluar los efectos macroeconmicos de una nica y significativa accin (construccin de una lnea de alta velocidad), as como medir el impacto de una intervencin global en las expectativas de los agentes econmicos, impacto ste de carcter microeconmico.
Tambin es comn encontrarnos la distincin entre enfoques inductivos y deductivos: El enfoque inductivo se basa principalmente en mtodos cualitativos de anlisis orientados a explorar y descubrir la lgica de las relaciones causa-efecto, partiendo de lo concreto para derivar en comportamientos generales. Este recorrido se puede realizar en dos sentidos: * * dentro del programa, indagando sobre las cuestiones o experiencias de los participantes, y entre programas, buscando las caractersticas institucionales que hacen de un conjunto de caractersticas una nica.
Enfoques inductivos y deductivos
Este tipo de evaluacin se asocia normalmente con la evaluacin libre de objetivos puesto que no parte de hiptesis de causalidad preconcebidas. El enfoque hipottico-deductivo, por contra, se identifica con la evaluacin centrada en objetivos. Su fundamentacin est en el empleo de tcnicas cuantitativas (mtodo experimental fundamentalmente)
112
para la determinacin de las principales variables y establecimiento de hiptesis especficas de comportamiento antes de iniciar la recogida de datos. En la prctica suelen combinarse ambos enfoques, identificando a travs de la induccin las cuestiones y variables a estudiar y contrastando luego los resultados de forma deductiva. Independientemente del enfoque o modelo que se siga para la evaluacin de impactos, las tcnicas para evaluar la eficacia y eficiencia son las mismas para los distintos niveles de planificacin, esto es, realizaciones y resultados e impactos especficos y globales. Sin embargo, para el anlisis de los dos primeros (realizaciones y resultados) parece ms lgico y conveniente basar la evaluacin de la eficacia y eficiencia, aunque no exclusivamente, en el anlisis en la informacin recogida y sistematizada por el sistema de seguimiento mediante los indicadores complementarios.
Sumario
Palabras clave Condicionantes metodolgicos
Sistema de seguimiento mediante indicadores como mejor instrumento para el anlisis de eficacia y eficiencia
Impactos, sinergias y efectos estructurales Eficacia y eficiencia
Combinacin de tcnicas: Cuantitativas+cualitativas anlisis top-down y bottom-up Explcitas-no explcitas
Metodologas
Microeconmicas-macroeconmicas Inductivas-deductivas
Algunas de las tcnicas para medir los impactos son:
1. Anlisis shift-share
El anlisis shift-share es una herramienta descriptiva que resume concisamente la informacin a travs de ndices. Se utiliza en estudios de carcter econmico, sectoriales y regionales. En su aplicacin se parte primero de la distincin entre perodos de poltica activa y pasiva y, posteriormente, se crea una serie hipottica en la que se supone no hubo intervencin. Se tienen, por tanto, dos series: una real que refleja el hecho de que en un determinado momento empezaron a aplicarse las medidas del programa, y otra simulada bajo el supuesto de no intervencin. En los perodos de poltica pasiva no debe haber diferencias entre las dos series por lo que la divergencia existente en el perodo de poltica activa sera el efecto atribuible al programa.
Anlisis shift-share. Perodo de poltica activa y perodo de poltica pasiva
113
La aplicacin de esta tcnica para medir el impacto sobre una variable determinada exige que se cumplan, al menos, dos de los siguientes requisitos: Requisitos para aplicar la tcnica
El mtodo debe contabilizar el "comportamiento" de la variable en ausencia del programa. Debe especificarse la relacin entre el programa y la variable de anlisis. Adems, si la variable escogida difiere de la variable objetivo del programa, el evaluador debe especificar la relacin o vnculo entre las mismas si se quiere determinar si el programa es exitoso o no.
Estos tres aspectos implican la existencia de una "teora del comportamiento econmico" explcita o implcita.
Aplicacin del anlisis "shift-share" En el artculo publicado por Brian Ashcroft se analiza la utilidad del anlisis shift-share, entre otros, como tcnica para evaluar impactos. De forma sumarial, se identifican los impactos de la poltica regional europea sobre la inversin y el empleo en varios pases europeos. La tcnica shiftshare aparece como la ms empleada en el Reino Unido tanto para estimar efectos en las reas asistidas por la poltica regional como para establecer series de impactos esperados. Algunas de las principales conclusiones son:
Perodo de no poltica 1951-63 Perodo de poltica 1963-70 Cobertura espacial Tres reas de desarrollo inglesas Escocia Tcnica Enfoque residual. Anlisis shift-share. Enfoque residual. Anlisis shift-share. Enfoque residual. Anlisis shift-share. Resumen de resultados
23% de la inversin total inducida por la Poltica Regional Inversin un 30% superior en 1970 sobre 1963 16% de la inversin total inducida por la Poltica Regional
1951-59
1960-71
1952-63
1964-73
reas de desarrollo inglesas
190.000 empleos ms que en el perodo de no poltica (incremento del 12%). Media anual de creacin de empleo: 19.000 puestos de trabajo El empleo en nuevas empresas creadas bajo el Programa de Ayudas a las Nuevas Industrias (NIGS) fue de 14.000 puestos ms que la media esperada para 1976. Por tanto, el 82% del total de empleos se originaron por las empresas beneficiarias de este programa y un 45% del efecto proviene de empresas trasladadas.
1954-59
1960-75
Irlanda
Enfoque residual. Anlisis shift-share.
Fuente: Ashcroft, B. (1981): The measurement of the impact of Regional Policies in Europe: a survey and critique. Regional Studies, Volumen 16.4, pp. 287-305.
114
Inconvenientes de la tcnica: Es un anlisis esttico que compara slo dos momentos del tiempo. Se concentra en el impacto de una nica variable. Como los instrumentos del programa no estn explicitados en el modelo no se puede concluir ninguna indicacin real para la mejora de su eficacia a partir de los efectos estimados.
Bibliografa recomendada:
Randall J.N. (1973). Shift share analysis as a guide to the employment performance of West Central Scotland. Scpt. J. Polit. Econ. n 20, pp. 1-26. Fothergill S. and Guding G. (1979). In defence of shift-share en Urban Studies, n 16, pp. 309-19. Inconvenientes
2. Modelos input-output
Esta es una de las tcnicas ms utilizadas para estimar los impactos provocados por un programa regional o nacional sobre los principales agregados macroeconmicos (produccin, renta y empleo). Se fundamenta en el estudio de las relaciones de interdependencia de las unidades econmicas, representadas en una tabla de doble entrada, desagregadas en ramas de actividad (tabla input-output, TIO) donde: Las columnas indican la estructura productiva de cada rama o los elementos que componen su coste de produccin. Son los inputs o recursos. Las filas indican cmo se ha distribuido la produccin de cada rama de actividad entre los distintos usos posibles: usos intermedios (consumos intermedios de otras ramas) o a usos o destinos finales. Se trata de los outputs. En la TIO se diferencian tres bloques: Bloque I. Consumos intermedios o relaciones intersectoriales. Contiene todos los productos que han sido utilizados en el proceso productivo. Demanda final. Contiene el conjunto de bienes y servicios cuyo destino es la demanda final.
Modelo input-output. Interdependencia de los agentes econmicos
T.I.O.
B. I
B. II
B. III
Bloque II.
Bloque III. Inputs primarios. Contiene para cada rama de actividad la aportacin de dichos inputs (trabajo y capital) al proceso productivo.
115
La aplicacin del modelo input-output desarrollado por Leontief (Leontief, 1958 y 1973) parte del hecho de que el incremento de la demanda de un sector provoca un aumento no slo de su produccin y empleo sino tambin de los restantes sectores debido a la utilizacin de la produccin del sector inicial por los dems como recursos para sus propias producciones (consumos intermedios). El uso de las tablas permite calcular el impacto sobre la demanda de inputs, la generacin de valor aadido y la participacin de los diferentes sectores en los efectos directos e inducidos o indirectos. El modelo que se utiliza es el conocido como modelo de demanda1: siempre que una intervencin pblica pueda especificarse en trminos de cambios en la demanda final, los impactos se podrn obtener directamente si se dispone de un adecuado sistema input-output. La viabilidad para la aplicacin de esta tcnica tiene dos importantes condicionantes: A. Necesidad de clasificar y asignar la inversin o gasto pblico a evaluar de acuerdo con la estructura sectorial correspondiente a las TIO con las que se trabaje, y expresarla en las mismas unidades (pesetas constantes). Existe un alto componente subjetivo en la operacin de asignar cada partida de gasto a uno o varios sectores en concreto. La disponibilidad de una tabla input-output lo ms actualizada posible de la zona, rea o regin donde se produzca la inversin o gasto cuyos efectos se quieren analizar, y an ms importante, disponer de la informacin sobre dnde se localiza esta inversin, es decir, que est lo suficientemente detallada y territorializada.
Condicionantes para aplicar la tcnica
B.
Limitaciones de modelo input-output: Ofrece slo una perspectiva esttica. Se debe suponer que el total del gasto se produce en el ao de referencia de la TIO que se utilice, sin respetar las anualidades en que realmente se produce, puesto que las tablas no se elaboran anualmente2. Tener en cuenta estas anualidades implicara suponer que la estructura productiva de la economa se mantiene constante todo el perodo e igual a la que se recoge en la TIO. Posteriormente, para distribuir anualmente los efectos se puede hacer el supuesto de distribucin lineal del gasto en los aos de ejecucin. Problemas derivados de los supuestos del modelo; por ejemplo, el escaso realismo del modelo input-output en sus versiones ms simplificadas, lo que conlleva una dudosa valoracin de los efectos multiplicadores.
Limitaciones del modelo input-output
116
Aplicacin del modelo input-output En el trabajo realizado por Roca i Segals, se analizaron los efectos de la inversin producida por la Poltica Regional Comunitaria va Fondo Europeo de Desarrollo Regional (FEDER) en las regiones Objetivo 2 de Espaa. Estos recursos se destinaron bsicamente a la construccin de infraestructuras de transportes y comunicaciones, estimndose los efectos de demanda sobre la ocupacin y sobre el valor aadido bruto, utilizando el modelo input-output abierto de Leontief. Las tablas input-output utilizadas fueron las referentes a la economa espaola de 1989, para evaluar los efectos totales, y las de Catalua (1987) y el Pas Vasco (1990), por ser estas dos comunidades las que absorban las dos terceras partes del gasto (objeto de estudio). El anlisis de impacto consisti en determinar, en primer lugar, el volumen de nueva produccin de origen interior que se requera para satisfacer la nueva demanda creada por la inversin objetivo 2 del FEDER y, a continuacin, derivar los efectos sobre la ocupacin y el valor aadido. Las conclusiones fueron las siguientes: los efectos en trminos de nueva produccin representan para la economa espaola una cantidad prxima a los 640.000 millones de pesetas (de 1989), de los cuales el 64,6% son inversin inicial (efecto directo) y el resto produccin adicional generada.
Fuente: Oriol Roca i Segals. (1997). Impacto a corto plazo de los Fondos Objetivo 2 del FEDER en Espaa, en Revista de Estudios Regionales, n 48. pp. 113-142.
INE (1976): Metodologa de las Tablas Input-Output. INE-OSCE. Leontief, W. (1958): La estructura de la economa americana (1919-1939). Ed. Bosh, Barcelona. Leontief, W. (1973). Anlisis econmico input-output. Ed. Ariel. Muoz Cidad, C. (1994). Introduccin a la economa aplicada. Cuentas nacionales, tablas input-output y balanza de pagos. Espasa Calpe, Madrid. Muoz Cidad, C. (1994). Las Cuentas de la Nacin. Nueva Introduccin a la Economa Aplicada. Ed. Civitas, Madrid. Requeijo, J., Iranzo J.E., Martnez de Dios, J., Pedrosa, M. y Salido, J. ( 1997). Estructura Econmica Mundial. Introduccin y tcnicas bsicas. Editorial AC, Madrid. Tamames, R. (1989). Fundamentos de Estructura Econmica. Alianza Universidad, Madrid.
117
3. Mtodo experimental
Es una de las tcnicas ms empleadas en el anlisis de impacto, fundamentalmente en Estados Unidos. Su utilizacin, en el campo de la evaluacin de polticas pblicas, permite contrastar una hiptesis sobre la accin de los poderes pblicos. Es decir, se parte del supuesto de que una accin "X" va a producir un cambio Y en la direccin buscada. Ahora bien, en el efecto "Y" tambin inciden otras variables, exgenas al programa por lo general, que deben controlarse. La cuestin es determinar si existe una relacin causal entre el programa y los impactos. Para medir el resultado neto del programa, y aislar el efecto de esas variables, se comparan, sistemtica y objetivamente, dos grupos:
Grupo experimental y grupo control
Mtdo de evaluacin que permite contrastar hiptesis empricamente
El grupo experimental, que es aquel al que se le aplica el programa. El grupo control, que no recibe ningn tratamiento o al que se le aplica uno alternativo.
Los resultados netos de la intervencin vienen determinados por las diferencias que existen entre ambos grupos:
Efectos netos
Resultados = brutos del grupo experimental
Resultados brutos del grupo control
+/-
Efectos debidos al diseo
Las fases en la aplicacin del mtodo experimental son las siguientes: Preparacin de los dos grupos. Debe asegurarse que cada unidad de la poblacin objetivo del estudio (no del programa) tiene la misma posibilidad de pertenecer a un grupo u otro (aleatoriedad) y que ambos grupos contienen la misma proporcin de unidades.
Fases en la aplicacin del mtodo experimental
Por ejemplo, en el caso de subvenciones a empresas el grupo control ideal seran las empresas solicitantes que fuesen rechazadas por "falta de dinero pblico" pero que fueran totalmente susceptibles de recibir la subvencin si hubiera una mayor dotacin de presupuestos para esta lnea de actuacin. Observacin o medicin simple de la variable "X", que el programa pretende modificar, en los dos grupos antes de su puesta en marcha. Aplicacin de los instrumentos del programa al grupo experimental. Nueva observacin y medicin de la variable "X" en ambos grupos para cuantificar la variacin producida por el programa en el grupo experimental. Comparacin de los resultados obtenidos mediante la medida de las diferencias entre la situacin final e inicial de cada uno de ellos.
118
Medida de resultados
Antes del programa Grupo Experimental Grupo Control Despus del programa
Diferencias
E0 C0
Et Ct E-C
E= Et- E0 C= Ct- C0
Efectos Netos del Programa =
Limitaciones: Para poder comparar el grupo control y el experimental ambos deben ser idnticos en composicin, experiencias y predisposicin en trminos agregados y en aquellas caractersticas relevantes para el anlisis, excepto en su participacin o no en el programa. Esta es precisamente la limitacin ms importante, la posibilidad de encontrar dos grupos idnticos, lo que hace del anlisis experimental una metodologa difcil de aplicar en las ciencias sociales. Necesidad de empezar a aplicar la tcnica antes de comenzar a ejecutar el programa y que ste no vare, cosa que en la realidad no suele ocurrir ya que los programas estn en continua evolucin. Por otra parte, para la aplicacin del mtodo las relaciones causales deben ser sencillas, poco numerosas, unvocas y predecibles. Requiere una disponibilidad importante de recursos monetarios y, fundamentalmente, temporales. La seleccin de los elementos que pertenecen al grupo control discrimina negativamente a la poblacin beneficiaria privndoles de determinadas ventajas. Puede que se detecten reacciones adversas de los participantes al verse en uno u otro grupo: negativa a participar, abandono, sentimiento de injusticia, etc. Esto se conoce con el nombre de problemas de validez interna. Para que el mtodo sea vlido las variaciones detectadas deben interpretarse en sentido nico. Otra de las limitaciones se deriva de la posibilidad de generalizar los resultados del experimento a personas, lugares o perodos temporales distintos, lo que provoca problemas de validez externa.
Problemas de validez interna y externa
119
Validez interna El efecto ms conocido es el llamado "efecto Hawthorne". Se denomina as por el experimento que se realiz en la fbrica Hawthorne donde se quera hallar la intensidad de luz ptima para la productividad de unas obreras que agrupaban componentes electrnicos de tamao reducido. Se constat que cualquier cambio en la intensidad de luz, positivo o negativo, incrementaba la productividad. Esta conducta vino motivada por el hecho de pertenecer al grupo experimental y sentirse observadas.
Aplicacin del mtodo experimental Una de las aplicaciones del mtodo experimental ms conocida en el campo de la evaluacin es el estudio de los impactos del New Jersey-Negative Income Tax. Este programa se propona asegurar un ingreso anual mnimo a familias de escasa renta. El trabajo experimental, que se inici en 1968 y dur tres aos, se realiz sobre una poblacin de hogares cuyos ingresos eran inferiores al 150% del umbral de pobreza tomado como criterio de referencia. Las familias fueron seleccionadas en cuatro localidades de New Jersey y en una localidad de Pensilvania e identificadas mediante una encuesta previa en la que se solicitaba su participacin. El objetivo del anlisis de los datos era determinar si el salario social percibido por estas familias haba disminuido sus esfuerzos en la bsqueda de trabajo. Las conclusiones del experimento no fueron muy significativas debido al abandono del 22% de los participantes. A pesar de ello, se cuantific en el grupo experimental de familias un descenso del esfuerzo del 5% en el trabajo (medido en nmero de horas trabajadas).
Fuente: Artculo de Kershaw, D. y Fair, J. (1976): The New Jersey IncomeMaintenance Experiment. Vol. 1. Academic Press. New York. En Rossi, P.H. y Freeman, H.E., 1.989.
4. La encuesta y la entrevista
La encuesta y la entrevista son las tcnicas principales de anlisis en la investigacin social puesto que permiten extraer de la poblacin encuestada o entrevistada valoraciones cualitativas y cuantitativas de gran inters para el estudio que de otra forma no se seran recogidas. La encuesta es una tcnica que pertenece al dominio cuantitativo porque cuenta y agrupa unidades. Se realiza a travs del cuestionario. Consiste en un conjunto de preguntas tipificadas sobre los hechos o aspectos que interesan en el anlisis. El cuestionario se considera una de las herramientas
120
ms tiles para la evaluacin porque las respuestas que recoge permiten cuantificar y analizar la informacin con mayor facilidad que la generada por otros mtodos, al poder tabularla y codificarla. Las tareas para aplicar la tcnica de encuestacin son: Delimitacin de la poblacin a encuestar: muestreo Con frecuencia la poblacin objetivo es de grandes dimensiones por lo que sera imposible estudiar todos sus aspectos directamente. En estas situaciones es recomendable concentrarse en una proporcin de la poblacin total o muestra. El tamao y la definicin de la muestra debe asegurar que los resultados sean generalizables al total de la poblacin. Para ello, la muestra debe ser representativa y debe reflejar las similitudes y diferencias del total. Esto significa que el conjunto de individuos estudiado debe ser un grupo tpico de la poblacin en su totalidad, existiendo varias reglas para determinar el tamao y la naturaleza adecuada de las muestras.
Tipos de diseos muestrales
Todos los elementos tienen la misma probabilidad de ser elegidos. Estratificado La poblacin tiene que estar dividida en categoras homogneas que se denominan estratos y se toman muestras aleatorias de cada uno.
Simple
Aleatorio Restringido
Agrupado
o Se divide a la poblacin en grupos o clusters segn las necesidades del Conglomerado estudio y se extraen muestras de cada uno de ellos. Sistemtico Se utiliza cuando la poblacin se puede ordenar siguiendo un criterio objetivo y se seleccionan las unidades muestrales siguiendo una norma.
La encuesta y la entrevista recogen valoraciones cualitativas y cuantitativas
Dirigido
La seleccin se basa en juicios previos suponiendo que los resultados sern representativos. La cuota es un grupo de elementos con las mismas caractersticas. Se elige dentro de cada grupo las unidades muestrales segn su predisposicin, su capacidad, etc. Se selecciona a un segmento de la poblacin directamente en funcin de su accesibilidad.
No aleatorio
Por cuotas
Deliberado
121
Diseo de los cuestionarios Los cuestionarios pueden contener, fundamentalmente, preguntas cerradas o abiertas. La decisin de utilizar unas u otras depender de la naturaleza del objeto de evaluacin y de la necesidad de informacin que se requiera para su anlisis. Las primeras tienen la ventaja de que las respuestas son fciles de comparar y tabular, ya que existe un reducido nmero de categoras fijadas con antelacin y no dan cabida a sutilezas de opinin o de expresin verbal. El inconveniente es que la informacin que proporcionan tiene un alcance restringido. Los cuestionarios de preguntas abiertas ofrecen a aquellos que responden la oportunidad de expresar sus ideas sin que se vean obligados a marcar opciones cerradas, y permiten al evaluador profundizar en las contestaciones para indagar lo que realmente opina el encuestado. El problema de este tipo de cuestionario es que su anlisis es de mayor dificultad. Por otro lado, tambin es frecuente la utilizacin de otro tipo de preguntas como por ejemplo:
Preguntas abiertas y cerradas
Tipos de pregunta Semiabiertas Filtro En batera Control De relleno De evaluacin
Utilizacin Son preguntas cerradas que tiene la posibilidad de dar una respuesta abierta Son cerradas e indican una opcin sobre otra. Estn todas relacionadas Verificar si a las preguntas anteriores se han dado respuestas verdaderas o falsas Se utilizan para distender al entrevistado Para opinar sobre un tema determinado
Las preguntas de un cuestionario deben elaborarse de modo que un equipo de encuestadores pueda administrarlo segn un orden preestablecido y recoger las respuestas siguiendo un mismo criterio. Para ello deben reunir las siguientes caractersticas:
Caractersticas de las preguntas del cuestionario
Deben ser exhaustivas. Las categoras o respuestas de las preguntas deben abarcar todos los casos que puedan darse, de modo que ningn encuestado deje de responder por no encontrar la apropiada. Deben ser excluyentes, es decir, ninguno de los encuestados puede elegir vlidamente dos respuestas distintas a la misma pregunta. Deben ser corroborativas para poder validar los resultados de la investigacin.
122
Deben estar cuidadosamente planteadas para que no lleven a error en su interpretacin y los resultados sean fiables. Deben evitarse las preguntas sesgadas, es decir, preguntas plantadas de tal forma que induzcan a una respuesta concreta. Estudio piloto La mayor parte de las encuestas van precedidas de estudios piloto con la intencin de determinar problemas no anticipados por el investigador. Un estudio piloto es un ensayo en el que un reducido nmero de personas responden a un cuestionario. De esta forma las dificultades que surjan, en cuanto a la redaccin de las preguntas, su ordenacin, duracin de la encuesta, etc., pueden subsanarse antes de comenzar la encuesta real evitando incurrir en costes innecesarios. Administracin del cuestionario: trabajo de campo Una vez diseado el cuestionario existen varios mtodos para administrarlo: personalmente, por correo, por telfono, fax, etc. La eleccin de una determinada va depender del tiempo y presupuesto disponible as como de los objetivos de la investigacin. En general, cuanto ms intensivo y directo sea el encuentro entre el evaluador y la poblacin objetivo estudiada, ms informativas sern las conclusiones que se deriven de l. Anlisis y tratamiento de los datos aportados por las encuestas Una vez administrado el cuestionario hay que proceder a la tabulacin de las respuestas. Para ello se pueden utilizar distintas escalas de medicin. Las ms comunes son: las nominales, ordinales, por intervalos y las escalas para la clasificacin de actitudes. Posteriormente hay que tratar la informacin y para ello, normalmente, se utilizan programas informticos de tratamiento de datos estadsticos. El ms empleado en la investigacin social es el SPSS+3. Finalmente, y tras el tratamiento de los datos, hay que realizar su anlisis e interpretacin para la evaluacin de las variables analizadas con la encuesta. Este mtodo, a pesar de sus limitaciones, requerimiento de tiempo y dinero para su aplicacin, es muy til a la hora de evaluar los impactos de un programa ya que posibilita una eficaz recogida de los datos. La entrevista es una tcnica de investigacin cualitativa que se utiliza para obtener informacin mediante una conversacin profesional con una o varias personas para un estudio analtico de investigacin o para contribuir en los diagnsticos o tratamientos sociales. Implica siempre un proceso de comunicacin, en el transcurso del cual el entrevistador y el entrevistado pueden influirse mutuamente, tanto consciente como inconscientemente.
123
La entrevista en profundidad
Se propone para la evaluacin de muchas de las acciones, pero ms que como una herramienta individual, como un instrumento de acompaamiento a la encuesta, sobre todo cuando la poblacin a la que va dirigida es de grandes dimensiones pueto que utilizar slo la entrevista sera inviable. Adicionalmente, con el fin de ajustar el lenguaje y significado de las preguntas de un cuestionario, se realizan previamente algunas entrevistas en profundidad. Taylor y Bogdan (1984, p. 101) definen la entrevista en profundidad como "encuentros reiterados, cara a cara, entre el investigador y los informantes, encuentros stos dirigidos hacia la comprensin de las perspectivas que tienen los informantes respecto de sus vidas, experiencias o situaciones, tal como las expresan con sus propias vidas". La estructura se va imponiendo en la conversacin como una especie de marco de referencia; es una gua de conversacin, flexible y sometida a cambios continuos, como resultado de la propia conversacin. El entrevistador har bien en combinar preguntas abiertas (que conceden al entrevistado la mxima libertad de autoexpresin) con preguntas cerradas (que comprueben y verifiquen la verdad de determinadas afirmaciones y datos aportados). Una entrevista en profundidad se pude considerar adecuada cuando desarrolla acertadamente los tres procesos bsicos de los que consta: el proceso social de interaccin interpersonal,
Procesos bsicos
el proceso tcnico de recogida de informacin, y el proceso complementario de observar la informacin; anotando, registrando o grabando la conservacin. El trmino de entrevista en profundidad se utiliza para designar una serie bastante heterognea de clases de entrevistas que se diferencian entre s. Los tipos de entrevistas en profundidad posibles se caracterizan por: Estar dirigidas a un individuo. Ser de carcter holstico, no monotemticas. No estar dirigidas, es decir, de cuestionario flexible. La diferencia ms marcada resulta del grado de "direccin-no direccin" que se puede imprimir a la misma y que oscila, desde la entrevista en la que el actor lleva la iniciativa de la conversacin hasta aquella en la que el entrevistador sigue un esquema de preguntas, fijo en cuanto a orden, contenido y formulacin de las mismas. Junto a stas merece la pena resear otros cuatro tipos de posibles entrevistas en profundidad:
Tipos de entrevista
124
1. 2.
Entrevistas efectuadas no slo a un individuo sino simultneamente a un grupo de personas. Son las entrevistas de grupo. Entrevistas orientadas al esclarecimiento y comprensin de un solo tema que se convierte en el foco de la conversacin. Son las entrevistas enfocadas. Entrevistas efectuadas a varias personas por separado, sobre un mismo tema, en los que la objetividad de un hecho no observable directamente por el observador es estudiado con la ayuda de testigos privilegiados. Son las entrevistas de encuesta. Entrevistas en las que el objeto de estudio es el desarrollo y evolucin de toda la vida de una persona. Son las entrevistas de historias de vida o de biografa asistida.
Aplicacin de la tcnica de encuestacin
3.
4.
Con la finalidad de conocer el grado de implantacin del seguimiento y la evaluacin en la Administracin Regional Andaluza, la familiarizacin y formacin de los gestores y decisores polticos con relacin a estas tareas y, por ltimo, los elementos que dificultaban, o en su caso potenciaban, la internalizacin de los procesos de seguimiento y evaluacin en las prcticas cotidianas de gestin, el I.D.R. realiz una encuesta a los gestores y tcnicos de la Junta de Andaluca. Se trat de un estudio de opinin y actitudes para detectar los motivos que explicaban los efectos de las situaciones nuevas y las transformaciones funcionales que haban tenido lugar en la Administracin debido, principalmente, a la recepcin de ayudas comunitarias. Para la elaboracin de los cuestionarios se acudi a la utilizacin de herramientas complementarias como el anlisis documental y a la entrevista en profundidad a gestores identificados como figuras clave en la gestin de programas financiados con fondos europeos. La metodologa general de la encuesta llevada a cabo se representa en el siguiente cuadro:
Calidad de la planificacin/programacin EVALUABILIDAD Existencia de informacin en cantidad y calidad
Capacidad de la Administracin para realizar el seguimiento y la evaluacin
Conocer el grado de familiarizacin y la importancia dada a las tareas de seguimiento
Conocer el grado de implantacin de los sistemas de seguimiento y evaluacin
Conocer la opinin de los aspectos que influyen en el seguimiento y la evaluacin
Anlisis de programas Entrevistas
Bloque I
Bloque II
Bloque III
Objetivos del estudio Tcnicas empleadas
CUESTIONARIO
Fuente: Instituto de Desarrollo Regional, Fundacin Universitaria (1997). Capacidad de gestin de la Administracin en relacin al seguimiento y la evaluacin de las acciones de los P.O.s: Andaluca y Doana II Fase, 1994-1999. Encuesta de evaluabilidad (trabajo sin publicar).
125
5. La observacin directa y visitas "in situ"

La observacin directa proporciona una informacin sobre el objeto de estudio mucho ms rica y flexible que la mayora de las restantes tcnicas de investigacin. Ofrece al evaluador la oportunidad de contactar directamente con el grupo o comunidad que se evala obteniendo una visin ms integral y pormenorizada del objeto de estudio. Es factible nicamente cuando la presencia del observador no altera o afecta a los fenmenos que se analizan. El evaluador debe adaptarse a circunstancias nuevas o inesperadas y debe aprovechar las oportunidades que puedan surgir en el proceso de la evaluacin, de forma que hay mayores posibilidades de que se recojan resultados inesperados. Se aconseja su utilizacin para la evaluacin como instrumento que acompaa a otras tcnicas, fundamentalmente a la encuesta. A la hora de realizar las observaciones se puede seguir un sistema estructurado, lo que supone la realizacin de las siguientes tareas: Elaborar una lista de las caractersticas y elementos del programa (actividades, procedimientos, materiales, etc.) que van a ser analizados. Preparar los escenarios tpicos en los que el programa se desarrolla. Los escenarios son representaciones de las actividades e interacciones exhibidas por los participantes del programa cuando est en operacin. En ellos se describen cuatro aspectos del programa: Caractersticas del espacio en el que se desarrolla. Descripcin de las actividades. Caractersticas de las ayudas, bienes y servicios suministrados. Listado de todos los agentes involucrados.
El evaluador contacta directamente con el grupo o comunidad
Sistema estructurado
Eleccin del mtodo de observacin, entre los cuales podemos distinguir: listas de chequeo, registros codificados o informes a posteriori. Determinacin del tiempo y plan de muestreo. Eleccin y preparacin de los observadores. Deben ser totalmente ajenos e independientes al programa a evaluar aunque algunas veces resulta ms conveniente utilizar personas directamente involucradas en el programa. Realizacin de las observaciones. Cuando estn disponibles los datos de la observacin, prepararlos para su interpretacin y anlisis. Esta tcnica tambin tiene sus limitaciones: Solamente pueden estudiarse grupos o comunidades relativamente pequeos.
126
Produce datos difciles de agregar. La observacin puede cambiar el comportamiento del personal del programa o de sus participantes. Casi todo depende de la habilidad del evaluador para ganarse la confianza de los individuos que quiere estudiar.
Limitaciones
Mtodos de investigacin
Ventajas
Inconvenientes
Encuesta
Posibilita una eficaz recogida de datos sobre el funcionamiento del programa. Obtencin de informacin sobre poblaciones muy numerosas. Obtencin de informacin detallada y en profundidad. Permite respuestas personales no inducidas. Permite flexibilidad al investigador para alterar estrategias. Genera una informacin profunda.
Es costosa en tiempo y dinero Las respuestas pueden expresar lo que la gente cree que piensa y no lo que realmente piensa. Slo puede utilizarse con pequeas poblaciones. Los resultados slo son aplicables a poblaciones pequeas. La observacin del investigador puede ser subjetiva.
Entrevista
Observacin directa
Fuente: Giddens, A. (1994). Sociologa. Alianza Universidad Textos, Madrid. Pg. 733 y elaboracin propia.
Bibliografa recomendada: Alvira Martnez, F. (1983). Perspectivas cualitativas/perspectiva cuantitativa en la metodologa sociolgica, en Revista Espaola de Investigaciones Sociolgicas, pp. 53 y ss. Boudon, R. y otros (1973). Metodologa de las Ciencias Sociales. Laja, Barcelona. Duverger, M. (1965). Mtodos de las Ciencias Sociales. Ariel, Barcelona. Galtung, J. (1966). Teora y mtodos de la investigacin social. Endeba, Buenos Aires. Garca Ferrando, M. (1985). Introduccin a la estadstica en Sociologa. Alianza Universidad Textos, Madrid. Garca Ferrando, M; Ibez, J. y Alvira F. (1986). El anlisis de la realidad social. Mtodos y tcnicas de investigacin. Alianza Universidad Textos, Madrid. Konig, R. y otros (1974). Tratado de sociologa emprica. Tecnos, Madrid. Taylor, S.J. y Bogdan, R. (1986). Introduccin a los mtodos cualitativos de investigacin. Paids, Buenos Aires.
127
6. El uso de la tcnica Delphi como herramienta para la evaluacin

A) El impact mapping (I.M.)
Esta tcnica, presentada en la II Conferencia Europea sobre Mtodos de Evaluacin de Acciones de Naturaleza Estructural (Berln, diciembre de 1997), parte de la base de que en todo proceso planificador se ha de determinar el impacto de las actuaciones y los indicadores que permitan su medicin. La tcnica del I.M. sirve para determinar esos impactos de forma consensuada entre los implicados en un programa, involucrndolos en el proceso de planificacin y evaluacin. Se usa fundamentalmente para estimar ex-ante los impactos que generar el programa aunque tambin se puede utilizar para determinar los provocados en momentos intermedios o posteriores a su ejecucin. El I.M. permite, eliminando parcialmente la subjetividad en la obtencin de la informacin y su tratamiento, conceptualizar adecuadamente la visin de los gestores mediante la representacin grfica de sus percepciones de forma que se muestre como las ideas de un participante estn relacionadas con las del resto de participantes y deslindar cules son las ms importantes en el proceso evaluador. Las ideas se representan en forma de mapa perceptual mediante la utilizacin de tcnicas de anlisis multivariante. Esto permite disponer de una base objetiva sobre la que establecer sus conclusiones
Determinacin de impactos de forma consensuada
Representacin grfica de las percepciones individuales de un participante y de su relacin con las del resto
Papel del impact mapping en la evaluacin

Objetivos del programa Programador Inversiones
Efectos ltimos Esperados
Efectos esperados
Efectos no esperados
Indicadores Evaluacin Gestores
Realidad econmica-social
Fuente: Bign Alcaiz J.E. y Alds Manzano J. "El impact mapping como herramienta para la evaluacin de las actuaciones pblicas: aplicacin al caso de las inversiones Feder en la Comunidad Valenciana". Ponencia presentada en las II Conferencias Europeas sobre Mtodos de Evaluacin de Acciones de Naturaleza Estructural. Berln, 1997.
128
Pasos a seguir para la aplicacin de esta herramienta de anlisis:

Fases en la aplicacin del I.M.
Fase previa: Preparacin de las reuniones Anlisis de los documentos oficiales para determinar los descriptores de impactos especficos y globales. Agrupacin de las acciones en grupos homogneos. Constitucin de los grupos de participantes: responsables y gestores del programa, agrupados segn la similitud entre las acciones que gestionan y de las que son responsables (1).
Fase I: Reuniones para cada grupo de gestores (3 reuniones para cada grupo)
Primera reunin: u Exposicin de la metodologa y objetivos para crear un clima de trabajo participativo. u Cada participante escribe en una tarjeta los impactos de las acciones que gestionan, positivos y negativos, esperados o no u Se aporta listado de descriptores sacados del texto por los investigadores para su debate. u Anlisis de todos los impactos (identificados en el Programa y por los gestores). Obtencin del listado de descriptores del impacto especfico consensuado. Segunda reunin: u Ponderacin y agrupacin de los impactos en funcin de la importancia de cada impacto(2). u Elaboracin de una matriz de similaridad de cada participante; binaria, cuadrada y simtrica con tantas filas y columnas como descriptores de impactos se formulen (3). u Tratamiento de la matriz (programa informtico SPSS+). u Representacin de cada descriptor como un punto en un espacio bidimensional. Tercera reunin: u Debate sobre la estructura de los conglomerados y sus denominaciones. u Sugerencias (por parte de los participantes) de impactos globales, transversales al conjunto de actuaciones incluidas en el programa. u Definicin de los indicadores que miden cada conglomerado y sus fuentes de informacin. Se siguen los mismos pasos que en las fases anteriores pero con las siguientes peculiaridades: Cambia la dimensin de los impactos (de especficos a globales). Cambian los participantes (de gestores a responsables). El grupo investigador pretende dar una visin de conjunto de la informacin generada en todas las fases anteriores.
Fase II: Elaboracin de los mapas de impacto global (con el grupo de responsables) (4) Fase III: Elaboracin de la batera de indicadores de impactos (5)
Fuente: Alds, J. Y Bigne, J. Instituto Valenciano de Investigaciones Econmicas. "El Impact Mapping como herramienta para la evaluacin de programas pblicos: el caso de las inversiones del FEDER en la regin valenciana". Ponencia presentada en la II Conferencia Europea sobre Mtodos de Evaluacin de Acciones de Naturaleza Estructural. Berln, diciembre de 1997.
129
(1) Requisitos de los grupos: El grupo no debe tener ms de 8-10 personas. Mismo nmero de gestores por actuacin para que no haya ms descriptores de una accin que de otra y para que no se focalice la discusin en torno a esas acciones. El director de la reunin debe velar por la participacin de todos. Mismo nivel jerrquico de todos los participantes para que no estn condicionadas las intervenciones. Que no haya cambio ni sustituciones en los grupos. (2) Ponderacin, por ejemplo de 1 a 3: 1 sera el impacto menos importante y 3 el impacto ms importante o esencial. Cuanto ms grande sea la escala mejor se puede analizar la importancia otorgada a cada impacto. La agrupacin. Se realiza siguiendo el criterio de impactos de la misma familia, prximos y similares. No debe haber tantos grupos como tarjetas ni slo un grupo. Cada tarjeta debe formar parte de un solo grupo o montn. A los gestores no se les debe sugerir ningn criterio de agrupacin. (3) Si el gestor k, cuya matriz se est completando, agrup el descriptor i con el j el elemento aij Matriz de similaridad de la matriz Ak tendr un 1, en caso contrario un 0. 6
Agrupacin de impactos similares
Mismo nivel de participacin
Ponderacin y agrupacin
En la matriz, la diagonal es siempre 1 ya que el elemento aii=1 siempre (un descriptor siempre se agrupa consigo mismo).
1 1 2 1 1
2 1 1
3 0 0
4 0 0
5 0 0
6 1 1
Para el conjunto de participantes, 3 0 0 1 0 1 0 esta matriz A es considerada como 4 0 0 0 1 0 0 la estructura relacional de las 5 0 0 1 0 1 0 6 1 1 0 0 0 1 visiones parciales del conjunto de gestores. Un valor bajo de aij indica que pocos gestores consideran que el descriptor i y el j pertenezcan al mismo grupo y viceversa. Para representar grficamente las relaciones se utiliza el Programa informtico SPSS. As se representa cada descriptor como un
130
punto en un espacio multidimensional (bidimensional); dos puntos prximos indican dos impactos similares (segn los gestores). Se pasa a constituir conglomerados o grupos de descriptores considerados lo suficientemente cercanos. El paso siguiente es "bautizarlos". Puede haber distintas soluciones con distinto nmero de conglomerados. El evaluador es quien debe decidir cuantos grupos de conglomerados ha de haber. Cada uno tiene un peso, ya que cada descriptor lo tiene. Esta informacin debe recogerse en el mapa de conglomerados. El nombre dado a cada grupo conforma un descriptor consensuado de impacto especfico que, por su construccin, ser transversal al conjunto de medidas objeto de evaluacin. Estos reciben el nombre de "criterio de evaluacin especfico". (4) La lista de impactos a agrupar y ponderar se toma de tres fuentes: del documento programtico, de los definidos por los responsables y los aportados en la fase anterior aportados por los gestores (ms los que fueron aportados por ser globales).
Mapa de conglomerados
1 26 15 2 7 39 21 11 33 24 28 40 21 11 33 24 28 40 4 3 8 34 36 6 32 5 13 2 7 39
Formacin de conglomerados o grupos de descriptores cercanos
Ponderacin y denominacin de conglomerados
1 26 15 4 3 8 34 36 6 32 5 13
25 35 27 20 22 16 17 31 10 29 18 12 37 41 43 30 23 9 14 20 22 16 17 43 31 10 29 18 35 27 12 37 41 23 14 9
25
30
Puntos fuertes de la tcnica: Incorpora en el proceso de evaluacin el punto de vista de los gestores del programa. Se proponen indicadores que los expertos no propondran al desconocer las fuentes que podran generarlos: estudios e informes internos. Salen a la luz no slo los impactos esperados sino los no esperados, as como los positivos y negativos.
131
La participacin de los gestores en esta primera fase los involucra en el posterior proceso de evaluacin. El procedimiento invita a una reflexin ms amplia y transversal de las relaciones con otras reas de actividad de las medidas que ellos gestionan: sinergias. La combinacin de tcnicas estadsticas multivariantes con las tradicionales dinmicas de grupo facilita la interpretacin de los resultados obtenidos. Se combina la opinin individualizada con el consenso entre los participantes. Puntos dbiles Si las sesiones no se dirigen correctamente se puede focalizar la discusin, resultando una visin parcial de los impactos esperados. Debe velarse por evitar un nmero distinto de participantes por medida. Debe quedar definido el criterio de los eliminar/reformular los impactos semejantes. evaluadores para
Se necesitan muchas horas de dedicacin de los gestores. Los gestores sienten que su labor est siendo "examinada".
Aplicacin: Evaluacin del P.O. Valencia
El objetivo fue analizar la aplicabilidad de la metodologa. Para los tres grupos de medidas existentes en el P.O. se derivan 8 grandes impactos especficos que podan convertirse en criterios de evaluacin: 1. Ayudas directas a empresas: Incremento de la inversin en capital productivo. Internacionalizacin de la empresa valenciana. Mejora en la gestin y direccin de las empresas. Diversificacin de la oferta de productos y servicios de las empresas. Reduccin del impacto medioambiental de la produccin. Mejora del entorno tecnolgico y financiero de las empresas. Diversificacin y eficiencia energtica. Diversificacin y crecimiento del tejido empresarial. 2. Apoyo al entorno productivo: Favorecimiento de la implantacin de empresas en suelo industrial. Dinamizacin de la actividad empresarial. Mejora del equipamiento turstico y comercial. Mejora de la calidad de los servicios al usuario final. Mejora de la cualificacin humana y tecnolgica de la empresa. Reduccin del impacto ambiental. Favorecimiento del crecimiento del nmero de establecimientos empresariales. 3. Infraestructuras: Mejora de la movilidad. Aumento de la oferta de recursos energticos. Acciones de mejora del medioambiente. 4. Criterios de evaluacin global: Mejora de la competitividad empresarial. Mejora de la ordenacin del territorio. Mejora del medioambiente. Aumento del empleo. Mejora del entorno productivo.
132
B) Evaluacin del grado de Sinergia

Esta metodologa, presentada por Cuadrado Roura, J.R., Mancha Navarro, T. Y Garrido Yserte, R. en las XXIII Reunin de Estudios Regionales (Valencia, noviembre de 1998), se centra en la valoracin individual, cuantitativa, del grado de sinergia que guarda cada uno de los objetivos (o acciones) entre s. Los autores mantienen que puede aplicarse para la evaluacin de programas en cualquier fase de programacin. Se trata de una tcnica del tipo Delphi o mtodo de recoleccin de opiniones donde un grupo de expertos manifiesta sus opiniones o valoraciones, casi siempre de manera cuantitativa, a una serie de preguntas de un cuestionario. Estas valoraciones pueden ser cambiadas en sucesivas rondas de consulta si el experto as lo considera oportuno atendiendo a la distribucin de las respuestas del resto de participantes. Las fases para la aplicacin de esta tcnica son las siguientes: 1. Construccin de un nuevo rbol de objetivos: Los evaluadores reconstruyen el rbol de objetivos del programa tomando como referencia los documentos de base del programa, fundamentalmente el documento programtico. 2. Valoracin de las relaciones directas que se han producido entre objetivos: Se solicita a los expertos el establecimiento de una serie de ponderaciones que muestren las relaciones entre objetivos de acuerdo con la influencia de cada objetivo sobre los restantes. En su aplicacin a la evaluacin del Marco de Apoyo Comunitario (MAC) para las regiones Objetivo 1 espaolas 1994-99, las valoraciones se imputaron de acuerdo a la siguiente escala de valores: Influencia muy importante: 5 Influencia significativa: 3 Influencia mnima: 1 Ninguna influencia: 0
Fases para la aplicacin de la tcnica
Tcnica tipo Delphi
Se construye una matriz de ponderaciones, de acuerdo con el grado de sinergia asignado a distintos objetivos (o acciones). La lectura de la matriz se realiza en la direccin fila-columna. Por ejemplo, para la siguiente matriz de ponderaciones, el objetivo de la fila 2 ha logrado ejercer una influencia importante sobre el objetivo columna 4. Si se lee la matriz por columnas se obtendr los efectos que ha recibido cada objetivo-columna procedente de la ejecucin de otros objetivos, es decir, su sensibilidad. Por ejemplo, el objetivo-columna 4 ha recibido efectos importantes de dos objetivos: el 2 y el 3.
133
Matriz de sinergias 1 1 2 3 4 columnas Filas-columnas

1 4 2 2 3 0 6 3 2 4 3 10 -6
3
2
4
5 5
filas filas+columnas
3 6 9 7 4 15 11 14
3.
Tipificacin de los objetivos en funcin de los resultados obtenidos: Mediante una serie de clculos que toman como base la matriz elaborada y utilizando el anlisis de conglomerados jerrquicos se establece una clasificacin de objetivos, que sirve de referencia para apreciar el valor estratgico de la programacin propuesta. En la aplicacin de la tcnica al MAC 1994-99 el grupo de trabajo tom como referencia los valores totales que ha alcanzado cada objetivo en sus sumas por filas y en sus sumas por columnas. As:
Sumas y diferencias por filas y columnas
La suma por filas representa la capacidad de un objetivo de favorecer la realizacin del conjunto. Refleja el grado de influencia o sinergia que aporta a los dems objetivos. La suma por columnas muestra la sensibilidad del objetivo en cuestin respecto del cumplimiento de los restantes, es decir, los efectos o sinergias recibidas. La suma de filas y columnas: muestra el grado de imbricacin del mismo dentro del rbol de objetivos, ya sea favoreciendo el cumplimiento de los dems, recibiendo efectos del conjunto, o ambos fenmenos a la vez. La diferencia de filas y columnas (suma de filas-suma de columnas). Puede dar lugar a tres resultados posibles: Diferencia positiva: muestra el predominio de la faceta impulsora sobre la de sensibilidad. Diferencia negativa: indica que tiene ms importancia la faceta del objetivo como receptor de efectos que la de impulsor del conjunto. Diferencia nula o de muy pequeo valor: tanto la sensibilidad como la influencia tienen una importancia similar en el objetivo que se est valorando, por lo que es necesario acudir a las sumas separadas para interpretar correctamente el resultado.
134
Los resultados se representan en un eje de coordenadas: En el eje de abscisas, las diferencias entre filas y columnas. En el eje de ordenadas, la suma de filas y columnas.
Ordenacin de objetivos segn su grado de sinergias
Filas+columnas
Zonas de objetivos donde la sinergia con los dems es muy importante y se manifiesta por su elevado grado de dependencia
Zonas de objetivos donde la sinergia con los dems es muy importante y se manifiesta por su elevado grado de dependencia
Zona de objetivos donde la sinergia es importante y se manifiesta bien por su moderado poder de "arrastre" bien por su moderado grado de dependencia
Umbral de relevancia
Zonas de objetivos donde la sinergia es poco importante
Son a su vez dependientes de un bajo nmero de medidas
Ejercen un poder de "arrastre" sobre un reducido nmero de medidas
Sinergia dependiente
filas-columnas
Sinergia influyente
Fuente: Cuadrado Roura, J.R., Mancha Navarro, T. y Garrido Yserte, R. (1997). "Estrategia y coherencia de un programa de desarrollo regional: una metodologa para la evaluacin de sinergias". Comunicacin presentada en la XXIII Reunin de Estudios Regionales. Noviembre de 1997, Valencia. Actas, vol. II, pp. 359-369.
Atendiendo a la localizacin de los objetivos sobre el plano se valora el grado de sinergia y la dependencia de los distintos objetivos. Se determinan cuatro zonas: Zona alta de la derecha: representa aquellos objetivos muy integrados que destacan por su capacidad de influencia sobre otros objetivos. Zona alta de la izquierda: objetivos tambin muy integrados, pero con un notable grado de dependencia. Zona central: aglutina objetivos donde la sinergia es relativamente importante y se manifiesta, bien por su poder de arrastre (posicin
Zonas del eje de coordenadas
135
a la derecha) o por su moderado grado de dependencia (posicin a la izquierda). Zona por debajo del umbral de relevancia: agrupa a los objetivos con un grado de sinergia poco significativo, tanto por su limitada capacidad de influencia como por su reducida dependencia. Se trata de objetivos independientes.
Conglomerados jerrquicos
Para establecer unos grupos de objetivos con caractersticas sinrgicas homogneas los autores aplicaron la tcnica de conglomerados jerrquicos a los datos contenidos en la matriz, de forma que los objetivos de un mismo grupo guardasen el mayor grado posible de similitud (homogeneidad interna) y que los diferentes grupos fueran lo ms dispares posibles entre s (heterogeneidad externa). Esta tcnica tambin puede aplicarse para evaluar el grado de coherencia interna de un programa puesto que permite establecer una jerarqua de objetivos (identificados con los impactos, en el caso ilustrado, especficos y globales). Para ello se procede al establecimiento de una ltima caracterizacin de los objetivos, ordenndolos de acuerdo con su carcter bsico, intermedio o independiente.
Aplicacin al MAC 94-99, Objetivo 1 La aplicacin de esta tcnica a la evaluacin del MAC 1994-99 para las regiones espaolas Objetivo 1 arroj las siguientes conclusiones: El anlisis de las relaciones directas que se produjeron a mitad de recorrido entre las acciones y objetivos del MAC puso de manifiesto un diseo estratgico coherente, logrndose un conjunto de actuaciones aceptablemente integradas. Por tanto, se sugera que la potenciacin de los resultados del MAC dependa ms de su correcta ejecucin que de un cambio de prioridades. Se concluy que las sinergias detectadas para el primer periodo de ejecucin podran potenciarse an ms, siempre que el complejo entramado administrativo y competencial que moviliza los recursos del MAC permitiese, entre otros aspectos, agilizar la puesta en marcha de las acciones y lograr un buen nivel de ejecucin; conseguir una elevada coordinacin institucional a la vez que una fuerte implicacin del sector privado y una estrecha coordinacin entre los distintos fondos estructurales.
Se puede aplicar para evaluar el grado de coherencia interna
Fuente: Cuadrado Roura, J.R.: Mancha Navarro, T. y Garrido Yserte, R. (1997). Estrategia y coherencia de un programa de Desarrollo Regional: una metodologa para la evaluacin de sinergias. Comunidacin presentaeda en la XXIII Reunin de Estudios Regionales. Noviembre de 1997, Valencia, Actas, vol. II, pp. 359-369
136
Alds, J. Y Bigne, J. Instituto Valenciano de Investigaciones Econmicas. "El Impact Mapping como herramienta para la evaluacin de programas pblicos: el caso de las inversiones del FEDER en la regin valenciana". Ponencia presentada en la II Conferencia Europea sobre Mtodos de Evaluacin de Acciones de Naturaleza Estructural. Berln, diciembre de 1997. Cuadrado Roura, J.R.; Mancha Navarro, t y Garrido Yserte, R. (1997). "Estrategia y coherencia de un programa de Desarrollo Regional: una metodologa para la evaluacin de sinergias. Comunicacin presentada en la XXIII Reunin de Estudios Regionales. Noviembre de 1997, Valencia. Actas, vol. II, pp. 359369. Cuadrado, J.R., Mancha T. y Garrido R. (1993). Estrategia, coherencia interna y aspectos financieros en el Plan de Desarrollo Regional (1994-1999) para las regiones Objetivo 1 espaolas. Documento de base n 1. Informe para la Comisin. Gunther W. y Vallery T. (1970). The Delphi method and its usefulness to regional public investment decision, en Review of regional studies, 1 (2), Winter, pp. 127-147. Hair J.F., Anderson R.E., Tatham R.L. y Black W.C. (1995). Multivariate data analysis with readings. Fourth edition. Prentice-Hall International. Miller, M. (1993). Enhancing regional analysis with the Delphi method, en Rewiew of regional studies, 23 (2), Fall, pp. 191-212.
Tcnicas para la valoracin de la eficiencia

Tras conocer el efecto neto de la poltica, esto es, despus de la evaluacin de los impactos, se pueden llevar a cabo los anlisis de eficiencia, bien en trminos absolutos o relativos (Mas, Maudos y Prez, 1998): En trminos absolutos, el objetivo es juzgar la oportunidad de la intervencin en funcin de los costes que ha supuesto frente a los beneficios o resultados obtenidos. Exige comparar los costes en los que realmente se incurre con los mnimos necesarios para llevar a cabo dicha actuacin. La ineficiencia se medira por la diferencia entre stos o por el porcentaje en que se pueden reducir los costes respecto a ese coste mnimo. El problema radica, precisamente, en estimar ese coste mnimo. En trminos relativos, la cuestin principal es determinar el diferencial de costes en comparacin con otros programas o intervenciones. Supone comparar los costes unitarios de actuaciones similares. sta es la aproximacin ms utilizada y recomendada como criterio de evaluacin de la eficiencia del programa. El problema radica, aqu, en dar sentido econmico a los costes unitarios para: asegurar una correspondencia entre los costes de cada actuacin y los indicadores fsicos, e interpretar la diferencia entre distintos costes unitarios. Esta puede deberse a que reflejan diferencias en las caractersticas de los proyectos: orografa del territorio, costes de expropiacin,
Comparacin con los costes mnimos
Comparacin con los costes unitarios de actuaciones similares
137
etc., por lo que mayores costes unitarios necesariamente actuaciones menos eficientes.
no
implican
Algunas de las tcnicas ms empleadas para la evaluacin de la eficiencia son: el anlisis coste-beneficio, la comparacin de los precios de licitacin, adjudicacin y ejecucin y el anlisis frontera.
1. Anlisis coste beneficio

La funcin del anlisis coste beneficio (en adelante ACB) es evaluar la eficiencia de la intervencin del sector pblico; mide la consecucin de los objetivos propuestos en funcin de los costes: comprobando si se han minimizado los recursos necesarios para proporcionar el nivel ptimo de bienes o servicios pblicos, o
La funcin del anlisis coste-beneficio
si se han maximizado los beneficios sociales que se pueden obtener dados unos recursos determinados. Puede aplicarse: ex-ante a la intervencin, con lo cual puede ayudar a tomar decisiones eficientes entre alternativas de actuacin, o ex-post, permitiendo determinar el grado de eficiencia alcanzada, aunque lo que puede estimarse con fiabilidad no es el valor absoluto sino el valor relativo de un proyecto. Su principal utilidad radica en que posibilita comparar distintos proyectos sobre la base de criterios comunes para evaluar costes y beneficios. Antes de aplicar el anlisis coste-beneficio a un programa pblico o alguna de sus actuaciones hay que asegurar la viabilidad de este tipo de estudios. Para ello se debe verificar que se cumplen las siguientes reglas: Los proyectos tienen que tener una entidad financiera o de repercusiones sociales razonablemente significativa.
Antes de aplicar el ACB deben verificarse algunas reglas
Los objetivos deben ser los mismos y deben estar claramente identificados para lo que es necesario que estn consensuados por las diferentes partes interesadas. La responsabilidad del proyecto debe ser fragmentaria, es decir, se debe poder identificar a los beneficiarios y a los decisores. Existencia de alternativas al proyecto que podran ser aceptadas. Disponibilidad de la informacin y tiempo necesarios para realizar el anlisis. Sobre la base de estos requisitos, que no tienen por qu cumplirse simultneamente, se escogen las actuaciones o intervenciones a las que se les va a aplicar la tcnica coste-beneficio. No obstante, como regla general, se
138
establece que el ACB es viable en los casos en los que se deben tomar decisiones sobre asignacin de recursos y slo cuando los resultados de su aplicacin sean mayores a los costes en los que se incurre. Los trminos claves para formular adecuadamente el ACB son: Los costes. Hacen referencia al concepto de coste de oportunidad, esto es, lo que se "sacrifica" para realizar una actividad u obtener un determinado bien o servicio. Esto indica, implcitamente, que el coste de la accin no es necesariamente la cantidad de dinero que se paga por los recursos usados. Los beneficios. En este contexto hacen referencia a las ventajas sociales que se derivan de la accin pblica. No son beneficios tal y como se entiende en el mbito de la empresa privada, sino mejoras en las condiciones sociales o econmicas de la poblacin objetivo en relacin con los objetivos establecidos en el proyecto. Para poder realizar el anlisis es necesario: considerar ambas corrientes (costes y beneficios) y cuantificarlas en trminos monetarios, para lo que se deben tener en cuenta tanto los objetivos del proyecto como los valores sociales relativos que se fijan sobre el mismo. expresar todos los costes y beneficios en una unidad de cuenta adecuada. Es decir, es necesario actualizar estas series para que sean homogneas ya que normalmente los flujos de costes y beneficios se producen en distintos perodos de tiempo, y establecer una regla de decisin. Esta regla, normalmente se basa en alguno de los siguientes criterios: Tipo marginal social de preferencia temporal. Representa las preferencias temporales de consumo de la sociedad actual. Es la tasa a la que se est dispuesto a ceder consumo presente por un mayor consumo futuro. Tipo social marginal del rendimiento de la inversin. Es el coste social de oportunidad de capital. Es la tasa a la que se pueden transformar los recursos existentes en el presente en recursos en el futuro. Depende de la productividad marginal del capital. De forma grfica podemos resumir los conceptos relativos al ACB de la siguiente forma:
Los trminos clave son los costes y los beneficios
Es necesario: - Cuantificar los costes y beneficios - Actualizar los costes y beneficios - Establecer una regla de decisin
139
Elementos y objetivos del ACB

Evaluar en trminos monetarios la corriente de beneficios Anlisis costebeneficio Expresar ambas corrientes en una unidad adecuada Evaluar en trminos monetarios la corriente de costes Regla de decisin
Las tareas del ACB bsicamente tres:
son
1. Acotacin del proyecto debe ser una unidad de anlisis independiente. 2. Determinacin de costes y beneficios. los
3. Eleccin del criterio de decisin y evaluacin.
Las tareas o etapas que implica la realizacin de un anlisis coste-beneficio son bsicamente tres: 1. Acotacin del proyecto a evaluar. En esta primera fase hay que abordar dos tareas fundamentales: 1.1. Determinacin del proyecto. El proyecto debe ser una unidad de anlisis claramente definida. La funcin del evaluador es verificar la documentacin disponible para corroborar que el proyecto se corresponde con un objeto independiente y susceptible de anlisis econmico. Una parte de un amplio proyecto no es, para fines del anlisis coste-beneficio, un objetivo bien definido. Un conjunto de pequeos proyectos, desconectados e independientes, tampoco es un proyecto. 1.2. Definicin de objetivos. Consiste en delimitar cules son los objetivos socioeconmicos clave en los que influir el proyecto y cmo incidir en ellos. Los objetivos deben ser variables socioeconmicas medibles. Por ejemplo, para las regiones Objetivo 1, el objetivo final es disminuir la diferencia entre el producto interior bruto regional y el promedio de la Unin Europea. As mismo, se podra considerar como objetivo la reduccin de las tasas de desempleo. 2. Determinacin de los costes y beneficios del proyectos. En esta fase se incluyen dos etapas generales: 2.1. Identificacin de los costes y beneficios. Desde el momento del diseo metodolgico, una vez conocidas las caractersticas del proyecto, se debe determinar qu categora de costes se utilizar para la evaluacin. Existen varias clasificaciones de costes y beneficios segn se atienda a su carcter: interno o externo, directo e indirecto, y tangible o intangible.
El proyecto debe ser una unidad de anlisis independiente
Delimitar los objetivos clave del proyecto
140
Para la correcta identificacin de estas corrientes hay que partir de dos consideraciones fundamentales:
A. Los factores externos. Los costes y beneficios del proyecto
pueden ir ms all de los gastos y beneficios directos y monetarios. Entra en juego el concepto de economa y deseconoma externa. Una economa (o deseconoma) externa es aquella consecuencia de una accin que produce un beneficio apreciable (o dao significativo) a un grupo que no es parte directamente interesada en la ejecucin de un proyecto, sin pago ni compensacin. En algunos casos hay costes y beneficios externos fciles de determinar pero difciles de estimar en trminos monetarios, por ejemplo, las repercusiones negativas en el medio ambiente o el aumento de la esperanza de vida gracias a mejores servicios de salud o la reduccin de contaminante. Hay que tomar una decisin relativa a su contabilizacin para el ACB: la posibilidad de internalizar los efectos externos como costes o beneficios del proyecto por medio de una compensacin o ponderacin de los mismos, o la inclusin como costes externos tecnolgicos del proyecto. pecunarios, que actan a travs del mecanismo de precio de los productos y factores, y tecnolgicos, que afectan al nivel o posibilidad fsica de produccin o a las satisfacciones que los consumidores pueden obtener de una cantidad determinada de recursos.
Economas y deseconomas externas
Existen dos tipos de costes y beneficios externos:
Slo se deben tener en cuenta los efectos externos tecnolgicos ya que los pecunarios estn contenidos implcitamente, por tanto, su inclusin expresa sera como una doble contabilizacin.
B. La duracin o vida de los proyectos. Los costes y beneficios se
producen a lo largo del tiempo; por tanto, el perodo temporal es una decisin clave a tomar. Para estimar el valor ptimo de esta variable se utiliza, fundamentalmente, el "anlisis de sensibilidad". Los anlisis de sensibilidad son estudios de los efectos que tendran en la rentabilidad o valor actual de un proyecto los cambios en las estimaciones relativas a costes y beneficios. Consisten en tomar varios valores de la variable duracin del proyecto respecto al cual queremos aplicar el ACB y aplicar la tcnica comprobando si los resultados varan significativamente en funcin de la temporalidad.
Anlisis de sensibilidad
141
2.2. Valoracin de los costes y beneficios del proyecto. Es necesario actualizar los costes y beneficios, es decir, expresarlos en pesetas del mismo ao. Para ello se debe utilizar un ndice o tasa de descuento. Los dos enfoques ms comunes para la seleccin de la tasa de descuento son los de: *
Actualizar los costes y beneficios aplicando una base de descuento
preferencia temporal; se concreta en la decisin general de ahorro-consumo, y de rendimiento de la inversin; pretende asignar un nivel dado de inversin entre los sectores privados y pblicos correctamente.
A priori, no existe ninguna regla que priorice la utilizacin de una tasa en discriminacin de la otra, por lo que se debe determinar en funcin de la naturaleza del proyecto4. Para llevar a cabo esta tarea hay que partir de dos hiptesis diferentes que condicionan el anlisis: Existencia de mercado. Los precios de mercado deben ser slo un indicador ya que reflejan costes y beneficios marginales privados, ignorando los de carcter externo. Adems, se comprueba que existe una divergencia entre los precios de mercado y los de referencia para el ACB debido a las imperfecciones del mercado. Por ello, la metodologa ms adecuada para valorar los costes y beneficios cuando existe un mercado de referencia es la utilizacin de los "precios sombra". Estos son una herramienta de trabajo con la que se pretende cuantificar el precio, el coste o el beneficio que refleje la valoracin social del bien o servicio. Inexistencia de mercado. Bajo esta condicin se debe acudir o bien a metodologas como el enfoque de sustitucin de mercado, la encuesta a los beneficiarios, el anlisis del comportamiento de los beneficiarios, a los juicios de valor polticos y sociales o los anlisis coste-efectividad o costeeficacia.
142
Ejemplos u El coste de la mano de obra para la construccin de una carretera. Por este factor se efecta un pago, pero los sueldos pagados efectivamente pueden no ser una medida correcta del coste real del trabajo a efectos del anlisis coste-beneficio. Por ejemplo, si se contrata a desempleados, el coste de oportunidad es nulo ya que la mano de obra quedara desempleada si no se ejecutara el proyecto. Tendramos que utilizar como coste el salario que dejan de percibir los empleados si estuvieran en paro o realizaran otro trabajo diferente, por lo que el coste de oportunidad de la mano de obra utilizada en el proyecto puede ser inferior al ndice de los sueldos reales. u La obtencin de informacin, la toma de decisiones, etc. El precio de los recursos infravalora su autntico coste de oportunidad.
3. Eleccin del criterio de decisin y evaluacin. En lo referente a los criterios de decisin, los ms utilizados son:
Valor actual neto (VAN). Trata de maximizar la suma de los beneficios sobre los costes. Existen dos alternativas:
* Contar con un presupuesto variable. La expresin matemtica sera:
(Bt-Ct) (1+r)
t
VAN =
>0
r= tasa social de descuento Se elige el de mayor VAN
Valor actual neto
Contar con un presupuesto fijo. El criterio de seleccin se basara en la siguiente expresin:

VNP Ct
Ct= volumen de recursos Se eligen los proyectos con mayor VAN hasta agotar los recursos
Tasa interna de rendimiento (TIR). Iguala el valor presente de los beneficios y costes del proyecto, es decir hace que el VAN sea nulo. El criterio de decisin o evaluacin estara en funcin de que la tasa implcita del proyecto sea mayor a la tasa social del mismo (i>r). La formulacin sera:
Tasa interna de rendimiento
143
Bt
(1+i)
Ct (1+i)t
TIR La experiencia de la Comisin con la primera generacin de grandes proyectos ejecutados en virtud de los Fondos Estructurales (1989-93) facilita algunas indicaciones sobre la tasa de rentabilidad financiera interna esperada: Para inversiones productivas es generalmente superior a un 10%. Para infraestructuras es muy inferior, incluso negativo, lo que se debe en parte a la estructura de tarifas de esos sectores.
Fuente: Comisin Europea. "Gua para el anlisis de coste-beneficio de grandes proyectos". Direccin General de Poltica Regional.
En principio se deber reelaborar o incluso rechazar todo proyecto que presente un VAN negativo. Sin embargo, en algunos casos puede ser aceptable un valor social actual neto que sea negativo si hay importantes beneficios netos no monetarios. En trminos generales se puede afirmar que es socialmente eficaz un proyecto del que se espera tenga un ndice econmico de rendimiento.
Aplicacin al tren de alta velocidad en Espaa En el artculo se realiza un anlisis coste-beneficio convencional a partir de los datos de demanda y costes disponibles y bajo distintos horizontes temporales, hiptesis de crecimiento, valores del tiempo y de los accidentes, y una tasa social de descuento del 6% en trminos reales. Situados en el ao 1987 la evaluacin realizada en la alta velocidad espaola arroja un resultado negativo que permite afirmar que el proyecto no debera haberse emprendido en dicho ao y en el trayecto elegido. En el artculo se concluye que una vez construido, y con los costes de infraestructura prcticamente irrecuperables, la poltica de precios que empleoa RENFE parece responder en lneas generales a los principios de tarificacin ptima en situaciones de demanda de distinta intensidad segn el perodo de tiempo y en presencia de restriccin presupuestaria.
Fuente: Gins de Rus y Vicente Inglada (1993). El anlisis coste-beneficio del tren de alta velocidad en Espaa, en Revista de Economa Aplicada, n. 3, vol 1, pp. 2748
144
Bibliografa recomendada: Bridges G.A. y Winpenny J.T. (1992). Planning development projects. HMSO, Londres. Comisin Europea. (1993). "Gua para el anlisis de coste-beneficio de grandes proyectos". Direccin General de Poltica Regional, Bruselas. Comisin de las Comunidades Europeas. (1993). "Project cycle management. Integrated approach and logical framework". Direccin General de Desarrollo, Unidad de Evaluacin, Bruselas. Dreze. J. y Stern, N. (1987). "The theory of cost-benefit analysis". Handbook of Public Economics, pp. 909-985. Pearce S.W., Nash C.A. (1981). The social appraisal of projects. A text in costbenefit analysis. Macmillan, Londres. Saerbeck R. (1990). "Economic appraisal of projects. Guidelines for a simplified cost-benefit analysis, EIB Paper n 15, Banco Europeo de Inversiones, Luxemburgo.
2. Comparacin entre los precios de licitacin, adjudicacin y ejecucin

Esta es una va alternativa para medir la eficiencia, sobre todo para actuaciones de creacin de infraestructuras, propuesta por el Instituto Valenciano de Investigaciones Econmicas de la Universidad de Valencia en las III Conferencias Internacionales sobre Mtodos de Evaluacin de Acciones de Naturaleza Estructural (Sevilla, 1998). Consiste en comparar los precios de licitacin (PL) de cada proyecto con los precios de adjudicacin (PA) y ejecucin (PE) sobre la base de los cuales se construyen tres indicadores de eficiencia: eficiencia ex-ante, ex-post y eficiencia en la actuacin. Estos conceptos se definen como: Precio de licitacin: Valoracin que los tcnicos de la Administracin hacen del coste de una actuacin. Es una estimacin del coste en que incurrira la Administracin si ejecutara la actuacin. Precio de adjudicacin: Precio al que ejecutara el sector privado la actuacin (al que se le adjudica la ejecucin de la obra por concurso, subasta o adjudicacin directa). Precio de ejecucin: Precio al que se realiza finalmente la actuacin. La formulacin de esta tcnica se basa en el siguiente supuesto:
Precios de licitacin, adjudicacin y ejecucin
si la empresa adjudicataria es capaz de realizar la actuacin a menor coste hay una ganancia de eficiencia en relacin con lo inicialmente estimado.
145
De esta forma se enuncia la: Eficiencia ex-ante; mide la discrepancia entre los precios de licitacin y de adjudicacin. Muestra las ganancias derivadas de la adjudicacin de un proyecto a un coste inferior al inicialmente previsto. (EA)= PL/ PA
Indicadores de eficiencia ex-ante en la actuacin y en la ejecucin
Eficiencia en la actuacin; calculada como la relacin existente entre el precio de adjudicacin y el de ejecucin. Mide las ganancias, o prdidas derivadas de la diferencia entre el coste inicialmente considerado por las empresas adjudicatarias y el precio final de ejecucin. (EE)= PA/ PE Eficiencia ex-post; medida por la discrepancia existente entre el precio de licitacin inicialmente estimado por la Administracin Pblica y el precio final al que se ejecuta la obra. Es producto de los dos ndices anteriores y recoge la eficiencia final en la ejecucin del proyecto. (E)= PL/ PE Si los ndices de eficiencia (EA, EE y E) son mayores que 1, habra mejoras en la eficiencia, y si son menores que 1, prdidas de eficiencia. Para valorar esa medida de la eficiencia es necesario tener en cuenta que en la competencia por la adjudicacin de los contratos se producen con frecuencia bajas importantes que hacen que, normalmente, el precio al que se adjudican las obras sea menor que el precio al que inicialmente se licitaron: PA<PL. Para analizar este aspecto se estudia el comportamiento de los ratios EA=PL/PA y EE=PA/PE. As, debe cumplirse que:
E=
PL PA
PL PA
= EA*EE
Para la efectiva aplicacin de esta tcnica es necesario realizar algunas consideraciones: Los ratios de eficiencia se deben agrupar por grupos de medidas homogneas y por rganos gestores.
Consideraciones
Si existen ganancias de efectividad ex-post normalmente son menores que las ganancias de efectividad ex-ante debido a comportamientos estratgicos desarrollados por las empresas para la adjudicacin de los proyectos.
146
Si se calcula la eficiencia para un conjunto de actuaciones, por ejemplo, para un programa, es necesario presentar los valores medios de cada uno de los tres ndices de eficiencia. Si existen diferencias en los valores medios no se puede deducir directamente que se deban al rgano gestor. Inconvenientes del mtodo: El proyecto debe estar terminado para conocer su precio de ejecucin. La inversin debe estar totalmente concentrada en el rea de intervencin que se quiere evaluar. El precio de licitacin ya es una estimacin, normalmente al alza, por lo que la aplicacin de la tcnica puede tener implicaciones para la programacin financiera de los fondos pblicos y los procedimientos de presupuestacin. Se mide la eficiencia del procedimiento de adjudicacin y no la eficiencia de la actuacin en s.
Inconvenientes
Sumario Eficiencia absoluta Eficiencia relativa
Coste mnimo
Coste unitario
Va Alternativa Eficiencia ex-ante EA=PL/PA Eficiencia ex-post E=PL/PE Eficiencia en la ejecucin EE=PA/PE PL= Precio de licitacin PA= Precio de adjudicacin PE=Precio de ejecucin
147
Aplicacin de la tcnica de comparacin de precios Esta tcnica fue desarrollada y aplicada por la Universidad de Valencia y por el Instituto Valenciano de Investigaciones Econmicas (IVIE) en la Evaluacin Intermedia del Programa Operativo FEDER de la Comunidad Valenciana 1994-99, discutindose aspectos como las diferencias de eficiencia asociadas al rgano gestor, tamao del proyecto, etc. El anlisis descriptivo se complement con un anlisis de regresin. El anlisis mostr que: El valor de las ganancias de eficiencia ex-post era menor que las ganancias de eficiencia ex ante. Ello indic que existan ineficiencias de ejecucin lo que podra indicar comportamientos estratgicos desarrollados por las empresas para la adjudicacin de los proyectos. A pesar de haberse constatado la existencia de comportamientos estratgicos la eficiencia ex-ante tena un efecto positivo sobre la eficiencia ex-post por lo que no poda criticarse el procedimiento de adjudicacin. Por tanto, no se recomend ninguna modificacin en los sistemas de adjudicacin utilizados. Se cuestionaron los criterios de presupuestacin de los proyectos, debido a las importantes desviaciones entre los precios de licitacin y ejecucin, lo que podra tener incidencia en la programacin financiera de los fondos pblicos.
Fuente: Mas, M; Maudos, J. y Prez, F. (1998). Una aproximacin al anlisis de la eficiencia: aplicacin a la Evaluacin Intermedia del Programa Operativo FEDER de la Comunidad Valenciana 1994-99. Ponencia presentada en la Conferencia sobre Prcticas de Evaluacin en el Campo de la Poltica Estructural. Programa Europeo MEANS, Sevilla, 1.998. (Mimeo).
3. El anlisis frontera
El anlisis frontera es una de las tcnicas de anlisis utilizada para medir el nivel de eficiencia de las intervenciones pblicas. Compara distintas unidades de gestin que desarrollan servicios anlogos, mostrando la eficiencia relativa de dichas unidades en relacin a la "frontera eficiente" bien de forma individual, para cada unidad evaluada, o a travs de una medida del nivel medio de eficiencia. El concepto de frontera se puede aplicar a: Funciones de produccin; relacin tcnica entre inputs y outputs que, dada una tecnologa, definen las transformaciones eficientes de los inputs que proporcionan el output mximo.
Aplicable a funcin de produccin y de coste
Compara distintas unidades de gestin que desarrollan servicios anlogos
Funcin de coste; relacin entre los costes y los outputs que define los inputs mnimos para obtener un nivel de produccin. Se pueden definir dos tipos: * absoluta; definida a partir de todas las unidades que emplea una tecnologa determinada, o
148
relativa; a partir de una muestras de unidades que utilizan la misma tecnologa.
En el anlisis frontera, la eficiencia total o paretiana (EP) es el mltiplo de dos componentes5: * * La eficiencia tecnolgica (ET); se produce cuando se consigue la mxima cantidad de productos o beneficios con la mnima cantidad de recursos. La eficiencia asignativa (EA) o eficiencia econmica de la asignacin ptima de factores; es el efecto de la eleccin de una combinacin de inputs tcnicamente eficientes.
Eficiencia tecnolgica y eficiencia asignativa
La aplicacin de esta tcnica exige que: Se puedan identificar unos outputs concretos como resultados de la actividad de las unidades a evaluar y que se les pueda asignar alguna cuantificacin. Existan diversos resultados (outputs) obtenidos de forma simultnea con la utilizacin de varios recursos (inputs) y sin que sea necesario asignar a los resultados un peso o precio sombra . La informacin acerca de las unidades sea homognea. Para ello una solucin ptima es aglutinar las unidades similares de acuerdo con algn criterio socioeconmico. Existen varios modelos para la estimacin de fronteras de produccin y medida de la eficiencia. Entre ellos estn:
Mtodos de evaluacin de la eficiencia
No utilizan funcin de produccin forntera I. ndices de productividad I. parcial: fundamentalmente el factor trabajo, sin tener en cuenta otros factores endgenos o exgenos. Utilizan funcin de produccin frontera Modelos paramtricos:
Exigencias para aplicar la tcnica
Modelo Determinista Modelo Estadstico y probabilstico Modelo Estocstico
II.
ndices globales de eficiencia: II. Modelos no paramtricos: relacin entre el output y la Anlisis envolvente de datos media ponderada de inputs (DEA: Data envelopment (segn el precio o la proporcin analysis) relativa de cada factor).
III. Aproximaciones economtricas: utilizan una funcin de produccin, coste o beneficio y permiten descomponer la eficiencia en dos componentes: tcnica y asignativa.
149
Aplicacin del anlisis frontera Aplicacin del anlisis envolvente de datos (modelo DEA) para medir la eficiencia del servicio de recogida y eliminacin de residuos slidos urbanos (RSU) en una muestra de municipios de Catalua. La muestra estaba compuesta por 47 municipios (5% del total) de diferente dimensin y el perodo temporal abarcaba desde 1981 hasta 1986. Una vez seleccionados los municipios se agruparon en cuatro grupos segn su tamao y con un anlisis de regresin se eliminaron las observaciones extremas, ya que el DEA es muy sensible a las mismas. Las variables escogidas para definir las caractersticas del servicio fueron: Como outputs: la produccin anual de RSU y el nmero de habitantes beneficiados por este servicio. Como inputs: el coste total del servicio y personas empleadas para la prestacin del mismo.
Para evaluar la eficiencia se utiliz la formulacin dual correspondiente a la minimizacin del uso de los factores dados para unos outputs fijos. Los resultados globales se resumen en la siguiente tabla:
Municipios en 1981 Estimacin eficiencia 1 0,8-0,99 0,5-0,79 0,1-0,49 Totales N 11 8 20 8 47 %/total 23,4 17 42,6 17 100 Municipios en 1986 N 10 14 20 3 47 %/total 21,3 29,8 42,6 6,3 100
En trminos generales, el nmero de municipios que gestionan eficientemente sus recursos no super el 25% de la muestra en ambos momentos del estudio.
Fuente: Fuente: Prior, D., Verges, J y Vilardell I. (1993). La evaluacin de la eficiencia en los sectores privado y pblico. Instituto de Estudios Fiscales.
Forsund, F.R.; Lovell, C.A.K. y Schmidt, P. (1980). "A survey of frontier production functions and their relationship to efficiency measurement". Journal of Econometrics, vol. 13, nmero 1, pp. 5-25.
150
Anexo: Aplicacin prctica de la evaluacin intermedia.

Evaluacin intermedia del Programa Operativo de Andaluca 1994-99 (P.O.A.) Desde el punto de vista conceptual, la finalidad de la evaluacin intermedia es determinar "a medio camino" en la ejecucin, la marcha del Programa en relacin con los objetivos previstos, la pertinencia de la estrategia seguida y la adecuacin de los mecanismos de seguimiento y gestin establecidos, en aras a presentar una primera valoracin de la eficacia y eficiencia alcanzada que permita orientar, en su caso, futuras modificaciones en el diseo y/o ejecucin. El P.O.A. evaluado es fruto de sucesivas revisiones y reprogramaciones del presentado inicialmente en 1994. Estas modificaciones, que han afectado a la presentacin y diseo de la estrategia y al sistema de seguimiento y gestin propuesto, son absolutamente congruentes con las recomendaciones y pautas a seguir que se marcaron en el Informe de Evaluabilidad elaborado por el IDR. La estructura del informe de evaluacin intermedia responde al siguiente cuadro
Volumen I: Evaluacin Intermedia del P.O. A. 1.994-99

Racionalidad: Adaptacin del P.O.A. al M.A.C. 1994/99 Anlisis contexto operativo Definicin de problemas Calidad en la definicin de objetivos Relacin problemas-objetivos Coherencia: Interna: anlisis de la estrategia global y operativa Externa: PIA, PDIA, PLEAN Y PMA Sistema de Informacin: Sistema de indicadores Comits de Seguimiento Responsabilidad de la gestin
Bloque I
Anlisis de Racionalidad y Coherencia
Bloque II
Anlisis del Sistema de Gestin y Seguimiento
Volumen II: Detalle por acciones del P.O.A.
Bloque III
Anlisis de Eficacia y Eficiencia
Indicadores de base: evaluacin del nivel de realizacin y resultado Indicadores complementarios: evaluacin de la eficacia Indicadores adicionales: anlisis cualitativo Coherencia externa y cumplimiento de los requisitos legales de las normativas de: Medioambiente Redes transeuropeas Competencia Contratos pblicos PYMEs Mercado laboral
Bloque IV
Anlisis del Respeto y cumplimiento de polticas y normativas comunitarias
151
La metodologa utilizada en la elaboracin de este dictamen responde en los dos primeros aspectos: racionalidad y coherencia y anlisis del sistema de gestin y seguimiento, a la descrita en esta gua. Como fuentes de informacin se utilizaron los Planes y Programas que inciden en el mismo mbito temporal y espacial que el P.O.A, el estudio en profundidad del P.O.A. y las entrevistas con los gestores y responsables de su ejecucin y seguimiento. El anlisis de eficacia y eficiencia se abord cuantitativa y cualitativamente desde una doble ptica: horizontal, a travs del anlisis individualizado de todas las acciones, y vertical, mediante el estudio diferenciado de las estrategias de intervencin de cada eje de intervencin. De una parte, mediante la cumplimentacin y el contraste de la informacin recopilada en forma de indicadores de base y complementarios se analiz cuantitativamente la eficacia alcanzada. De otra, a travs de la formulacin de indicadores adicionales, se sistematiz toda aquella informacin cualitativa necesaria para la evaluacin que, siendo accesible, no se haba contemplado explcitamente su recogida. A continuacin se muestran dos cuadros resumen con los principales indicadores financieros y fsicos utilizados respectivamente.
Indicadores financieros
Denominacin indicador
Significancia financiera
Formulacin
Gasto elegible del ejei Gasto elegible P.O.A. Gasto elegible subeje i Gasto elegible ejei
Significado
Muestra la ponderacin cuantitativa relativa de cada eje de intervencin respecto al total del P.O.A. y de cada subeje respecto al eje en que se inserta. Indica presente cuanto a terica o accin. la marcha y/o futura en la realizacin prevista de la
Objetivo
Anlisis de la estrategia presupuestaria
Grado de compromiso financiero
Gasto comprometido accini Gasto elegible accin 1.994-99
Evolucin financiera
Grado de obligaciones reconocidas* Nivel de pagos certificados
Gasto obligado accini Gasto elegible accin 1.994-96 Gasto certificado accini Gasto elegible accin 1.994-96
Presenta la realizacin fsica de la accin, puesto que es la fase en la que se recepcionan las obras. Indicio de la eficacia en la gestin de los pagos de la Administracin como contrapartida de la ejecucin de las acciones. Parmetro de referencia para estimar los retardos en los pagos y efectos derivados de los mismos.
Eficacia financiera
Eficacia en la gestin
* Este indicador slo se ha cumplimentado para las acciones que se ejecutan dentro del Submarco Regional, por ser la fase de obligaciones especfica del sistema de Presupuesto de la Junta de Andaluca.
152
Indicadores Fsicos de Base y Complementarios
Indicadores de Realizacin Denominacin

Ejecutado
1.994/96
Previsin Eficacia (%)
Total 1994/99
Previsin Ejecucin %
Indicadores de Resultado Denominacin Valor 1.994 Valor 1.996 Previsin 1.999 Eficacia (%)
Indicadores de Empleo (1.994 sobre 1.999) Empleo directo

Fase de Construccin Fase de Explotacin
Empleo indirecto
Fase de Construccin Fase de Explotacin
Estos indicadores se mostraron para cada accin en un anexo.
La informacin necesaria se tom de diversas fuentes: los expedientes de ejecucin y gasto de los proyectos que integran cada accin, la entrevista con los ejecutores y aquella recogida mediante el cuestionario, diseado en forma de ficha biogrfica de seguimiento para cada accin, que se pas a los gestores y ejecutores. Para ello se dise un Plan de Trabajo segn el cual cuatro investigadores del I.D.R. recogieron directamente la informacin de los centros gestores durante tres meses, comprobando la veracidad de la misma en el momento de su recopilacin. Este plan supuso la participacin de 64 gestores (50 de la Administracin Regional y 14 de la Administracin Central). En la ficha de evaluacin diseada se incluyeron aspectos relativos a: la definicin y encuadre de la accin, responsables de ejecucin y mecanismos de coordinacin, ejecucin financiera, ejecucin fsica (a travs de indicadores de base y complementarios de realizacin, resultado y empleo) y una batera de "aspectos" relacionados con la adecuacin y respeto de las normas y polticas comunitarias que posibilit contar con los datos necesarios para la evaluacin de este ltimo elemento abordado en el informe de evaluacin intermedio. El anlisis de cada uno de los bloques arroj una serie de conclusiones y recomendaciones que tenan la finalidad de dotar a los gestores y responsables del Programa de un instrumento til para la toma de decisiones. En este sentido, de las principales conclusiones de los dos primeros bloques destacan: La oportunidad y utilidad de las modificaciones a las que se someti el Programa Operativo de Andaluca. Se observa la introduccin de cambios cualitativos que han dotado de racionalidad y coherencia al Programa y que han supuesto una mejora en el sistema de seguimiento y gestin. El resultado de ambos avances ha sido el logro de un "alto" nivel de ejecucin, tanto fsica como financiera, de la mayora de las actuaciones incluidas en el Programa. De aqu que la primera recomendacin apuntada fuera la de continuar con la estrategia global que, con una filosofa de intervencin integral y con
153
elementos, tanto sectoriales como horizontales, tpicos de una poltica de oferta, se defini en el P.O.A. Estrategia que, de un lado, presenta un elevado nivel de complementariedad y congruencia con las prioridades establecidas en el MAC 1994/99 y directrices de las principales polticas comunitarias (en materia de infraestructuras, inversin productiva, investigacin y desarrollo tecnolgico, medioambiente, etc.). De otro lado, se ha buscado su coherencia en el marco de la planificacin consensuada de los agentes econmicos y sociales regionales, y ello ha posibilitado la participacin e identificacin de la sociedad en la ejecucin del Programa. Se constat la necesidad de reforzar algunas de las sublneas estratgicas definidas, concentradas o dispersas, segn el caso, en distintos ejes de intervencin. De esta manera, por ejemplo, se propona insistir en aquellas actuaciones que articulan Andaluca con el espacio supraregional a nivel europeo, sin olvidar la necesidad de completar las intervenciones orientadas a aumentar la conexin interna, incorporando los avances en modernas infraestructuras de transporte, integrados en un sistema modal y distribuidos equilibradamente en el territorio. La necesidad de persistir en la mejora del sistema de seguimiento y gestin del Programa. A pesar de la constatacin fehaciente de un significativo avance en el diseo del sistema de indicadores para todas las acciones, debera optimizarse el sistema de informacin interno de la Administracin. El seguimiento, tarea eminentemente administrativa de recogida de informacin, debe ser una tarea interna del Centro evaluado dado que son los gestores y ejecutores los que cuentan con un conocimiento actualizado y detallado de la evolucin de las acciones. Y esto an ms, si se quiere dotar de funcionalidad la recogida de informacin precisa para la realizacin de la evaluacin ex-post, solventando una de las principales dificultades en la realizacin de la evaluacin. En el caso de la Administracin Regional este hecho resulta paradjico debido a que los indicadores fueron diseados de forma consensuada entre evaluados y evaluadores en una fase previa a la evaluacin intermedia. Los factores que obstaculizaban, en el momento de realizar la Encuesta de Evaluabilidad, la implantacin de un sistema de seguimiento y evaluacin en el interior de la Administracin siguen revelndose como tales, aunque en menor grado. En orden a convertir estos elementos en potenciadores de la internalizacin de estos procesos se propusieron, entre otras: Una divisin de tareas y competencias concretas para la realizacin del seguimiento y evaluacin. Entre los administradores y los organismos competentes se debe establecer un esquema organizativo y de gestin en el cual los implicados tengan una visin clara de los objetivos y una responsabilidad definida que optimice el empleo de los recursos y la ejecucin de las acciones. Aumentar la dotacin y formacin especfica de los recursos humanos adscritos a estas tareas. Por otro lado, ante la escasez de recursos materiales relacionados con el seguimiento fsico y financiero de los
154
expedientes de las actuaciones, fundamentalmente informticos, habra que incrementar cuantitativa y cualitativamente los medios actuales para suprimir la disociacin existente en la actualidad entre ambos tipos de seguimiento. Aunque la creacin de organismos con funciones de coordinacin y seguimiento (como la Direccin General de Fondos Europeos) ha supuesto un importante paso hacia adelante, sera pertinente fortalecer los flujos de comunicacin entre sta, los Centros Directivos y la Direccin General de Anlisis y Programacin Presupuestaria (organismo encargado de la coordinacin global). Esto sera crucial para eliminar el "divorcio" existente en el P.O.A. respecto a aquellas acciones gestionadas por la Administracin Regional y las de la Administracin Central. Consolidar las funciones y asuncin de competencias de los Comits de Seguimiento en materia de control, gestin y toma de decisiones. Se trata de superar el posible sesgo hacia la vertiente poltica dotndolos de mayor operatividad mediante el ejercicio de sus responsabilidades tcnicas.
En lo relativo a la evaluacin de la eficacia y eficiencia se ofrece una valoracin de las realizaciones y de los resultados realmente obtenidos como consecuencia de la intervencin llevada a cabo en relacin con las previsiones efectuadas. El objetivo era establecer un juicio crtico sobre la marcha general del Programa y, con ello, ofrecer indicios sobre la bondad y magnitud de los cambios que, en la poblacin objetivo, se estn produciendo como consecuencia de la intervencin pblica. Mediante la aplicacin de la metodologa descrita se analiz la eficacia en la ejecucin del P.O.A. Sin embargo, uno de los principales requisitos que justifican la aplicacin del anlisis de eficiencia sobre la base del anlisis coste-beneficio no se cumpla. No existan acciones completamente finalizadas sino proyectos parciales de actuaciones globales que pertenecen a la planificacin regional. Esto condicion que este apartado se ciera exclusivamente a la evaluacin de la eficacia. Los principales resultados obtenidos en este sentido se resumen a continuacin: El indicador de "significancia financiera" evidenciaba la importancia relativa, en trminos monetarios, de los ejes que concentran las obras de infraestructuras: 1 "integracin y articulacin territorial" y 6 "infraestructuras de apoyo a la actividad econmica". Entre ambos suman el 83% del total de las previsiones de gasto elegible para el total del perodo programado.
Distribucin financiera por ejes
Eje 1. Integracin y articulacin territorial Eje 2. Desarrollo del tejido econmico
55,37%
Eje 3. Turismo Eje 5. Sector pesquero
0% 6,35% 30,54% 0,10%
4,62% 2,69%
Eje 6. Infraestructuras de apoyo a la actividad econmica Eje 7. Valorizacin de los recursos humanos
155
El P.O.A., con un volumen de gasto elegible para el perodo 94-99 de 739.522, 58 millones de pesetas (42,84% para el primer trienio), alcanz un grado de compromiso del 63,84% superando las previsiones iniciales. Por otra parte, el grado de ejecucin financiera, medido por los pagos certificados, fue del 87,41% respecto a los tres primeros aos. Del total del Programa, los ejes 1 y 7 son los que presentan un mayor nivel de compromiso respecto al total programado, siendo el indicador que mide la ejecucin financiera ms elevado para los ejes 5 y 7 (por encima del 160% y 105%), que junto con el alto nivel de pagos certificados del segundo de stos hace que la valoracin global del grado de eficacia en la ejecucin financiera "a medio camino" del P.O.A. se valorara como "alta". A partir de los valores de estos indicadores financieros y de los obtenidos con los indicadores fsicos se construy una matriz de ponderacin de los niveles de ejecucin financiera y fsica que atiende a los siguientes criterios:
Valor (%) 0-20 20-40 40-60 60-80 80-100 Ejecucin financiera Muy baja Baja Media Alta Muy alta Valor* 0-20 20-40 40-60 60-80 80-100 Ejecucin fsica Nulo Muy mejorable Mejorable Positivo Muy positivo
* El valor para calificar la ejecucin fsica es una media ponderada de los indicadores complementarios de eficacia de cada accin.
En trminos globales, y exceptuando aquellas acciones cuya ejecucin no haba comenzado, la evaluacin calific la ejecucin fsica del Programa de "positiva", en tanto que la mayora de los ejes de intervencin presentan valores que superan el 50% de ejecucin del total programado, destacando los ejes 3 y 7. Tras la revisin de todos los mbitos, se constata la utilidad de la evaluacin intermedia. Esta se revel como la herramienta de referencia del gestor para conocer y tomar decisiones sobre los aspectos que condicionan la marcha del Programa. Paralelamente, debe concebirse como un ejercicio preparatorio para la evaluacin ex-post, en tanto que: i) Implica la toma de conciencia de la importancia de este tipo de estudios como instrumentos de mejora de los procesos de planificacin. En este sentido, debe entenderse como un procedimiento de mximizacin de informacin que facilita la racionalizacin de las decisiones. Supone un paso ms para la adopcin y difusin de una "cultura evaluadora" en el seno de las Administraciones, satisfaciendo las exigencias de informacin y transparencia de cuantas instituciones participan en el proceso socioeconmico: administradores y administrados.
ii)
156
iii)
Ha posibilitado la puesta a punto del sistema de seguimiento que servir de base para la medicin a posteriori de impactos. ste permite, a su vez, mejorar el conocimiento de los implicados en su propio Programa. Los responsables aprenden a administrarlo y adaptarlo a las necesidades del momento y del contexto, que se modifica constantemente.
La legitimacin de la accin pblica en la sociedad pasa, necesariamente, por la eficacia y eficiencia de la asignacin y ejecucin del gasto pblico entre usos alternativos. Es, en esta forma de concebir la administracin de los recursos pblicos, donde las aproximaciones tericas a la realidad socioeconmica se encuentran contrapesadas con otras de carcter emprico, que a travs de la evaluacin, permiten aprender el efecto experiencia que la ejecucin de una poltica pblica tiene sobre sucesivos ejercicios de intervencin estatal.
Notas al pie:
1.
La expresin del modelo de demanda sera la siguiente: X= (I-A)-1*D Donde A es la matriz de coeficientes tcnicos que hace referencia a las transacciones producidas entre los sectores econmicos de la economa analizada; I la matriz identidad; (I-A) la matriz de Leontief; (I-A)-1 la matriz inversa de Leontief; X es el vector de cambios en la produccin efectiva; y, D es el vector de cambios en la demanda final.
2.
Para Andaluca, La ltima tabla disponible es la de 1990. TIOAN 1990, Instituto de Estadstica de Andaluca. Junta de Andaluca. Por ejemplo, SPSS 7.5.2S para Windows 95. La mayora de los Estados Miembros de la Unin Europea tienen establecida una tasa de descuento social para proyectos del sector pblico, que oscila entre un mximo de un 10% y un mnimo de un 3% anual real. Farrell. M.J. (1957): "The measurement of productive efficiency". Journal of the Royal Statistical Society. Series A. vol. 120 part. III, pp. 253-281.
3. 4.
5.
157
Breve glosario de trminos
Accin:
Actividad o trabajo realizado con el fin de transformar recursos o insumos en resultados. Conjunto de proyectos de similares caractersticas que persiguen un objetivo comn.
Anlisis coste-beneficio:
Procedimiento para evaluar la conveniencia de un proyecto sopesando costes y beneficios, incluyendo aquellos costes y beneficios para los cuales el mercado no existe o para los cuales no provee un medida satisfactoria de valor econmico. Este anlisis entraa por lo general la utilizacin de precios contables. Puede ser llevado a cabo tanto antes como despus de la ejecucin de un programa.
Anlisis coste-efectividad:
Estudio de las relaciones entre el coste del proyecto y los resultados, expresndolos como coste por unidad de resultado logrado. Se usa cuando no puede drsele fcilmente un valor monetario a los resultados.
Anlisis de polticas pblicas:
rea de investigacin centrada en el estudio de las fases de los procesos de formacin de polticas y programas.
Anlisis de series temporales:
Instrumento de diseo basado en series relativamente largas de medidas de resultado tomadas antes y despus de una intervencin.
rbol de objetivos:
Representaciones descriptivas de las relaciones medios-fines.
rbol de problemas:
Representaciones descriptivas de las relaciones causa-efecto de los problemas.
Beneficios:
Es el valor o la utilidad de los resultados de una poltica. Estos sern generalmente los objetivos finales del programa, pero puede tambin hablarse de aquellos beneficios que no pertenezcan al programa en s.
Bien pblico:
Mercanca cuyos beneficios se reparten de una manera indivisible entre toda la comunidad, independientemente de que determinadas personas deseen o no consumirlas.
160
Capital:
Factor de produccin (como la tierra o el trabajo) que se utiliza junto con las materias primas y similares para producir bienes y servicios. El capital lo constituyen las mquinas, los edificios, las infraestructuras del transporte y otras obras pblicas y similares.
Cobertura:
El alcance de un programa en cuanto a la poblacin objetivo.
Coherencia externa:
Compatibilidad tanto de los objetivos como de la estrategia de un programa con otras polticas o programas con los que pueda tener sinergias o complementariedad en el tiempo o en el espacio.
Coherencia interna:
Hace referencia a la articulacin de los objetivos con los instrumentos de la estrategia y su adecuacin con los problemas.
Complementariedad:
Puede distinguirse entre complementariedad funcional (medidas ligadas por un objetivo para promocionar un producto o rama), y complementariedad espacial (medidas ligadas por un objetivo para promocionar, por ejemplo, el desarrollo endgeno local).
Consecuencias no previstas:
Consecuencias que resultan de un comportamiento emprendido con propsitos distintos.
Contexto operativo o contexto socieconmico:
Elementos del entorno (econmicos, polticos, legales, institucionales, etc.) de la intervencin y que afectan a la misma de forma directa o indirecta.
Coordinacin:
Todas las actuaciones, estructuras y procedimientos que realizadas por diferentes agentes e instituciones tienen el objetivo de alcanzar el desarrollo integrado de su rea de actuacin.
Coste de oportunidad:
El valor de un recurso en su mejor alternativa de utilizacin, esto es el valor de la alternativa a la que se renuncia.
Criterio de valor o parmetro de valor:
Instrumento de referencia para valorar los resultados y hacer un seguimiento de la marcha de la actuacin. Norma de realizacin que hay que alcanzar a fin de lograr un objetivo.
161
Democracia:
Sistema poltico que permite a los ciudadanos participar en la adopcin de decisiones polticas o elegir representantes para los cuerpos de gobierno.
Descuento:
Proceso para ajustar el valor futuro de un coste o beneficio al valor actual mediante una tasa de descuento, es decir, multiplicando el valor futuro por un coeficiente que disminuye con el tiempo.
Deseconomas externas:
Situaciones en las que la produccin o el consumo imponen otros costes por los que no se recibe compensacin alguna. La contaminacin es una deseconoma externa.
Desplazamiento y sustitucin:
El grado en el que la generacin de un resultado deseable de un programa conduce a la prdida de ese mismo resultado en otra rea.
Efecto contrafactual:
Es el efecto que se hubiera producido si no se hubiera aplicado el programa o si el programa hubiera tomado una forma diferente.
Efectos del diseo:
Son los efectos causados por los mtodos y procedimientos usados para estimar los efectos netos. Entre ellos destacan: efectos aleatorios, baja fiabilidad en la medicin, validez y problemas que surgen por no medir adecuadamente el resultado o producto.
Eficacia:
Nivel o grado en el que se alcanzan los objetivos de un programa.
Eficiencia:
Es la relacin entre resultados de una actividad y los recursos usados para conseguir los mismos. Las medidas de eficiencia pueden ser usadas en el anlisis de programas alternativos para ver si el mismo efecto podra ser alcanzado con menos recursos.
Encuesta:
Tcnica de investigacin sociolgica que implica la administracin de cuestionarios a la poblacin objeto de estudio para recopilar sistemticamente informacin.
162
Estado del bienestar:
Sistema poltico que proporciona una amplia gama de subsidios para aumentar el bienestar de sus ciudadanos.
Estudio antes y despus:
Un diseo de investigacin que consiste en la observacin de grupos o reas antes y despus de la aplicacin de un programa.
Estudio de necesidades:
Estimacin sistemtica del tipo, profundidad y alcance de un problema/necesidad.
Evaluabilidad:
Posibilidad que tiene un programa de ser evaluado.
Evaluacin:
rea de investigacin cuya finalidad es valorar la utilidad y bondad de la intervencin pblica mediante la aplicacin de un conjunto de tcnicas aplicadas en distintos campos de las ciencias sociales. Aplicacin sistemtica de los procedimientos de la investigacin social para valorar la conceptualizacin y el diseo, la ejecucin y la utilidad de los programas de intervencin social.
Evaluacin ex-ante:
Evaluacin que se realiza antes de la puesta en marcha y ejecucin del programa, usualmente como parte de la planificacin del programa.
Evaluacin ex-post:
Evaluacin que se realiza una vez que el programa se ha ejecutado.
Factores externos:
Son aquellos factores que quedan fuera del control directo de los agentes que gestionan y administran un plan o programa y que pueden afectar a su resultado.
Gestin de programas:
Procesos, criterios y mecanismos puestos en marcha para la ejecucin de programas.
Gestin Pblica:
Mecanismos de decisin para la asignacin y distribucin de los recursos pblicos y la coordinacin y estmulo de los gestores para lograr objetivos colectivos.
163
Grupo control:
Grupo al que no se le aplica un programa o se le aplica uno alternativo y frente al cual se comparan los cambios habidos en el grupo experimental (al que s se le aplica el programa evaluado). Los grupos de control son elegidos aleatoriamente dentro de los beneficiarios potenciales.
Grupo experimental:
Grupo al que se le aplica el programa que se est evaluando.
Grupos de inters:
Grupos organizados para perseguir intereses especficos en el escenario poltico, econmico, social, etc., que funcionan ejerciendo presin sobre otros grupos.
Hiptesis:
Idea sobre un determinado estado de cosas que se propone como base para su contrastacin emprica.
Imagen en negativo:
Representacin de la situacin inicial sobre la que se desea influir con un programa.
Imagen en positivo:
Traslacin de la imagen en negativo a la ideal que se espera alcanzar con la intervencin. Cuanto ms semejante sea el reflejo de ambas imgenes, ms correcta es la planificacin del programa.
Impactos:
Son los efectos o consecuencias ms generales de un programa o poltica, buenos o malos, esperados o inesperados.
Indicador:
Expresiones cuantitativas y/o cualitativas de la realidad objeto de estudio. Constituye una de las formas ms relevantes de sistematizar informacin.
Indicador de impacto:
Medida que puede ser usada para definir resultados, esperados o no y deseables o no, de la poltica o programa.
Indicador social:
Medida diseada para analizar el curso de un problema social a lo largo del tiempo.
Instrumento:
El mecanismo elegido para alcanzar un objetivo, por ejemplo una ayuda o una nueva regulacin.
164
Insumos o inputs:
Recursos requeridos (monetarios, humanos, tcnicos, fsicos y otros) para ejecutar una accin. Un input para una actividad puede ser tambin el output de otra actividad realizada antes; entonces sera un input intermedio.
Interdependencia objetivos:
entre
Hablamos de interdependencia cuando un objetivo no puede ser alcanzado sin que otros lo hayan logrado. Este trmino se relaciona con el de coherencia.
Intervencin:
Cualquier programa, plan, poltica u otra forma de planificacin diseada para producir cambios en la poblacin objetivo.
Jerarqua de objetivos:
Clasificacin de objetivos a distintos niveles: objetivos finales, objetivos especficos y medidas de resultado y realizacin.
Medida:
Nivel de planificacin donde se define explcitamente la estrategia de actuacin del programa, concretndose posteriormente en acciones y proyectos.
Metas:
Conjunto de declaraciones generales de los programas.
Modelo de repercusin:
Conjunto de hiptesis gua que reclaman la formulacin y puesta en marcha de un programa.
Muestreo:
Seleccin de una proporcin de individuos o casos a partir de una gran poblacin.
Objetivo especfico:
Es la razn inmediata de un proyecto. El efecto que se espera que el proyecto vaya a lograr si se completa con xito y a tiempo.
Objetivos finales:
Declaraciones especficas mediante las cuales se considera el cumplimiento deseado de los programas de intervencin social. Las razones principales por las que un programa/poltica existe. Se encuentran en el primer nivel de la jerarqua de objetivos.
Pertinencia:
El grado en que la argumentacin y los objetivos de un proyecto son, o siguen siendo, adecuados, significativos y vlidos en relacin con las necesidades y preocupaciones prioritarias identificadas.
165
Planificacin:
Proceso de convertir las metas en objetivos, de tal manera que se formulen las intervenciones especficas y se definan las poblaciones objetivos adecuadas.
Poblacin objetivo:
El grupo especfico (personas, familias, organizaciones, empresas, comunidades, etc.) para beneficio del cual se emprende el proyecto o programa; tambin llamado grupo beneficiario o poblacin diana. Unidades hacia las cuales se dirige la intervencin.
Precio sombra:
Precio de referencia para la apreciacin (valoracin) de proyectos. Precios contables que imputan los verdaderos costes sociales de un proyecto y accin en muchas ocasiones a travs de los costes de oportunidad relevantes.
Precios constantes:
Precios fijados en relacin con un ao base a fin de ajustarlos a la inflacin.
Precios corrientes:
Precios nominales observados realmente ao por ao.
Problemas-necesidades:
Condiciones, deficiencias o defectos hacia los cuales se dirige la intervencin.
Programa:
Grupo de proyectos o servicios relacionados y dirigidos hacia el logro de objetivos especficos (generalmente similares o relacionados).
Proyecto:
Nivel ms concreto de programacin o unidad mnima de planificacin. Intervencin planificada destinada a lograr ciertos objetivos especficos con un presupuesto dado y dentro de cierto perodo de tiempo.
Racionalidad:
Es el examen de las relaciones entre las necesidades y/o problemas detectados en el mbito espacial donde se ejecuta el programa (y para una poblacin objetivo determinada) con los objetivos establecidos para la mejora o solucin de dichos problemas. Implica el anlisis de la relevancia y pertinencia de un programa.
Relevancia:
Evaluacin del diagnstico plasmado en el programa.
166
Resultados:
Efectos directos e inmediatos producidos por la ejecucin de una actuacin.
Resultado bruto:
Es el resultado total medido en una evaluacin. Slo parte del mismo es el provocado por el programa evaluado.
Resultado neto:
Resultado de una intervencin una vez que las consecuencias provocadas por factores externos han sido eliminadas.
Seguimiento:
Supervisin continua o peridica de lo que se est realizando, desde la perspectiva fsica y financiera, para asegurarse que los insumos, actividades, resultados y factores externos sigan desarrollndose de acuerdo con lo programado.
Sinergia:
Efecto producido por todas las actividades de un programa consideradas conjuntamente. Si es positiva el impacto del conjunto de actividades es mayor que la suma de los impactos de estas actividades consideradas de forma separada.
Sistema de gestin:
Arreglos organizativos, procedimentales y actividades necesarias para proporcionar los servicios del programa.
Tabla input-output:
Representacin, como matriz de doble entrada, de las relaciones econmicas o flujos de bienes y servicios de una economa durante un perodo de tiempo, generalmente un ao.
Tasa de descuento:
ndice utilizado para calcular el valor presente de valores futuros. Por lo general se considera prcticamente equivalente al coste de oportunidad del capital.
Tasa de rentabilidad interna:
ndice de descuento con el que un flujo de costes y beneficios tiene un valor neto actual de cero. Tasa de rentabilidad financiera (TRF), cuando los valores se calculan a precio real. Tasa de rentabilidad econmica (TRE), cuando los valores se calculan al precio contable.
Tcnica Delphi:
Mtodo de recogida de opiniones de un grupo o panel de expertos utilizando como herramienta bsica el cuestionario.
167
Validez externa:
Grado en el que el diseo de un estudio permite que los hallazgos se generalicen.
Validez interna:
Grado en el que el diseo y la ejecucin de un estudio permiten hacer declaraciones definitivas de los resultados.
Valor actual neto (VAN):
Es el valor neto o beneficio neto de un proyecto cuando se han deducido todos los costes y beneficios al momento actual, aplicando la tasa de descuento. Esto significa que todo flujo anual de efectivo se descontar al momento de empezar el proyecto aplicando una tasa predeterminada de descuento.
Variable dependiente:
Variable o factor sobre el que influye causalmente otro, la variable independiente.
Variable independiente:
Variable o factor que influye causalmente sobre otro, la variable dependiente.
168

Guia IDR

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Guia IDR

Cargado por

Copyright:

Formatos disponibles

EVALUACIN DE

INSTITUTO DE DESARROLLO REGIONAL

Ana Cirera Len Carmen Vlez Mndez

Isabel Barrera Almanza

El DIRECTOR DEL I.D.R. Carlos Romn del Ro

EL SUBDIRECTOR DEL I.D.R. Jos Luis Osuna Llaneza

Carolina Mrquez Guerrero

ndice Captulo 1. La evaluacin de polticas pblicas . . . . .

Captulo 2. Evaluacin conceptual o de diseo . . . . .

Captulo 3. Evaluacin del sistema de gestin . . . . .

Captulo 4. Evaluacin del sistema de seguimiento de programas. . . . . . . . . . . . . . . . . . . . . . .

Captulo 5. Tcnicas de evaluacin de la eficacia y eficiencia. . . . . . . . . . . . . . . . . . . . . . . .

Breve glosario de trminos . . . . . . . . . . . . . . . Bibliografa . . . . . . . . . . . . . . . . . . . . . . . .

Captulo 1 La evaluacin de polticas pblicas

Gua para la evaluacin de polticas pblicas

La Evaluacin de Polticas Pblicas es un

anlisis de polticas pblicas se ha

La evaluacin de polticas pblicas

bsqueda de racionalidad en las

Estos procedimientos dan por supuesto

As, frente a la concepcin tradicional de

Gua para la evaluacin de polticas pblicas

Algunas definiciones de evaluacin de polticas pblicas

Valoracin a posteriori de los resultados del programa

Evaluacin y planificacin son procesos relacionados

La evaluacin de polticas pblicas

Programa de intervencin social

Evolucin histrica del desarrollo de la evaluacin

Gua para la evaluacin de polticas pblicas

Aos 60-70: consolidacin de la evaluacin como rea de investigacin

Creacin de instituciones y puesta en marcha de iniciativas

La evaluacin de polticas pblicas

Gua para la evaluacin de polticas pblicas

El sector pblico como promotor de la evaluacin

Aproximaciones metodolgicas a la evaluacin de programas pblicos

La evaluacin centrada en objetivos

Objetivos como parmetro de referencia

La evaluacin no centrada en objetivos o libre de objetivos

Necesidades detectadas como parmetro de referencia

La evaluacin de polticas pblicas

programa. Los costes indirectos o costes de oportunidad.

Modelos descriptivos y aproximacin clnica o analtica (Meny y Thoening, 1992)

Descripcin de actividades y resultados

Anlisis de las causas

Modelo basado en la utilizacin de los resultados de la evaluacin

Gua para la evaluacin de polticas pblicas

Satisfaccin de las necesidades de informacin de los destinatarios de la evaluacin

La evaluacin de polticas pblicas

Experimentaciones sobre la realidad para fundamentar la toma de decisiones

Campbell, Stanley y Cook

Gua para la evaluacin de polticas pblicas

Funciones y utilidad de la evaluacin

La evaluacin de polticas pblicas

En lneas muy generales, la evaluacin trata de responder a preguntas tales como:

cules son las funciones de la evaluacin y cul es su utilidad?

Va de reforma de las prcticas de la Administracin

1. La evaluacin como control administrativo, de legalidad y financiero

Gua para la evaluacin de polticas pblicas

Se han utilizado correctamente los recursos y conforme a las normas pblicas?

2. La evaluacin para la racionalizacin de la toma de decisiones pblicas

Evaluacin tcnico-econmica versus evaluacin poltica

La evaluacin de polticas pblicas

3. Evaluacin como medio para la formacin de los implicados en el programa