Documentos de Académico
Documentos de Profesional
Documentos de Cultura
M1u3o - Aeval 93-97
M1u3o - Aeval 93-97
Fundamentos de
evaluacin de polticas pblicas
Ministerio de Poltica Territorial
y Administracin Pblica
Agencia Estatal de Evaluacin de las Polticas Pblicas
y la Calidad de los Servicios
Madrid 2010
FUNDAMENTOS DE
EVALUACIN DE POLTICAS PBLICAS
Primera edicin: 2010
Equipo Tcnico del Departamento de Evaluacin
Marisa Merino Cuesta
Revisin:
Direccin del Departamento de Evaluacin
Ana Ruiz Martnez
De conformidad con lo establecido en los artculos 15.2 y 37.3 del RD
1418/2006, de 1 de diciembre, por el que se aprueba el Estatuto de la Agencia
Estatal de Evaluacin de las Polticas Pblicas y la Calidad de los Servicios, el
documento Fundamentos de evaluacin de polticas pblicas fue tratado en la
reunin de la Comisin Cientfica y Profesional celebrada el da 20 de mayo de
2010 y aprobado por el Pleno del Consejo Rector en su sesin del da 17 de junio
de 2010.
Agencia Estatal de Evaluacin de las Polticas Pblicas y la Calidad de los Servicios
Esta obra se acoge al amparo del Derecho de la Propiedad Intelectual. Quedan
reservados todos los derechos inherentes que recoge la Ley, as como los de
traduccin, reimpresin e Internet (web). Se permite la reproduccin citando la
fuente.
Edita: Ministerio de Poltica Territorial y Administracin Pblica. Agencia Estatal de
Evaluacin de las Polticas Pblicas y la Calidad de los Servicios.
Catlogo General de Publicaciones Oficiales:
http://www.060.es
NIPO: 012100159
PRESENTACIN
La evaluacin de las polticas pblicas es desde hace aos una preocupacin
central de los gobiernos de los pases industrializados. La mayor diferencia frente a
otras tcnicas de mejora gerencial, enfocadas, prioritariamente, al control econmico
y al cumplimiento normativo, es que la evaluacin, en el actual contexto poltico,
aparece ligada a aspectos sociales y de transparencia democrtica, en estrecha
relacin con la publicidad de sus informes y la participacin plural de los actores
que entran en juego.
En un mundo en perpetuo cambio, los poderes pblicos necesitan aprehender los
problemas complejos, difusos y contradictorios que tratan de resolver sus polticas.
Esta cuestin exige lgicas comprehensivas frente a los anlisis atomizados y
descontextualizados de los controles administrativos tradicionales. Esa bsqueda de
un mayor sentido holstico, traducida en una lgica ms integral, es la aspiracin de
la evaluacin.
La evaluacin no es slo una comprobacin de conformidad de la accin pblica,
sino que expresa un juicio de valor sobre el xito de los resultados y los impactos
deseados o no- de las polticas pblicas y ese juicio de valor se debe extraer con el
mayor rigor y garantas, de ah la exigencia de una slida metodologa.
Desde hace aos, las administraciones disponen de numerosas guas de
evaluacin, referidas a diferentes sectores, sin embargo, cada institucin tiene sus
propios enfoques en relacin a sus cometidos y eso lleva a particularizar sus
herramientas aprovechando un ncleo comn. Adems, se han producido grandes
cambios en el campo de la evaluacin que reclaman nuevos instrumentos y
aproximaciones, con una demanda cada vez ms insistente, en la necesidad de
instrumentos para la evaluacin en el nivel estratgico de las polticas pblicas. Y en
este sentido se debe entender la aportacin de AEVAL.
Este documento examina los fundamentos bsicos de la evaluacin de polticas
pblicas en el panorama actual para reflexionar sobre los nuevos retos.
La evaluacin revela, actualmente, un campo complejo, con innumerables
prcticas muy heterogneas y con enfoques y finalidades diferentes. Presenta un
desarrollo desigual en los distintos pases y sigue mostrando ciertas tensiones entre
el peso de sus componentes acadmicos y la lgica de las intervenciones pblicas.
En cualquier caso, tanto los Estados como las comunidades cientficas reconocen,
cada vez ms, la necesidad de evaluar el funcionamiento y resultado de las
instituciones y sus polticas para elevar sustancialmente la productividad y
modernizar procesos especficos del sector pblico.
A simple vista, tres grandes sectores dominan la industria de la evaluacin y
marcan muchas de sus reglas: el sector de ayuda al desarrollo, en los organismos
internacionales, el de los Fondos Europeos, en la UE, y el de la evaluacin interna de
cada pas, con infinidad de prcticas.
1
Laevaluacindepolticaspblicasenglobalaevaluacindeprogramasyambascompartenprocedimientosytcnicas,peroseplantean
diferenciasimportantesencuantoalaspreguntasdelaevaluacin,criteriosyutilidades,queenlaevaluacindepolticasestnenrelacinala
funcinsuperiordelgobiernoyenlaevaluacindelosprogramasenrelacin,sobretodo,alafuncingestora.
ndice
PRIMERA PARTE
LA EVALUACION DE POLTICAS PBLICAS EN EL MARCO DE LA NUEVA
GOBERNANZA
QU ES EVALUAR?.................................................................................................. 13
LA EVALUACIN EN EL CONTEXTO DE LA GOBERNANZA ............................................... 15
LOS PRINCIPIOS DE BUEN GOBIERNO COMO MACRO-CRITERIOS DE VALOR EN LA
EVALUACIN DE POLTICAS PBLICAS. ...................................................................... 17
EL VALOR AADIDO DE LA EVALUACIN EN EL SECTOR PBLICO .................................. 18
USOS Y FUNCIONES DE LA EVALUACIN..................................................................... 19
DOBLE VERTIENTE DE LA EVALUACIN: GERENCIAL Y POLTICA.................................... 22
BREVE HISTORIA DE LA EVALUACIN DE POLTICAS PBLICAS Y PANORAMA ACTUAL...... 27
Primer periodo: Optimismo frente a los programas y optimismo frente a la evaluacin
(1960-1970) ...................................................................................................... 27
Segundo Perodo: Pesimismo respecto a los Programas y desencanto respecto a la
evaluacin (1970-1980) ..................................................................................... 28
Tercer Periodo: Institucionalismo, pluralismo y evaluacin..................................... 29
DESARROLLO DE LA PRCTICA EN EL MARCO INTERNACIONAL: TENDENCIAS.................. 30
1. La prctica de la evaluacin en los distintos pases .............................................. 35
La evaluacin en el continente americano............................................................... 31
La evaluacin en Europa ...................................................................................... 33
2. La evaluacin de los Fondos Europeos. La UE y el Marco metodolgico: Las Guas
MEANS.............................................................................................................. 35
3. La Evaluacin de Programas de Cooperacin y Ayuda al Desarrollo: Organismos
internacionales ................................................................................................... 37
DEFINICIONES DE EVALUACIN................................................................................. 73
ESTRATEGIAS Y LGICAS EN EVALUACIN.................................................................77
BASE DEL TRABAJO DE EVALUACIN..........................................................................78
JUSTIFICACIN Y LGICA DE LA INTERVENCIN..........................................................79
LAS PREGUNTAS EN EVALUACIN..............................................................................80
EL JUICIO DE VALOR ................................................................................................81
PRINCIPALES TIPOLOGAS DE EVALUACIN ................................................................ 83
EN FUNCIN DEL PARADIGMA ...................................................................................83
EN CUANTO AL MODO DE INVESTIGACIN .................................................................86
EN FUNCIN DEL PROPSITO:...................................................................................87
EN FUNCION DE LA PERSPECTIVA TEMPORAL...............................................................88
EN CUANTO A LOS EVALUADORES..............................................................................89
EVALUACIN SEGN CONTENIDO .............................................................................90
LA METAEVALUACIN...............................................................................................97
EL DISEO DE LA EVALUACIN................................................................................. 98
TCNICAS............................................................................................................. 102
EL INFORME DE EVALUACIN.................................................................................. 103
10
LA EVALUACION DE POLTICAS PBLICAS EN EL
MARCO DE LA NUEVA GOBERNANZA
PRIMERA PARTE
11
12
13
QU ES EVALUAR?
Evaluar (del lat. valere) significa estimar, apreciar, calcular el valor de
algo. El Diccionario de la RAE indica que evaluacin consiste en la accin y
efecto de sealar el valor de una cosa. A su vez, en el Diccionario de Mara
Moliner encontramos que evaluar consiste en atribuir cierto valor a algo.
El matiz que introduce el adverbio cierto de la ltima definicin podra pasar
inadvertido, pero no es desdeable al apuntar hacia el relativismo en que se mueve
nuestro conocimiento de la realidad. Cierto seala una aproximacin que nos
recuerda que la evaluacin es un mapa que trazamos para explorar la realidad y que
en ningn caso debemos confundir con el propio territorio.
Las ciencias, despus de todo, son nuestra propia creacin, incluidos
todos los severos estndares que parecen imponernos. Es bueno recordar
constantemente este hecho. Paul K. Feyerabend (1984)
Aunque el origen semntico del trmino evaluacin aporta el ncleo esencial de
lo que se entiende por tal, habr que distinguir entre el uso corriente del lenguaje y
el lenguaje especializado que exige cualquier disciplina, cuestin sta que no resulta
suficientemente clara en evaluacin, ya que en ella han influido tanto el lenguaje
comn como diversos campos acadmicos y gerenciales. Lo que interesa destacar es
que ninguna definicin es neutra y entraa diferentes abordajes y valores.
La disciplina de evaluacin proviene de los pases anglosajones, donde aparece
bajo la rbrica de dos acepciones sinnimas: assessment y evaluation que en la
literatura especializada tienen usos diferentes: assessment se utiliza en general
referido a personas y evaluation, referido a intervenciones, programas, proyectos...
La profesora Fernndez Ballesteros argumenta que en espaol ha prosperado el
trmino evaluacin al estar menos cargado semnticamente que valoracin.
Evaluar es apreciar, analizar, valorar y juzgar los resultados e impactos de una
intervencin a fin de mejorar su calidad. La prctica de la evaluacin incluye
actividades tcnicas de observacin, de medida, de anlisis, pero no se reduce slo
a eso. Se apoya en el mtodo cientfico pero no es una disciplina cientfica en el
sentido habitual del trmino, sino una actividad institucional con vocacin de
integrarse en la gestin pblica y en el funcionamiento del sistema poltico.
En lneas generales, se entiende por evaluacin un proceso integral de
observacin, medida, anlisis e interpretacin, encaminado al conocimiento de
una intervencin pblica -norma, programa, plan o poltica-, que permita alcanzar
un juicio valorativo, basado en evidencias, respecto a su diseo, puesta en
prctica, resultados e impactos.
La evaluacin es un instrumento integrado en el anlisis de las polticas pblicas
de carcter multidisciplinar y de reciente especializacin profesional que tiene por
objeto apreciar la eficacia de los programas o polticas pblicas, comparando sus
resultados e impactos con los objetivos asignados y los medios puestos a su
14
15
16
17
atendiendo a los contextos, la cultura, los principios, los criterios y los fines que
persiguen las polticas pblicas en sus diversas esferas de accin.
La calidad del sistema poltico no es una variable independiente de la calidad de
su Administracin Pblica, sino que hay una vinculacin directa entre ambas. La
Administracin es un actor poltico clave. En su seno se toman decisiones muy
relevantes, adems de ser la encargada de implementar las polticas pblicas. El
cuestionamiento sobre el valor de lo pblico se percibe, muy a menudo, por el buen
o mal funcionamiento de las administraciones y los servicios que estas prestan.
Sin embargo, la relacin poltica-administracin no est exenta de tensiones que
han ido oscilando, a lo largo del tiempo, entre enfoques que otorgan mayor o menor
discrecionalidad y responsabilidad a los cargos administrativos. Esas tensiones
tambin estn presentes en la evaluacin.
LOS PRINCIPIOS DE BUEN GOBIERNO COMO MACRO-CRITERIOS DE VALOR
EN LA EVALUACIN DE POLTICAS PBLICAS.
Si se est de acuerdo con los principios que exige el buen gobierno, la valoracin
de las polticas pblicas no debera soslayar el incorporar esos principios como
macro-criterios referenciales del campo de la evaluacin.
PRINCIPIOS DE BUEN GOBIERNO
1. Apertura: Impone a las Instituciones comunitarias trabajar de forma
ms abierta. Comunicacin activa, lenguaje ms accesible y medidas que
conduzcan a la confianza de los ciudadanos en las instituciones comunitarias.
2. Participacin: Se entiende que la calidad, la pertinencia y la eficacia de
las polticas exigen una amplia participacin ciudadana tanto en la fase de
formulacin como de implementacin y evaluacin.
3. Responsabilidad: Exige la clarificacin del papel de cada una de las
instituciones comunitarias que intervienen en la toma de decisiones.
4. Eficacia: Requiere que las medidas adoptadas produzcan los resultados
buscados sobre la base de unos objetivos claros, de una evaluacin de su
futuro impacto y en su caso de la experiencia acumulada.
5. Coherencia: Exige que las polticas y acciones europeas sean
coherentes y fcilmente comprensibles.
(Libro Blanco de la Gobernanza europea)
Por el momento, no resulta frecuente que las evaluaciones de polticas pblicas
incorporen este marco referencial que debiera ser el punto de partida de la
valoracin de la accin pblica que se quiere considerar dentro del buen gobierno.
18
Desde esa perspectiva una poltica pblica podra tener buenos resultados
respecto a sus objetivos pero incumplir el principio de apertura a los ciudadanos o
presentar una baja legitimacin social. La participacin aparece ligada a la valoracin
de calidad, la pertinencia y la eficacia de las polticas pblicas. Por otra parte, ms
all de la econmica contable, sigue existiendo poca cultura de la responsabilidad en
las organizaciones pblicas. La eficacia resulta un criterio ms comn, pero puede
correr el peligro de limitarse a una eficacia gestora que no incluya la eficacia social.
Hay que tener en cuenta la lgica de cada nivel de gobierno para resolver las
tensiones que pueden existir en uno y otro al aplicar los criterios por los que se
valorarn las polticas pblicas.
Por ltimo, dentro de la complejidad de esferas de gobierno, la coherencia de las
polticas pblicas parece un principio elemental de buen gobierno y de
enjuiciamiento de lo pblico.
La evaluacin de polticas pblicas apunta a un nuevo tipo de
control poltico-democrtico en consonancia con los principios de la
Nueva Gobernanza: responsabilidad, transparencia y participacin.
Esta nueva forma de gobernar se apoya en modelos de gestin
pblica, que persiguen mayor eficacia y eficiencia del Sector Pblico
en sus diferentes niveles de gobierno, estratgico y operativo. Estos
niveles se complementan, pero la lgica para su valoracin no es
exactamente la misma.
EL VALOR AADIDO DE LA EVALUACIN EN EL SECTOR PBLICO
Desde un punto de vista econmico tradicional se podra definir el valor pblico
como la capacidad para satisfacer necesidades humanas mediante el uso de recursos
disponibles en la sociedad. Este punto de vista -importante para la empresa y el
mercado- resulta inadecuado para el sector pblico por criterios de redistribucin
equitativa, eficacia social y transparencia. Para los ciudadanos el valor pblico radica
en la mejora de los procesos polticos y para ello tan importante es el criterio de
eficacia como el de equidad. Cuanto ms opacos sean los procesos decisionales ms
desciende el logro de valor pblico y ms oculta queda la distribucin de los
intereses de los diferentes actores. Lo que trata de lograr el valor pblico es
factibilidad econmica a la vez que social.
En las ltimas dcadas, la mayora de las democracias avanzadas y en particular
los pases de la OCDE han venido desarrollando reformas del Sector Pblico con el
fin de dar respuesta eficaz a las exigencias sociales. Conscientes de la necesidad de
reforzar el sistema democrtico y mejorar la eficacia de sus administraciones han
adquirido mayores compromisos con la transparencia pblica y la rendicin, no slo
de cuentas, sino del conjunto de la accin pblica a los ciudadanos.
La evaluacin de las polticas pblicas es un instrumento ms al servicio de estas
reformas que tienen como base la reorientacin de las relaciones Estado-Sociedad y,
entre sus objetivos tcticos, el alcance de una mayor eficiencia de las actuaciones
19
pblicas, valorando tanto los aspectos de una mala organizacin como la desafeccin
democrtica que produce el desgobierno y el deterioro intencionado de lo pblico.
Reforzar los controles resulta cada vez ms necesario, aunque esos controles no
sean exactamente los tradicionales.
Evaluar es valorar lo pblico con el fin de transformar lo que no funciona, pero no
bajo premisas exclusivamente tcnicas aunque desde luego necesarias-, sino,
tambin, de interlocucin social que propicie una cultura de responsabilidad y
mejora continua. Desde esta perspectiva, la evaluacin contribuye a la mejora
administrativa que, no slo es compatible con la eficiencia, sino que puede
reforzarla, promoviendo la lgica relacional entre las distintas esferas
administrativas y aprovechando sus capacidades, recursos y sinergias.
La evaluacin de polticas pblicas trata de conectar democracia, control y
eficiencia, entendiendo que sta, en el Sector Pblico, no puede referirse a los
exclusivos criterios del mercado, ni a intereses de oligarquas administrativas. Las
reglas del buen gobierno deben equilibrar la eficiencia con otros criterios de valor de
lo pblico: equidad, cohesin social, corresponsabilidad, cooperacin institucional,
comprendiendo y explicando las tensiones inherentes a los diferentes intereses que
se entrecruzan en la accin pblica.
El valor aadido de la evaluacin, en ltimo trmino, es su contribucin a la
mejora de la calidad democrtica y slo en ello alcanza su plena legitimidad porque,
si se limitara a tareas propias del control tradicional no tendra razn de ser; eso ya
es competencia de otros controles del Estado.
Para mejorar la capacidad de formular polticas pblicas de orden superior y para
valorarlas es necesario trascender las nociones convencionales de eficiencia y
eficacia (no obstante su importancia) y valorar la capacidad de influir sobre el
futuro en la direccin deseada (enlightenment) y de profundizar o no en la calidad
democrtica. Esa es la esencia de la evaluacin de las polticas pblicas.
o Usos y funciones de la evaluacin
De lo anterior se deduce que la evaluacin, desde la perspectiva de instrumento
pblico, tiene dos usos complementarios y diferenciados:
Uso poltico estratgico y democrtico: responsabilidad y
transparencia gubernamental.
Uso gerencial: mejora de la gestin pblica y de la calidad
prestacional.
La evaluacin tiene, tambin, desde su origen:
Un uso acadmico y de aprendizaje
Una finalidad dinamizadora.
La evaluacin contribuye, tambin, a la formacin y a la movilizacin de los
agentes y actores implicados en las intervenciones pblicas. Les ayuda a
20
21
Rendicin de cuentas
John Elliott (1988), distingue tres tipos de rendicin de cuentas (accountability):
social, econmica y profesional y centra el proceso en la misma institucin responsable de
la poltica o programa ms que en agentes externos.
Dado que las polticas utilizan fondos pblicos es preciso saber cmo se estn gastando.
La responsabilidad poltica, social y tcnica exige garantas y comprobaciones de que se
est trabajando con seriedad y eficacia. Sin embargo, no es suficiente con explicar cmo se
gastan los fondos pblicos y con su control por los organismos correspondientes (fiscal
accountability) sino responder de las acciones e inacciones que justifican los resultados.
M. Kogan introduce un matiz al considerar la accountability como una condicin que se
ha de producir en el fenmeno social y que obliga a exigir responsabilidades e incluso
sanciones. Es la condicin segn la cual los que tienen un papel individual son responsables
de la revisin y de la especial aplicacin de sanciones si sus acciones dejan de satisfacer a
aquellos con los que tienen una relacin de responsabilidad (1988).
Transparencia
Junto con la rendicin de cuentas, la transparencia es un potente mecanismo de
creacin de valor pblico.
Para que la sociedad pueda percibir el grado de eficacia y eficiencia de las
administraciones pblicas resulta necesario arbitrar procesos de transparencia.
La publicidad de las evaluaciones contribuye, no slo a la mejora de los sistemas de
control del Estado, sino a la percepcin por la sociedad de la responsabilidad de sus agentes
decisores y a la aportacin de los resultados de las polticas.
El ejercicio de transparencia de las acciones pblicas las acerca a los ciudadanos que las
financian y les otorga legitimidad. Los ciudadanos necesitan saber, no slo en qu se gasta
su dinero, sino qu resultados y qu impactos se producen con ese gasto.
Mediante el proceso de evaluacin se produce un proceso continuo de aprendizaje,
mejora y transparencia ante la sociedad de las acciones del sector pblico. Esta imagen de
servicio adems de considerarse un derecho democrtico tiene un valor positivo per s, ms
all de los resultados, siempre que quede garantizada la independencia y la calidad de la
evaluacin.
22
Participacin
Para satisfacer las demandas ciudadanas, lo que se persigue, dentro del propio modelo de
democracia representativa, es abrir mayores espacios a la participacin. Algunos prefieren
hablar en este caso de democracia expresiva, al considerar lo impracticable que resulta la
participacin en muchos temas de gobierno, pero propicindola siempre que sea posible,
porque participacin y eficacia se complementan.
o Este modelo no se limitara a manifestar la opinin existente acerca de los logros y los
modos de la entrega de bienes y servicios a la sociedad en cada convocatoria
electoral, sino que revelara el grado de legitimidad con que cuentan las instituciones
en cada momento y para cada actividad, as como las preferencias de los ciudadanos
acerca de las polticas pblicas.
o Propulsar la democracia en la administracin pblica puede mejorar su control y
eficiencia, fortaleciendo a la ciudadana tanto directa como indirectamente. Este es un
planteamiento que tiene varias vas de realizacin, siendo la evaluacin una de ellas al
tratar de favorecer la valoracin y la transparencia de las decisiones de los altos
funcionarios involucrados y la responsabilidad de los gestores de programas en la
implementacin de las polticas.
o No se trata tanto de la despolitizacin del Estado, sino de justo lo contrario: lograr
que el Estado y sus instituciones sean capaces de hacer bien la poltica y ello en
razn de criterios de democracia, combinando equidad y eficiencia econmica.
DOBLE VERTIENTE DE LA EVALUACIN: GERENCIAL Y POLTICA
La evaluacin de polticas pblicas, apoyada en mltiples disciplinas que la
auxilian, se incardina en el campo de la Ciencia poltica, en su rama Administracin
Pblica. Tiene relaciones con la formulacin del poder, con cmo se ejercita y los
resultados e impactos que se obtienen. Afecta, por tanto, al mbito de gobierno en
su nivel estratgico: decisin y planificacin de las polticas, y al operativo-gestor:
puesta en marcha, responsabilidad organizacional y calidad de los servicios
administrativos. Estos mbitos responden a lgicas diferentes que habr que tener
en cuenta.
En el mundo de las Administraciones Pblicas, el concepto de estrategia no ha de
entenderse como respuesta a la competitividad entre instituciones y empresas, sino
como una serie de acuerdos explcitos que reflejan las preferencias surgidas del
debate entre los actores colectivos e individuales presentes en el marco de juego de
esas Administraciones (Stewart y Ranson, 1988). La estrategia apunta a los
objetivos que se debieran o se pretenden alcanzar por los gobiernos, suele
plasmarse en planes y operativizarse a travs de programas y proyectos.
o Vertiente gerencial
Una vez establecidos los objetivos propios de una poltica (nivel decisional y de
formulacin de la accin del gobierno) la implementacin entra de lleno en el campo
23
gerencial (la postdecisin). El problema crucial de la gestin pblica es lograr que las
cosas se hagan y su campo natural es el despliegue de las polticas en planes y en
programas gestores.
Desde hace aos, viene siendo frecuente promover en las administraciones
pblicas una cultura gerencial, considerando que para su desarrollo es necesaria una
clara y especfica determinacin de objetivos. Esto se relaciona, a su vez, con lo que
comnmente se conoce como cultura de resultados, que no es otra cosa que
anteponer el cumplimiento de los objetivos sealados y analizar sus resultados, en
contraposicin a la orientacin tradicional que enfatizaba los procedimientos. Este
enfoque de resultados supone generar una dinmica interna en las organizaciones
que redunde en la mejora del desempeo organizacional, pero presupone, tambin,
partir de un proceso de planificacin y de un instrumental de evaluacin para
verificar el cumplimiento de metas y objetivos. Bajo este enfoque, la evaluacin
gerencialista supone preocuparse por los resultados y saber si se han alcanzado o no
los objetivos planteados.
La administracin pblica, en su modelo tradicional (racional-burocrtico), no
estaba pensada para preocuparse por los resultados, sino por la legalidad de su
actuacin, por ello, los mecanismos de control se dirigan ms a certificar la
conformidad de la actuacin administrativa respecto a lo previsto normativamente
que a encontrar indicadores de gestin y volumen de resultados e impactos.
La constatacin de que los problemas de eficiencia en la actuacin pblica
responden en gran medida a fallos gerenciales a la hora de generar incentivos y a
una escasa prctica de produccin y aprovechamiento de la informacin de gestin,
ms que a la mera titularidad pblica aunque sta imponga restricciones evidentes
sobre los aspectos anteriores- ha suscitado que las reformas de la Administracin
hayan puesto el acento en la actualizacin y mejora de los modelos de gestin
pblica apoyados en la ideologa de ciertas corrientes, en particular la Nueva Gestin
Pblica.
Para solventar los problemas de una burocracia ineficaz la corriente de la
Nueva Gestin Pblica propugn la separacin entre administracin y poltica,
reclamando en nombre de la eficiencia mayor discrecionalidad para lograr los
objetivos. Esto supondra que los gobiernos, en su conjunto, estableceran los
objetivos estratgicos de las polticas pblicas y los ministros determinaran
los objetivos especficos que debe cumplir cada departamento, evaluando la
consecucin de los mismos. Se reservan as los responsables pblicos el
derecho de administrar las polticas pblicas, en razn de la consecucin de
los mejores resultados.
La corriente de la Nueva Gestin Pblica se apoya en la aplicacin de tcnicas
y modelos de mercado en el campo administrativo, con el desarrollo de
modelos institucionales tipo Agencias. En sus mejores intenciones, esta
corriente trata de reducir el peso burocrtico, sin lesionar la racionalidad
instrumental que est en su base, a travs de obtener mayor discrecionalidad
para que los gerentes pblicos puedan seleccionar la combinacin ptima de
insumos que permita producir los resultados fijados, asumiendo, a la vez,
mayor responsabilidad gerencial.
24
25
26
27
Hay, por tanto, diferentes lgicas que se entrecruzan en el terreno del gobierno y
la Administracin y el control de sus acciones y no se pueden aplicar de manera
indiferenciada los mismos parmetros de control o rendicin de cuentas a
interrelaciones basadas en lgicas distintas, o confundir las distintas relaciones y
posiciones de poder e influencia estableciendo indicadores no pensados
especficamente para recoger los distintos valores que encierra cada situacin.
La Administracin es parte integrante de la realizacin de una poltica y el nivel
poltico y los gerentes pblicos no pueden ir por separado. En el curso de la
implementacin el organismo de gestin debiera estar implicado con el decisor -
mucho ms all del control de gestin-, porque esa parte operativa influye en gran
medida en el logro de las estrategias. Pero ello complica la participacin de actores
en el campo de la evaluacin y sus diferentes necesidades informativas, por lo que
se requiere del evaluador conocimiento y dominio de las diferentes lgicas.
La necesidad de colaboracin entre ambas perspectivas es lo deseable y la
evaluacin puede servir de puente para el entendimiento entre esos dos niveles de
accin pblica que manejan diferentes valores y distintas formas de conocimiento.
BREVE HISTORIA DE LA EVALUACIN DE POLTICAS PBLICAS,
DESARROLLO Y PANORAMA ACTUAL
Despus de la Segunda Guerra mundial, la prctica de la evaluacin de
programas se extiende al conjunto del mundo anglosajn y a la Europa del Norte. Su
desarrollo en los pases latinos es ms tardo.
Las obras que trazan la historia de la evaluacin suelen hablar de diferentes
oleadas en su desarrollo e institucionalizacin. En un trabajo ya clsico sobre un
buen nmero de pases, coordinado por Furubo y Rist (2002), se individualizan tres
grandes oleadas de difusin de la evaluacin en los que se fueron desarrollando
infinidad de aspectos diversos sobre evaluacin, algunos bastante opuestos, pero
otros complementarios, cada uno portador de nuevas vas y tendencias.
Primer periodo: Optimismo frente a los programas y optimismo frente a la
evaluacin (1960-1970)
La evaluacin nace en los EEUU y surge como respuesta a la preocupacin por
determinar los efectos de los programas de la Great Society (guerra contra la
pobreza), impulsados por el Presidente Johnson. El momento coincidi con un gran
desarrollo de las ciencias sociales, lo que llev a considerar las ventajas de medir los
resultados de las polticas de reforma con mtodos experimentales.
Bajo este enfoque, evaluar es medir cientficamente la eficacia de las
intervenciones pblicas observando la evolucin de las variables de impacto a travs
de dos muestras estadsticamente comparables de beneficiarios y no beneficiarios.
28
Tanto los detractores como los defensores de las polticas sociales se mostraron
partidarios de la evaluacin para obtener informacin sobre mejores resultados y
costes. Los que defendan las polticas sociales vean en la evaluacin la posibilidad
de legitimar y justificar el incremento del gasto pblico y los que se oponan
buscaban argumentos en los que fundamentar su crtica, con el propsito de
posponer su generalizacin o reclamar su eliminacin. Para ambos, la evaluacin
experimentalista era una herramienta til, vlida y fiable, con la que construir
evidencia emprica para fundamentar el debate de las decisiones polticas.
En esta primera fase de optimismo, tanto frente a los logros de los programas
como ante los resultados de la evaluacin, se cree que para evaluar programas
sociales es suficiente ser un buen cientfico social, estar en posesin de todas las
tcnicas y los mtodos cuantitativos posibles y tener la capacitacin para aplicar a
los grandes programas la experimentacin. La idea es hacer un experimento con los
programas, aplicando la intervencin slo a algunos grupos sociales y controlando
las consecuencias. La experimentacin es favorecida por el sistema federal
norteamericano, que permite aplicar los programas en algunos Estados, controlando
los resultados antes de su implementacin a escala general.
Esta preocupacin conduce a un proceso de institucionalizacin de la evaluacin
con la creacin de unidades de evaluacin y la aprobacin de normativa para regular
la evaluacin de las acciones pblicas (Economic Opportunity Act, 1967 y Sunset
Legislation).
En la misma poca surge otra tendencia ligada a Michael Scriven. Para l, la
lgica de la evaluacin es completamente inversa a la que aplicaba el
experimentalismo. No se trata de ver si un programa se ha desarrollado como deba
o si los objetivos se han alcanzado, sino de descubrir si el programa en s es bueno o
no. Se comienza a razonar en trminos de calidad y se busca atribuir un valor a los
programas, intentando, a la vez, que sean los implicados los que aporten su idea de
valor sobre las intervenciones.
Segundo Perodo: Pesimismo respecto a los Programas y desencanto
respecto a la evaluacin (1970-1980)
Esta etapa se caracteriza por la progresiva institucionalizacin de la evaluacin, a
la vez que empez a considerarse limitada la creciente intervencin pblica
experimentalista del perodo anterior.
Se habla de pesimismo respecto a los programas porque empieza a apreciarse
que estos no han conseguido los logros que perseguan: el desempleo no se erradica
en breve tiempo. No es tan simple rehabilitar los guetos urbanos o resolver el
fracaso escolar o el desempleo. Se concluye que hay efectos asociados que no se
controlan. Comienza a considerarse la idea de los efectos perversos de las polticas
29
30
31
32
33
34
Suecia
o La Agencia para la Gestin Pblica (Statskontoret) de Suecia. Trabaja por
encargo de los diversos ministerios o de los comits parlamentarios, que a su vez
cuentan con mltiples organismos de evaluacin.
El sistema administrativo sueco se basa en el establecimiento de comisiones
para desarrollar las diferentes tareas e implica un gran nmero de evaluaciones
de muy diferente carcter y calidad.
La evaluacin se centra en programas preferentemente sociales para
determinar su impacto en el bienestar y cohesin social. Los campos ms
habituales son: medioambiente, tributos, seguridad social, educacin y ayuda a
la inmigracin. Se enmarca en los modelos de gestin pblica y en los programas
presupuestarios y se apoya en redes de evaluadores externos.
Francia
En Francia, el desarrollo de la prctica evaluativa es indisociable de la visin
poltica de la evaluacin frente a la gestora y se traduce, desde los aos 70, en una
serie de iniciativas institucionales de evaluacin de xito muy diverso. Su historia ha
venido marcada por dos tentativas para implantar la evaluacin en el ncleo del
funcionamiento del Estado: la racionalizacin de las decisiones presupuestarias
(RCB, 1970) y la creacin de un dispositivo gubernamental de evaluacin de polticas
interministeriales, en 1990.
Desde los aos 80 bajo el impulso de Michel Rocard la evaluacin se inscribe
dentro de una poltica ambiciosa de reforma administrativa denominada Renovacin
del servicio pblico. Hay dos aspectos destacados dentro de la valoracin de la
evaluacin en Francia: su contribucin al desarrollo de la responsabilidad de los
agentes pblicos y su posible papel en el debate pblico.
El objetivo que se persigue es hacer de la evaluacin un elemento central en la
toma de decisiones gubernamentales y del debate democrtico (de ah, la obligacin
de publicar los informes de evaluacin) y hacer progresar los mtodos y la
deontologa de la evaluacin.
En 1988, el Consejo interministerial y el Consejo cientfico son suprimidos y
reemplazados por el Consejo Nacional de Evaluacin, cuyas atribuciones son, a la
vez, polticas y metodolgicas.
o El Conseil Nacional de lvaluation (CNE) en Francia es creado en 1999
dispone, en teora, de poder real de iniciativa para proponer temas de evaluacin
al Primer Ministro. En la prctica ese poder se limita por las reticencias de los
Ministerios implicados en las evaluaciones.
Est compuesto por profesionales de los cuerpos de control (Consejo
Econmico y Social, Consejo de Estado y Tribunal de Cuentas), profesores
universitarios, representantes de los medios socioprofesionales y representantes
elegidos de regiones, provincias y municipios.
35
36
37
A pesar de las contradicciones hay que reconocer los mritos de la Comisin. En
el perodo 1994-99 se recorri un largo camino tratando de individualizar mtodos
de evaluacin para examinar los efectos de los programas que reciban los Fondos.
Esto se debi tanto al debate producido en la propia comunidad internacional de
evaluadores, que discuti sobre los diversos enfoques y la forma de integrarlos,
como al trabajo desarrollado en el mbito del programa europeo MEANS que puso en
contraste las experiencias ms significativas de evaluacin y que concluy sus
trabajos con la publicacin de una serie de guas que ofrecen un amplio elenco de
herramientas del que poder extraer conclusiones, indicando el valor y el lmite de
cada una de ellas e invitando a los evaluadores a desarrollar muchas ms.
A partir de entonces, la preocupacin por la calidad de la evaluacin no responde
slo a estudios bien hechos que sigan las tradicionales metodologas estadsticas y
macro-econmicas, sino, tambin, a toda aquella recogida de informacin que
proporcione conocimiento sobre la teora de los programas, contexto y,
especialmente, utilizacin de las evaluaciones por parte de las administraciones
que reciben sus informes.
Las guas MEANS resultan indispensables para todo aquel que quiera conocer las
reglas metodolgicas que estn rigiendo la evaluacin en la UE, aunque su uso no es
tan generalizado como sera deseable. Las MEANS no tratan de erigirse en una
Biblia sobre evaluacin, sino en orientacin para que los pases puedan adaptar
sus exigencias con versatilidad, promoviendo, adems, el cuestionamiento
metodolgico y el anlisis crtico. Junto a la Coleccin MEANS la Comisin ha
publicado numerosas colecciones y documentos, como la Metodologa de evaluacin
para la Ayuda Exterior y la Gua sobre el desarrollo socio-econmico, de 2003, que
prosigue la aportacin iniciada con las MEANS.
3. La Evaluacin de Programas de Cooperacin y Ayuda al Desarrollo:
Organismos internacionales
Las polticas de ayuda al desarrollo son uno de los campos en los que la
evaluacin se ha ido imponiendo desde hace aos, como instrumento de rendicin
de cuentas. Es verdad que, en el inicio ha estado mucho ms ligada al seguimiento y
al control que a la visin estratgica que ltimamente se reclama.
Las organizaciones multilaterales dedicadas a la cooperacin y ayuda al
desarrollo como Naciones Unidas, el Banco Mundial o el Banco Interamericano de
Desarrollo, han sido impulsoras de las evaluaciones de programas por parte de las
Administraciones Pblicas de los pases receptores de las ayudas y han fomentado la
cultura de evaluacin con la publicacin de numerosos estudios tericos, guas y
manuales prcticos.
La Ley de Cooperacin Internacional de 7 de julio de 1998 establece en su
artculo 19, punto 4, que la SECIPI evaluar la poltica de Cooperacin para el
Desarrollo, los programas y proyectos financiados con fondos del Estado en curso de
ejecucin y los finalizados, desde su concepcin y definicin hasta sus resultados. La
evaluacin tendr en cuenta la pertinencia de los objetivos y su grado de
consecucin, as como la eficiencia y la eficacia alcanzadas, el impacto logrado y la
viabilidad comprobada en los programas y proyectos ya finalizados.
38
Similar inters por la evaluacin se evidencia en los informes de la OCDE, la
Organizacin para la Cooperacin y el Desarrollo Econmico, en la que los gobiernos
trabajan de manera conjunta para responder a los retos econmicos, sociales y
medioambientales producto de la interdependencia y la globalizacin. Esta
organizacin se crea despus de la Segunda Guerra Mundial con el propsito de
coordinar el Plan Marshall y en 1961 se convierte en la Organizacin para la
Cooperacin y el Desarrollo Econmico con vocacin transatlntica y despus
mundial. Actualmente cuenta con 30 pases miembros que trabajan a travs de
Agencias de Cooperacin y cerca de 70 pases o economas en desarrollo y transicin
estn asociados a su trabajo. Su misin es promover polticas destinadas a alcanzar
un crecimiento econmico sostenible, as como estabilidad financiera y posibilidades
de progreso en el nivel de vida de los pases miembros con el fin de contribuir al
desarrollo econmico mundial.
El planteamiento de las evaluaciones OCDE se caracteriza por un enfoque
tecnocrtico, con nfasis en la eficiencia y modernizacin del Sector Pblico y apoyo
en y al mercado. Sus principales propsitos son mejorar la regulacin, racionalizar la
toma de decisiones y la asignacin de recursos y conseguir responsabilizacin y
aprendizaje de las organizaciones.
La OCDE estimula la realizacin de evaluaciones conjuntas con otros donantes,
de acuerdo con las tendencias actuales: Unin Europea, Banco Mundial,
Organizacin Internacional del Trabajo, ONGD.
La evaluacin es una herramienta que pretende dar respuesta a preguntas
concretas sobre un programa, un proyecto, un conjunto de actuaciones o una
poltica determinada. Las preguntas pueden provenir de la propia comunidad
beneficiaria, de los gestores del proyecto o programa o de las autoridades polticas y
se suelen plasmar en cinco criterios estndares aprobados por el Comit de Ayuda al
Desarrollo (CAD): pertinencia, eficacia, eficiencia, impacto y sostenibilidad. Estos
criterios se incluyen en los Trminos de Referencia (TdR) que suponen el acuerdo
contractual con el que se formaliza la evaluacin.
Caractersticas de la Evaluacin de Ayuda al Desarrollo
Pretende extender la misma lnea metodolgica a todas las evaluaciones
basndose en la lgica de intervencin del Enfoque del Marco Lgico (EML). Ha sido
tambin el escenario para la aplicacin de la Metodologa de Investigacin accin.
Se recurre preferentemente a evaluaciones externas, contratando por
concurso a consultores independientes, segn baremo establecido y pliegos de
licitacin. Trata de favorecer los principios de imparcialidad e independencia, as
como el de credibilidad basada en la experiencia tcnica de las personas que
forman parte de los equipos.
En la mayor parte de los casos se evalan proyectos, programas en
funcionamiento, enfatizando las caractersticas formativas en las recomendaciones.
Faltan estudios de sntesis, sectoriales o temticos para sistematizar las
lecciones aprendidas.
Sera necesario estimular la realizacin de evaluaciones estratgicas ya que
las tcnicas y herramientas para las evaluaciones operativas difieren en algunos
aspectos de las metodologas propagadas en los Manuales del CAD.
Tienden a la especializacin.
Se centra en programas, proyectos e instrumentos de diversa ndole, pero
fundamentalmente:
- Ayuda humanitaria de emergencia
- Fondos de Ayuda al Desarrollo (FAD)
- Fondos para la Concesin de Microcrditos (FCM)
ESPAA: PROCESO DE INSTITUCIONALIZACIN DE LA EVALUACIN
Una de las formas que reviste la evaluacin es la institucionalizacin, que
consiste en establecer mecanismos e instancias permanentes que la aplican, la
promuevan y se comprometan con la rendicin de cuentas de los resultados de las
acciones pblicas. La institucionalizacin de la evaluacin est ligada a su carcter
poltico y la naturaleza pblica de sus retos.
Como seala la OCDE Est generalmente reconocido que un cierto grado de
institucionalizacin es necesario para que la evaluacin juegue un papel en las
administraciones pblicas. Es favorable y necesario un marco institucional para
promover la calidad y la utilizacin de las evaluaciones. Pero, hay que velar para
que el institucionalismo no se convierta en simple instrumento de comunicacin o de
autopromocin poltica. Por eso, la evaluacin debe someterse a mecanismos que
garanticen la eficacia y calidad del propio proceso evaluador.
Lo que est en juego en la base de la institucionalizacin de la evaluacin, en las
democracias modernas, es contribuir a la legitimacin social, la transparencia de las
acciones y la comprensin de la accin pblica, as como contribuir al desarrollo y
perfeccionamiento del propio sistema democrtico. Estado que rinde, ciudadana
poltica y participacin, son elementos transversales a la estrategia evaluadora que
deben ser impulsados al mismo tiempo.
39
40
o El contexto espaol
Espaa no se ha sido ajena a la corriente evaluadora de los pases de su entorno
y de los organismos supranacionales (bsicamente, la UE). Esa corriente se
desarrolla a partir de dos mbitos distintos: la exigencia ciudadana y la necesidad
poltica y de gestin.
La exigencia ciudadana: Est relacionada con la nueva forma de hacer
poltica en la que se ha de tener en cuenta elementos como la transparencia, la
participacin, la clarificacin de objetivos, la rendicin de cuentas y, lo que es muy
importante, la percepcin que los ciudadanos tienen de la eficacia y de los efectos de
las polticas pblicas.
La necesidad poltica y de gestin de calidad de los servicios pblicos:
La ciudadana es en este mbito claramente ms exigente y reclama servicios
pblicos que, a un coste razonable, resuelvan sus necesidades de forma adecuada,
es decir, de forma efectiva y con calidad.
o Compromiso gubernamental
Algunos sostienen que el desarrollo de la evaluacin es tributario del tipo de
Estado en el que surge y de los compromisos de sus gobiernos.
El respaldo al ms alto nivel institucional es muy importante para la implantacin
de un sistema de evaluacin nacional, porque ste requiere para su xito de fuerte
voluntad poltica y de impulso por parte de las lites que tienen la responsabilidad de
ponerla en marcha.
La evaluacin es una actividad en la que se une el deseo de optimizar el uso de
los recursos pblicos con el de rendir cuentas a los ciudadanos sobre la actividad de
los gobiernos, adems de servir como herramienta para incrementar la confianza y
garanta en la gestin de lo pblico. Es, en definitiva, un instrumento bsico en la
profundizacin del buen gobierno.
Las evaluaciones son instrumentos esenciales para desarrollar la
democracia y asegurar el progreso individual y del conj unto de la
sociedad.
( Discurso de investidura del Presidente del Gobierno espaol, 2004) .
La mejora de la gestin pblica y la evaluacin de sus resultados se plantean en
ese contexto como una perspectiva estratgica de profundizacin democrtica y de
consolidacin institucional.
o Grado de descentralizacin del Estado espaol
Espaa es uno de los estados ms descentralizados del contexto europeo, lo que
hace an ms necesaria una adecuada articulacin del diseo y gestin de las
polticas y de la evaluacin misma. En esta articulacin se considera que la
evaluacin puede llegar a ser una herramienta privilegiada para valorar la
adecuacin de las polticas a los objetivos y su adaptacin a la continua evolucin de
las necesidades (existentes y emergentes) en los distintos niveles y esferas de
gobierno.
41
Las administraciones han de actuar al servicio de toda la ciudadana, funcionando
con transparencia, eficacia y calidad y deben estar plenamente comprometidas con
la mejora de los servicios y la participacin ciudadana en las decisiones pblicas y en
la definicin de los intereses generales de la nacin.
o I mpulso de un sistema pblico de evaluacin
Sobre la base de lo anterior, desde el Ministerio de Administraciones Pblicas
2
se
encomend a una Comisin de expertos en mltiples disciplinas, tcnicos
internacionales y expertos de la Administracin, un estudio sobre la evaluacin de
polticas y programas en Espaa y la posible creacin de una Institucin que pudiera
impulsar un sistema pblico de evaluacin en la AGE con la colaboracin de las
Comunidades autnomas, Entes locales y resto de actores sociales implicados en la
evaluacin.
LA AGENCIA DE EVALUACIN DE LAS POLTICAS PBLICAS Y LA CALIDAD
DE LOS SERVICIOS (AEVAL)
Aunque existan en Espaa experiencias muy apreciables de evaluacin,
sectoriales y puntuales, el gobierno decidi impulsar esta herramienta en todo su
potencial poltico-gestor con una visin de transversalidad y de uso ms estratgico.
Para ello, se ha tratado de disear un nuevo marco institucional de evaluacin que
diera respuesta a la realidad poltica espaola y a los nuevos retos del sector
pblico.
El diseo de un marco institucional adecuado pretende promover y facilitar las
condiciones para una implantacin exitosa de la evaluacin de las polticas pblicas y
su uso efectivo en la gestin y en el ms alto nivel decisor poltico.
La creacin de la Agencia supone la constitucin de una institucin evaluadora
con identidad propia para la evaluacin de las polticas pblicas y para la mejora de
la calidad de los servicios. Este hecho constituye un compromiso fundamental del
Ejecutivo espaol para la modernizacin de la Administracin y un elemento clave
en el proceso de institucionalizacin de la evaluacin en Espaa.
La institucionalizacin de la evaluacin en Espaa se proyecta con vocacin
integradora dentro de la malla administrativa en la que ejerce su actividad,
insertndose de manera activa en los procesos de planificacin e implementacin de
las polticas pblicas y en la valoracin de sus resultados e impactos.
Asimismo, la evaluacin resulta informacin interesante aunque no siempre
condicionante- en la asignacin de recursos presupuestarios, permitiendo discernir
qu polticas son tiles en trminos de calidad social y gestora y eficientes en cuanto
a ejecucin presupuestaria.
2
EnlaactualidadlaAEVALestintegradaenelMinisteriodePolticaTerritorialyAdministracinPblica(BOE
de4denoviembrede2010;Disposicinadicionalsexta).
42
La perceptibilidad social de la evaluacin a travs de instrumentos y rganos de
evaluacin visibles supone una profundizacin en la calidad democrtica y una va
para el conocimiento ciudadano de la aplicacin de los recursos pblicos.
o Marco normativo
El Real Decreto 1418/2006, de 1 de diciembre, en virtud de la autorizacin
prevista en la disposicin adicional primera de la Ley 28/2006, de 18 de julio, de
Agencias Estatales para la mejora de los servicios pblicos, aprueba la creacin de
la Agencia de Evaluacin de las Polticas Pblicas y la Calidad de los Servicios.
El nuevo organismo se integra en un amplio proceso de modernizacin e
innovacin de las Administraciones Pblicas, en consonancia con los principios de
gobernanza de la Unin Europea: responsabilidad, eficiencia y participacin y de
acuerdo con un nuevo modelo de gestin pblica.
Su propsito es contribuir a:
o Mejorar los servicios pblicos y el conocimiento de los efectos en la sociedad
de las polticas y programas pblicos.
o Promover una mayor racionalidad del gasto pblico, optimizando el uso de
los recursos.
o Favorecer la productividad y la competitividad de la economa espaola,
eliminando trabas burocrticas.
o Aumentar la rendicin de cuentas respecto a los ciudadanos y la calidad
democrtica, promoviendo la transparencia y la participacin.
La Agencia Estatal de Evaluacin de las Polticas Pblicas y la
Calidad de los Servicios desarrolla una actividad institucional en la
que se une la voluntad de mejorar la calidad de los servicios
pblicos con la de racionalizar el uso de los recursos y rendir
cuentas ante los ciudadanos.
o I nstitucin de referencia
La Agencia tiene vocacin de convertirse en una institucin de referencia,
promotora del uso de la evaluacin como una prctica institucional cotidiana en las
Administraciones Pblicas. Est abierta a la participacin y la colaboracin con
distintos rganos de la Administracin General del Estado, las Comunidades
Autnomas y las Administraciones Locales, a travs de Convenios de Colaboracin.
El proceso de institucionalizacin de la evaluacin y la gestin de la calidad en
Espaa se ha impulsado, asimismo, mediante el marco normativo que desarrolla el
Real Decreto 951/2005, de 29 de julio, sobre Mejora de la Calidad en la
Administracin del Estado y con los trabajos sobre el anlisis del impacto normativo
por Acuerdo de Consejo de Ministros, de 25 de febrero de 2005, por el que se
adoptan mandatos para poner en marcha medidas de impulso a la productividad.
o La Agencia al Servicio de la Administracin y del Ciudadano
La Agencia de Evaluacin de las Polticas Pblicas y la Calidad de los Servicios
dirige sus trabajos al servicio de:
Decisores pblicos: a los que provee de valoraciones tcnicas
independientes para que decidan en las mejores condiciones, tanto en relacin
con la prestacin de servicios pblicos como respecto a las polticas pblicas
(uso estratgico de la evaluacin).
Gestores pblicos: les suministra informacin para mejorar la eficacia en la
aplicacin y desarrollo de polticas y programas (dimensin estratgica-
operativa) as como para mejorar el rendimiento y la gestin de las
organizaciones (dimensin de calidad y de servicios).
Ciudadana: mejora la calidad democrtica al aumentar la orientacin al
ciudadano, teniendo en cuenta tanto sus intereses y necesidades
(participacin), como rindiendo cuentas sobre en qu medida los resultados
obtenidos responden a sus exigencias (transparencia y responsabilidad).
Los dos componentes principales de la evaluacin de las
polticas pblicas son su contribucin a la comprensin de la
accin pblica y su papel de anclaje para el impulso de una
democracia participativa.
o Qu evala la Agencia?
o Referentes para la realizacin de evaluaciones AEVAL
o La actividad institucional de evaluacin para la Agencia se encuentra enmarcada en
un proyecto de gobernanza, modernizacin e innovacin administrativa. Asimismo,
promueve la utilizacin de la evaluacin como herramienta estratgica y
prospectiva.
o La evaluacin trata de obtener un aprendizaje y conocimiento integral de la
intervencin pblica que examina. Puede referirse tanto a los procesos de diseo,
como a los de aplicacin, desarrollo y finalizacin de dicha intervencin.
o La evaluacin incorpora un juicio valorativo basado en evidencias y criterios
referenciales y metodologas que se establecen, explcitamente en consonancia con
los principios de responsabilidad y transparencia.
o La evaluacin supone la aplicacin sistemtica de un mtodo de planificacin,
recogida, tratamiento e interpretacin de la informacin que garantice el rigor y la
validez del juicio de valor.
El objeto a evaluar propio de la Agencia son las
polticas pblicas en sus dos niveles estratgico y
operativo.
43
44
o La metodologa para evaluar las polticas pblicas aplica una perspectiva abierta y
flexible en materia de modelos y tcnicas, superando cualquier forma de
dogmatismo metodolgico. Utiliza herramientas de las ciencias sociales
(cuantitativas y cualitativas) y tcnicas de la gerencia pblica.
o Se aplican mecanismos para incorporar las percepciones y valoraciones de los
actores clave implicados.
o La Agencia promueve las medidas oportunas con el fin de que se utilicen los
resultados de la evaluacin en la mejora y perfeccionamiento de las normas,
programas, planes o polticas pblicas.
NECESIDAD DE GENERAR CULTURA DE EVALUACIN
Aunque la institucionalizacin de la evaluacin es un ndice del compromiso
poltico y de su desarrollo, los elementos estructurales no bastan por si solos para el
arraigo de la evaluacin, se necesita, adems, el impulso de una cultura evaluadora.
Cualquier cambio institucional es un proceso muy complejo que depende de la(s)
cultura(s) y estructura(s) de las organizaciones, del liderazgo que lo impulsa, de la
alta gerencia que lo desarrolla y del compromiso colectivo que se implica en el
cambio.
La evaluacin como proceso institucional y no slo como tcnica aplicada al final
de un programa, requiere el uso de un lenguaje comn, un ncleo de valores, reglas
del juego de carcter relacional, con tolerancia ante las divergencias, experiencia del
proceso, con apertura a la realidad y a la lgica de la accin pblica en sus
diferentes niveles.
La evaluacin se enmarca, en cuanto a valores polticos, entre los principios del
buen gobierno; en cuanto a las cuestiones de lo que revelan sus estudios se inserta
en la sociedad del conocimiento y de la informacin; metodolgicamente se enfrenta
a los desafos de la cultura de la incertidumbre y la complejidad. En cuanto los
niveles organizativos en los que desarrolla su accin se interrelaciona con diversas
culturas administrativas. Pone el nfasis en evaluar para la sociedad, compartiendo
los valores que los enfoques de calidad y de satisfaccin de los usuarios vienen
desarrollando, pero va ms all de la calidad de la gestin al proponerse con su
accin la profundizacin en la responsabilidad, transparencia y en la calidad
democrtica. Todos estos valores culturales inciden en los resultados de la
evaluacin y bueno ser tenerlos en cuenta para justificar en parte su xito o
fracaso.
Precisamente, consolidar una cultura de evaluacin fuerte y diferenciada frente a
otras tcnicas consideradas afines es una de las necesidades que reclaman para su
desarrollo los pases de la OCDE as como otras organizaciones internacionales.
El cuello de botella de la evaluacin, no es su capacidad tcnica, sino la
debilidad de una cultura de evaluacin(UNICEF).
45
46
47
La evaluacin detrae para su accin recursos pblicos y como tal deber dar
cuenta de la eficacia y resultados de su accin. Una eficacia que va ligada a cada
fase del proceso: anlisis del encargo, clara definicin del objeto de estudio y su
alcance, eleccin de la estrategia evaluativa ms eficiente para la obtencin de lo
que se requiere, actuacin responsable y solvencia profesional en el diseo
metodolgico, buena administracin de recursos y control de cualquier tipo de
despilfarro -en tiempo o gasto pblico. Una eficacia que ha de quedar plasmada,
tambin, en la calidad de sus informes.
o Momento en el que evaluar
Una intervencin pblica se puede evaluar antes de ponerse en marcha (evaluacin
ex ante), durante la implementacin (evaluacin durante o in itinerem) o despus de
implantada para averiguar el logro de sus resultados (evaluacin ex post). La decisin
sobre el momento de evaluar es importante y afectar a las finalidades y utilizacin.
Durante mucho tiempo, ha sido habitual estudiar el anlisis de las polticas pblicas
aislando sus fases identificables (Lasswell, 1962 y Dye, 1955):
Deteccin de los problemas y necesidades.
Elaboracin del diagnstico: conceptualizacin y definicin de los problemas.
Inclusin de los mismos en la Agenda del Gobierno.
Diseo de un plan de accin, lo que supone establecer quin y cmo se hace la
poltica o programa. Esto es, formulacin de los objetivos de la intervencin
pblica, eleccin de los instrumentos y definicin de las acciones.
Ejecucin o puesta en prctica.
Evaluacin de la poltica o programa aplicado que incluye el anlisis sobre su
sistema de seguimiento o control.
Esta concepcin clsica y lineal, del ciclo de las intervenciones pblicas, presume
unos objetivos definidos de forma explcita, un actor nico y libre en la toma de
decisiones y una sucesin lineal entre cada etapa del ciclo. Desde esa concepcin, la
evaluacin sera la ltima fase de todo el ciclo y tendra un carcter retrospectivo,
entendindose como parte de un proceso de retroalimentacin para justificar las
decisiones relativas a las polticas o programas objeto de estudio.
Sin embargo, la realidad es bien distinta, las polticas estn sujetas a continuas
revisiones y los objetivos son, la mayor parte de las veces, confusos y ambiguos,
cuando no una declaracin de intenciones. Adems, no siempre quienes toman las
decisiones buscan la racionalidad tcnico-econmica, a menudo deben encontrar
soluciones socialmente aceptables o polticamente convenientes a los problemas que
tratan de resolver. Los intentos de buscar la racionalidad de un programa o poltica
olvidan en muchas ocasiones que las decisiones pblicas incluyen negociaciones
polticas y el resultado de la mediacin de diferentes grupos de inters o de
compromisos programticos.
La evaluacin no puede concebirse como un hecho aislado y final, sino como un
continuum que acompaa a todo el proceso, desde el momento de la planificacin
(evaluacin ex ante), a la fase de implementacin (evaluacin in intinerem o durante)
y a la verificacin de los resultados y efectos finales (evaluacin ex post). Porque, la
evaluacin, adems de otras consideraciones de inters, entraa un tipo de cultura
poltico-administrativa que pretende potenciar el saber en las organizaciones para
cambiar, mejorar y crecer y si mira al pasado es para resolver de mejor manera el
futuro.
LA EVALUACIN
EN EL CICLO DE INTERVENCIN PBLICA
La evaluacin puede referirse tanto a los procesos de diseo, como de
implementacin, desarrollo y finalizacin de una intervencin pblica.
48
PROBLEMAS
NECESIDADES
OBJETIVOS
INSTRUMENTOS
IMPLEMENTACIN
RESULTADOS
INTERMEDIOS
RESULTADOS
FINALES
IMPACTOS
DESTINATARIOS
INTERVENCIN
PBLICA
SOCIEDAD
Ev.
DIAGNSTICO
DISEO
Ev.
IMPLEMENTACIN
Ev.
RESULTADOS
Ev.
IMPACTO
Ex ante Intermedia Ex post
RESULTADOS PLANIFICACIN IMPLEMENTACIN IMPACTO
Ev. IMPACTO
NORMATIVO
La evaluacin trata de reunir evidencias que nos indiquen qu se ha hecho, para
qu sirve y hasta qu punto se acercan o no los resultados a lo previsto. Tambin, sin
duda, qu es lo imputable al programa o poltica y qu a otras causas y cules son los
efectos adversos que se han producido. Para contestar a esas cuestiones de la manera
ms eficaz, la evaluacin necesita ocuparse de todo el ciclo de la intervencin. Esto
es lo que se conoce como evaluacin integral (en relacin a su aplicacin a todas
las fases del ciclo de la intervencin pblica).
Cabra tambin hablar de evaluacin integral cuando se trate de dar respuesta a
la doble funcin de gobierno: legitimidad (polticas con directrices de buen gobierno)
y funcionalidad (buena administracin y gestin), en cuyo caso habr de tenerse en
cuenta a la hora de evaluar que los objetivos, las lgicas, las necesidades de
informacin, los criterios, cronogramas, prioridades y usuarios de la evaluacin
pueden ser distintos en el nivel superior de las polticas que en el de los programas.
El informe integrar los resultados de ambas funciones que se complementan. Si
bien no son todava muy frecuentes las evaluaciones con este enfoque integral que
persigue la AEVAL.
OBJETOS A EVALUAR: EVALUAR POLTICAS O EVALUAR PROGRAMAS?
Aunque en la prctica evaluativa se habla indistintamente de evaluacin de
polticas pblicas y evaluacin de programas, convendra utilizar con el mayor rigor
ambos trminos. Los programas guardan con las polticas la relacin de las partes
con el todo. Por lo que si las polticas engloban los programas, no se pude decir, por
el contrario, que los programas contengan el total de las polticas.
Los trminos se confunden pero en la prctica lo que se advierte es un dficit de
evaluacin de polticas pblicas.
Un despliegue modlico de las polticas pblicas respondera al siguiente
esquema.
SISTEMA POLTICO
PROYECTOS
POLTICAS PBLICAS
PROGRAMAS
SERVICIOS
PBLICOS
Decisiones
Actividades
Medidas
Despliegue(+Complejidad)
( Complejidad)
o Las polticas pblicas son una concatenacin de actividades, decisiones y
medidas coherentes -al menos en su intencin- tomadas por los actores del
sistema poltico-administrativo de un pas con la finalidad de resolver un
problema colectivo (Larrue, 2000). Desde esta imprecisa consideracin las
polticas pblicas engloban una amplia categora de objetos: polticas en sus
grandes lneas (Poltica de Educacin, de Sanidad, de Empleo), planes (Plan de
juventud, Plan de emprendedores, Plan Nacional sobre drogas y entre ellos cabra
diferenciar planes marco, estratgicos, operativos), programas, proyectos,
medidas, normas, actividades de cuerpos especiales (Plan de Inspeccin) o
intervenciones en una materia especfica (Poltica tributaria, fiscal, urbanstica).
El estudio de las polticas, segn Lasswell, tiene dos dimensiones principales.
Por un lado est el proceso de la poltica que, a grandes rasgos, nos da cuenta de
lo que sucede en la toma de decisin: cmo se disea esa poltica, por qu y
quines intervienen y todo lo que acontece antes, durante y despus de su
elaboracin. Y por otro lado, est lo que el mismo autor llama las necesidades
de inteligencia del proceso (Lasswell, 1993a: 80); es decir, toda la informacin
tcnica que se recaba, analiza y sistematiza para tomar una decisin, que tiene
gran importancia en el proceso evaluador.
A su vez las polticas pblicas dentro de la globalidad estn fuertemente
condicionadas por la influencia de los organismos internacionales, as se habla
cada vez ms de polticas globales (como los acuerdos medioambientales o los
de consecucin de Objetivos del Milenio) o de polticas comunitarias (UE). Todo
49
50
ello ha dado mayor relevancia a los contextos, a las estrategias comunes y a los
actores en juego, sin olvidar el peso de las organizaciones y los recursos.
En la evaluacin de polticas pblicas, tanto el proceso de formulacin como
el proceso de recogida de informacin y anlisis, as como el estudio de los
diferentes contextos y objetivos estratgicos son componentes que se examinan
para explicar sus resultados con la finalidad de prestar ayuda a la decisin.
La articulacin de las polticas suele realizarse, en un primer despliegue a
travs de Planes y en un despliegue ms detallado a travs de programas,
proyectos y hasta acciones pblicas que no alcanzan siempre un grado tan
estructurado de articulacin.
Cuando se habla de evaluacin de polticas pblicas resulta ineludible aludir al
nivel estratgico y decisor y al valor del impacto de la accin pblica. Las polticas
pblicas son el todo, pero el abordaje de evaluacin no es el mismo para el todo
que para las partes. Adems, el todo no es slo la suma de las partes, tiene,
asimismo, su propia lgica. Hay un ncleo comn para la evaluacin de todos
estos objetos en general el proceso es el mismo-, pero lo fundamental est,
precisamente, en cada una de sus peculiaridades: preguntas, criterios,
indicadores y recomendaciones.
Para ser coherente con el contexto de la buena gobernanza, los criterios de
evaluacin de las polticas pblicas debieran considerar en primer lugar sus
principios. La sintona con esos principios parece ineludible a la hora de valorar la
calidad de las polticas de los Estados en el microespacio europeo. Junto a esta
arquitectura de criterios se habrn de tener en cuenta aquellos relevantes en
funcin de las peculiaridades de cada intervencin (equidad, innovacin,
coordinacin administrativa).
o Los planes son elementos instrumentales estratgicos que articulan un conjunto
de acciones, programas, proyectos y servicios que se consideran prioritarios para
alcanzar los objetivos de una poltica. Son, junto a las leyes, los instrumentos y
medidas que despliegan, en un primer nivel, los idearios de gobierno. El nfasis
de los planes est tanto en los resultados como en los impactos. Segn se trate
de planes marco o estratgicos o planes operativos sus indicadores debern
adaptarse a un nivel u otro.
o Los programas son elementos instrumentales y operativos en los que se
despliegan los planes. En general, un programa es un conjunto de intervenciones
homogneas, reagrupadas para alcanzar un objetivo concreto dentro de un plan
o de una poltica pblica. La evaluacin de programas suele pivotar sobre los
resultados y los procesos de gestin, por lo que esos sern los indicadores ms
relevantes.
o Los proyectos son el nivel ms concreto de las polticas pblicas. Un proyecto es
una operacin no divisible, delimitada en cuanto al tiempo y al presupuesto y
que, a menudo, se encuentra bajo la responsabilidad de un solo operador. Al
igual que en la evaluacin de programas tienen un gran peso los indicadores de
proceso y gestin.
51
52
evaluar el diseo y despliegue de las polticas que evaluar las organizaciones que
las ponen en marcha o evaluar la calidad de algunos de los servicios concretos
que prestan. Si bien todos estas acciones son parte de una cadena para juzgar la
calidad de las polticas pblicas conviene tener en cuenta los dos niveles que
distingue Dror de la accin pblica:
1) Funciones de orden superior: modificacin de las trayectorias colectivas
mediante decisiones que, en esencia, constituyen intervenciones en el
proceso histrico y son cualitativamente las ms trascendentes. Estas
acciones son especficas del ms alto nivel de gobierno y suelen plasmarse
en la formulacin y planificacin de las polticas pblicas.
Todas las acciones polticas abocadas a dirigir las transformaciones de las
sociedades y los gobiernos para su adaptacin a las nuevas realidades
pertenecen claramente a las funciones de orden superior.
2) Funciones de servicio, ej ecucin y gestin de los gobiernos ( tareas
de gestin) .
Entre la fase de formulacin de las polticas pblicas y la de resultados se
encuentra una fase decisiva que es la implementacin. A esta fase del ciclo
de intervencin pblica le corresponden, por lo general, funciones gestoras,
ejecutoras y prestadoras de servicios, siendo la instancia mediadora la
administracin en todas sus esferas de gobierno: central, autonmica y
local. Estas funciones son cuantitativamente ms numerosas que las del
orden superior y estn ms prximas al servicio directo al ciudadano por lo
que suponen una forma de enjuiciamiento ms directa de la accin que se
recibe de los poderes pblicos.
Por consiguiente, la evaluacin de la implementacin de las polticas
pblicas resulta especialmente relevante en los resultados finales de las
polticas pblicas al proporcionar informacin sobre las posibles desviaciones
y dificultades que pueden darse entre la fase de concepcin y formulacin de
las polticas y la de su puesta en marcha.
Un captulo especial merece la evaluacin de las organizaciones y la
calidad de los servicios que prestan. Ambas se encuadran en un segmento
especfico de la accin pblica que se evala desde hace aos bajo el
enfoque de la gestin de calidad y que desde la perspectiva de un sistema
pblico de evaluacin es un subsistema integrado en el conjunto, con la
ventaja de tener, en este caso, una metodologa bastante consolidada
(modelos EFQM, CAF)
3
.
o Evaluacin de programas
La mayor parte de la prctica evaluativa se ha dirigido y contina dirigindose
a programas y muy frecuentemente, a los aspectos cuantitativos y formales de
las acciones pblicas; en consecuencia, se centra en las tcnicas de obtencin y
gestin de informacin para el nivel operativo.
3
ParamayorconocimientosobreestosmodelosconsultarwebdeAEVAL.
53
En general, tanto en los Estados Unidos como en el norte de Europa y en la
Comisin europea, el mayor desarrollo de la evaluacin se ha centrado en la
evaluacin de programas, siendo los pases del sur de Europa, Francia en
particular, los que han hecho mayor hincapi sobre la evaluacin de polticas
pblicas. Los beneficiarios del enfoque de programas han sido, principalmente,
los administradores y gestores de los mismos.
El enfoque de programas y proyectos- supone valorar los aspectos concretos
y operativos del despliegue de las polticas. Investiga sobre la deficiente gestin o
la implementacin desacertada de las polticas pblicas. Se trata de un enfoque
absolutamente necesario en evaluacin pero no suficiente. La propia Comisin
europea requiere evaluaciones cada vez ms estratgicas.
Sin embargo, viene siendo comn, en la mayor parte de los foros, la toma de
conciencia de lo limitada que ha resultado la evaluacin de programas, as como
la transversalidad de centros de poder y la dificultad de probar la racionalidad y
coherencia entre objetivos y medidas de las polticas pblicas cuando hay tantos
actores que actan.
En esta lnea, la OCDE recoge entre los temas clave sobre evaluacin de
polticas pblicas la necesidad de trabajar ms en la incorporacin de la
evaluacin a la formulacin de las polticas de manera estratgica. Y seala que
es en las grandes Agencias donde deber concentrarse esa visin transversal y
estratgica que impulse la funcin superior de los gobiernos, a la vez que a nivel
Departamental se siga impulsando la evaluacin de programas.
La evaluacin de programas sigue estando en la base de la reflexin y
mtodos de evaluacin en la mayor parte de los pases; sin embargo, cada vez
ms los objetos de la evaluacin tienden a diversificarse y a complicarse
plantendose evaluaciones de una jerarqua superior y de carcter ms
estratgico. La toma de conciencia de lo limitada que ha sido la evaluacin de
programas, as como la conflictividad entre objetivos y la transversalidad de
centros de poder muestra el auge de la evaluacin de polticas pblicas.
Adems de los aspectos operativos de las polticas pblicas, la evaluacin
habr de abrirse a los principios de gobernanza en busca de una mayor
profundizacin democrtica, poniendo el foco de su valoracin en las polticas
pblicas errneas o exitosas y, en particular, aquellas que -no por ignorancia o
incapacidad, sino por intencionalidad- provocan un mal gobierno.
o Evaluacin de polticas
En la mayor parte de los pases, el impulso evaluador ha venido marcado por
razones reglamentarias, nacionales, internacionales, donde la evaluacin ha
conquistado, poco a poco, el nivel gestor y operativo de la accin pblica, con el
nfasis puesto, como se ha venido sealando, en la evaluacin de programas y
en los mbitos de la prestacin de servicios pblicos. La evaluacin de estos
subconjuntos de la accin pblica informa sobre partes especficas de las
intervenciones en su nivel ms concreto u operativo pero el mayor dficit sigue
siendo la metodologa especfica para el enfoque de polticas pblicas.
54
En tiempos de incertidumbre y vertiginosos cambios, la accin pblica se
desarrolla en terrenos complejos, donde los problemas preocupantes no afectan
slo a cuestiones de gestin o procedimiento -que deben seguir mejorando- sino
de adecuacin estratgica y de legitimacin democrtica. Cada vez ms a
menudo nos enfrentamos a problemas globales interconectados, y por tanto, ms
difciles de segmentar, de definir y de ser abordados desde las especializaciones
que hemos ido construyendo. Los problemas que tenemos tienen poco en comn
con estructuras de decisin y gestin administrativa pensada para otros tiempos
y para otro tipo de problemas (Joan Subirats, 2001, p.39). La evaluacin se
reclama cada vez ms desde el nivel superior de gobierno para la comprensin y
transformacin de las polticas.
Todo lo anterior pretende poner en evidencia la necesidad de diferenciar entre
el objeto de evaluacin de polticas pblicas y el objeto de evaluacin de
programas. La diferencia no est ni en su dimensin ni en su complejidad
algunos programas son de una complejidad extrema-, sino en su significacin en
cuanto a las trayectorias poltico-sociales. Pero es que, adems, la evaluacin de
polticas no es slo la suma o la sntesis de sus componentes, sino que tiene su
propia naturaleza per se.
El mayor dficit sigue estando en el nivel de las evaluaciones estratgicas y en
la valoracin de las polticas en sus grandes lneas, es decir, los conglomerados
ms complejos.
Poner el acento sobre polticas o programas, dice Bernard Perret, revela un
nfasis distinto aunque complementario- sobre la accin pblica, porque
polticas, programas y proyectos estn estructurados sobre binomios diferentes:
POLTICAS PBLICAS
(NIVEL ESTRATGICO)
(macro)
PROGRAMAS / PROYECTOS
(NIVEL INSTRUMENTAL OPERATIVO)
( mezzo/micro)
PROBLEMAS / ACTORES
OBJETIVOS / MEDIOS
Al hablar de evaluacin de programas, aunque no se descarta la complejidad
que puedan alcanzar, incluso el carcter estratgico de algunos de ellos, en
general, la informacin que se persigue suele estar centrada en el nivel
operativo y en la relacin entre objetivos y medios.
Cuando el nfasis se pone en las polticas pblicas, confluyen distintas
intervenciones, con caractersticas transversales que afectan a mltiples
dimensiones (geogrficas, temporales, institucionales, reglamentarias) y a
sectores de accin pblica interconectados y con trayectorias poltico-sociales,
que tienen como eje de su accin los problemas que surgen as como los
intereses de los actores en pugna.
En resumen, desde el punto de vista evaluativo, las diferentes dimensiones
del objeto de evaluacin nos permiten hablar, de forma aproximativa, de niveles
55
macro, meso y micro de las polticas pblicas. Aunque algunos de ellos pueden
tener lmites confusos. Lo que hay que tener en cuenta es que su tratamiento
ser distinto en cuanto a preguntas a investigar, criterios, utilidad, necesidades
de informacin y, probablemente, tcnicas a aplicar y recomendaciones. La
diferencia entre todos estos elementos no siempre queda clara y ser el
evaluador preferentemente con los interlocutores implicados- quien llegue a
acotar la naturaleza y dimensiones del objeto a evaluar.
o El ncleo esencial de las polticas pblicas: lo complejo.
El nivel macro de la accin pblica apunta al ms alto grado de complejidad del
objeto de estudio evaluativo, evidenciando que el ncleo esencial de la evaluacin
de las polticas pblicas se enmarca en el orden de lo complejo
4
, y no slo de lo
complejo ordinario, sino de lo complejo emergente
5
que no deja de generarse a
gran velocidad.
Complej o es lo que est tej ido en conj unto, de constituyentes
heterogneos, inseparablemente asociados. La complej idad es el tej ido de
acontecimientos, interacciones, retroacciones, determinaciones, azares, que
constituyen nuestro mundo fenomnico. Y esa es la entraa de las polticas
pblicas y de ah la dificultad de evaluar resultados netos e impactos.
La evaluacin de las polticas pblicas trata de obtener conocimiento sobre el
valor global de intervenciones complejas. Se busca responder a los retos que
plantea la transversalidad, la descentralizacin de las decisiones y la
corresponsabilidad financiera que comparten los distintos niveles de Gobierno. Se
alude a una dimensin superior de la accin de gobierno relacionada con la toma
de decisiones estratgicas, la legitimacin social de la accin pblica y sus
impactos y las posibles alternativas y mejoras.
o El desafo de evaluar lo complejo: la cuestin del mtodo.
La evaluacin encuentra hoy mayor dificultad al proponerse valorar los
elementos ms complejos del nivel de gobierno: las polticas pblicas. Los
procesos decisorios son bsicamente, el resultado de interacciones mltiples y
simultneas en las que participan diversos actores: polticos, funcionarios de
distintos niveles, grupos de inters, expertos, acadmicos, partidos polticos,
medios de comunicacin De la decisin a la implementacin se burocratizan
los procesos polticos, se politizan los procesos burocrticos y se socializan
unos y otros. De ah que la valoracin de las evaluaciones y su aportacin a la
toma de decisiones se mueva cada vez ms en un terreno muy complejo.
4
Sedefinencomosistemascomplejosaquellosquenopuedenserabarcadosporunanicaperspectiva.
5
Lossistemascomplejosemergentessonaquellosquenopuedenserexplicadostotalmentedeunaformamecnicayfuncional.Enellos,
alguno de los elementos presentan caractersticas que no se encuentran en los sistemas ordinarios complejos como individualidad, novedad,
reflexividad, efectos a largo plazo, incertidumbre e ignorancia, irreversibilidad de las acciones. El comportamiento de estos sistemas suele
implicardecisionesurgentesypresentarunnmeroelevadodeagentesinvolucrados.
56
La dificultad no est en el proceso evaluador que, sustancialmente, sigue
siendo el mismo para un objeto u otro, sino en las preguntas que han de hacerse
y los criterios en los que se traducen, segn se requiera la evaluacin desde un
nivel u otro de gobierno. En relacin a ello habr que interpretar y dar
significado a los hallazgos y redactar las conclusiones y recomendaciones para
alumbrar un mejor futuro. Desde esta perspectiva, uno de los pilares
fundamentales son los estudios comparativos y el conocimiento de las mejores
prcticas.
Pero, cmo obtener evaluaciones provechosas sobre un mundo tan
imbricado? Cmo articular y organizar la informacin de la forma ms til?
Cmo sopesar la influencia de los contextos, lo particular y lo global de las
polticas pblicas? Cmo conseguir que las evaluaciones de los niveles
operativos sirvan de la manera ms provechosa al nivel estratgico? Y cmo
lograr que el conocimiento que se adquiere sobre las polticas pblicas, por
relativo que sea, resulte creble y significativo?
Eso plantea la necesidad de:
Disponer de instrumentos metodolgicos que respondan al nivel de lo complejo,
porque lo complejo no se puede interpretar desde lo simple.
Equilibrar lgica investigadora y lgica administrativo- poltica.
Involucrar a los mximos responsables de las organizaciones en la evaluacin y
no slo a los niveles gestores o tcnicos.
Aplicar cotidianamente esos valores para aprender de la experiencia.
Desarrollar estrategias que primen la utilizacin de la evaluacin.
La razn necesita segmentar para comprender, de ah que la evaluacin de las
partes resulta un paso necesario para obtener una valoracin del conjunto, pero
el todo no es la suma de las partes, el todo requiere sus propias reglas y el
desarrollo de su propia metodologa.
Del mismo modo que en el proceso iterativo de la formulacin de polticas
pblicas se produce lo que se denomina la paradoja de la operatividad, que sera
el efecto que surge cuando se trata de operativizar al mximo las intervenciones
pblicas con prdida de visin de lo complejo, lo mismo sucede en evaluacin. De
una parte, resulta necesario acotar ciertos lmites y actuar sobre lo posible, pero
de otra, se corre el riesgo de producir resultados y conclusiones desconectadas
de la complejidad sobre la que se acta. En definitiva, habr que buscar el
equilibrio entre evaluaciones excesivamente sofisticadas difciles de operativizar y
evaluaciones muy operativas pero demasiado simplistas al desdear el complejo
marco de la realidad.
La evaluacin de las polticas pblicas tiene por finalidad apreciar el
conj unto de los eslabones de la cadena de la accin pblica, comprendiendo
de la forma ms completa posible la poltica en cuestin, incluidos sus
impactos finales.
57
58
La auditora comprende una parte del control de regularidad y de conformidad y
una parte de control de eficacia bajo presupuestos de mejora.
La auditora recoge informacin, pregunta y escucha a fin de analizar y apreciar el
empleo de los recursos y la organizacin puesta en cuestin en relacin a un referencial
que viene dado y que permite conocer a los auditados. El auditor emite su diagnstico y
formula las recomendaciones de mejora de la estructura o de los procesos.
Se rige por normas internacionales.
El auditor ejerce su trabajo con independencia y sus informes sirven de
asesoramiento para mejorar el funcionamiento de la organizacin auditada.
La auditora se ha extendido del dominio financiero a otros campos como la
gestin de riesgos, los procedimientos de control y el management.
Puede ser externa o interna.
El auditor emite su diagnstico y formula las recomendaciones de mejora de
la estructura o de los procesos.
Tratndose de la gestin pblica, los Tribunales de Cuentas e instituciones anlogas
reunidas en el International Organisation of Supreme Audit Institutions (INTOSAI) han
elaborado en 1992 y revisado en 1995 normas que hacen referencia, en particular a la
comparacin con la Comisin europea.
En este marco, el auditor controla y justifica el empleo de los recursos relativos a un
organismo o a un programa.Se extiende al control de eficacia, a la bsqueda de ahorro
as como a proposiciones de mejora de la rentabilidad o del rendimiento.
Por otra parte la Asociacin internacional de auditores internos (Insitute of Internal
Auditors) ha puesto a punto un cdigo deontolgico y normas profesionales. Define la
actividad de sus miembros en el interior de la empresa, del organismo o de la institucin
a la que el auditor pertenece, como una funcin independiente y objetiva de refuerzo y
asesoramiento a fin de aportar un valor aadido y mejorar el funcionamiento de la
organizacin auditada.
La inspeccin: engloba varias actividades, ejercidas separada o simultneamente,
que van del control y la supervisin de actividades reglamentarias hasta el anlisis
y la cualificacin de prcticas individuales o de funcionamiento de sistemas.
La Inspeccin se ejerce, a menudo, por un cuerpo de competencia tcnica
particular o con autoridad especfica, especialmente investido de esta misin.
La inspeccin comprende trabajos de investigacin sobre piezas y sobre
lugar, comprendidos a veces para confirmar o descartar una sospecha seria,
incluso para investigar las pruebas de una anomala grave y poner en
evidencia las responsabilidades. Puede desembocar en la propuesta de una
sancin.
La inspeccin comporta una funcin de expertizaje, de anlisis de prcticas o
de modos de organizacin, con la finalidad de validarlas, sea mejorndolas,
sea valorndolas o promovindolas.
59
La investigacin
La evaluacin difiere de otras modalidades de investigacin social, no tanto en lo
que se refiere a los diseos de investigacin y mtodos de recopilacin de datos
empleados, sino por los problemas que aborda.
Los investigadores pueden indagar por iniciativa propia, sin un cometido
externo particular. Los evaluadores, al contrario, trabajan por encargo y para un
fin prctico inminente.
Los plazos de tiempo, la retroinformacin y la utilizacin de los resultados son
mucho ms cruciales en evaluacin que en la investigacin acadmica.
Diferencia fundamental con evaluacin: el juicio de valor.
La evaluacin se diferencia de las diferentes formas de control (de conformidad y
de anlisis de gestin) por el tipo de punto de vista adoptado para apreciar la accin
pblica. El control y la auditoria se refieren a normas internas al sistema analizado
(reglas contables, jurdicas o normas funcionales), mientras que la evaluacin
ensaya aprehender un punto de vista, principalmente, externo de los efectos y/ o
valor de la accin considerada.
La evaluacin puede, sin embargo, integrar los informes de auditora de
funcionamiento de los servicios encargados de la puesta en marcha o un estudio
sociolgico que tenga el mismo objetivo, en la medida en que este funcionamiento
influya sobre los efectos que se busca medir y explicar. Es preciso recordar tambin
que, contrariamente a ciertas formas de auditoria, la evaluacin no tiene por objeto
llevar a un juicio sobre la manera en la que los agentes individuales, comprendidos
los responsables jerrquicos, realizan su misin.
60
61
62
63
64
La evaluacin
experimental
Se basa en la perspectiva positivista que consiste en aplicar la
Metodologa de las Ciencias naturales a las intervenciones pblicas.
En los planes experimentales se comparan grupos extrados al
azar que tienen caractersticas similares y a uno de ellos se le aplica
la intervencin y al otro no.
El mayor empeo del diseo experimental ser tratar de eliminar
todas las variables que puedan afectar a la validez de los resultados,
ya que la atribucin de los efectos observados como causa de la
intervencin se basar en la hiptesis de que no existen otras causas
posibles imputables que hayan afectado a los resultados.
La evaluacin
pragmtica
Pone el acento, sobre todo, en la utilidad y las constataciones de
la evaluacin que debe ser adaptada a los objetivos y a las prcticas
de los principales decisores: la factibilidad poltica, la oportunidad y
el coste son importantes. Se utiliza, generalmente, como
herramienta de evaluacin de los planes cuasi-experimentales en
los que se enfrentan diferentes explicaciones, posibles resultados,
que se descartan por otros medios que la extraccin al azar, de los
estudios de casos y diversos mtodos descriptivos.
La evaluacin
econmica
Se sita, a menudo, aparte de la evaluacin general. Aplica la
idea dominante de racionalidad econmica.
El anlisis coste-beneficio y las evaluaciones coste-eficacia
figuran entre las herramientas empleadas. Produce informacin
sobre los costes del programa como criterio central de evaluacin.
La evaluacin
naturalista
Rechaza tanto la evaluacin experimental como la evaluacin
econmica, afirmando que la evaluacin se construye socialmente y
cambia por la accin de los individuos. En consecuencia, la
evaluacin no puede aportar respuestas exactas y objetivas, sino
que es, a lo ms, un agente que facilita el consenso entre las partes
implicadas.
Los mtodos empleados, como la Etnografa, los estudios de
Observacin- participante, los Estudios de Casos, se dirigen a
describir y clarificar los valores y presupuestos de las partes
implicadas y prestan ayuda a la negociacin del proceso de
evaluacin.
Adaptado de la Gua de meilleurs pratiques suivre pour l valuation, France,1999
65
66
El tema fundamental que aqu nos ocupa, por lo que a evaluacin se refiere, ha
estado en relacin con las ltimas dos vas de acceso a la realidad: la cuantitativa y
la cualitativa que se corresponde con los mtodos inductivos y deductivos.
El debate sobre investigacin cualitativa y cuantitativa ha hecho correr mucha
tinta y se ha ligado a paradigmas enfrentados. Cada uno de estos tipos
metodolgicos tiene sus partidarios que, normalmente, son detractores de los otros
mtodos.
o El paradigma cuantitativo se caracterizara por una concepcin global
asentada en el positivismo lgico, el uso del mtodo hipottico deductivo, su
carcter particularista, orientado a los resultados. El supuesto de la
objetividad se correspondera con las ciencias naturales.
o El paradigma cualitativo asume una postura fenomenolgica global,
inductiva, estructuralista, subjetiva, orientada al proceso y propia de todas las
disciplinas que tienen como tema de estudio la dimensin psicosocial de lo
humano.
La investigacin cualitativa se basa, por su parte, en hallar respuestas a
preguntas que se centran en la experiencia social, y en cmo se crea y cmo
se da significado a la vida humana (Denzing y Lincoln).
Para Strauss la diferencia fundamental entre ambos tipos es que la investigacin
cuantitativa se centra en el estudio de las relaciones entre variables cuantificadas,
mientras que la investigacin cualitativa lo hace en contextos estructurales y
situacionales.
Lincoln y Guba llegan a hablar de posturas ontolgicas distintas entre ambos
tipos metodolgicos. A veces este debate entra de lleno en el terreno de las
mistificaciones: La investigacin cualitativa es no cientfica, subjetiva, de generalidad
limitada y basada en tcnicas blandas, dicen unos. La investigacin cuantitativa es
superficial, extraada de la realidad, sometida a un empirismo estril, y basada en
tcnicas duras, dicen los otros.
Las discusiones no slo se centran en la superioridad o no de unas tcnicas sobre
otras, sino, en la presunta radicalidad distinta de ambas metodologas. Segn esto,
no se tratara de una simple eleccin de tcnicas, sino de la adhesin a posturas
paradigmticas distintas.
Esta tensin guarda relacin con el desarrollo histrico de las ciencias sociales y
el advenimiento de la modernidad. En pleno enfrentamiento moderno / postmoderno
la actitud del debate en evaluacin no es ms que el reflejo de una posicin ante el
mundo que asume la explicacin de ciertos hechos y la necesidad de comprehensin
que defienden otros.
Los que ven el debate en trminos de contraste entre paradigmas proporcionan
una lista de atributos para distinguir las concepciones globales, cualitativas y
cuantitativas.
67
68
69
70
EVALUACIN DE POLTICAS PBLICAS
CONCEPTOS BSICOS DE
SEGUNDA PARTE
71
72
73
DEFINICIONES DE EVALUACIN
o Pluralidad de usos. Un concepto imn que atrae las ms diversas
acepciones.
La evaluacin ha atrado sobre s significados tan distintos que algunos autores
la consideran un imn semntico (Vedung, 1996). La evaluacin es una palabra
elstica que se estira para abarcar juicios de muy distinto tipo (Carol Weiss,
Evaluation Research, 1972).
En el campo del sector pblico la evaluacin ha llegado a identificarse
prcticamente con cualquier esfuerzo de racionalidad y reflexin sistemtica,
confundindose, a menudo, con otras tcnicas gerenciales consideradas afines, pero
de naturaleza bien distinta como el seguimiento, el control y la auditora.
Existen numerosas definiciones de la evaluacin que engloban finalidades
distintas: cognoscitivas, normativas e instrumentales.
La evaluacin es un continuum de prcticas que implican la recogida y
tratamiento de informaciones sobre la accin pblica (qu es lo que pasa?),
sobre preocupaciones normativas (se ha hecho bien?), y sobre
preocupaciones instrumentales (cmo hacerlo mejor?), ligadas al buen
funcionamiento de las administraciones y servicios pblicos.
Nos encontramos ante un concepto variable, polivalente y dinmico que se ha ido
modificando en funcin de la propia evolucin de la disciplina y las experiencias
evaluadoras, as como de los diversos enfoques profesionales y sus usos:
Uso para los gerentes pblicos: mejora y eficacia organizacional.
Uso poltico: responsabilidad y transparencia gubernamental.
Uso acadmico, ligado estrechamente a la investigacin social
aplicada.
Entre el abundante nmero de definiciones podemos destacar algunas
caractersticas esenciales: las que distinguen entre programas y polticas pblicas y
las que oscilan entre dos verbos: medir y valorar. A poco que se estudie la evolucin
de las definiciones sobre evaluacin observaremos esta oscilacin que trata de
incluir o excluir el juicio de valor.
Algunas definiciones excluyen la dimensin del juicio valorativo y limitan la
evaluacin a la medida de la intervencin de los resultados. Otras definiciones ms
restrictivas limitan la evaluacin a la estimacin ex post de los resultados.
o La importancia de las definiciones.
Existe un gran nmero de definiciones de evaluacin que ilustran el propio
proceso evolutivo de esta prctica. Cada una de ellas incide en un aspecto u otro
segn el paradigma que asuma, las perspectivas a las que se ligue y la utilidad.
74
Algunas de estas definiciones han quedado demasiado reducidas con el tiempo, otras
apuntan a aspectos interesantes para el futuro sin llegar a convencer a todos. La
mayora se sitan dentro del campo de la evaluacin de programas ms que de
polticas pblicas.
Se aporta una seleccin que ilustra algunos de los aspectos que el evaluador
deber tener en consideracin.
1950. Tyler: (Desde la perspectiva educativa) seala que la evaluacin de programas
es el proceso de determinar en qu medida los objetivos de un programa se han alcanzado.
Centrada en los objetivos. Responde a la pregunta Qu evaluar?
1967. Scriven: Evaluar supone la estimacin del mrito de un objeto.
Sucinta definicin que tiene el mrito de captar el significado bsico y natural del
trmino: diferenciar lo valioso de lo que no lo es. Deja sin aclarar tres extremos: Qu
supone mrito o valor, cmo habra de realizarse la estimacin y para qu habra de
hacerse?
1971. Franco: Evaluar es fijar el valor de una cosa, y para hacerlo se requiere de un
procedimiento mediante el cual se compara aquello a evaluar respecto de un criterio o patrn
determinado.
Introduce importantes novedades respecto a las anteriores: Cmo hacerlo y en base a
qu criterios de valor?
1972. Ban: Evaluar es formar un juicio acerca de una accin o de la concatenacin
de acciones para establecer si su concepcin y desarrollo corresponden a los objetivos
deseados. La evaluacin en el mbito pblico, implica la aplicacin de procedimientos
sistemticos y rigurosos de recogida de datos y de anlisis, pero diferencindose de sta en
que debe emitirse un juicio de valor sobre el objeto que se est evaluando, bien sea un
programa, una poltica determinada, una organizacin, sin olvidarnos que se pone especial
nfasis en los resultados y en la participacin de las partes interesadas.
Tiene en cuenta el continuum de la accin, el mtodo, el juicio de valor, los
diferentes objetos de estudio, el nfasis en los resultados y la consideracin de la
participacin de los actores implicados.
1980. Rutman: Supone el uso del mtodo cientfico en la medida de la implementacin
y de los resultados de polticas y programas.
Reconocimiento del mtodo cientfico en la gestin de resultados. No considera su
aplicacin en la fase de planificacin. Finalidad gerencial.
1982. Weiss: Evaluar es comparar los efectos de un programa con las metas que se
propuso alcanzar a fin de contribuir a la toma de decisiones subsiguientes acerca del mismo
y para mejorar as la programacin futura. Utilidad estratgica para los decisores
pblicos.
1987. Stufflebeam y Shinkfield: Recoger y analizar sistemticamente una informacin
que nos permita determinar el valor o mrito de algo.
Aade a la definicin de Scriven la sistematizacin en la recogida de
informacin.
1994. Valadez y Mamberger (Manual del Instituto de Desarrollo Econmico
Banco Mundial):
La evaluacin es una actividad gerencial externa y/o interna que analiza las relaciones
de los procesos y recursos con los resultados e impactos. Novedad: la referencia a
procesos e impactos. Funcin gerencial.
75
76
77
78
BASE DEL TRABAJO DE EVALUACIN
Dos modos de investigacin: anlisis terico y anlisis emprico.
Anlisis de la lgica de la intervencin que tiene por pretensin
profundizar en los fundamentos de la intervencin y constatar los resultados
que tena previstos a fin de contrastarlos con la situacin actual
Un sistema de razonamiento lgico basado en interrogantes e
hiptesis que nos ir proporcionando mayor conocimiento de la intervencin
con el fin de constatar las desviaciones que se hayan producido y los
resultados actuales.
Definicin de criterios de valor e indicadores que midan los
objetivos.
Para establecer un juicio de valor sobre la intervencin evaluada se
debern establecer unos referentes, asimismo las cuestiones que se quieran
explorar debern traducirse en indicadores para que puedan medirse.
Negociacin con los principales actores implicados para validar los
criterios de valor y las necesidades informativas que requieran de la
evaluacin.
Seleccin de metodologa y herramientas. Estos aspectos debern
ponderarse en relacin con el objeto de estudio, tiempos de entrega de la
evaluacin y recursos.
Observacin in situ. Es el conocido trabajo de campo en el que los
evaluadores, frente al trabajo de estudio que pueden realizar en el despacho,
deben conocer la intervencin en su lugar de origen y, de ser preciso, en su
desarrollo da a da.
Recopilacin rigurosa y sistemtica de los datos y su
tratamiento sometidos a criterios de validez. Esta es una fase que debe
llevarse a cabo con el mayor cuidado para que la informacin recogida tenga
validez y proporcione credibilidad.
Anlisis e interpretacin de datos. Esta fase permite analizar,
contrastar los datos con otros trabajos e interpretar que no manipular- los
datos obtenidos en relacin a la bsqueda que se plantea la evaluacin.
Redaccin de conclusiones y recomendaciones. En funcin de todo
lo anterior, se redactarn las conclusiones y, bien con trabajos comparativos o
con la mayor capacitacin de los evaluadores, se propondrn las
recomendaciones que sean ms viables.
79
80
ANLISIS EMPRICO ANLISIS TERICO
OBSERVACIN
IN SITU
DE ACTIVIDADES DE
LA INTERVENCIN
ESTRUCTURA
TERICA DE
LA INTERVENCIN
LAS PREGUNTAS EN EVALUACIN
Esta forma de razonamiento acta como un sistema circulatorio que da vida a
todo el proceso de evaluacin. Se trata de concretar el problema a evaluar hasta
hacerlo manejable. Y esto slo se hace a travs de la especificacin de las
preguntas.
La pregunta se configura como la unidad bsica de la investigacin.
... Necesitamos una pregunta o preguntas que nos den libertad y
flexibilidad para explorar el fenmeno a evaluar en profundidad. esta
amplitud de la pregunta o preguntas iniciales va a ir focalizndose a lo
largo del proceso de investigacin / evaluacin al ir descubriendo la
relevancia o irrelevancia de los conceptos y sus relaciones... (Straus y
Corbin, 1990).
o Las necesidades informativas de los actores clave.
Es cierto que las preguntas del evaluador son importantes, sin
embargo, tambin es evidente que no bastan si no se escucha a los
grupos de inters implicados en el proceso, a fin de realizar una
evaluacin que les sea til.
La evaluacin satisface necesidades de informacin de diferentes
actores y esas necesidades han de tener cabida en el diseo a travs de
la formulacin, con mayor o menor precisin, de las pretensiones de los
interesados. Ser labor del evaluador clarificar lo que pretenden las
partes interesadas.
La operativizacin de las preguntas en indicadores ser objeto de una prxima
gua ms detallada.
El sistema con el que se ir creando la estructura lgica de la
evaluacin se basar en una serie de interrogantes e hiptesis que
permitirn hacer operativa la puesta en marcha de una evaluacin.
81
EL JUICIO DE VALOR
Sin juicio de valor no hay evaluacin.
Cualquiera de las definiciones de evaluacin tanto en espaol como en otras
lenguas nos pone frente a su problema medular: el establecimiento de juicios de
valor, que marcar los distintos enfoques evaluativos.
La evaluacin tiene por finalidad contribuir a la elaboracin de un juicio de valor
para ayudar a la toma de una decisin, mejorar la puesta en marcha de una poltica
o el funcionamiento de un servicio.
El elemento de valor es esencial para la prctica y teora de la
evaluacin porque es lo que radicalmente distingue la evaluacin de la
investigacin (Alvira,1993).
El juicio de valor est en relacin directa con los criterios que se hayan
establecido.
En los comienzos de la prctica evaluadora se trat de soslayar la cuestin de los
valores. No se mencionaban ni explcita ni implcitamente, al contrario, se pretendi
encuadrar la evaluacin en prcticas cientficas consideradas ms objetivas,
vacindola de contenidos de valor. Alvira sostiene que este ocultamiento carece de
fundamento, porque, ante todo, evaluar es valorar algo tomando como referencia
uno o varios valores.
A partir de los aos 80/90 surge una mayor conciencia respecto a la necesidad de
explicitar los valores de forma clara. En esos aos, surgi tambin una concepcin
ms plural y participativa de la evaluacin, en la que quienes encargan la evaluacin
participan en los criterios de valor adjudicando al evaluador un papel menos
dominante. La lgica de los actores polticos y tcnicos impuso una perspectiva de
valores tecnocrticos que, todava hoy, domina muchas de las grandes instituciones.
Convendra tener presente, recuerda Alvira, en relacin con Scriven, que el valor
ltimo con el que enjuiciar un programa o poltica debe ser la satisfaccin de las
necesidades de los ciudadanos, aadiramos que siempre que ello no lesione
ningn principio democrtico.
En cualquier caso, los problemas sobre los que se acta en programas o polticas
pblicas slo se transforman en problemas sociales cuando intervienen los valores
de las personas o grupos que as lo definen y el Estado garantiza que se cumplen las
reglas del juego democrtico sin desequilibrios.
Por lo que se refiere a la evaluacin, los valores, no son entelequias de carcter
abstracto o de direccin moral o partidista, los valores se entrelazan con todo el
proceso evaluador condicionando las preguntas, el tipo de evaluacin que se va a
elegir y la metodologa a aplicar. Slo as, los juicios de valor a los que se llega en la
evaluacin podrn ser percibidos por todos como fundados sobre argumentos
legtimos.
TIPOLOGAS
82
83
84
puedan ser evaluados de esta forma tendr por tanto que cubrirse recurriendo a
otras formas alternativas de evaluacin.
LA EVALUACIN NATURALISTA / PLURALISTA O PARTICIPATIVA
Guba y Lincoln, (1987) formularon la alternativa ms radical al paradigma
clsico.
Para Guba y Lincoln no es posible la objetivad porque cualquier anlisis implica
que el observador interacta con lo observado. Para estos autores los conceptos de
causalidad, validez interna y validez externa, prestados de la investigacin bsica,
no son trasladables a la evaluacin (Mc Kelly, 1987).
Mc Kelly (1987) define la estrategia naturalista, por oposicin a la cientfica
clsica, en los siguientes trminos:
La evaluacin naturalista o pluralista, reconoce la pluralidad de sistemas de
valores que coexisten en el seno de la sociedad. El exponente ms destacado en
Europa es el francs Eric Monnier.
La premisa terica en la que se fundamenta el modelo pluralista de evaluacin es
que existe una diversidad de percepciones sobre los criterios evaluativos que deben
aplicarse en relacin con un programa especfico, y que lo importante no es tanto
desarrollar medidas objetivas de resultado como facilitar un amplio dilogo entre los
defensores de los criterios diversos.
La evaluacin pluralista representa el reconocimiento de la naturaleza poltica de
la evaluacin. A diferencia de la concepcin racionalista-cientfica este modelo
rechaza la idea de evaluacin imparcial y objetiva de los resultados de un programa,
para centrarse en la importancia de los valores y de las opiniones de la pluralidad de
actores que tienen que ver con l.
Respecto al reconocimiento de la naturaleza poltica de la evaluacin no se refiere
al plano meramente partidista, sino que supone concebir la evaluacin enraizada en
el complejo proceso democrtico de toma de decisiones.
En este sentido Weiss seala: En la medida que la evaluacin pluralista legitima
la diversidad de intereses presentes, reconoce la multiplicidad de perspectivas que
Utiliza personas como instrumentos de recogida de datos ms que instrumentos de
sondeo: utiliza el conocimiento intuitivo, con el objeto de reflejar de forma ms adecuada
el sistema de valores del investigador; utiliza metodologas cualitativas ms que
cuantitativas, muestreos selectivos ms que muestras aleatorias y representativas, lleva a
cabo anlisis de datos de carcter inductivo, utiliza teoras bien establecidas y no hiptesis
supuestamente sustantivas... (McKelly, 1987).
La evaluacin pluralista se caracteriza por:
1. Reconocimiento del carcter poltico de la evaluacin y servir a las decisiones
polticas.
2. Abrir el proceso evaluador a mltiples actores, con intereses y perspectivas diversos.
3. Aplicar una diversidad de enfoques evaluativos segn situaciones especficas en
funcin de la finalidad del programa.
4. Producir conclusiones que buscan la utilidad para los actores.
5. El papel del evaluador como mediador.
85
86
87
88
EN FUNCION DE LA PERSPECTIVA TEMPORAL
Este criterio hace referencia al momento en que se va a llevar a cabo la
evaluacin en relacin con la aplicacin o puesta en marcha del programa. Es
posible distinguir:
Evaluacin ex ante
Evaluacin intermedia
Evaluacin ex post
o LA EVALUACIN EX ANTE
Se realiza antes de ejecutar el plan, programa o poltica pblica, siendo el
objetivo principal de la evaluacin analizar y determinar la adecuacin de la
intervencin a las necesidades que lo motivan y sus posibilidades de xito.
Pretende garantizar a priori que el programa o poltica pblica, tal y como ha sido
concebido, conseguir los objetivos de la planificacin.
La evaluacin ex ante es el ideal de una cultura que ha implantado con xito la
evaluacin en el anlisis de las polticas pblicas con un sentido holstico desde el
inicio del proceso de planificacin y no slo al final, cuando el programa o la
poltica est dando los resultados.
En la evaluacin ex ante cabe hacer todo tipo de evaluacin de contenido:
necesidades, teora del programa, cobertura, efectos de la implantacin,
previsibles resultados e impacto.
o LA EVALUACIN INTRA o INTERMEDIA
Se lleva a cabo a medio camino entre el inicio del anlisis de las polticas
pblicas y el final de la implementacin cuando empiezan a producirse los
resultados. Esta evaluacin intermedia consiste en el anlisis crtico del conjunto
de datos recogidos sobre la intervencin y en la medicin de la forma en la que los
objetivos perseguidos estn siendo alcanzados, explicando las diferencias y
estimando anticipadamente los resultados finales de la intervencin. Las
evaluaciones intermedias aportan datos sobre la validez de la intervencin en
curso, la pertinencia de los objetivos considerados y la calidad del sistema de
gestin y seguimiento de la poltica o programa. Su objetivo principal es obtener
una informacin relevante y precisa que permita introducir las modificaciones
necesarias en el diseo o en la ejecucin de la intervencin.
Los sistemas de seguimiento son elementos inapreciables en la evaluacin de
implementacin, pero no deben confundirse con la evaluacin de implementacin
cuyo anlisis es algo mucho ms amplio y profundo. Se trata de una recogida de
informacin que analiza, tanto los propios sistemas de seguimiento y sus
indicadores como los procesos, las administraciones responsables del programa,
los recursos humanos o financieros, los posibles fallos organizativos o de gestin
en la calidad de los servicios y en la consecucin de los objetivos finales, a fin de
corregir sobre la marcha efectos adversos y desviaciones de la intervencin.
89
o LA EVALUACIN EX POST
Se realiza una vez finalizada la intervencin. Permite enjuiciar su xito, el
acierto de la estrategia diseada en el mismo, su grado de flexibilidad y
capacidad de adaptacin a una realidad siempre cambiante, su eficacia y
eficiencia y la adecuacin de los mecanismos de gestin y seguimiento previstos.
Tanto en la evaluacin ex post como en la evaluacin ex ante cabe hacer todo
tipo de evaluacin de contenido (cobertura, teora de la poltica o programa,
implementacin, impacto), la diferencia es que en este caso ya hay resultados a
examinar y que la lgica del trabajo evaluativo ser de abajo arriba, tratando de
averiguar, a travs de los resultados, la lgica y conceptualizacin de la
intervencin pblica y las desviaciones que se hayan producido.
EN CUANTO A LOS EVALUADORES
Evaluacin interna
Evaluacin externa
Evaluacin mixta
La distincin entre evaluacin interna y externa se refiere a las personas
encargadas de realizar la evaluacin y plantea un problema clsico de organizacin,
esto es, quin debe ser el evaluador?: personal del programa, una Agencia
administrativa especialista en evaluacin, evaluadores externos: universidades,
consultores?
o EVALUACIN INTERNA / EVALUACIN EXTERNA / EVALUACIN MIXTA
La evaluacin puede realizarse internamente (autoevaluacin), o externamente,
por especialistas externos contratados por la Administracin.
Frente a la objetividad e independencia que se reclama para la evaluacin
externa si bien no justificada-, la evaluacin interna presenta como ventajas la
mayor familiarizacin con el mbito administrativo y con la intervencin y por tanto
un mayor conocimiento de sus mecanismos de gestin y ejecucin. Tanto la
evaluacin interna como la externa presentan ventajas e inconvenientes, de ah que
lo ms recomendable sea la creacin de equipos de evaluacin mixtos, formados por
personal ajeno al programa y por algunos responsables de su gestin y ejecucin.
EVALUACIN SEGN CONTENIDO
6
En la evaluacin de programas de intervencin social, la fase en la que se
encuentre el programa o poltica pblica condiciona el tipo de evaluacin a realizar,
siendo, por tanto, uno de los posibles criterios para elegir la tipologa. Otros autores
prefieren hablar de contenidos.
Alvira recomienda seguir un criterio analtico/lgico en la eleccin de la tipologa
y distingue una serie de tipos de evaluacin que considera guardan cierta relacin
jerrquica:
En cuanto a la evaluacin de cobertura, el propio Alvira la incluye en la de implementacin.
Y respecto a la evaluacin de proceso, a menudo se identifica con la de implementacin.
(*) En la actualidad, no se considera el seguimiento y monitoreo una evaluacin. Sin embargo, es
muy comn encontrarlos asociados, especialmente, en Latinoamrica.
Evaluacin de necesidades.
Evaluacin del diseo/conceptualizacin del programa.
Evaluacin de la evaluabilidad.
Evaluacin de implementacin/proceso.
Evaluacin de seguimiento.
(*)
Evaluacin de la cobertura.
Evaluacin de resultados.
Evaluacin de impacto.
Evaluacin econmica.
El tipo de evaluacin condicionar el encadenamiento de preguntas que tratarn
de informarnos sobre la realidad del programa y que sern distintas en cada fase.
Cuando la intervencin lleva tiempo funcionando lo lgico sera centrarse en
la evaluacin de resultados, impacto, econmica, cabra tambin aplicar a su
estudio una evaluacin de seguimiento o monitoreo.
Etapa de planificacin de la intervencin, la evaluacin de necesidades y el
anlisis evaluativo de la conceptualizacin y diseo constituyen el eje de las
posibles evaluaciones.
Etapa de puesta en marcha. Una vez que est en funcionamiento la
intervencin, la evaluacin ms adecuada sera la de implementacin y la de
cobertura, cabra tambin elegir cualquier tipo de seguimiento de la
intervencin (aunque no lo consideramos estrictamente evaluacin). Si hay
clara constatacin de resultados podramos aplicar la evaluacin de resultados
y la evaluacin econmica.
6
Alvira habla de Fases. Pero no deben tomarse como necesariamente sucesivas, se pueden
evaluar aisladamente. Slo se seguira una lgica sucesiva en el supuesto de una evaluacin integral.
90
EVALUACIN DE NECESIDADES
La evaluacin de diagnstico de necesidades es el primer paso racional en el
desarrollo de un programa o intervencin.
Tiene como objetivo analizar las caractersticas esenciales del problema que la
intervencin quiere solucionar y su importancia.
PROCESO DE ANLISIS DEL PROBLEMA, DIAGNSTICO DE NECESIDADES
Y ELECCIN DE ESTRATEGIA DE INTERVENCIN
Alvira, 1992
91
PROBLEMA
SOCIAL
NECESIDADES
SOCIALES
SELECCIN DE
ESTRATEGIAS DE
INTERVENCIN:
POLTICA / PROGR.
HIPTESIS SOBRE
ETIOLOGA DEL
PROBLEMA
EVALUACIN DE
DIAGNSTICO O
NECESIDADES
CONDICIONES
SOCIALES O
HECHOS
VALORES
SOCIALES
EVALUACIN DE LA CONCEPTUALIZACIN O DEL DISEO DE LAS
INTERVENCIONES
La evaluacin de la conceptualizacin y del diseo de las polticas pblicas y
programas intenta proporcionar informacin, primero, sobre el problema
(necesidades detectadas) del que se ocupa o se debera ocupar la poltica o
programa, segundo, sobre el proceso de formulacin y diseo de la intervencin, y
tercero, sobre la racionalidad intrnseca de la misma, es decir, hasta qu punto el
diseo de la intervencin sirve a sus objetivos (Rossi y Freeman, 1985).
Es evidente que el diseo de una intervencin pblica no es algo que competa a
los evaluadores, salvo que el planificador requiera su asesoramiento para evaluar
posteriormente, en cualquier caso, el evaluador puede sealar en sus trabajos
problemas conceptuales o de diseo preexistentes, mediante un anlisis lgico del
programa en relacin al problema que quiere solucionar.
El tema clave es la existencia o no de un modelo de intervencin suficientemente
contrastado que permita suponer que se lograrn los resultados previstos.
El anlisis evaluativo se centrar en:
La poblacin objeto y los posibles problemas de cobertura.
La articulacin objetivos - medidas.
EVALUACIN DE EVALUABILIDAD
S. Wholey (1981) plante hace ya aos la necesidad de evaluar la evaluabilidad
de un programa como paso previo formalizado que evite gastos y esfuerzos
innecesarios. La experiencia evaluadora de otros pases ha puesto de relieve que
ms del 50% de los programas no son evaluables por tener problemas de
especificacin de objetivos, problemas de implementacin, problemas de aplicacin
de un conjunto coherente de actividades o todo ello conjuntamente. Esto hace que la
evaluabilidad no sea slo una herramienta operativa, inapreciable en la evaluacin
de programas, sino una tipologa esencial en la planificacin estratgica de la
evaluacin de polticas pblicas.
La evaluabilidad es un tipo de evaluacin de caractersticas particulares que se
aplica previamente a una evaluacin de gran envergadura para determinar si la
intervencin es evaluable, es decir, si sera eficaz evaluar en relacin a los
resultados que se prev obtener, si sera eficiente, en cuanto a los recursos
necesarios para obtener esos resultados y si sera viable respecto a los obstculos
detectados.
La evaluacin de evaluabilidad es una fase previa a la puesta en marcha de una
evaluacin de gran envergadura que se centra en comprobar y valorar todo aquello
que es medible e importante antes de iniciar una evaluacin ms profunda. Y se
trata de una evaluacin ex post respecto a la intervencin, no de una evaluacin ex
ante.
CARACTERSTICAS DE LA EVALUABILIDAD
Resulta de gran eficacia para las Agencias evaluadoras, proponiendo los focos
ms tcticos para la planificacin
7
en evaluacin.
Saca a la luz la calidad de la conceptualizacin del programa en la fase de
planificacin, analizando su diseo, necesidades y objetivos.
Cuanto mayor rigor haya observado el diseador del programa en la fase de
planificacin ms fcil ser comprobar su evaluabilidad.
Responde a una lgica sistemtica de abajo arriba, que a travs de relaciones de
causalidad ir reconstruyendo un proceso desde las acciones concretas del
programa y sus resultados hasta su fundamento y objetivos especficos.
Verifica la existencia y la accesibilidad a la informacin necesaria, en calidad y
cantidad, que permitira llevar a cabo la evaluacin. Si no hay datos suficientes o
los que hay no resultan relevantes la evaluabilidad desaconsejar la evaluacin.
Informa sobre la implicacin y disposicin del entorno gestor y responsable frente a
la posible evaluacin, constatando sus resistencias o colaboracin. En definitiva,
uno de los objetivos perseguidos con el anlisis de evaluabilidad es crear un clima
favorable, de cooperacin e interaccin entre evaluados y evaluadores para
facilitar la evaluacin.
Analiza la dotacin de recursos con los que se cuenta para la evaluacin.
Su pronstico puede realizarse en un tiempo relativamente corto.
Puede alcanzar una amplia utilizacin.
7
Paraunmayordetallesobreestatipologa,ver:Laevaluabilidad:deinstrumentodegestinaherramienta
estratgicaenlaevaluacindepolticaspblicas.PapelesdeEvaluacin7,ColeccindeAEVAL,2007Disponibleen
versinelectrnica:http://www.aeval.es
92
EVALUACION DE LA IMPLEMENTACION / EVALUACIN DE PROCESO
Uno de los aspectos claves de una intervencin pblica es su ejecucin o puesta
en marcha. Un programa o poltica pueden no conseguir los efectos deseados debido
a que la puesta en marcha no funciona tal y como se haba planeado. En esto
consistir la evaluacin de implementacin o de proceso, en la valoracin de una
forma sistemtica y peridica de dos cuestiones fundamentales:
o La cobertura de la intervencin, es decir, hasta qu punto el programa o poltica
est alcanzando la poblacin o el rea a los que se dirige.
o La forma en que la intervencin se administra, tanto desde el punto de vista de la
utilizacin de los recursos de que dispone, como de los servicios finalmente
distribuidos (Rossi y Freeman, 1985).
La primera cuestin a precisar es terminolgica, ya que la mayor parte de las
veces evaluacin de implementacin y evaluacin de proceso se usan
indistintamente. No obstante, Alvira en su modelo jerarquizado las considera por
separado y en vista a que hemos seguido su propuesta mantenemos la diferencia,
aunque reconocemos que a menudo se solapan. En todo caso la categora superior
sera evaluacin de implementacin, que englobara otras subcategoras.
Rossi y Freeman incluyen en la evaluacin de implementacin tambin la de
cobertura. En el escalograma de Alvira aparecen separadas, aunque cada vez ms,
los evaluadores incluyen el anlisis de la cobertura y el de la calidad del proceso en
la evaluacin de implementacin.
Slo interesa resaltar aqu que una evaluacin de implementacin puede
contener diferentes anlisis en funcin de lo que hayan solicitado las partes
interesadas, pudiendo optarse tambin por hacer cualquiera de las evaluaciones por
separado dependiendo de lo que se quiera averiguar.
FASE de IMPLEMENTACION
93
Monitoreo
y Seguimiento
(no se considera
una evaluacin)
Ev. de Cobertura
Ev. de Proceso
Ev. Desempeo/
Ev. Esfuerzo
Ev. de calidad de la
atencin.
Ev. Productos o
Resultados Intermedios
Ev. IMPLEMENTACION
Mayor inters puede tener otra cuestin, sta de tipo conceptual, sobre la que
llama la atencin la profesora Bustelo, compartida tambin por Alvira: Para realizar
una buena evaluacin de implementacin hay que identificar e investigar la Teora
94
95
impactos, sin duda los que afecten a la poblacin en general, pero, tambin, los que
afecten a la propia poblacin objeto de estudio que excedan los resultados previstos.
Lo aclara an ms el mismo autor: La evaluacin de impacto abarca todos los
efectos de la planificacin y ejecucin: especficos y globales, buscados (segn los
objetivos) o no; positivos, negativos o neutros; directos o indirectos.
Se tratar de ilustrar con un ejemplo una cuestin que suscita tantas
confusiones. En el caso de intervenciones para la incorporacin de jvenes
discapacitados al mundo laboral con un porcentaje limitado de discapacidad y por un
tiempo definido, se disea una intervencin con bonificaciones a las empresas. El
resultado es que aumenta el nmero de discapacitados contratados en esas
condiciones (Resultados positivos deseados), pero se observa que la mayora de los
discapacitados son fsicos y de un tipo de discapacidad (resultados no deseados en
la poblacin diana). Se constata, adems, que pasado el tiempo establecido en el
contrato no se produce integracin total de los discapacitados, pasando sus
contratos a indefinidos (impacto en la poblacin diana). Aadindose el hecho de
que han descendido en la zona las contrataciones a jvenes sin discapacidad
(impactos en la sociedad) porque los empresas buscan el beneficio de la
contratacin bonificada. Todo lo producido podramos considerarlo efectos de la
intervencin a tener en cuenta para el rediseo.
UTILIDAD DE LA EVALUACIN DE IMPACTO
Registrar y analizar todas las experiencias (positivas y negativas), mediante la
comparacin en el grupo de control, sistematizndolas.
Evaluar el contexto socioeconmico y poltico en que se da la experiencia.
Identificar a los actores involucrados y su peso especfico en los resultados.
Estudiar la articulacin interinstitucional y la pblico-privada.
Ofrecer estudios de coste-beneficio.
Aprender sobre los procesos de gestin de la intervencin.
Informar a los responsables para la toma de decisiones sobre las futuras
intervenciones. Esta retroalimentacin promueve el reforzamiento institucional.
Permite:
EVALUACIN ECONMICA
El conocimiento de la eficacia o impacto de una intervencin puede ser
insuficiente. A menudo, el impacto de una intervencin deber ser juzgado en
funcin de su coste ya que puede ocurrir perfectamente que un determinado
programa est produciendo unos resultados escasos para los costes en que ha
incurrido. Ello supone incluir el anlisis coste-eficacia o efectividad, el anlisis coste-
beneficio y el anlisis coste-utilidad dentro del mbito de la evaluacin. Estos
requieren una evaluacin de impacto previa, para determinar los beneficios causados
realmente por la intervencin.
La identificacin, cuantificacin y transformacin a una unidad comn de medida
de los costes y beneficios puede resultar problemtica cuando se trata de
96
97
intervenciones sociales, ya que no todos los outputs e inputs pueden ser valorados
en trminos monetaristas, cuestin que tiene mucho que ver con los criterios de
valor en las intervenciones pblicas.
LA METAEVALUACIN
Consiste en el anlisis de los resultados de varias evaluaciones. Proporciona, por
tanto, informacin sinttica sobre el conocimiento existente en relacin con una
determinada poltica o programa pblico. Lgicamente, este tipo de anlisis slo es
posible cuando un nmero considerable de evaluaciones han sido realizadas y
publicadas en relacin con una determinada poltica. Entonces, el examen
sistemtico del conjunto de las evaluaciones, desde una perspectiva ms general,
puede proporcionar ms y mejor informacin que un nuevo estudio de
caractersticas parecidas a los realizados anteriormente.
A veces, la metaevaluacin consiste en repetir un estudio acabado, reanalizando
los datos en que se basa o incorporando ms datos sobre el mismo programa
(Hudson y McRoberts, 1984). Otra forma de hacer metaevaluaciones consiste en la
revisin de tipo ms amplio de la investigacin evaluativa desarrollada en un
determinado perodo.
La evaluacin de las evaluaciones, como podra describirse la metaevaluacin,
no est exenta de las complicaciones que derivan de las diferencias existentes entre
proyectos individuales en cuanto a las metodologas empleadas, el tipo de datos
utilizados, o la perspectiva poltica desde la que se llevaron a cabo. Parece
razonable, sin embargo, recurrir a la informacin agregada y sinttica de las
metaevaluaciones para justificar decisiones polticas, cuando esto sea posible, y en
la medida que la evidencia emprica acumulada indique claramente un curso de
accin.
EL DISEO DE LA EVALUACIN
Qu se entiende por diseo de la evaluacin?
Una definicin amplia del trmino diseo lo relaciona con bosquejo del conjunto
de los componentes (tema, problema, objetivos, metodologa, tcnicas...) que
permiten al investigador o al evaluador anticipar -mediante una representacin
organizada del punto de partida- el inicio de la construccin del objeto en proceso de
estudio. De este modo, la nocin de diseo es asimilada o se confunde con la de
proyecto de investigacin en su conjunto, sin que el proyecto quede necesariamente
circunscrito a una fase inicial del proceso de investigacin.
En la otra punta del arco, una acepcin restringida define el diseo como la
opcin tcnica adecuada a un determinado tipo de problema de investigacin y
entiende el diseo como un dispositivo exclusivamente tcnico.
Habra que advertir de el abuso y consiguiente desgaste del trmino diseo, al
cual se le atribuyen contenidos de muy variada naturaleza, como se pone de
manifiesto al realizar una revisin sobre la cuestin (Garca Ramos, 1992).
Pero, no debemos olvidar que el verbo disear pone el nfasis en la dimensin
estratgica del proceso de investigacin o evaluacin destacando su referencia
anticipadora de aquello que se quiere conseguir y no slo los medios para lograrlo.
El diseo equivale a realizar con el mayor detalle las distintas tareas que
deben ser llevadas a cabo en el anlisis y valoracin final que supone toda
evaluacin. El diseo ha de partir de una formulacin clara de los obj etivos
que se pretenden lograr, y ha de contener informacin precisa sobre los
insumos que van a ser utilizados; las actividades a realizar y los resultados
que se prevn para la consecucin de esos obj etivos. ( Amescua, C. y
Jimnez, A., 1996)
Para completar esta aproximacin al concepto de diseo en su perspectiva ms
amplia, que es la que aqu interesa, se tendr en cuenta la nocin que aporta Valles:
Disear significa, ante todo, tomar decisiones a lo largo de todo el proceso de
evaluacin y sobre todas las fases o pasos que conlleva dicho proceso (Valles,
2003).
Algunas de estas decisiones se tomarn al inicio, mientras se va perfilando el
problema a investigar y se delimitan los casos, el tiempo y el contexto del estudio,
otras irn surgiendo sobre la marcha, y las ltimas llegarn en el momento de
decidir cmo presentar las conclusiones.
Cada una de estas circunstancias concretas deber resolverse por el evaluador
con particulares estrategias. Esa combinatoria que tiene el diseo de componentes
98
99
100
explicacin del fenmeno que sea consecuente con su aparicin. (Erlandson et al,
1993)
Patton (1990) tambin transmite el mensaje de que los diseos cualitativos
siguen siendo emergentes incluso despus de que comienza la recogida de datos.
Pero matiza, el grado de flexibilidad y apertura es, sin embargo, un asunto de gran
variacin entre diseos.
Simplificando, existiran dos tipos extremos de diseos en investigacin
sociolgica: el emergente y el proyectado. Los primeros surgen segn avanza el
estudio, los segundos se proyectan de antemano por el evaluador. Para el profesor
Valles no se tratara de polos opuestos, sino, ms bien, de un continuo entre ambos,
que iramos eligiendo segn el caso a aplicar. Ser la pericia del
investigador/evaluador la que orientar la utilizacin de un diseo u otro segn las
fases, el objeto de estudio o el anlisis a realizar.
El evaluador deber tener en cuenta, de partida, una serie de consideraciones
antes de comenzar con el diseo: factores de tiempo de entrega, oportunidad,
recursos econmicos y humanos de los que dispone, utilidad que persigue la
evaluacin e intereses de los solicitantes. Resuelto todo esto y orientado ms o
menos hacia un tipo de diseo, llevar a cabo un proceso sistemtico de toma de
decisiones y estrategias con el fin de verificar, a travs de una lgica inversa -se
partir de los resultados para comprobar todo lo dems-, si los resultados tienen
como causa el programa y si hay fallos, desvos o resultados imprevistos o no
deseados y por qu.
Comenzar su labor por la elaboracin de un marco terico, de inmediato tendr
que ocuparse de los problemas de medida que tiene toda investigacin social,
localizar y seleccionar los datos secundarios que considera necesarios para sus
anlisis y seleccionar tcnicas y herramientas para la obtencin de datos primarios
y para el tratamiento en general. Acabar interpretndolos y formulado sus
conclusiones en el Informe de evaluacin.
Para la elaboracin del marco terico deber identificar los objetivos, establecer
las preguntas, definir las hiptesis, seguir una lgica causal y considerar las
variables y los criterios por los que se va a regir el trabajo. Respecto a los problemas
de medida deber someter los datos a criterios de control que permitan aceptar su
validez y fiabilidad. Habr de barajar cuales sern las tcnicas ms adecuadas y las
estrategias de muestreo si incluye un estudio por encuesta. Finalmente, habr de
seleccionar las estrategias metodolgicas para que el tratamiento de la informacin
proporcione el mayor significado que le permita elaborar el informe con las
conclusiones y establecer el plan de implementacin de la evaluacin.
El consejo que da Valles, dentro del paradigma naturalista, es planificar siendo
flexible (1993).
Las estrategias sern distintas para cada diseo y para cada fase dentro del diseo. Por
eso, ste no podr ser nunca un modelo nico, sino que se moldea en cada situacin a
partir de los criterios maestros generadores de preguntas y respuestas.
101
Las tcnicas aplicadas a la evaluacin son procedimientos especficos a travs de
los cuales el evaluador rene y analiza los datos mediante operaciones lgicas o
estadsticas.
La mayor salvedad que conviene hacer aqu, en especial para aquellos que no
provienen del campo social, es que no se deben confundir las tcnicas con el mtodo
que es, de una parte, sustento terico de las tcnicas, pero mucho ms, el mtodo
es el modo en el que vamos a proceder a lo largo de la evaluacin para tratar de
comprender al mximo los resultados que obtengamos. Mientras que el mtodo
responde al cmo lo vamos a hacer, las tcnicas responden a con qu.
Hemos sealado ms arriba que un reduccionismo an mayor es el que asimila
diseo con tcnicas.
Lo fundamental respecto a la caja de herramientas de las que se dispone en
evaluacin es la supeditacin de stas a los problemas que pretenden explicarse.
Resulta imposible desarrollar aqu el extenso tema de las tcnicas utilizadas en
evaluacin, por lo que, simplemente, se apuntan algunas.
TCNICAS CUANTITATIVAS
Entrevista estructurada
Encuesta
Tcnicas de autoinforme
Indicadores especficos: sociales,
econmicos, educacin, salud.
Datos de archivo sobre usuarios
Datos de archivo sobre poltica o
programa
TCNICAS CUALITATIVAS
Anlisis documental
Anlisis de polticas
Entrevista cualitativa
Grupos de discusin
Observacin
Observacin participante
Analizadores sociales
Mtodo Delphi
102
103
EL INFORME DE EVALUACIN
La redaccin del informe de evaluacin es una de los puntos clave que pondr a
prueba las dotes del evaluador. En general, deber tratar de dar unidad a los
distintos enfoques y participantes que hayan colaborado en la evaluacin.
Los informes de evaluacin deben posibilitar la comprensin de: 1) el objetivo de
la evaluacin; 2) la delimitacin exacta del objeto; 3) cmo ha sido planificado el
proceso evaluador y sus estrategias; 4) cules son los hechos constatados; 5) cules
las conclusiones extradas y 6) cules son las recomendaciones aconsejadas.
Por lo general, el informe se acompaar de un resumen ejecutivo, al considerar
que slo un pequeo nmero de destinatarios tendr inters en la lectura completa.
El informe de evaluacin se compone generalmente de:
o Exposicin sinttica sobre la intervencin evaluada: El informe se
iniciar con una exposicin de los objetivos y finalidades que persegua la
intervencin y una descripcin breve del contexto de implantacin. Se
recomienda fundamentar esta parte del informe tanto en elementos
cuantitativos (datos estadsticos ) como cualitativos, que describan de manera
clara la situacin que da origen a la intervencin (contexto socio-econmico,
necesidades identificadas, problemas emergentes, ...).
o Presentacin del proceso seguido, mtodos y herramientas. Habrn de
presentarse tambin de manera sinttica las preguntas que se plantea la
evaluacin, las hiptesis de partida, los principales referentes (criterios) , las
elecciones metodolgicas y las herramientas utilizadas.
o Anlisis, evidencias y factores explicativos. El corazn del informe est
constituido por las respuestas a las principales cuestiones. Esta parte
comprende anlisis de los factores explicativos y las evidencias en las que se
basar el juicio del evaluador.
El anlisis de los factores explicativos se apoyar sobre la diversidad de los
materiales reunidos. Se recomienda a los evaluadores no empearse en un
razonamiento determinado (de tipo econmico, tcnico, sociolgico...), sino, por el
contrario, concebir un proceso heurstico que explore el conjunto de las causalidades
y los efectos del sistema, teniendo en cuenta que un mismo fenmeno resulta, a
menudo, atribuible a varias causas. Corresponde a los evaluadores identificar estas
causas y mostrar las relaciones que existen entre ellas.
Las evidencias se expresarn ponderando datos cuantitativos y cualitativos que
muestren la relacin entre objetivos previstos y resultados.
o El juicio de valor sobre lo evaluado.
El juicio de valor se revelar en las conclusiones que, como hemos dicho,
estarn fundamentadas en las evidencias, el anlisis y los factores
explicativos.
104
o Las argumentaciones deben ser claras, relevantes y referidas a los criterios
e indicadores que se hayan establecido en la evaluacin, permitiendo alcanzar
de manera consecuente los elementos que construyen las conclusiones y el
juicio. Sean cuantitativos o cualitativos, los datos se traducen en
aseveraciones que califican la realidad y servirn para formar el juicio de
los lectores del informe.
Se pueden distinguir tres registros principales de argumentacin que
contribuyen de manera complementaria a avalar la credibilidad de las
conclusiones de la evaluacin.
1. El registro de lo constatable.
Toda evaluacin desarrolla en principio constataciones que parecen
simplemente inducidas de la observacin directa de la realidad, aunque toda
constatacin comprenda necesariamente una mezcla de inducciones y
deducciones.
- Constataciones cuantitativas: Se puede tratar de simples
contabilidades fsicas o financieras: coste de una poltica o un programa,
nmero de beneficiarios, dossieres consultados, etc. Esta cuantificacin
puede obtenerse por explotacin de datos obtenidos de fuentes secundarias
(subproductos de una gestin administrativa) o de una encuesta realizada
sobre una muestra estadstica representativa.
- Constataciones cualitativas: la descripcin del proceso socio-
organizacional iniciado por la poltica, en trminos de dispositivos
institucionales, acontecimientos, actividades de situaciones y
comportamientos, hasta ancdotas o historias personales, constituyen
siempre un componente importante de la evaluacin. Esta descripcin es
necesaria para una buena interpretacin de los datos globales.
2. El registro demostrativo.
Entre las cuestiones planteadas en el proyecto de evaluacin, un cierto
nmero apela a respuestas ms elaboradas que la simple constatacin: se
requiere extraer explicaciones (porqus) o un modo de comprensin (cmo).
Responder a este tipo de cuestiones, consiste en hacer una demostracin o
proponer una interpretacin terica de las informaciones de las que se
dispone.
El registro demostrativo se basa en el test de hiptesis, indagacin y
discusin de pruebas de la realidad sobre un fenmeno o un mecanismo no
directamente observable. Tiene como pretensin medir los efectos propios
de la poltica, en cuanto a sus resultados brutos, descartando los no
imputables a esa poltica o programa.
La demostracin debe esforzarse en aportar la prueba mejor testada de
una relacin causal, y si, es posible, su cuantificacin. En la prctica, la
demostracin presenta, a menudo, un carcter menos formalizado y ha de
105
106
Principios a seguir
o La(s) pregunta(s) inicial(es) debe(n) servir de hilo conductor del informe.
o Distinguir entre lo esencial y lo accesorio. Los datos y cifras deben estar
directamente relacionadas con las conclusiones y deben ser relevantes.
o El lector del informe debe poder identificar fcilmente el nivel de los diferentes tipos
de desarrollo metodolgico (descriptivo, demostrativo, normativo, conclusivo).
o Debe ser siempre ntida la voz narrativa del informe, dejando claro quien sostiene
qu en cada momento, especialmente en el registro interpretativo. El evaluador debe
dejar claro cuando los argumentos o juicios forman parte de su propia apreciacin
por el conocimiento extrado en el proceso nunca prejuicios previos- o si se sostiene
en fundamentos informativos o ilustrativos o en otras voces institucionales (posicin
de la Unin Europea, de la Comisin, de otras Agencias).
o Las imputaciones de causalidad deben ser claramente argumentadas apoyndose en
informaciones o resultados de estudios validados.
o Las recomendaciones deben ser precisas y responder consecuentemente a la lgica
de los resultados de la evaluacin poniendo atencin a otras derivas. Deben ser,
asimismo, aplicables y slo cuando se haya solicitado en el encargo, proponer
nuevos estudios.
UTILIDAD Y UTILIZACIN DE LA EVALUACIN
La utilidad es el norte de la evaluacin.
La evaluacin no responde a una curiosidad intelectual o exclusivamente de
mejor aprendizaje, cuesta tiempo y dinero y suscita expectativas de responsabilidad
y transparencia que se deben cubrir. La utilidad de la evaluacin es menos
cuestionable, lo que resulta un problema recurrente en evaluacin es su utilizacin.
En este sentido, la evaluacin est llena de decepciones.
Podemos admitir que existan dudas sobre su utilidad global, ya que no se trata
de una panacea que resuelva todos los problemas de los decisores pblicos. Y hay
que admitir que, a veces, su utilidad es a largo plazo y puede pasar desapercibida.
Por todo esto, algunos ven en la evaluacin una nueva moda en materia de gestin
que crea ms burocracia, pero que no cambia esencialmente la eficacia y calidad de
las decisiones pblicas.
Sin embargo, cada vez es ms reclamada por todas las Instituciones. Se ha
imputado a su naturaleza terica el que no acabe de encajar en el mundo cambiante
de la praxis, pero se reconoce que despus de la evaluacin decisores y gestores
conocen ms sobre los programas o polticas pblicas evaluados. Hay quien
considera que no aclara ms que cuestiones de menor importancia, porque los
evaluadores se comprometen poco en los informes. Para otros, no sera deseable
que se comprometieran mucho ms.
Desde el lado de los evaluadores, la no utilizacin depende de la falta de cultura
evaluadora y de la falta de implicacin de los decisores polticos y los gestores en la
gestin del cambio y de mejora interorganizacional. A menudo los que, en un
principio se interesan por la evaluacin, tras la aplicacin a una poltica o programa
la temen. El valor intrnseco puede ponerse tambin en duda en un contexto en el
que el rendimiento se mide de manera continua y donde la evaluacin se ha
instaurado por contrato, respondiendo de una forma burocrtica sin mayor
compromiso y creatividad por parte de todos los actores implicados, lo que algunos
califican de evaluaciones anodinas (Hogwood-Gunn, 1984; Noche-Poinsard, 1984),
pero como recoge el profesor Subirats:
La evaluacin es un instrumento valioso de informacin y de ayuda a la decisin
pblica, a pesar de ello, es slo una muestra dentro del abanico que el decisor
pblico maneja para orientar las decisiones, sometidas a factores y presiones de
extrema complejidad. Su mayor fortaleza vendr de la calidad de sus estudios y su
capacidad de adaptarse a los ritmos polticos, as como de su capacidad de
dinamizar procesos de mejora.
107
108
109
ANEXO 1
(Traducido de PALUMBO. Il processo di valutazione. Decidere, programmare,
valutare. 2001) (El proceso de evaluacin. Decidir, programar, evaluar.)
Positivista-
experimental
Pragmtica-calidad Constructivista-procesos
sociales
Enfoque: Los objetivos Los estndares Lo que los actores
sociales definen qu ha
sucedido
Autores: Imn, Schuman;
Campbel; Rossi y
Freman; Chen
Scriven, Wholey,
Donabedian; la
tradicin del NPM
Stake, Guba y Lincoln,
Cronbach, Patton,
Fetterman, Hirschman,
Tendler
Preguntas: Los resultados
corresponden a los
objetivos?
Los resultados
corresponden a criterios
de calidad?
Qu ha sucedido? Lo que
ha sucedido es
consecuencia de la
intervencin?
Qu es y en qu consiste
el xito de una poltica?
Vector de la
investigacin
Arriba abajo Arriba abajo Abajo arriba
Actitud hacia los
valores:
Relativismo: los valores
son aquellos del
programa
El evaluador enjuicia
respecto a los valores
(propios o del concepto
existente de calidad)
Los valores son aquellos de
los stakeholders: a veces
en acuerdo y a veces en
conflicto.
Teora
- Una explicacin
causal de cmo obtener
una mejora.
- Con una buena
programacin se
pueden prever todos
los efectos
En cada situacin existe
un concepto de calidad al
que aspirar
- La realidad es ms rica de
lo que se puede
prever
- Importancia de los efectos
inesperados.
- Importancia del proceso.
Mtodos
principales de
investigacin
- Experimentos y
quasi-experimentos
- Cuadro lgico
-La lgica de evaluarde
Scriven.
-Anlisis multicriterios
-Anlisis comparativo.
- Exploracin
- Anlisis participativo
Tcnicas Sondeos Anlisis de satisfaccin de
los consumidores.
Juicio de expertos
- Estudios de casos
- Entrevistas
- Focus groups
- Observacin
Cundo y dnde
se aplica
normalmente
En los programas
En los fondos
estructurales
europeos.
En cualquier caso
donde se encuentren
objetivos respecto a los
que sea posible
individualizar medios y
resultados (polticas
sociales, de trabajo,
etc)
En los servicios
regulares (sanidad,
instrucciones, etc)
En la evaluacin
universitaria
En las cartas de servicios
(estndares de calidad)
En los programas de
reforma del sector pblico
En las situaciones
innovativas
En los proyectos piloto, etc
mbito de
referencia:
El ciclo de la decisin Administracin y
management de
programas
El contexto
Los actores crticos
110
111
112
113
BIBLIOGRAFA
114
115
MOLOSA, J. Qu hemos aprendido de la evaluacin de programas? Fundacin
Carles Pi i Sunyer DEstudis Autonomics i Locals. Barcelona, 2004, pp. 17-20.
MONNIER, E.- Evaluacin de la accin de los poderes pblicos. Instituto de
Estudios
Fiscales. Ministerio de Economa y Hacienda. Madrid, 1995.
MONNIER. E. De Seville Edimbuourg: Qualit en hausse accountability sans
grand changement . Quatrime Conference Europeenne sur lvaluation des fonds
structurels. Edimbourg, 18-19 de sept, 2000.
MORIN, E. Podemos reformar la administracin pblica? IX Congreso
Internacional del CLAD sobre la Reforma del Estado y la Administracin Pblica.
Madrid, 2-5 nov, 2004.
NIRENBERG, O y alt. Evaluar para la transformacin. Paids. Buenos Aires, 2000.
ORTI, A. La apertura y el enfoque cualitativo o estructural: la entrevista abierta
semidirectiva y la Discusin de Grupo. En El Anlisis de la Realidad Social. Mtodos y
tcnicas de investigacin. Ed. Alianza Universidad, Madrid, 2003 (3)
OSUNA, J.L.- Nuevas instituciones y prcticas de evaluacin para la
administracin pblica IIX Congreso Internacional del CLAD sobre la Reforma del
Estado y de la Administracin Pblica, Madrid. 2-5 nov, 2004.
PALUMBO, D.- Il proceso di valutazione. Decidere, programmare, valutare. Franco
Angeli. Milano. 2001.
PATTON. M Q.- Utilization Focused Evaluation. SAGE Publications. California, 1997.
PATTON, M Q. How to use qualitative methods in evaluation. SAGE Publications.
International Educational and Professional Publisher. California, 1987.
PATTON.M Q. Desarrollo Organizacional y Evaluacin The Canadian Journal of
Program Evaluation, 1999. Disponible en la red (traducido por PREVAL, septiembre,
2004)
PERRET, B.- Lvaluation des politiques publiques. La Decouverte. Collection
Repres. Paris. 2001.
PERRET, B. Reflexions sur les diffrents modles dvaluation . En Lvaluation
en question Revue franaise dAdministration Publique, avril-juin, 1993, n 66,
pp.227-240.
PICHARDO, A.- Evaluacin del impacto social. Ed. Lumen Humanitas. Buenos Aires,
1997.
RODRGUEZ OSUNA, J.- Mtodos de Muestreo. Cuadernos metodolgicos, n1.
CISS. Madrid, 1991.
RODRGUEZ OSUNA, J.- Mtodos de Muestreo. Casos Prcticos. Cuadernos
metodolgicos, n 6. CIS. Madrid, 1993.
ROSSI & FREEMAN.- Evaluacin. Un enfoque para programas sociales. Ed. Trillas.
Mexico, 1989.
SARTORI, G. La Poltica. Lgica y Mtodos en las Ciencias Sociales. Fondo de
Cultura Econmico, Mxico, 1984.
SCRIVEN.- Evaluation Thesaurus. SAGE Publications. California 1991
SHADISH, Jr. & COOK & LEVITON. Foundations of program Evaluation. SAGE
Publications. California, 1991
SEGONE, M. Evaluacin democrtica. UNIFEC. Oficina Regional para Amrica
Latina y el Caribe. Doc n 3; mayo 1998.
STAME, N. Lesperienza della valutazione. Edizioni SEAM,2000
STAKE. R.E.- The Art of Case Study Research. SAGE Publications. California, 1995
STUFFLEBEAM & SHINKFIELD. Evaluacin sistemtica. Gua terica y prctica.
Paids. Barcelona, 1995.
116
117
118
PEDONE, C.- El trabajo de campo y los mtodos cualitativos.- Scritpa Nova. Revista
electrnica de Geografa y Ciencias Sociales.- Universidad de Barcelona, n 57.
Febrero, 2000.
PPETIT GUIDE DE LEVALUATION DEL POLITIQUES PUBLIQUES.- Commissariat
Gnral du Plan. Rapports dvaluation, Conseil scientifique de levaluation. Le Plan.
UNICEF. Evaluacin democrtica. Oficina Regional para Amrica Latina y el Caribe.
Doc 3. Mayo, 1998
RAPPORT VIVERET, P. L valuation des politiques et des actions publiques, La
Documentation franaise. Paris. 1989
RAPPORT ANNUEL.- L valuation au service de lavenir. Conseil National de
lvaluation. France. 1999.
RAPPORT D INFORMATION .- Les enjeux du dveloppement de lvaluation des
politiques publiques. Snat. France., 2003-2004.
UNICEF. EVALUACIN DEMOCRTICA. Documento de trabajo n 3, de Marco
Segone. Oficina Regional para Amrica Latina y el Caribe. Mayo, 1998.