Politicas de Igualdad

UNIVERSIDAD COMPLUTENSE DE MADRID
FACULTAD DE CIENCIAS POLTICAS Y SOCIOLOGA

Departamento de Ciencia Poltica y de la Administracin II
LA EVALUACIN DE LAS POLTICAS PBLICAS

DE IGUALDAD DE GNERO DE LOS GOBIERNOS
CENTRAL Y AUTONMICOS EN ESPAA:
1995 - 1999
MEMORIA PARA OPTAR AL GRADO DE DOCTOR

PRESENTADA POR
Mara Bustelo Ruesta
Bajo la direccin del doctor

Rafael Ban i Martnez
Madrid, 2001
ISBN: 84-669-2285-7
UNIVERSIDAD COMPLUTENSE DE MADRID

FACULTAD DE CIENCIAS POLTICAS Y SOCIOLOGA
DEPARTAMENTO DE CIENCIA POLTICA Y DE LA
ADMINISTRACIN II
LA EVALUACIN DE LAS POLTICAS PBLICAS DE

IGUALDAD DE GNERO DE LOS GOBIERNOS
CENTRAL Y AUTONMICOS EN ESPAA:
1995-1999
Elaborada por: MARA BUSTELO RUESTA

Dirigida por: RAFAEL BAN i MARTNEZ
Madrid, mayo de 2001
A Carlota Bustelo Garca del Real,

pionera de las Polticas de Igualdad de Gnero en Espaa,
con todo mi cario y admiracin.
A mis hijos Guillermo y Jaime,
hombres del siglo XXI,
a quienes, estoy segura, les ser ms fcil comprender
que tambin a ellos les incumbe e interesa luchar por un mundo
mejor, ms justo y diverso,
en donde, de verdad, quepamos todas y todos.
Y a Carmelo,
por acompaarme tan acertada y brillantemente
en este gran proyecto que los dos tenemos entre manos.
AGRADECIMIENTOS
Son muchas las personas que me han prestado ayuda y aliento y sin las que la
realizacin de esta tesis hubiera sido mucho ms difcil y costosa.
En primer lugar, quiero agradecer a Rafael Ban, director de esta tesis, su apoyo y
direccin a lo largo de este prolongado y arduo proceso. Nunca podr agradecerle lo
suficiente el hecho de haberme descubierto la Ciencia Poltica y de la Administracin y el
deslumbramiento intelectual que eso supuso para m, adems de la paciencia demostrada y
de no haber dejado de creer en m en ningn momento.
Para la recopilacin de informacin fue imprescindible la ayuda de las personas
responsables poltica y tcnicamente de los procesos de evaluacin llevados a cabo en los
diferentes organismos de igualdad. Gracias a sus directoras que me brindaron su tiempo
para las entrevistas y, de forma muy especial, a los tcnicos y tcnicas (Mariano Alvaro,
Adela Abarrategui, Rosa Sacacia, Chari Pizarro, Carmen Marn, Toi Gmez, Mnica
Gasol, Concha Alvarez, Paloma Rodrguez, Clemente Martn Barroso, Nines Centeno,
Itziar Fernndez y Ana Alberdi) quienes, de forma desinteresada, me ofrecieron la
informacin necesaria y soportaron pacientemente mis mltiples llamadas telefnicas.
Mencin especial requiere la ayuda prestada por la profesora Amparo Almarcha de la
Universidad de la Corua, directora de la evaluacin externa del plan gallego y Puri
Causapi, entonces en la Fundacin Mujeres, encargada de la evaluacin del plan
castellano-manchego.
En las tareas de revisin y edicin de este trabajo debo agradecer la ayuda de Carlos
Closa, Marta Martnez, Juan Carlos Monedero y Celia Valiente, por su paciente lectura y
sus valiosas sugerencias m.
Tambin debo agradecer la acogida que, desde el curso 1994-95 en el que comenc
dando clases como profesora asociada, me ha ofrecido tanto el Departamento de Ciencia
Poltica y de la Administracin II como, en general, la Facultad de Ciencias Polticas y
Sociologa de la Universidad Complutense de Madrid. Gracias a los colegas por los nimos
en los pasillos, a Jos Ignacio Fernndez, secretario administrativo, por la simpre cariosa
y eficaz ayuda logstica y, de forma muy especial, a mis alumnos y alumnas a lo largo de
estos aos, quienes han sido un constante estmulo y el mejor elemento de contraste y
maduracin de las ideas que se reflejan en esta tesis.
El Centro Superior de Estudios de Gestin, Anlisis y Evaluacin de la UCM, que me

ha acogido como docente y responsable de la Unidad de Evaluacin, ha sido tambin muy
importante en este proceso. Debo una mencin muy especial a su anterior director, Juan
Luis Paniagua, por su constante y desinteresado apoyo y porque me ofreci la posibilidad
de contribuir con mi experiencia a participar en un proyecto que ana acertadamente el
mundo acadmico y el profesional. En Juan Gmez Castaeda, su actual director, he
encontrado siempre un trato humano exquisito y un apoyo incondicional a esta tarea
doctoral. Tambin han sido importantes la comprensin y los nimos de la gente que ha
trabajado conmigo de forma ms cercana, en la Unidad de Evaluacin, Marta Martnez y
Juan Andrs Ligero, y en el Observatorio Regional de Polticas Pblicas, David Corominas,
Manuel Galn y Jos Manuel Cruz. Agradezco tambin al resto de los compaeros y
compaeras del Centro su aliento y, en especial, a Andrs Benito, su gerente, por cuidar y
velar con mimo ese buen ambiente humano y profesional.
Fue tambin desde el CSEGAE que Juan Luis Paniagua, junto a Jess Montero, me
ofreci la posibilidad de asistir al Seminario sobre Elaboracin de Tesis y Diseo
Curricular" en 1998. Este Seminario supuso un impulso y un estmulo muy importante para
m. La impecable, paciente y dedicada direccin del prof. Carlos Closa hizo que el
aprovechamiento fuera mximo, adems de resultar tremendamente divertidas y
estimulantes las discusiones epistemolgicas que all mantuvimos. A partir de entonces,
nunca he dejado de contar con sus sabias orientaciones. El intercambio y el contraste con el
resto de los integrantes (Ral Aguilera, Ariel Jerez, M Teresa Martnez del Olmo, Laura
Nuo, Luis Ramiro y Mara Velasco), adems de las risas de entonces, han servido de
estmulo durante todo el proceso.
Gracias, en fin, a todas las personas a las que quiero y que me quieren, por el apoyo y
las necesarias ausencias y porque han tenido que soportar la cantinela de la tesis y los
agobios que sta producan a mi persona. Debo agradecer igualmente a mi familia extensa
estar ah y el apoyo logstico prestado en los momentos en los que los que lo he necesitado,
que han sido muchos.
Y gracias, Carmelo, modelo y referencia acadmica y padre exquisito en quien he
podido delegar en estos aos una buena parte de mis tareas de madre, con el fin de dedicar
ms tiempo y energas a esta empresa. Y, por supuesto, gracias a Guillermo y a Jaime, por
existir y estar ah, por ayudarme a saber cules son las cosas importantes de la vida y por
ser siempre, y sobre todo, una fuente inagotable de satisfaccin. Ellos me han dado la
fuerza para llegar hasta el final.
LA EVALUACIN DE LAS POLTICAS PBLICAS DE IGUALDAD DE

GNERO DE LOS GOBIERNOS CENTRAL Y AUTONMICOS EN
ESPAA: 1995-1999
SUMARIO
INTRODUCCIN
PARTE I: LA EVALUACIN DE LAS POLTICAS PBLICAS
CAPTULO 1: La evaluacin en el marco del anlisis de polticas pblicas
CAPTULO 2: La evaluacin de polticas pblicas desde una perspectiva histrica
PARTE II: LAS POLTICAS PBLICAS DE IGUALDAD DE GNERO EN ESPAA
CAPTULO 3: Las polticas pblicas de igualdad de gnero en Espaa en los niveles
central y autonmico
PARTE III: LA PRCTICA DE LA EVALUACIN DE LAS POLTICAS PBLICAS DE
IGUALDAD DE GNERO EN ESPAA. LOS PROCESOS DE EVALUACIN DE LOS
PLANES CENTRALES Y AUTONMICOS
CAPTULO 4: La evaluacin de las polticas pblicas de igualdad de gnero en Espaa:
marco para el anlisis y la clasificacin
CAPTULO 5: El planteamiento general de los procesos de evaluacin analizados:
contexto, propsitos, estructuras y recursos
CAPTULO 6: Los elementos clave de la evaluacin: agentes, momentos, criterios y
metodologa.
CAPTULO 7: La utilizacin de las evaluaciones: pertinencia, comunicacin e impacto
PARTE IV: LA VALORACIN DE LA EVALUACIN. EL RETO DE LA EVALUACIN
DE LAS POLTICAS DE IGUALDAD DE GNERO.
CAPTULO 8: El discurso sobre la funcin de evaluacin en torno a las polticas de
igualdad de gnero.
CAPTULO 9: Los factores que facilitan y dificultan la evaluacin de las polticas de
igualdad de gnero. Hacia una evaluacin innovadora de dichas polticas.
PARTE V: CONCLUSIONES
BIBLIOGRAFA
ANEXOS

ESPAA: 1995-1999
NDICE
INTRODUCCIN
Objeto..................................................................................................................................... 1
Marco terico ......................................................................................................................... 3
Objetivos e hiptesis de la investigacin............................................................................... 8
Metodologa ........................................................................................................................... 9
Plan de exposicin ............................................................................................................... 12
PARTE I: LA EVALUACIN DE LAS POLTICAS PBLICAS
CAPTULO 1. LA EVALUACIN EN EL MARCO DEL ANLISIS DE POLTICAS
PBLICAS
Introduccin ......................................................................................................................... 19
1. El anlisis de polticas pblicas: el papel de la evaluacin en este marco de referencia. 21
1.1. Concepto y caractersticas del anlisis de polticas pblicas ..................................... 21
1.2. El componente descriptivo y prescriptivo del anlisis de las polticas pblicas ........ 22
1.3. La necesidad de la evaluacin en el ciclo de vida de la poltica ............................... 23
1.4. El carcter retrospectivo y prospectivo del anlisis de polticas pblicas.................. 25
1.5. Una visin integrada del anlisis de polticas pblicas: el papel de la evaluacin .... 26
2. La evaluacin de polticas pblicas ................................................................................. 29
2.1. El concepto y el sentido de la evaluacin................................................................... 29
2.2. Las funciones de la evaluacin................................................................................... 32
2.3. Propsitos y objetivos de la evaluacin de las polticas pblicas .............................. 35
2.4. Diferencias y similitudes entre la evaluacin de programas y de polticas pblicas . 38
3. Lo especfico de la evaluacin......................................................................................... 41
3.1. Las diferencias con otras prcticas de anlisis: evaluacin vs. Investigacin ........... 41
3.2. El carcter poltico de la evaluacin........................................................................... 53
3.3. El carcter prctico y aplicado a la accin: el elemento valorativo y el
establecimiento de recomendaciones ................................................................................ 57
3.4. El carcter prctico y aplicado a la accin: La preocupacin por la
utilizacin y el uso de la evaluacin.................................................................................. 65
CAPTULO 2. LA EVALUACIN DE POLTICAS PBLICAS DESDE UNA
PERSPECTIVA HISTRICA
Introduccin ......................................................................................................................... 71
1. La historia de la evaluacin y los diferentes modelos o enfoques propuestos ................ 73
1.1. Breve historia de la evaluacin .................................................................................. 73
1.2. Factores que influyen en la evolucin de la evaluacin ............................................. 76

1.3. Las diferentes clasificaciones de modelos o enfoques ............................................... 79
A. Enfoque de evaluacin por objetivos....................................................................... 81
B. Enfoques experimentales de evaluacin .................................................................. 82
C. Enfoques orientados a la toma de decisiones........................................................... 83
D. Enfoque centrado en el cliente................................................................................. 89
E. Enfoque centrado en el consumidor ......................................................................... 91
F. Enfoque orientado a la utilizacin............................................................................ 92
G. Enfoques participativos ........................................................................................... 96
G.a. La Evaluacin de Cuarta Generacin............................................................... 99
G.b. La Evaluacin para el Empoderamiento ........................................................ 105
G.c. La Evaluacin Pluralista................................................................................. 107
2. Tipos de evaluacin ....................................................................................................... 109
2.1. Segn el papel que cumple la evaluacin................................................................. 109
2.2. Segn el contenido o aspecto de la poltica que se evala ....................................... 111
2.3. Segn el agente que evala....................................................................................... 113
2.4. Segn el momento en el que se evala ..................................................................... 114
2.5. Otros tipos de evaluacin ......................................................................................... 116
2.6. Otras clasificaciones................................................................................................. 118
3. Los actores de la evaluacin .......................................................................................... 121
4. El papel del evaluador.................................................................................................... 124
5. Las cuestiones ticas en evaluacin............................................................................... 127
6. Hacia un enfoque integrador de evaluacin de polticas pblicas ................................. 130
PARTE II: LAS POLTICAS PBLICAS DE IGUALDAD DE GNERO EN ESPAA
CAPTULO 3: LAS POLTICAS PBLICAS DE IGUALDAD DE GNERO EN ESPAA
EN LOS NIVELES CENTRAL Y AUTONMICO
Introduccin ...................................................................................................................... 133
1. Concepto e historia de las polticas de igualdad de gnero ........................................... 135
1.1. Las difciles relaciones feminismo-Estado............................................................... 135
1.2. El feminismo institucional........................................................................................ 140
2. Las polticas de igualdad de gnero en Espaa desde una perspectiva histrica........... 146
2.1. Un crecimiento rpido .............................................................................................. 146
2.2. La evolucin en la definicin del problema ............................................................. 151
2.3. La entrada en la agenda poltica ............................................................................... 157
2.4. El marco institucional de las polticas de igualdad .................................................. 162
2.5. Una revisin de los actores que contribuyen a la formulacin de las polticas........ 172
3. Los planes de igualdad de gnero .................................................................................. 176
3.1. El significado de los planes de igualdad .................................................................. 176
3.2. La evolucin de los planes de igualdad en Espaa .................................................. 180
3.3. La estructura y los contenidos de los planes de igualdad......................................... 185
3.4. Fortalezas y debilidades de los planes...................................................................... 186

PARTE III: LA PRCTICA DE LA EVALUACIN DE LAS POLTICAS PBLICAS
DE IGUALDAD DE GNERO EN ESPAA. LOS PROCESOS DE EVALUACIN DE
LOS PLANES CENTRALES Y AUTONMICOS
CAPTULO 4: LA EVALUACIN DE LAS POLTICAS PBLICAS DE IGUALDAD DE
GNERO EN ESPAA: MARCO PARA EL ANLISIS Y LA CLASIFICACIN
Introduccin ...................................................................................................................... 191
1. Fundamentacin............................................................................................................. 193
1.1. La metaevaluacin.................................................................................................... 193
El concepto de metaevaluacin y su diferenciacin con el concepto
de sntesis de evaluaciones ....................................................................................... 193
El significado y las funciones de la metaevaluacin................................................ 196
Tipos de metaevaluacin .......................................................................................... 198
Criterios para la metaevaluacin .............................................................................. 202
La metaevaluacin de evaluaciones de polticas pblicas de igualdad
de gnero que se presenta en este trabajo................................................................. 211
1.2. El anlisis de los procesos de evaluacin de las polticas pblicas
de igualdad de gnero en Espaa..................................................................................... 213
2. Un panorama general: experiencias de evaluacin en polticas de igualdad en
los niveles estatal y autonmico ........................................................................................ 216
2.1. Las primeras experiencias de evaluacin ................................................................. 217
2.2. La segunda generacin de evaluaciones................................................................... 228
2.3. La tercera generacin de evaluaciones ..................................................................... 230
3. El marco para la metaevaluacin: los criterios para el anlisis valorativo
de las once experiencias de evaluacin.............................................................................. 239
3.1. El planteamiento de la evaluacin y las estrategias empleadas................................ 240
El contexto evaluativo .............................................................................................. 240
La claridad en los propsitos y funciones de las evaluaciones ............................... 240
Las estructuras institucionales de la evaluacin....................................................... 241
Tipos de evaluaciones realizadas ............................................................................. 241
Recursos empleados en las evaluaciones ................................................................. 241
3.2. Elementos clave de los procesos evaluativos ........................................................... 242
Agentes y participantes en el proceso de evaluacin ............................................... 242
Momentos de los procesos de evaluacin ................................................................ 243
Criterios e indicadores de evaluacin: fuentes y proceso de establecimiento.......... 243
Procedimientos y metodologa empleada ................................................................ 244
3.3. La utilizacin de los procesos evaluativos ............................................................... 244
Pertinencia y utilidad de la informacin producida ................................................. 245
Comunicacin de los resultados y destinatarios de los mismos .............................. 245
El impacto de los resultados y los procesos de evaluacin ...................................... 246
CAPTULO 5: EL PLANTEAMIENTO GENERAL DE LOS PROCESOS DE
EVALUACIN ANALIZADOS: CONTEXTO, PROPSITOS, ESTRUCTURAS Y
RECURSOS
Introduccin ....................................................................................................................... 249

1. Tipos de evaluacin realizados ...................................................................................... 251
1.1. Un primer anlisis de las once experiencias segn los tipos de evaluacin............. 251
1.2. Los criterios para la clasificacin ............................................................................. 258
2. El planteamiento de las evaluaciones y las estrategias empleadas ................................ 264
2.1. Los contextos evaluativos......................................................................................... 264
Panorama general........................................................................................................ 264
El contexto evaluativo de las evaluaciones externas .................................................. 269
El contexto evaluativo de las evaluaciones mixtas..................................................... 270
El contexto evaluativo de las evaluaciones internas .................................................. 271
2.2. La claridad en los propsitos y las funciones de las evaluaciones .......................... 272
Los propsitos y objetivos de las evaluaciones externas............................................ 273
Los propsitos y objetivos de las evaluaciones mixtas .............................................. 279
Los propsitos y objetivos de las evaluaciones internas ............................................ 281
2.3. Las estructuras institucionales de la evaluacin....................................................... 282
Las estructuras institucionales para las evaluaciones externas................................... 289
Las estructuras institucionales para las evaluaciones mixtas ..................................... 291
Las estructuras institucionales para las evaluaciones internas ................................... 293
2.4. Recursos empleados en las evaluaciones ................................................................. 294
Los recursos para las evaluaciones externas............................................................... 296
Los recursos empleados en las evaluaciones mixtas .................................................. 298
Los recursos empleados en las evaluaciones internas ................................................ 299
CAPTULO 6: LOS ELEMENTOS CLAVE DE LA EVALUACIN: AGENTES,
MOMENTOS, CRITERIOS Y METODOLOGA.
Introduccin ....................................................................................................................... 301
1. Agentes y participantes en los procesos de evaluacin ................................................. 303
1.1. Agentes y participantes en los procesos de evaluacin externa ............................... 304
1.2. Agentes y participantes en los procesos de evaluacin mixta.................................. 307
1.3. Agentes y participantes en los procesos de evaluacin interna................................ 308
2. Momentos de los procesos de evaluacin...................................................................... 310
2.1. Momentos de los procesos de evaluacin externa.................................................... 310
2.2. Momentos de los procesos de evaluacin mixta ...................................................... 314
2.3. Momentos de los procesos de evaluacin interna .................................................... 315
3. Criterios e indicadores de evaluacin: fuentes y proceso de establecimiento ............... 317
3.1. Criterios e indicadores en las evaluaciones externas................................................ 318
3.2. Criterios e indicadores en las evaluaciones mixtas .................................................. 325
3.3. Criterios e indicadores en las evaluaciones internas ................................................ 331
4. Procedimientos y metodologa empleada ..................................................................... 333
4.1. Procedimientos y metodologa de las evaluaciones externas ................................... 334
4.2. Procedimientos y metodologa de las evaluaciones mixtas...................................... 340

4.3. Procedimientos y metodologa en las evaluaciones internas.................................... 346
CAPTULO 7: LA UTILIZACIN DE LAS EVALUACIONES: PERTINENCIA,
COMUNICACIN E IMPACTO
Introduccin ....................................................................................................................... 347
1. Pertinencia y utilidad de la informacin producida en las evaluaciones externas......... 349
1.1. Pertinencia y utilidad de la informacin producida en las evaluaciones externas ... 349
1.2. Pertinencia y utilidad de la informacin producida en las evaluaciones mixtas ...... 354
1.3. Pertinencia y utilidad de la informacin producida en las evaluaciones internas .... 356
2. Comunicacin de los resultados y destinatarios de los mismos .................................... 358
2.1. Comunicacin de los resultados en las evaluaciones externas................................. 358
2.2. Comunicacin de los resultados en las evaluaciones mixtas ................................... 367
2.3. Comunicacin de los resultados en las evaluaciones internas ................................. 374
3. El impacto de los resultados y los procesos de evaluacin............................................ 376
3.1. El impacto de los resultados y los procesos de evaluacin externa ......................... 376
3.2. El impacto de los resultados y los procesos de evaluacin mixta ............................ 381
3.3. El impacto de los resultados y los procesos de evaluacin interna .......................... 385
PARTE IV: LA VALORACIN DE LA EVALUACIN. EL RETO DE LA
EVALUACIN DE LAS POLTICAS DE IGUALDAD DE GNERO
CAPTULO 8: EL DISCURSO SOBRE LA FUNCIN DE EVALUACIN EN TORNO A
LAS POLTICAS DE IGUALDAD DE GNERO
Introduccin ....................................................................................................................... 387
1. El discurso sobre la evaluacin y sobre las polticas de igualdad
de gnero de las responsables polticas.............................................................................. 389
2. La evaluacin: ideas asociadas y actitudes ante la misma............................................. 394
2.1. Entre las expectativas mgicas sobre la evaluacin y una visin ms realista......... 394
2.2. La inevitable necesidad de la evaluacin vs. la conveniencia de la misma ............. 396
2.3. La evaluacin como algo propio de los organismos de igualdad............................. 396
2.4. Una evaluacin ms integral vs. una evaluacin asociada
exclusivamente a los resultados....................................................................................... 397
2.5. La evaluacin como algo tcnico ............................................................................. 398
2.6. La evaluacin como medicin cuantitativa y relacionada con indicadores ............. 398
2.7. La evaluacin o bien como seguimiento o bien como evaluacin externa .............. 399
3. Para qu sirve evaluar? La utilidad de la evaluacin ................................................... 400
4. Qu se debe evaluar y cmo?....................................................................................... 404
5. Dificultades percibidas para la evaluacin de los planes de igualdad ........................... 406
5.1. Dificultades relacionadas con la falta de cultura de evaluacin............................... 406
5.2. Dificultades relacionadas con la complejidad de los planes .................................... 407
5.3. Dificultades relacionadas con la estrategia de la transversalidad

de las polticas de igualdad de gnero ............................................................................. 408
CAPTULO 9: LOS FACTORES QUE FACILITAN Y DIFICULTAN LA EVALUACIN
DE LAS POLTICAS DE IGUALDAD DE GNERO. HACIA UNA EVALUACIN
INNOVADORA DE DICHAS POLTICAS.
Introduccin ....................................................................................................................... 417
1. Factores previos que facilitan o dificultan la evaluacin............................................... 420
1.1. Los factores que facilitan la evaluacin ................................................................... 420
La concepcin y estructuracin en planes de igualdad............................................... 420
La institucionalizacin de compromisos respecto a los planes y a su evaluacin...... 421
Aval y grado de acuerdo internacional ....................................................................... 422
La fortaleza y estabilidad institucional de los organismos de igualdad ..................... 423
El reconocimiento simblico de la evaluacin en los ltimos aos ........................... 425
1.2. Los factores que dificultan la evaluacin ................................................................. 426
La abstraccin o generalidad de los planes................................................................. 426
Su carcter de horizontalidad e integralidad............................................................... 428
Su carcter de sensibilizacin y persuasin................................................................ 429
Falta de cultura y experiencia previa en evaluacin................................................... 430
Falta de equipos preparados........................................................................................ 431
No pensar la evaluacin a tiempo debido a la falta de normalizacin de su funcin . 432
2. Factores inherentes al propio proceso de evaluacin .................................................... 434
2.1. Falta de claridad en el propsito de la evaluacin:
Evaluacin vs. investigacin de polticas de igualdad ............................................. 434
2.2. Falta de una visin global de la actuacin de los poderes pblicos:
La evaluacin de las polticas vs. la evaluacin de los planes ................................. 437
2.3. Falta de reconocimiento del carcter poltico de la evaluacin................................ 438
2.4. Percepcin de la evaluacin como una funcin secundaria:
El papel crucial de los organismos de igualdad ....................................................... 439
2.5. Visin parcial de la evaluacin:
Una mala gestin de los diferentes tipos de evaluacin........................................... 442
2.6. La optimizacin de agentes externos en la evaluacin:
Las evaluaciones mixtas vs. las evaluaciones externas............................................ 445
2.7. La falta de claridad en el QU evaluar:
La dictadura de la metodologa y las tcnicas en los procesos de evaluacin ......... 447
2.8. Problemas en la recopilacin y los flujos de informacin:
Sistemas, cultura de recopilacin, estructuras de coordinacin ............................... 451
2.9. La importancia de los tiempos y el calendario de los procesos:
La temporalidad como elemento clave de la evaluacin.......................................... 455
2.10. El claro dficit de elaboracin prctica............................................................... 456
2.11. Los deficientes procesos de comunicacin y difusin de la evaluacin:
La accesibilidad de los informes .............................................................................. 458
2.12. La escasez de recursos dedicados........................................................................... 460
3. Factores relacionados con el impacto de la evaluacin ................................................. 463
3.1. La relativa utilidad y pertinencia de los procesos .................................................... 463
3.2. La imposibilidad de una sntesis de evaluaciones .................................................... 467
Sobre la evaluacin en el marco del anlisis de polticas pblicas ................................. 471
Sobre el concepto de evaluacin de polticas pblicas.................................................... 472
Sobre la historia de la evaluacin y los diferentes enfoques o modelos propuestos ....... 475
Sobre los tipos de evaluacin, los actores y agentes y sus implicaciones ticas............. 476
Sobre las polticas de igualdad de gnero en Espaa ...................................................... 478
Sobre la metaevaluacin como marco para el anlisis y la valoracin
de las evaluaciones de los planes de igualdad de gnero ......................................... 480
Sobre las experiencias de evaluacin de planes de igualdad de gnero
en Espaa y los criterios de seleccin para la metaevaluacin ................................ 481
Sobre el planteamiento de las evaluaciones de la segunda generacin........................... 482
Sobre los elementos clave de las evaluaciones ............................................................... 485
Sobre la utilizacin de los procesos de evaluacin ......................................................... 487
Sobre el discurso de las responsables sobre la evaluacin y las
polticas de igualdad de gnero ................................................................................ 489
Sobre los factores que facilitan y dificultan la evaluacin y cmo conseguir
evaluaciones de las polticas de igualdad de gnero ms eficaces ........................... 491
Sobre el grado de verificacin de las hiptesis iniciales ................................................. 495
Sobre lneas abiertas para futuras investigaciones .......................................................... 496
BIBLIOGRAFA................................................................................................................ 499
ANEXOS
A. Documentacin consultada
B. Entrevistas realizadas

ESPAA: 1995-1999
NDICE TABLAS
Captulo 1
Tabla 1.1.
Tres perspectivas para el anlisis de polticas pblicas ........................................................... 26
Tabla 1.2.
Procedimientos analticos generales segn el momento y el tipo de cuestin......................... 27
Tabla 1.3.
El anlisis valorativo en evaluacin y sus cuatro niveles ........................................................ 31
Tabla 1.4.
Diferencias entre la evaluacin de programas y la evaluacin de polticas............................. 40
Tabla 1.5.
Diferencias entre investigacin y evaluacin...................................................................... 51-52
Captulo 2
Tabla 2.1.
Esquema de Stake para la recopilacin de datos de un programa............................................ 90
Tabla 2.2.
Variables situacionales de Patton............................................................................................. 95
Tabla 2.3.
Tabla comparativa de Paradigmas.......................................................................................... 101
Tabla 2.4.
Tipos de evaluacin. Clasificacin segn las cuatro tipologas bsicas ................................ 115
Tabla 2.5.
Criterios de evaluabilidad segn Chelimsky.......................................................................... 117
Tabla 2.6.
Listado de agentes crticos (Stakeholders) segn Guba y Lincoln ........................................ 122
Captulo 3
Tabla 3.1.
Estructuras gubernamentales para la igualdad de gnero en las comunidades autnomas.... 149
Tabla 3.2.
Evolucin del problema de la igualdad .................................................................................. 155
Tabla 3.3. a.
Marco institucional de las polticas de igualdad autonmicas. Ao 1998 ............................. 165
Tabla 3.3. b.
Marco institucional de las polticas de igualdad autonmicas. Ao 2001 ............................. 170
Tabla 3.4.
Evolucin de los planes estatales y autonmicos de igualdad de gnero en Espaa ............. 181
Tabla 3.5.
Duracin de los planes de igualdad........................................................................................ 182
Tabla 3.6.
Nmero de reas, objetivos y acciones. Planes de igualdad estatales y autonmicos ........... 183
Captulo 4
Tabla 4.1.
Tipos de metaevaluacin........................................................................................................ 201
Tabla 4.2.
Criterios para la metaevaluacin ............................................................................................ 205
Tabla 4.3.
Key Evaluation Checklist (KEC) de Michael Scriven............................................................ 206
Tabla 4.4.
Normas para la evaluacion de programas.
The Joint Committee on Standards for Educational Evaluation. 2 Edicin. 1994........ 208-210
Captulo 5
Tabla 5.0.
Tipos de evaluacin. Segunda generacin de evaluaciones................................................... 252
Tabla 5.0.a.
Tipos de evaluacin. Evaluaciones externas.......................................................................... 260
Tabla 5.0. b.
Tipos de evaluacin. Evaluaciones mixtas............................................................................. 262
Tabla 5.0. c.
Tipos de evaluacin. Evaluaciones internas........................................................................... 263
Tabla 5.1.
Contextos evaluativos ............................................................................................................ 266
Tabla 5.2.
Estructura institucional........................................................................................................... 288
Tabla 5.3.
Costes directos de los estudios externos de evaluacin ......................................................... 296
Captulo 6
Tabla 6.1. a.
Equipos externos de evaluacin. Evaluaciones externas ....................................................... 305
Tabla 6.1. b.
Equipos externos de evaluacin. Evaluaciones internas mixtas ............................................ 307
Tabla 6.2. a.
Tiempos y momentos de las evaluaciones externas ............................................................... 311
Tabla 6.2. b.
Tiempos y momentos de las evaluaciones internas mixtas .................................................... 314
Tabla 6.2. c.
Tiempos y momentos de las evaluaciones internas................................................................ 316
Tabla 6.3. a.
Criterios y preguntas de evaluacin. Evaluaciones externas .......................................... 318-321
Tabla 6.3. b.
Criterios y preguntas de evaluacin. Evaluaciones internas mixtas ............................... 326-328
Tabla 6.3. c.
Criterios y preguntas de evaluacin. Evaluaciones internas .................................................. 331
Tabla 6.4. a.
Procedimientos y metodologa. Evaluaciones externas .................................................. 335-337
Tabla 6.5. a.
Instrumentos de recopilacin de informacin utilizados. Evaluaciones externas.................. 339

Tabla 6.4. b.
Procedimientos y metodologa. Evaluaciones mixtas ..................................................... 341-343
Tabla 6.5. b.
Instrumentos de recopilacin de informacin utilizados. Evaluaciones mixtas .................... 345
Tabla 6.4. c.
Procedimientos y metodologa. Evaluaciones internas .......................................................... 346
Captulo 7
Tabla 7.1.
Pertinencia y utilidad de la informacin producid. Cuadro-resumen .................................... 357
Tabla 7. 2. a.
Contenidos de los informes de evaluacin. Evaluaciones externas ................................ 359-362
Tabla 7. 2. b.
Contenidos de los informes de evaluacin. Evaluaciones internas mixtas ..................... 367-369
Tabla 7. 2. c.
Contenidos de los informes de evaluacin. Evaluaciones internas........................................ 374
INTRODUCCIN
____________________________________________________________________________________
INTRODUCCIN
En el mbito del anlisis de polticas pblicas, la fase de la evaluacin ha sido la

menos tratada y estudiada. Sin embargo, la evaluacin de programas y polticas
pblicas es una realidad que, aunque tmidamente, ha ido creciendo de forma estable y
positiva en las administraciones pblicas y, en este momento, reclama la atencin tanto
de profesionales como de acadmicos. En Espaa, se empiezan a realizar evaluaciones
y esto est generando referencias empricas en algunos sectores de poltica, aunque
stas distan mucho de estar sistematizadas. En general, son prcticamente inexistentes
las investigaciones que tienen como objeto de estudio las propias evaluaciones que se
estn realizando de las diferentes polticas pblicas.
Existe, por lo tanto, una necesidad de estudios sobre los incipientes procesos de
evaluacin que se estn llevando a cabo en las administraciones pblicas. Un enfoque
novedoso para hacer dichos estudios es la realizacin de metaevaluaciones (evaluacin
de evaluaciones), que consisten en la recopilacin, anlisis y valoracin sistemtica de
un conjunto determinado de procesos de evaluacin. La metaevaluacin es, por lo tanto,
una herramienta especialmente til para la mejor comprensin de la funcin de
evaluacin en determinado mbito o sector y para la realizacin de propuestas de
mejora y desarrollo de dicha funcin. De esta manera, se conseguir aumentar, por un
lado, la demanda de evaluaciones y, por otro, la oportunidad, la relevancia, el rigor y la
validez de las evaluaciones que ya se realizan.
OBJETO
El objeto de estudio de la tesis doctoral que aqu se presenta es la evaluacin de
polticas pblicas, aplicado al caso concreto de las polticas de igualdad de gnero1.
Para esto, hemos realizado una metaevaluacin de las evaluaciones de los planes de
igualdad de oportunidades entre hombres y mujeres (a partir de ahora planes de
igualdad de gnero), realizadas en Espaa en los niveles de gobierno central y
autonmico, en la segunda mitad de la dcada de los aos noventa.
La evaluacin de polticas pblicas se define aqu como la valoracin de la accin
emprendida por los poderes pblicos para abordar un problema, en este caso concreto,
de la desigualdad de gnero. Las evaluaciones analizadas, por lo tanto, implican valorar
Por polticas de igualdad de gnero se entienden las polticas encaminadas a paliar la desigualdad
existente entre los gneros o, si se quiere, en su denominacin ms comn, las polticas de igualdad de
oportunidades para las mujeres o entre mujeres y hombres. Para entender mejor el uso del trmino
igualdad de gnero, vase el captulo tres, especialmente el punto referido a la evolucin en la
definicin del problema (punto 2.3.).
______________________________________________________________________
1
INTRODUCCIN
____________________________________________________________________________________
la accin de los poderes pblicos durante un perodo determinado. Por lo tanto,

distinguimos la evaluacin del simple seguimiento (comprobacin de que las acciones
se estn ejecutando tal y cmo se tena previsto), que slo se tiene en cuenta si forma
parte de una estrategia ms global de valoracin final de dichas acciones.
Por otro lado, el caso escogido resulta especialmente adecuado e ilustrativo. Las
polticas de igualdad de gnero en Espaa son polticas innovadoras, no slo porque son
relativamente recientes sino tambin porque se conciben de forma integral y
transversal, implicando varias reas gubernamentales en su formulacin y ejecucin.
Dichas polticas se conciben, en este trabajo, no slo como el conjunto de medidas
suficientemente coherentes entre s que los gobiernos adoptan para evitar o paliar la
desigualdad entre los gneros, sino tambin como los procesos que se generan con
dicha intervencin, es decir, el anlisis y la definicin del problema, la introduccin en
la agenda de las cuestiones y los problemas pertinentes, la toma de decisiones, la
participacin de agentes crticos, la coordinacin de actores, la implantacin de
medidas, etc.. Lo que en esta investigacin se analiza es cmo los gobiernos evalan su
accin en dicho terreno, as como el papel que cumple dicha evaluacin en el proceso
de la poltica pblica.
Para evaluar una poltica pblica, es imprescindible evaluar las acciones pblicas
que se realizan en el marco de dicha poltica, aunque la evaluacin de la poltica vaya
ms all de la simple evaluacin de las acciones concretas. As, el objeto general de la
tesis doctoral que aqu se presenta se centra en una unidad de anlisis ms concreta, la
evaluacin de los planes centrales y autonmicos de igualdad de gnero. Efectivamente,
en Espaa, se elaboran los llamados planes de igualdad que consisten en un conjunto
de medidas, para un perodo de tiempo determinado, aprobados por el Ejecutivo y que
pretenden abordar el problema de la desigualdad de gnero de una forma integral y
transversal, es decir, implicando a diferentes reas o sectores gubernamentales. La
elaboracin de planes se convierte, a partir de la dcada de los aos noventa, en el
principal instrumento a travs del que se articulan las polticas de igualdad de gnero
central y autonmicas. Por lo tanto, siendo el objeto de la investigacin la evaluacin
de las polticas pblicas de igualdad de gnero, el cuerpo emprico de la misma
coincide con la evaluacin de los planes de igualdad. De hecho, no podra ser de otro
modo, ya que las evaluaciones existentes son de los planes y no de las polticas. Ms
all, los planes son el principal y prcticamente nico instrumento de articulacin de las
polticas de igualdad de gnero y, adems, pretenden abarcar todas las acciones que en
dicha materia se realicen. Por lo tanto, en este caso concreto, el anlisis y valoracin de
las evaluaciones realizadas de los planes de igualdad permite, de forma clara, una
reflexin sobre la evaluacin de las polticas de igualdad de gnero en general.
Los principales impulsores de las polticas de igualdad de gnero en Espaa son
los organismos de igualdad, como el Instituto de la Mujer -del gobierno central-, y sus
homlogos en el nivel autonmico -Institutos autonmicos de la Mujer, Direcciones
Generales de la Mujer o similares-. Por otro lado, las situaciones de evaluacin cuentan
siempre con un comanditario o cliente, es decir, alguien que requiere, pide o encarga
la evaluacin, incluso aunque sta sea de carcter interno. En todos los casos
analizados, dicho papel ha sido ejercido por el organismo de igualdad correspondiente,
encargado de impulsar y coordinar el plan evaluado. Las evaluaciones, por lo tanto, han
de responder ante dichos comanditarios y otros agentes crticos de la poltica evaluada.
As, la accin de conocimiento est muy mediatizada por los destinatarios que vayan a
consumirla y sean susceptibles de utilizarla. De esta manera, el objeto de la presente
______________________________________________________________________
2
INTRODUCCIN
____________________________________________________________________________________
investigacin no se limita a estudiar cmo se ha resuelto tcnicamente la recopilacin y

el anlisis de la informacin que permite la valoracin de los planes, sino que se centra
y le da especial importancia al contexto y a los procesos polticos y organizativos
subyacentes a las situaciones de evaluacin. Efectivamente, la evaluacin supone
procesos complejos fuertemente ligados a los procesos polticos (Palumbo, 1987).
MARCO TERICO
La evaluacin de polticas pblicas se enmarca en esta investigacin en el

enfoque del anlisis de polticas pblicas. La evaluacin se ha considerado
tradicionalmente como una fase del ciclo de vida de una poltica pblica -la fase
final-. Y esto a pesar de que la evaluacin ha ido ampliando su objeto de estudio y
puede resultar un instrumento para el anlisis de las otras fases (es decir, se puede hacer
evaluacin del diseo o formulacin de una poltica, de su implementacin o ejecucin,
etc.). Sin embargo, al haber sido errneamente considerada como una fase
exclusivamente final, es la que menos atencin ha captado por parte de los analistas
de polticas pblicas.
Efectivamente, en el marco del anlisis de polticas pblicas, el aspecto menos
desarrollado en la literatura especializada es el de la evaluacin. De hecho, en muchos
casos, los captulos o secciones correspondientes a la evaluacin suelen ser marginales
o prcticamente inexistentes en obras o antologas generales importantes sobre polticas
pblicas, como ocurre en Meny & Thoening (1992) o en la antologa sobre polticas
pblicas en cuatro volmenes de Aguilar Villanueva (1996).
Sin embargo, el mbito del anlisis de las polticas pblicas resulta especialmente
adecuado para entender y situar los procesos de evaluacin en el contexto poltico en el
que se producen. Adems, puede ayudar a resolver preguntas como: Cul es el papel
que cumple la evaluacin de polticas pblicas? Puede incidir sustancialmente en su
anlisis y desarrollo? Se estn llevando a cabo realmente evaluaciones? De qu tipo?
Estn sirviendo para algo? Contribuyen a la institucionalizacin y normalizacin de
la funcin de evaluacin en las instituciones pblicas? Qu aaden?
Debido al relativo desarrollo de la evaluacin en el marco del anlisis de polticas
pblicas, otra de las bases tericas sobre las que sustenta este trabajo de investigacin
es el campo concreto conocido como la evaluacin de programas2, en el que
participan activamente algunos tericos y cientficos de la Ciencia Poltica y de la
Administracin que conciben la evaluacin desde el anlisis de polticas pblicas
(como por ejemplo, Palumbo, Chelimsky, Vedung o Monnier, y en Espaa, Ballart o
Zapico), pero en el que tambin participan profesionales y acadmicos de otras
disciplinas, como son la sociologa, las ciencias de la educacin y la pedagoga, la
2 Aqu se entiende programa en un sentido amplio, incluyendo en este concepto proyectos, planes,
programas, polticas, medidas, servicios, materiales, etc.
______________________________________________________________________
3
INTRODUCCIN
____________________________________________________________________________________
psicologa y las ciencias de la salud, la economa o el trabajo social, por no mencionar

campos ms concretos como la salud pblica, la ecologa humana, los recursos
humanos y la teora de la organizacin o el desarrollo regional. Este campo de la
evaluacin de programas se desarrolla a lo largo de los ltimos aos a la luz de la
necesidad prctica de evaluar los programas pblicos sociales y educativos que afloran
en la segunda mitad del siglo XX y que conforman los intentos de los poderes pblicos
para solucionar o paliar los complejos problemas sociales de la poca. Sin embargo, y a
pesar de que el motor que ha movido el desarrollo de este campo conocido como la
evaluacin de programas haya sido la propia prctica evaluativa, se ha generado
paralelamente todo un desarrollo terico con sus caractersticas especficas concretas
(Shadish, Cook y Levinton, 1991; Ballart, 1996).
El tercer elemento que sustenta este trabajo es el de los estudios de gnero
(conocidos en el mundo anglosajn como Womens Studies), en los que tambin la
ciencia poltica ha ido haciendo importantes aportaciones, especialmente en el terreno
concreto del papel del Estado, los poderes pblicos y los movimientos sociales y de
mujeres en la lucha contra la discriminacin de gnero. De forma especial, en los
ltimos aos se ha desarrollado, aunque todava sea tmidamente, la perspectiva del
anlisis de las acciones pblicas que los gobiernos realizan para evitar la discriminacin
de gnero (estudios sobre el llamado Feminismo institucional o Feminismo de Estado)
y que se han ido generalizando a lo largo del ltimo cuarto del siglo XX (Sasoon, 1987;
Meehan y Sevenhuijsen, 1991; Stetson y Mazur, 1995; Gardiner, 1997; en Espaa,
Valiente, 1995 y ss.; Gil Ruz, 1996; Martnez, 1997 y Granados, 1999).
Se deben sealar tambin aqu las razones de relevancia y oportunidad

cientfica y profesional del tema de investigacin escogido. En concreto, al escaso
desarrollo terico de la evaluacin en el campo concreto de las polticas pblicas, se
corresponde un tambin tmido desarrollo prctico de la evaluacin de polticas
pblicas en el mbito de las administraciones pblicas, especialmente en algunos pases
que, como Espaa, no cuentan con una cultura de evaluacin enraizada en su sistema
poltico-administrativo (precisamente la consolidacin de la funcin de evaluacin en
las instituciones pblicas de algunos pases, como por ejemplo EE.UU., Canad,
Australia y en Europa el Reino Unido o Suecia, es lo que provoca el desarrollo terico
en el campo de la evaluacin de programas). Sin embargo, s parece haber un consenso
cada vez ms generalizado, tanto en el mbito acadmico como en el de la gestin
pblica y la ciudadana en general, sobre la conveniencia y la necesidad de evaluar la
accin de los poderes pblicos. Esta necesidad prctica de la evaluacin se asienta
sobre la informacin que aqulla puede potencialmente arrojar y que resulta
indispensable para la formulacin, ejecucin y mejora de las polticas pblicas, es decir,
como una herramienta clave en la gestin pblica (Monnier, 1992). Por lo tanto, la
percepcin cada vez ms clara de la conveniencia y la necesidad de incorporar la
evaluacin como una herramienta til para el mejor gobierno y gestin pblica, hace
que sean imprescindibles las investigaciones que, con una slida base emprica y
cientfica, analicen la realidad, ayuden a la reflexin y propongan algunas lneas para
introducir, mejorar y fortalecer la evaluacin en las organizaciones pblicas.
La perspectiva descriptiva de la fase de evaluacin de las polticas pblicas ha
sido sistemticamente olvidada en el mbito de las polticas pblicas y de la evaluacin
de programas. As como se han realizado estudios sobre las fases de la definicin del
______________________________________________________________________
4
INTRODUCCIN
____________________________________________________________________________________
problema (Moore, 1976; Bardach, 1981) y de la entrada en agenda (Cobb y Elder,

1972; Elder y Cobb, 1984; Nelson, 1978), la toma de decisiones (Lowi, 1964; Etzioni,
1967; Allison, 1969; Majone, 1978; Lindblom, 1979) y de la ejecucin o
implementacin (Pressman y Wildavsky, 1973; Rein y Rabinovitz, 1978; Berman,
1978; Sabatier y Mazmanian, 1981; OToole, 1989), no se encuentran en la literatura
descripciones monogrficas sobre la fase de evaluacin. Incluso recurriendo al campo
de la evaluacin de programas, el tambin escaso desarrollo de la metaevaluacin
(evaluacin de la evaluacin) est ms relacionado con el control de calidad de las
evaluaciones y la posible acreditacin de los evaluadores (Scriven, 1991; Schwandt y
Halpern, 1988; Love, 1994) que con el estudio y anlisis descriptivo de los procesos de
evaluacin como objeto de estudio.
De esta manera, aparece como interesante y novedoso la realizacin de anlisis
descriptivos de la fase de evaluacin: Cmo se est desarrollando la funcin de
evaluacin en torno a unas determinadas polticas e instituciones pblicas? Cules son
las dificultades que se encuentran? Cmo se inserta esta fase en el ciclo general de
vida de una poltica? Insistimos aqu en que, adems, la metaevaluacin de los procesos
de evaluacin que en torno a unas determinadas polticas se realizan (y no tanto de los
resultados de las evaluaciones), permite un anlisis y una valoracin que puede arrojar
conclusiones especialmente ilustrativas y tiles sobre la funcin de evaluacin en un
determinado sector.
La eleccin del estudio de caso, las polticas de igualdad de gnero autonmicas

y centrales en Espaa, responde a una serie de razones que se exponen a continuacin:
- Son polticas innovadoras y relativamente recientes en el tiempo. Esto las hace
especialmente adecuadas, dado que las polticas innovadoras son ms complicadas de
llevar a cabo y, por lo tanto, la evaluacin resulta indispensable para ofrecer
retroalimentacin sobre la accin, sugerir mejoras y estimar si es oportuna su
generalizacin. Pero, adems, los programas innovadores se realizan en un contexto de
no-rutina, por lo que los actores carecen de un sistema de referencias previo para
evaluar su repercusin. Ms all, la propia evaluacin puede inducir a que se redefina el
problema que ha motivado la actuacin (Monnier, 1995: 14).
- Estas polticas responden a una nueva definicin de la desigualdad de gnero
como un problema susceptible de ser abordado por los poderes pblicos. El perfil del
problema a tratar, complejo y multiforme, y que requiere de una redefinicin continua
es un ejemplo interesante del tipo de problemas a los que han de enfrentarse las
complejas y fragmentadas sociedades democrticas del S. XXI; especialmente, teniendo
en cuenta que el origen de dicho problema est firmemente enraizado en siglos de
historia y en la discriminacin sistemtica de la mitad de la poblacin. La valoracin de
la respuesta, en muchos casos contradictoria adems de novedosa, que los poderes
pblicos ofrecen ante dicho problema, aparece como un objeto especialmente atractivo
de estudio.
- Son polticas que cuentan, en la actualidad, con un aval y un apoyo
internacional. Crucial ha sido el impulso de las Organizacin de las Naciones Unidas y
las Conferencias Mundiales sobre la Mujer (Mxico, 1975; Copenhaguen, 1980;
Nairobi, 1985; y, de forma especial, Pekn, 1995), as como la formulacin de polticas
______________________________________________________________________
5
INTRODUCCIN
____________________________________________________________________________________
y medidas de accin positiva en algunas organizaciones internacionales y

supranacionales (destacando el desarrollo de los Programas de Accin de la Unin
Europea). En este sentido, son polticas que acaparan la atencin de organizaciones
internacionales y gobiernos nacionales, al menos de manera formal, y, por lo tanto, y de
forma creciente, de profesionales, acadmicos e investigadores.
- En Espaa, las polticas de igualdad de gnero han tenido un rpido desarrollo y,
en cierto modo, paralelo al ritmo de construccin autonmica en Espaa. En la
actualidad estn presentes tanto en el nivel central como en todas las Comunidades
Autnomas. A pesar de que las originales competencias en materia de promocin de la
mujer se transfirieron desde un principio incluso a las Comunidades Autnomas que
accedieron a la autonoma por la va lenta (acogindose al artculo 143 de la
Constitucin Espaola), el desarrollo inicial de las polticas de igualdad de gnero en el
nivel central fue el punto de partida y un referente crucial para el desarrollo de dichas
polticas en el mbito autonmico. Por otro lado, a lo largo de los ltimos quince aos,
las polticas de igualdad de gnero autonmicas han ido adquiriendo tal potencia y
protagonismo propio que se tendra una visin muy sesgada si slo se analizara el nivel
central. Por lo tanto, parece lgico que el objeto de estudio se centre en los dos niveles
gubernamentales mencionados.
- En Espaa, las polticas pblicas de igualdad de gnero son, en cierto modo,
homogneas entre s, en el sentido de que cuentan con una estrategia comn general en
los dos niveles gubernamentales estudiados y que consiste, como ya se ha comentado,
en la elaboracin, aprobacin y ejecucin de planes de igualdad. Esto las hace
especialmente idneas para formar parte de un estudio de caso que permite una
comparacin transversal entre los diferentes subcasos. Esto es, el campo de estudio es
diverso pero con elementos lo suficientemente homogneos como para establecer
pautas de comparacin de una experiencia a otra.
- Finalmente, son polticas horizontales, que pretenden comprometer
transversalmente a todas las instancias gubernamentales implicadas. En este sentido,
cada vez ms se plantean soluciones integrales a los problemas complejos que los
poderes pblicos abordan. Este tratamiento integral es una forma innovadora y cada vez
ms generalizada de abordar los problemas sociales. La evaluacin de estas polticas
complejas es lgicamente tambin compleja y representa un nuevo reto pblico y
social.
Adems de los fundamentos tericos, su relevancia cientfica y las razones de

seleccin del estudio de caso, queremos sealar, como ltimo punto de este apartado,
las posibles limitaciones de esta investigacin.
1. La primera limitacin posible est relacionada con un dilema inevitable y que
ha sido ampliamente reflexionado en metodologa comparada: la opcin de uno o varios
casos. Al optar por incluir en el estudio de caso todos los procesos de evaluacin
existentes en torno a los planes de igualdad autonmicos y centrales en un perodo
determinado (en realidad, tenemos once subcasos), se gana en alcance, ya que se
metaevalan todos los procesos de evaluacin que se han realizado, pero se pierde en
profundidad ya que queda fuera de los posibles objetivos de esta investigacin estudiar
los once subcasos de forma detallada. Somos conscientes de que cada una de las once
______________________________________________________________________
6
INTRODUCCIN
____________________________________________________________________________________
evaluaciones estudiadas requerira de un estudio de caso propio en profundidad; sin

embargo, la forma idnea de obtener una visin ms global y general que contribuyera
al estudio de la funcin de evaluacin en las polticas de igualdad de gnero en los dos
niveles gubernamentales escogidos, era la realizacin de una metaevaluacin que
incluyera la totalidad de las experiencias de evaluacin existentes.
2. La segunda limitacin tiene que ver con las dificultades en la recopilacin de
informacin. La disponibilidad de informacin en cada uno de los subcasos estudiados
ha sido muy irregular, no slo porque los procesos de evaluacin estn diferencialmente
documentados sino porque las actitudes respecto a hacer o no disponible la informacin
tambin varan. En este sentido, creemos que la falta de cultura de evaluacin y la
propia novedad de estos procesos han jugado en contra; as, por ejemplo, no existe
ningn criterio comn sobre el carcter pblico de los informes de evaluacin ni sobre
la posible facilitacin de los mismos para esta u otras investigaciones.
3. Asimismo, hay algunos criterios de la metaevaluacin, los relacionados con el
impacto de los procesos de evaluacin, para los que ha sido ms difcil obtener
informacin. Esto es debido a la propia naturaleza de la informacin requerida. Es
decir, obtener una informacin completa y fiable sobre la utilizacin real de los
resultados de evaluacin, la creacin de una cultura y el desarrollo de la funcin de
evaluacin, el aumento de la conciencia sobre las polticas de igualdad de gnero, o la
mejora real de los sistemas de informacin en los organismos de igualdad, hubiera
requerido de una investigacin de mayor alcance, y con una perspectiva temporal ms
amplia, de lo que este estudio de caso puede ofrecer. Sin embargo, no hemos querido
renunciar a obtener una informacin que de forma ms indirecta (por ejemplo, la
percepcin de responsables polticas y tcnicas al respecto, la adquisicin creciente de
compromisos de evaluacin, los planes de evaluaciones futuras, modificaciones
introducidas en los sistemas de informacin, etc.), contribuyera a esclarecer y ofreciera
una idea general respecto a dichos aspectos.
4. La ltima posible limitacin se relaciona con algunas dificultades de
generalizacin. Los procesos de evaluacin metaevaluados son muy heterogneos entre
s, tanto que, en muchas ocasiones, era inicialmente difcil el establecimiento de
tendencias o conclusiones generales. En este sentido, hemos procurado reflejar la
diversidad encontrada y hemos sido prudentes a la hora de concluir si existan o no
determinadas regularidades. Por esta razn, la exposicin de los datos e informacin
hallada es, en algunas ocasiones, excesivamente minuciosa y puede resultar difcil
obtener una visin de conjunto en cada momento. Esta minuciosidad tambin tiene que
ver con nuestra decisin de reflejar, lo ms fielmente posible, las diferentes formas de
abordar la evaluacin de los planes de igualdad.
OBJETIVOS E HIPTESIS DE LA INVESTIGACIN
______________________________________________________________________
7
INTRODUCCIN
____________________________________________________________________________________
Los objetivos generales de esta tesis doctoral son:

- Desarrollar el concepto de evaluacin de polticas pblicas y analizar su
aplicacin prctica en las polticas pblicas de igualdad de gnero
- Conseguir una mayor elaboracin terica sobre el significado, el papel y las
posibles formas de utilizacin de las polticas pblicas de igualdad de gnero.
Estos objetivos generales se concretan en los siguientes objetivos especficos:
1) Analizar la utilizacin que desde las administraciones pblicas autonmicas y
la administracin central se est haciendo de la evaluacin como un instrumento de
anlisis de las polticas pblicas de igualdad, a travs de:
1.1) Anlisis comparativo de los procesos de evaluacin que se han llevado
a cabo de las polticas autonmicas y centrales de igualdad de gnero en la
segunda mitad de la dcada de los aos noventa
1.2) Anlisis del discurso poltico de responsables de los organismos de
igualdad sobre el papel de la evaluacin en el desarrollo de las polticas de
igualdad de gnero en Espaa.
2) Identificar los factores que han facilitado y dificultado la evaluacin de los
planes de igualdad en los niveles gubernamentales central y autonmico.
3) Extraer conclusiones sobre posibles lneas de futuro para la evaluacin de las
polticas de igualdad de gnero.
Las hiptesis que formulamos sobre los resultados previsibles son las siguientes:
1: Existen factores que dificultan la evaluacin de los planes de igualdad
(abstraccin de los mismos, falta de equipos preparados y de experiencia previa,
no anticipacin de la misma, falta de insitucionalizacin y cultura evaluativa, etc.)
y factores que la facilitan (la propia concepcin de planes, institucionalizacin de
compromisos respecto a la evaluacin, etc.).
2: Entendida la eficacia de una evaluacin como el cumplimiento de los fines para
los que se disea, es decir, si resulta til para la mejora de los planes y polticas,
para el control de responsabilidades y/o para ilustrar las acciones y polticas
futuras, entre las evaluaciones realizadas de los planes de igualdad centrales y
autonmicos, las ms eficaces son las que se producen:
a) Con una mayor amplitud y visin global respecto a los contenidos que se
evalan (si adems del grado de cumplimiento de las acciones se evala el
propio diseo del plan, el proceso de puesta en prctica y sus efectos).
b) En el momento adecuado, es decir, planificndose desde el principio del
plan y presentndose los resultados a tiempo para la toma de decisiones.
______________________________________________________________________
8
INTRODUCCIN
____________________________________________________________________________________
c) Utilizando agentes externos simultneamente a una fuerte implicacin de

agentes internos.
d) Con una mayor interpretacin valorativa y orientada a la accin, es decir,
traduciendo los datos en valoraciones y recomendaciones concretas.
e) Con una mayor comunicacin y publicidad de sus resultados.
3: El hecho de que se produzcan procesos de evaluacin de los planes de igualdad
puede, adems de producir resultados tiles para los propios planes, tener los
siguientes efectos colaterales beneficiosos3:
a) introduccin de una cultura de la evaluacin en los organismos de
igualdad e incluso que pueda ir ms all de dichos organismos y extenderse
a otras unidades administrativas (por la horizontalidad de las polticas de
igualdad)
b) mayor conciencia de los procesos y polticas pblicas de igualdad de
gnero
c) mejora de los sistemas de informacin sobre acciones pblicas de
igualdad de gnero
METODOLOGA
Para la realizacin de la investigacin que aqu se presenta hemos seguido el

mtodo del estudio de caso. Si, por el contrario, hubisemos decidido seguir el mtodo
comparado, hubiramos supuesto que los casos a comparar en este caso, evaluaciones
de otras polticas pblicas- se parecan lo suficiente entre s como para analizarlos y,
por lo tanto, compararlos- en relacin a ciertos criterios. No slo creemos que todava
estara por demostrar que existen otras polticas pblicas (y, por lo tanto, sus
evaluaciones) comparables con las polticas de igualdad de gnero, sino que tambin
se perdera la lgica de un caso concreto estudiado en su complejidad.
Escogiendo un caso concreto las polticas centrales y autonmicas de igualdad
de gnero-, pretendo dar cuenta de un conjunto de resultados (cmo se evalan dichas
polticas) situados en su contexto y momento, componiendo la evidencia o informacin
de manera sensible a la cronologa histrica y procurando ofrecer generalizaciones
histricas limitadas que tengan en cuenta y se fundamenten en dicho contexto
(polticas, planes y organismos de igualdad en la segunda mitad de la dcada de los
aos noventa).
3 Es decir, la evaluacin puede tener efectos no slo respecto a los resultados a raz de su aplicacin, sino
tambin por su mera aplicacin como instrumento de gestin en las administraciones pblicas.
______________________________________________________________________
9
INTRODUCCIN
____________________________________________________________________________________
Si se tiene en cuenta el valor que normalmente se le otorga a los estudios de caso

y los diferentes tipos que se encuentran -atericos, interpretativos, generadores de
hiptesis, confirmadores de teora y el estudio de caso discordante- (Lijphart, 1971), el
estudio de caso que aqu se presenta podra ser clasificado como generador de
hiptesis, ya que uno de nuestros objetivos era desarrollar algunas generalizaciones
(quiz, de manera ms concreta, posibles tendencias) tericas sobre la funcin de
evaluacin de polticas pblicas, ilustrando con un caso -la evaluacin de polticas
pblicas de igualdad de gnero en un contexto y momento determinado-, en reas en las
que no existe un cuerpo terico ni emprico importante. De esta forma, creemos que la
evaluacin de la poltica de igualdad de gnero permite identificar algunos rasgos
tericos derivados de su especificidad4, especialmente la derivada de su carcter
transversal e integral, su carcter persuasivo y no sancionador y su carcter simblico.
De todas formas, y dada la eleccin del mtodo del estudio de caso, aunque
nuestra finalidad es la de establecer relaciones entre diferentes variables, las
conclusiones slo pueden ser en trminos de tendencias y no tanto en trminos de
causalidad. De hecho, en la exposicin de los datos nos hemos guado por la inevitable
complejidad, coyunturalidad y contextualidad de los fenmenos estudiados (los
procesos de evaluacin). La complejidad viene dada por la necesidad de considerar
varias variables independientes y la imposibilidad de considerar una nica causa
simple. La coyunturalidad, porque los fenmenos de evaluacin son el efecto de varias
actuaciones y de su interseccin en el tiempo y el espacio. Y la contextualidad, porque
cualquier causa especfica puede tener efectos diferentes dependiendo del contexto. Por
lo tanto, se analizan los fenmenos de evaluacin realizados en torno a las polticas y a
los organismos de igualdad de gnero, en su especificidad, procurando ser fiel a su
complejidad, coyunturalidad y contextualidad. Aunque esto no obvia, como ya se ha
sealado, la intencin de establecer ciertas tendencias, regularidades y
generalizaciones.
La unidad de anlisis, por lo tanto, son las evaluaciones de los planes de

igualdad centrales y autonmicos, realizadas durante la segunda mitad de la dcada de
los aos noventa en Espaa. Pero tambin hemos considerado como unidades de
anlisis, en primer lugar, los propios planes de igualdad de segunda generacin, tanto
los que fueron evaluados como los no evaluados, especialmente en lo que se refiere a su
grado de generalidad y su grado de compromiso explcito sobre el seguimiento y la
evaluacin. En segundo lugar, se considera tambin unidad de anlisis el discurso sobre
la evaluacin de las responsables polticas de los organismos especficos de igualdad
que impulsan y coordinan los planes, hayan o no sido evaluados, incluyendo las
percepciones sobre las dificultades para evaluar los planes de igualdad.
Las tcnicas para la recopilacin y anlisis de informacin utilizadas han sido
esencialmente tres: recopilacin y anlisis documental, entrevistas abiertas
semiestructuradas a las responsables polticas de los organismos de igualdad y
entrevistas telefnicas estructuradas -en algunos casos presenciales- a las responsables
tcnicas de evaluacin de los organismos de igualdad.
4 Esta especificidad de las polticas de igualdad de gnero se desarrolla tanto en la parte II (captulo tres)
como en la parte IV (captulo ocho y nueve).
______________________________________________________________________
10
INTRODUCCIN
____________________________________________________________________________________
Las fuentes de informacin a las que hemos recurrido han sido, esencialmente,
los organismos de igualdad responsables de los planes (tanto en lo que refiere a la
documentacin generada en torno a los mismos, como a las responsables polticas y
tcnicas de los mismos). En algunos casos nos hemos apoyado tambin en los
responsables tcnicos externos que realizaron las evaluaciones, tanto a travs de
entrevistas personales (telefnicas o presenciales), como a travs de la documentacin
producida por los mismos.
Respecto a la recopilacin y el anlisis documental, el cuerpo emprico ms
importante de esta tesis doctoral son los informes de evaluacin producidos por cada
organismo de igualdad o por los equipos responsables de las evaluaciones en los casos
de las evaluaciones externas. Pero tambin se han consultado y utilizado5 los propios
planes de igualdad, las leyes, decretos y, en general, la normativa legal en torno a los
organismos y a los planes de igualdad, as como otros documentos internos, por
ejemplo, memorias de actividades, etc. Sin embargo, no se encuentran muchos
documentos institucionales o declaraciones explcitas que traten el tema de la
evaluacin en los organismos de igualdad. Como ya se ha dicho, la principal
documentacin hallada han sido los informes de evaluacin aunque, como se ver en el
captulo siete, en muchos casos son parcos a la hora de describir los procesos de
evaluacin pasando directamente a exponer los resultados hallados.
Las entrevistas tenan como objetivo captar el discurso de las responsables
polticas sobre la evaluacin de los planes y las polticas de igualdad. En ese discurso se
incluye la propia valoracin que realizan dichas responsables de las evaluaciones y, por
extensin, de la funcin de evaluacin de las polticas de igualdad de gnero en el seno
de dichos organismos. Adems de recoger informacin sobre las evaluaciones en s,
pretendamos captar la perspectiva institucional de dichas evaluaciones, comprender de
una forma ms global el contexto en el que se generan, as como saber cmo se
entiende la funcin de evaluacin y qu papel cumple en los organismos de igualdad.
Al no disponer, en la mayora de dichos organismos, de documentacin institucional
sobre la evaluacin, resulta especialmente importante captar el discurso que sobre la
misma tengan sus mximas responsables. En definitiva, el objetivo de las entrevistas
era la captacin del discurso poltico en torno a los procesos de evaluacin: qu papel
cumple la evaluacin de las polticas de igualdad en los organismos que las impulsan y
para las propias polticas, qu esperan y cmo utilizan la evaluacin, cules son/han
sido sus principales dificultades, etc.
Las entrevistas se realizaron de forma abierta y con un guin semiestructurado, ya
que ms que una informacin cerrada y concreta, se quera captar el discurso general de
las entrevistadas sobre la evaluacin, desde su propia perspectiva. Para esto, se
dirigieron las entrevistas con la tcnica no directiva, facilitando el discurso de una
forma no estructurada. Se realizaron entrevistas a diecisis directoras de organismos de
igualdad, de las cuales once lo eran de los organismos que llevan a cabo los procesos de
evaluacin analizados. De este modo, entrevistamos a todas las responsables polticas
de los organismos de igualdad autonmicos (exceptuando a las directoras del Instituto
Navarro de la Mujer y de la Direccin General de la Mujer de Cantabria), y a la
Vase el anexo correspondiente a la documentacin consultada.
______________________________________________________________________
11
INTRODUCCIN
____________________________________________________________________________________
directora del Instituto de la Mujer. Posteriormente, se realiz un anlisis del discurso

sobre las transcripciones de las entrevistas.
Finalmente, otra parte importante de la informacin recopilada proviene de las
entrevistas telefnicas y personales realizadas al personal tcnico responsable de los
procesos de evaluacin en los organismos de igualdad. Gracias a la informacin que
estas personas nos proporcionaron se pudieron solventar muchas de las carencias de
informacin que, sobre los procesos de evaluacin, existan en la documentacin
consultada.
PLAN DE EXPOSICIN
La tesis doctoral se estructura en cinco partes diferenciadas. En la primera parte

se expone el marco terico sobre la evaluacin de polticas pblicas que sustenta la
investigacin realizada. La segunda consiste en una descripcin pormenorizada de las
polticas de igualdad de gnero en Espaa, dado que el estudio de caso seleccionado es
la evaluacin de dichas polticas. En la tercera parte se desarrolla el cuerpo emprico de
la tesis, describiendo las once experiencias de evaluacin, segn los criterios preestablecidos para realizar la metaevaluacin. La cuarta parte contiene el anlisis
valorativo global de la informacin expuesta en la parte anterior, incluyendo el anlisis
del discurso de las responsables de los organismos de igualdad sobre la evaluacin y los
factores identificados como elementos que facilitan o dificultan los procesos de
evaluacin de las polticas de igualdad de gnero. Por ltimo, en la parte quinta se
exponen las principales conclusiones de esta tesis doctoral.
La parte I, La evaluacin de las polticas pblicas, consta de dos captulos. En

el primer captulo, La evaluacin en el marco del anlisis de polticas pblicas,
se aborda la evaluacin desde el marco general del anlisis de polticas pblicas,
exponiendo las referencias tericas en las que se basa la investigacin realizada. Para
ello, se desarrolla de forma sucinta el concepto y las caractersticas del anlisis de
polticas pblicas y se enmarca la evaluacin de polticas pblicas en dicho contexto.
De este modo, se expone la idea de que la evaluacin es la fase del ciclo de vida de una
poltica menos estudiada desde la perspectiva del anlisis de las polticas pblicas y se
fundamenta el hecho de que el desarrollo terico y prctico de la evaluacin como
actividad cientfica diferenciada se ha dado ms en un campo afn, conocido como la
evaluacin de programas. Por lo tanto, en este primer captulo, se seala la necesidad y
conveniencia de desarrollar la evaluacin de polticas desde el marco general del
anlisis, pero integrando los avances tericos desarrollados en el campo concreto de la
evaluacin de programas. As, se discuten el concepto, el sentido, las funciones y los
objetivos de la evaluacin y, posteriormente, se desarrollan las caractersticas
especficas de la evaluacin de polticas y que la diferencian de otras prcticas
cientficas y de anlisis.
Por lo tanto, despus de establecer las diferencias entre investigacin y
evaluacin, se sealan las caractersticas que consideramos ms diferenciadoras y
______________________________________________________________________
12
INTRODUCCIN
____________________________________________________________________________________
especficas de la evaluacin: su carcter poltico y su carcter prctico y aplicado a la

accin. El carcter poltico de la evaluacin implica un necesario reconocimiento del
mismo tanto para la prctica evaluativa como para el desarrollo terico de dicha
actividad cientfica. Resulta necesario, pues, reconocer e identificar los procesos
polticos subyacentes a todo contexto evaluativo: la evaluacin, para resultar eficaz,
debe partir de dicho contexto y tener capacidad de respuesta ante el mismo. Las
implicaciones de este reconocimiento del carcter poltico de la evaluacin van desde la
formacin de evaluadores ms all de las cuestiones metodolgicas, a la necesidad de
su credibilidad (y que implica algo ms de la credibilidad tcnica), pasando por la
centralidad del concepto de temporalidad y la necesidad de obtener los resultados a
tiempo de la evaluacin. El carcter prctico y aplicado se refleja en dos cuestiones. A)
En primer lugar, en el necesario desarrollo de los dos niveles de anlisis especficos de
la evaluacin: el enjuiciamiento sistemtico y el establecimiento de recomendaciones.
Es decir, en evaluacin, adems de recopilar y analizar informacin sistemtica, se
emiten juicios de valor sobre dichos resultados a la luz de los criterios de evaluacin
establecidos previamente, y se sugieren lneas de accin (recomendaciones) para la
mejora de los programas y polticas evaluadas. B) En segundo lugar, en la preocupacin
por el uso y la utilizacin de la evaluacin que es lo que confiere y da sentido a la
misma. En el ltimo punto del captulo se recoge esta preocupacin y se discuten los
diferentes tipos posibles de uso de la evaluacin descritos y tipificados en la literatura
especializada.
En el segundo captulo, La evaluacin de polticas pblicas desde una
perspectiva histrica, se realiza un repaso histrico, tanto de la propia evolucin o
historia de la evaluacin como de los diferentes enfoques o modelos que se han
propuesto a lo largo de sus aos de desarrollo cientfico. As, adems de relatar una
breve historia de la evaluacin, se identifican dos factores que han influido en el
desarrollo de la evaluacin como actividad cientfica diferenciada y en la propuesta de
modelos y enfoques. Por un lado, el grado de institucionalizacin y consolidacin
profesional de la misma, que ha sido diferente en cada pas y, por otro, la propia
evolucin en el estudio y la concepcin de los problemas sociales, ya que se ha ido
perdiendo paulatinamente la credibilidad en las posibilidades de la ciencia para
resolver los problemas sociales, reconociendo la complejidad de los procesos sociales
y, por lo tanto, de su evaluacin. En este segundo captulo tambin se repasan los
principales enfoques o modelos propuestos a lo largo de la historia de la evaluacin,
desde los ms tradicionales (evaluacin por objetivos y enfoques experimentales),
hasta los ms innovadores y actuales (los enfoques participativos, como la evaluacin
de cuarta generacin, la pluralista o la empowerment evaluation), pasando por los
enfoques orientados a la toma de decisiones, al cliente, al consumidor y a la utilizacin
de la evaluacin.
Adems del enfoque histrico descrito, en el segundo captulo se definen cuatro
clasificaciones para establecer las tipologas bsicas de evaluacin, segn el papel que
cumple la evaluacin, segn el contenido o fase de la poltica o programa que se
evala, segn el agente evaluador y segn el momento de la evaluacin, que son las
que se utilizan posteriormente para la clasificacin de las evaluaciones estudiadas.
Tambin se mencionan otros tipos de evaluacin y otras clasificaciones utilizadas por
otros autores. Por ltimo, se tratan otros tres temas bsicos para la teora y la prctica
de la evaluacin, y que son foco de atencin de los cientficos y profesionales: a) los
actores y participantes en la evaluacin -distinguiendo entre clientes, destinatarios y
______________________________________________________________________
13
INTRODUCCIN
____________________________________________________________________________________
agentes crticos (stakeholders)- b) el papel del evaluador dependiendo de los diferentes

enfoques y estructuras institucionales, y c) las implicaciones ticas para la prctica
evaluativa. Finalmente, y a modo de conclusin de esta primera parte, se extraen las
cuestiones ms importantes que, segn nuestro punto de vista, deberan estar presentes
en un enfoque integrador para la evaluacin de las polticas pblicas.
La parte II, Las polticas pblicas de igualdad de gnero en Espaa, consta

de un nico captulo (tercero) en el que se describen dichas polticas en Espaa en el
nivel de gobierno central y en el autonmico. En l, se discute sobre el concepto e
historia de las polticas de igualdad de gnero, poniendo especial nfasis en las difciles
relaciones que siempre han tenido el movimiento feminista y el Estado. Tambin se
explica el trmino de feminismo de Estado o institucional acuado en la literatura
especializada y que se refiere a la maquinaria institucional de organismos e
instituciones especficas que se dedican a promover a la mujer y la igualdad de gnero.
En un segundo punto se realiza un repaso histrico de lo que significan las polticas
pblicas de igualdad de gnero en Espaa. Sus inicios se remotan formalmente a la
creacin del Instituto de la Mujer en diciembre del ao 1983, por lo que se trata de una
historia muy reciente aunque de crecimiento muy rpido. Tanto, que la evolucin en la
definicin del problema que se intenta resolver (la desigualdad o discriminacin de
gnero) tambin ha sido significativa. Asimismo, se explica el marco institucional que
sostiene dichas polticas en los niveles de gobierno central y autonmico y se hace una
revisin de los actores que contribuyen a su formulacin. Finalmente, en un tercer
apartado, se tratan especficamente los planes de igualdad de gnero, ya que stos son,
actualmente, el principal instrumento en el que se articulan las polticas de igualdad de
gnero en Espaa. De este modo, se explica lo que son y significan estos planes, se
repasa su evolucin en los niveles central y autonmico desde sus inicios y se discuten
sus principales fortalezas y debilidades.
La parte III, La prctica de la evaluacin de las polticas pblicas de igualdad

de gnero en Espaa, consta de cuatro captulos (del captulo cuarto al sptimo), y en
ella se desarrolla la descripcin emprica de los once procesos de evaluacin
metaevaluados.
En el captulo cuatro, La evaluacin de las polticas pblicas de igualdad de
gnero en Espaa: marco para el anlisis y la valoracin, se explica y fundamenta
el trmino y el concepto de metaevaluacin, base metodolgica y terica sobre la que
se asienta la descripcin y valoracin de los procesos de evaluacin que son objeto de
estudio. Tambin se seala y desarrolla la necesidad y la conveniencia de analizar los
procesos de evaluacin en torno a las polticas pblicas y, en especial, a las polticas de
igualdad de gnero, dadas sus caractersticas de polticas pblicas innovadoras,
integrales y transversales. En segundo lugar, se realiza un panorama general de las
evaluaciones realizadas en Espaa en torno a las polticas de igualdad de gnero en los
niveles gubernamentales central y autonmico, distinguiendo tres generaciones de
evaluaciones y sealando que la metaevaluacin objeto de esta tesis doctoral es la
referida a la segunda generacin de evaluaciones, dado que la primera consisti en
unos pocos intentos parciales de evaluacin y la tercera generacin de evaluaciones
est todava por concluir. Finalmente, se establece el marco para la metaevaluacin
______________________________________________________________________
14
INTRODUCCIN
____________________________________________________________________________________
definiendo los criterios que se utilizan para el anlisis y la valoracin de las

experiencias de evaluacin. Estos criterios, los cuales son definidos y explicados uno a
uno en este captulo cuarto, se agrupan en tres grandes dimensiones: el planteamiento
de la evaluacin y las estrategias empleadas, los elementos clave de los procesos
evaluativos y la utilizacin de los mismos. Estas tres dimensiones son las que,
respectivamente, van a guiar los tres siguientes captulos de esta parte III. Es decir, una
vez definidos los criterios en este captulo, se pasa a la descripcin de los once
procesos de evaluacin a lo largo de los captulos cinco, seis y siete.
En el captulo cinco, El planteamiento general de los procesos de
evaluacin: tipos, contexto, propsitos, estructuras y recursos, se realiza primero
una clasificacin de las once experiencias de evaluacin segn las cuatro tipologas
bsicas: segn el papel de la evaluacin, las clasificamos en evaluaciones sumativas o
formativas; segn el contenido o fases que se evalan, en evaluaciones de diseo,
proceso y/o resultados; segn el momento en el que se evala, en evaluaciones ex-ante
o ex-post-facto; y segn el agente evaluador, en evaluaciones internas, externas o
mixtas. Esta ltima clasificacin es la que se selecciona para presentar los datos a lo
largo de los tres captulos. De las once experiencias, seis son externas (las
correspondientes a los planes andaluz, canario, castellano-manchego, castellano-leons,
gallego y madrileo), dos son internas (correspondientes a los planes aragons y
riojano) y tres son mixtas (correspondientes al plan central del Instituto de la Mujer y a
los planes cataln y vasco). Por lo tanto, para cada criterio de metaevaluacin
establecido, se distinguen estos tres tipos de evaluaciones. Los criterios que se exponen
en este captulo cinco y que se relacionan con el planteamiento general de los procesos
de evaluacin son, adems de los tipos de evaluacin realizados, 1) los contextos
evaluativos -teniendo en cuenta las variables del tipo y la antigedad del organismo de
igualdad correspondiente y el rea gubernamental a la que est adscrito, el partido
poltico en el gobierno en el momento de la evaluacin, los cambios de responsables
polticas y si exista experiencia evaluadora previa-, 2) la claridad de los propsitos y
los objetivos de las evaluaciones -si stos han sido explicitados previamente o no-, 3)
las estructuras institucionales de la evaluacin -es decir, qu tipo de estructuras existen
y estn implicadas en el seguimiento y evaluacin de los planes- y 4) los recursos
existentes para la evaluacin, tanto de carcter directo -reflejados en el presupuestocomo indirecto - reflejados en el tiempo de dedicacin a la evaluacin de los equipos
tcnicos internos de los correspondientes organismos de igualdad-.
En el captulo seis, Los elementos clave de la evaluacin: agentes,
momentos, criterios y metodologa, se exponen quines han sido los agentes y los
participantes activos en los procesos de evaluacin estudiados, y cules han sido los
momentos y el calendario de los mismos -distinguiendo entre el momento del
desarrollo del plan en el que se plantea la evaluacin, la duracin de los procesos de
evaluacin, el tiempo que pasa desde que finaliza el plan hasta que se entrega el
informe final de evaluacin, as como los retrasos producidos en las evaluaciones-.
Tambin se describe en este captulo otro de los elementos clave en cualquier
evaluacin, como es lo que se evala, es decir, los criterios y los indicadores de
evaluacin que se han utilizado en cada proceso metaevaluado, as como cules han
sido sus fuentes y su proceso de establecimiento. Este es definitivamente uno de los
factores clave, no slo porque define las variables a evaluar de los planes de igualdad,
sino porque a travs de los mismos se definen las perspectivas de valoracin con las
______________________________________________________________________
15
INTRODUCCIN
____________________________________________________________________________________
que se enjuician dichos planes. Finalmente, se sealan y analizan tambin los

procedimientos y la metodologa empleada en las evaluaciones.
Las cuestiones relacionadas con la utilidad y la utilizacin real de los procesos y
los resultados de las evaluaciones se tratan en el captulo siete, La utilizacin de las
evaluaciones: pertinencia, comunicacin e impacto. En este captulo se recogen
datos y se analizan, en primer lugar, la pertinencia y la utilidad de la informacin que
han producido las evaluaciones, tanto en los que se refiere al alcance y a la globalidad
de la informacin producida, como a la traduccin prctica para la aplicacin de la
misma. Por lo tanto, se refleja, por una lado, la pertinencia de los contenidos de los
estudios de evaluacin para el plan evaluado, para el organismo de igualdad
protagonista de la evaluacin, as como para la situacin evaluativa concreta. Por otro
lado, se estudia el grado de anlisis y elaboracin de conclusiones, as como la
existencia y la calidad de las recomendaciones en los informes de evaluacin, y a esto
es a lo que denominamos el grado de traduccin prctica, que tiene que ver con la
aplicabilidad de los procesos de evaluacin (un alto grado de elaboracin prctica es
una condicin facilitadora para su utilizacin). En el segundo apartado de este captulo
siete, se trata el proceso de comunicacin de la evaluacin como otro elemento clave
para la utilidad y utilizacin de la misma. Para esto, se analizan los informes de
evaluacin, su contenido y estructura, la difusin que se realiza de los mismos, as
como sus destinatarios y el calendario de dicha difusin. Finalmente, en el ltimo
apartado de este captulo, se analiza el impacto que han tenido las experiencias de
evaluacin, tanto en lo propios planes y polticas de igualdad de gnero, como en los
organismos de igualdad impulsores de dichas polticas. El impacto de las evaluaciones
depende, en gran medida, del uso que se haga de ellas. As, adems de los usos de los
resultados de la evaluacin, se tratan tambin los usos de los procesos de evaluacin,
ya que estos ltimos pueden servir, potencialmente, para introducir una cultura y una
metodologa de evaluacin y para generar una mayor comprensin de la intervencin
pblica y una mayor conciencia sobre cmo se abordan los problemas pblicos. De esta
manera, se exponen en este apartado los indicios encontrados sobre los efectos de los
mismos procesos de evaluacin, si se ha producido una mayor comprensin de las
polticas de igualdad de gnero, como consecuencia de las evaluaciones. Igualmente se
estudia si se han realizado acciones o modificaciones a resultas de las mismas.
La parte IV de la tesis doctoral, La valoracin de la evaluacin. El reto de la

evaluacin de las polticas de igualdad de gnero, se compone de los dos ltimos
captulos. En el captulo ocho (El discurso sobre la funcin de evaluacin en torno
a las polticas de igualdad de gnero) se analiza el discurso que sobre la evaluacin
de las polticas de igualdad de gnero tienen las responsables polticas de los
organismos de igualdad. Se divide este captulo en cuatro apartados, extrayendo
conclusiones sobre las ideas asociadas y las actitudes ante la evaluacin, sobre la
utilidad de la evaluacin (para qu sirve evaluar), sobre lo que hay que evaluar de las
polticas de igualdad de gnero y, por ltimo sobre las principales dificultades
percibidas para realizar evaluacin de los planes que impulsan. Estas dificultades estn
relacionadas o bien con la falta general de una cultura de la evaluacin, con la propia
complejidad de los planes o bien con la estrategia de transversalidad subyacente a las
polticas de igualdad de gnero, que hace que la evaluacin deba tener unas
caractersticas propias.
______________________________________________________________________
16
INTRODUCCIN
____________________________________________________________________________________
El anlisis global de la metaevaluacin realizada, as como la valoracin que del

conjunto de las experiencias de evaluacin se realiza, se refleja en el ltimo captulo,
Los factores que facilitan y dificultan la evaluacin de las polticas de igualdad
de gnero. Hacia una evaluacin innovadora de dichas polticas. En este captulo
se sealan los factores que identificamos como elementos influyentes en los procesos
de evaluacin estudiados. En primer lugar, se identifican una serie de factores propios
de las polticas pblicas de igualdad de gnero y que facilitan o dificultan su
evaluacin. Como elementos que facilitan la evaluacin se sealan, entre otros, la
propia existencia de planes, la institucionalizacin de compromisos respecto a los
mismos, la fortaleza y consolidacin de los organismos de igualdad, el aval
internacional para las polticas de gnero y el reconocimiento -al menos simblico- de
la evaluacin como una actividad necesaria en los ltimos aos. Sin embargo, otros
factores la dificultan, como son la generalidad de los planes, su propio carcter
transversal y no sancionador -y que debe utilizar la persuasin como principal
estrategia poltica-, la falta de cultura y profesionales de la evaluacin, as como no
pensar dicha evaluacin a tiempo. En segundo lugar se identifican los factores
inherentes a los propios procesos de evaluacin y que ms han condicionado los
mismos: la falta de claridad en los propsitos de la evaluacin, de una visin global y
de un reconocimiento del carcter poltico de la evaluacin. As mismo, se analiza la
visin parcial de la evaluacin y su consideracin como una funcin secundaria, la
falta de claridad en el qu evaluar, las dificultades de coordinacin y recopilacin de
informacin, el dficit de traduccin prctica y de comunicacin, as como la
importancia de los tiempos y los recursos dedicados a la misma. Por ltimo, se discuten
dos factores relacionados con el impacto de las evaluaciones: su relativa pertinencia y
utilidad, y la imposibilidad de realizar sntesis de evaluaciones por la heterogeneidad
de las mismas.
Finalmente, la parte V consiste en las conclusiones de la tesis. En ellas

reflejamos las conclusiones formales de cada una de las partes y los captulos de los
que consta este trabajo doctoral, adems de sealar algunas sugerencias y lneas de
investigacin futuras en torno a la evaluacin de polticas pblicas en general y de las
polticas de igualdad de gnero en particular.
______________________________________________________________________
17
PARTE I: LA EVALUACIN DE POLTICAS PBLICAS
______________________________________________________________________
CAPTULO 1
LA EVALUACIN EN EL MARCO DEL ANLISIS
DE POLTICAS PBLICAS
INTRODUCCIN
En este primer captulo se exponen las referencias tericas sobre evaluacin de

polticas pblicas que sirven como marco para el anlisis y la valoracin de las
evaluaciones (metaevaluacin) que se ha realizado de las polticas pblicas de igualdad
de gnero en Espaa, en los niveles de gobierno autonmico y central. Su concepcin
se basa en una revisin extensa de la literatura sobre evaluacin de programas y
polticas pblicas.
En este trabajo existe la firme voluntad de abordar la evaluacin desde el marco
ms general del anlisis de polticas pblicas. El papel que la evaluacin juega en este
marco de referencia es el objeto de estudio del primer punto de este captulo. Para esto,
se analizan diferencialmente los conceptos de anlisis de polticas pblicas y de
evaluacin de programas. Se expone el componente descriptivo y el prescriptivo del
anlisis de polticas pblicas ya sealados por Lasswell, y se sita la evaluacin de
programas respecto a estas dos perspectivas. A continuacin se reflexiona sobre la
evaluacin en el ciclo de vida de la poltica pblica, fundamentando su necesidad y
posibilidades, aunque se reconoce que ha sido la fase eternamente abandonada en el
estudio de las polticas pblicas. Tambin se realiza una crtica a la concepcin
tradicional de la evaluacin como una fase exclusivamente finalista y que se limita al
anlisis y valoracin de los resultados de una poltica. A tal efecto, se expone un
panorama general sobre cmo se ha ido ampliando el objeto de estudio de la evaluacin
de polticas pblicas, poniendo en cuestin, incluso, la idea de que la evaluacin tiene
un exclusivo carcter retrospectivo y esto sea lo que la diferencia del anlisis de
polticas pblicas. Por ltimo se discute una visin ms integrada del anlisis de
polticas pblicas y se seala el papel que la evaluacin tiene en la misma.
En una segunda parte del captulo, se revisa, elabora y discute sobre el concepto y
el sentido de la evaluacin de programas y polticas pblicas. Una vez discutido el
concepto, se exponen y elaboran las funciones de la evaluacin, diferencindolas de sus
propsitos y objetivos. En la literatura especializada y los manuales sobre evaluacin se
suele hablar indistintamente de la evaluacin de proyectos, programas, planes y
polticas; sin embargo, se han querido sealar aqu las diferencias que existen, en
nuestro parecer, entre el concepto de evaluacin de programas (y que incluye
proyectos, planes, medidas, servicios pblicos, etc.) y el de evaluacin de polticas
pblicas.
____________________________________________________________________________________
Captulo 1. La evaluacin en el marco del anlisis de polticas pblicas
19
______________________________________________________________________
Una vez que se ha explicado el concepto de evaluacin en sus aspectos ms
importantes, se define la evaluacin diferencialmente, poniendo nfasis en lo que la
evaluacin tiene de especfico respecto a otras formas de anlisis e indagacin. Para
esto, se presentan, en primer lugar, las diferencias existentes entre evaluacin e
investigacin, con la idea de reforzar la identidad propia de la evaluacin de programas
y porque en la todava incipiente prctica de la evaluacin de programas en las
administraciones pblicas espaolas tienden, en algunas ocasiones, a confundirse esos
dos extremos.
Tambin en esta tercera y ltima parte del captulo, se insiste en el elemento
valorativo de la evaluacin y en la importancia del concepto de enjuiciamiento
sistemtico como una de las claves de la identidad de la evaluacin de programas y
polticas pblicas. Paralelamente, se discute sobre el eminente carcter prctico y
aplicado de la evaluacin, y se elabora sobre el cuarto nivel de anlisis en la evaluacin
el establecimiento de recomendaciones-, exponiendo el debate existente sobre si
deben los evaluadores o no establecer dichas recomendaciones. Finalmente, se trata la
preocupacin por el uso y la utilizacin que tradicionalmente ha ocupado a los
profesionales y acadmicos de la evaluacin de programas y que se concreta, entre
otros aspectos, en la importancia creciente en la literatura especializada de la fase de
presentacin de la informacin y comunicacin de los resultados de la evaluacin.
____________________________________________________________________________________
20
______________________________________________________________________
1. EL ANLISIS DE POLTICAS PBLICAS: EL PAPEL DE LA

EVALUACIN EN ESTE MARCO DE REFERENCIA
1.1. Concepto y caractersticas del anlisis de polticas pblicas
El anlisis de polticas pblicas se ocupa, en general, de los problemas pblicos y

de cmo los poderes pblicos los abordan. La evaluacin de las polticas pblicas es
una parte de ese anlisis general que se ocupa de valorar la actuacin de los poderes
pblicos en su intento de solucionar problemas.
Efectivamente, el objeto de estudio del anlisis de polticas pblicas consiste
tanto en los problemas pblicos y cmo estos son definidos como, precisamente, en
cmo los poderes pblicos intentan dar respuesta a dichos problemas. Por lo cual, no
se trata tanto de preocuparse de las caractersticas propias de las instituciones, de la
normativa, o de los grupos presentes, como de considerar aquellos aspectos que
resulten relevantes o significativos con respecto a la adopcin y puesta en prctica de
una poltica pblica (Subirats, 1992: 13).
As, el anlisis de polticas pblicas tiene un carcter prctico y aplicado. Ni
siquiera se plantea el estudio de los problemas pblicos en abstracto, sino cmo estos
son definidos para ser abordados. Este carcter aparece en el mismo concepto y, por
ejemplo, William N. Dunn define el anlisis de polticas como una disciplina de
ciencia social aplicada que utiliza mtodos mltiples de indagacin y discusin para
producir y transformar informacin relevante para las polticas y que puede ser
utilizada en contextos polticos para resolver problemas relacionados con las polticas
(Dunn, 1981: 35). Precisamente, esa capacidad e intencin del anlisis de polticas
pblicas de estudiar y explicar los procesos concretos de actuacin de los poderes
pblicos dando repuesta a los problemas sociales, es lo que hace que se ponga nfasis
en su aplicabilidad y utilidad para un mejor gobierno y tratamiento de los asuntos
pblicos.
Adems, el anlisis de polticas pblicas ha ido ampliado su objeto de estudio,
sobre todo a partir de la dcada de los aos setenta. Esta, entre otras, es una forma en la
que se ha ido dando respuesta a las cada vez mayores dificultades de gobierno y al
abordaje de los mltiples problemas sociales en sociedades cada vez ms complejas. Se
ha pasado del simple anlisis de la decisin pblica y sus implicaciones, al estudio de
las complejas acciones que se derivan de la misma y sus efectos sobre el planteamiento
del problema original (Subirats, 1992: 14), o en trminos de Wayne Parsons, se ha
pasado del exclusivo inters en el anlisis de la decisin (decision analysis), es decir, el
anlisis del proceso de toma de decisiones y el anlisis de polticas para la toma de
decisiones, al anlisis de la entrega o reparto (delivery analysis), es decir, al anlisis de
la ejecucin o implementacin, la evaluacin, el cambio y el impacto (Parsons, 1995).
____________________________________________________________________________________
21
______________________________________________________________________
1.2. El componente descriptivo y prescriptivo del anlisis de las

polticas pblicas
Harold D. Lasswell, padre de la perspectiva de las polticas pblicas, en su primer

trabajo publicado en 1951 (La orientacin hacia las polticas), ya hace una
importante distincin entre el conocimiento del proceso de la poltica (knowledge of) y
el conocimiento en el proceso de la poltica (knowledge in). La ciencia de polticas
que l propone debe tener estos dos marcos de referencia. En el primero (conocimiento
del o anlisis de la poltica) se pretende conocer el proceso de decisin de la poltica
as como de hecho sucede. En realidad se tratara de describir por qu determinados
problemas son calificados como pblicos, entran en la agenda, se definen, cmo y por
qu se eligen ciertos cursos de accin y ejecucin y se evalan a travs de ciertos
criterios y metodologas de evaluacin. En el segundo (conocimiento en o anlisis para
la poltica) se trata de incorporar los datos y los teoremas de las ciencias en el proceso
de deliberacin y decisin de la poltica, con el propsito de corregir y mejorar la
decisin pblica. Este marco de referencia tiene, entonces, un componente prescriptivo,
tal y como lo define inicialmente Lasswell. Se trataba de ofrecer mtodos e
informacin pertinente para incrementar la racionalidad de la construccin, examen,
seleccin y desarrollo de las opciones de la poltica. Como dice Aguilar (1996: 53) se
trata de una teora normativa de carcter tecnolgico.
En realidad, para Lasswell, estas dos actividades de conocimiento (que
corresponderan a los componentes descriptivo y prescriptivo del anlisis de las
polticas pblicas) son interdependientes y complementarias, adems de
interdisciplinarias y contextuales. Sin embargo, en el desarrollo posterior de los
estudios de polticas pblicas hubo una escisin en dos corrientes: por un lado, de los
interesados exclusivamente en el estudio positivo de la elaboracin de la poltica (ms
ligado a los estudios de las policy sciences o el policy making), ms contextualizadores
y relacionados con lo poltico-administrativo y, por otro, los normativo-tcnicos (ms
ligado a los estudios de policy analysis), ms dados a las tcnicas cuantitativas y de
anlisis econmico (Aguilar, 1996: 54 y ss).
Estas dos tradiciones se van desarrollando y, a partir de la dcada de los aos 70,
y paradjicamente por los resultados desalentadores para las dos corrientes, hubo una
expansin en EE.UU. de escuelas y programas de polticas pblicas (Ban, 1997: 41).
De todas formas, aunque haya habido tradiciones separadas de estudio, tambin ha
habido posturas eclcticas e integradoras. Hogwood y Gunn (1984) plantean el doble
componente descriptivo y prescriptivo desde la misma definicin del anlisis de
polticas pblicas. Consideran ambos componentes necesarios, aunque consideran
como inapelable y definitorio el carcter prescriptivo, por su aspecto novedoso y
valioso respecto a la aplicacin. Para estos autores, con este carcter, el anlisis de
polticas pblicas tiene una naturaleza aplicada, relevante socialmente,
multidisciplinaria, integral y dirigida hacia los problemas (Hogwood y Gunn, 1984:3).
____________________________________________________________________________________
22
______________________________________________________________________
Efectivamente, la Administracin Pblica y los subcampos de polticas pblicas y de
gestin pblica tienen una tendencia a la accin o vocacin profesional y una tendencia
o vocacin a prescribir. Hay que evitar, sin embargo, la tendencia a extraer enseanzas
prescriptivas de enseanzas insuficientes (Ban, 1997: 44). Es decir, la prescripcin
debe basarse necesariamente tambin en la descripcin y ambos componentes,
utilizados de forma conjunta, pueden tener una mayor potencia, utilizndose de forma
sinrgica. Este carcter integrador tambin se detecta en otros autores, como por
ejemplo Dunn, que veremos ms adelante.
Desde nuestro punto de vista y para enmarcar la evaluacin, conviene asumir una
visin integradora de estos dos componentes. La evaluacin, al igual que el anlisis en
general, se ve tambin en la disyuntiva de si el anlisis de la poltica debe mantenerse
al margen del anlisis para la poltica. Sin embargo, la evaluacin est ms
directamente vinculada a la doble exigencia de conocimiento y accin, ya que la
calidad del razonamiento no es algo separable de la pregunta sobre su pertinencia
prctica (Monnier, 1995: 259). Adems, la fase de la evaluacin de las polticas, dado
el reconocimiento formal con el que puede contar el evaluador, y con el que a veces no
cuenta el analista general (hay algo ms de mercado para evaluadores que para
analistas), se ha trabajado ms en su aspecto prescriptivo, que en el descriptivo. Es
decir, el evaluador ha intervenido estableciendo cmo debe hacerse una evaluacin o,
de hecho, hacindola, ms que estudiando o describiendo los procesos de evaluacin.
Sin embargo, esta segunda faceta descriptiva, que incluira la realizacin de estudios de
metaevaluacin (evaluacin de los procesos de evaluacin), puede resultar
especialmente interesante en contextos en los que no existe una cultura evaluativa
afianzada, pero en los que, de hecho, estn emergiendo con cierta fuerza diferentes
prcticas evaluativas (como es el caso espaol). En este sentido, insistimos, de acuerdo
con Hogwood y Gunn (1984), en la necesidad de incluir ambas perspectivas
(descriptiva y prescriptiva) en el marco de anlisis y, tambin, en la consideracin de
que la perspectiva prescriptiva es lo que confiere su carcter ms especfico y aplicado,
tanto al anlisis en general como a la evaluacin de polticas pblicas en particular. As,
del anlisis descriptivo de los procesos de evaluacin debe surgir, adems de una
comprensin general sobre las polticas pblicas, iluminacin sobre cmo hacer
evaluacin de dichas polticas en determinados contextos.
1.3. La necesidad de la evaluacin en el ciclo de vida de la poltica
Adems de los actores, el estilo de los procesos decisorios, la estructura de los

problemas en juego y las propias reglas del juego (procedimientos formales seguidos en
los procesos de adopcin de las polticas pblicas), una de las categoras analticas ms
utilizadas en el estudio de las polticas pblicas es la del ciclo de vida de una poltica
(es decir, la dinmica que caracteriza las distintas fases en que se articula dicho ciclo de
vida). Bajo esta perspectiva, se propone la posibilidad de estudiar una poltica pblica
descomponiendo en diversas fases su ciclo de vida: la definicin del problema y la
____________________________________________________________________________________
23
______________________________________________________________________
entrada en la agenda de los poderes pblicos, la formulacin de propuestas y la
adopcin de decisiones, su implementacin, la valoracin de los resultados y la
eventual sucesin o terminacin de la poltica iniciada. De hecho, esta categora
analtica puede incluir las anteriores ya que cada una de las fases descritas puede
distinguirse de las dems por el tipo de actores dominantes, el contexto institucional y
los estilos de decisin prevalentes. Por ejemplo, mientras en la fase de entrada en la
agenda el papel de los medios de comunicacin suele ser crucial (en el intento de
captacin de la atencin pblica), ste se ve atenuado durante la fase de
implementacin en la que los colectivos beneficiados o perjudicados son los que siguen
directamente interesados en su evolucin (Regonini, 1991:80). Es decir, existe una
redefinicin de los actores de una fase a otra y, esto hace que esta perspectiva de
anlisis adquiera un inters especial: en lugar de analizar, de forma tradicional, las
caractersticas de cada fase por separado, se intenta reconstruir la dinmica interna del
ciclo de vida de una poltica.
Este marco de anlisis, representado a travs de las fases del ciclo de una poltica,
y en sus diferentes versiones, es vlido adems para la doble faceta descriptiva y
prescriptiva del anlisis de polticas pblicas (Hogwood y Gunn, 1984: 4).
Bajo esta perspectiva del ciclo de vida de una poltica pblica, la evaluacin se
convierte en una de las fases de desarrollo. Si se estudian y analizan todas las fases, la
evaluacin tiende a ser concebida como una de las fases finales, aunque la mayora
de los autores reconocen la circularidad de las polticas pblicas, y se suele limitar a
la evaluacin final de los resultados de la poltica. Sin embargo, el campo de la
evaluacin de programas y polticas se ha ido desarrollando en los ltimos aos hacia
una clara expansin del mbito que abarca, tanto en lo que se refiere a la metodologa
como a las preguntas que responde. Inicialmente, la evaluacin se conceba
exclusivamente como un medio para medir los resultados y los efectos de una poltica o
programa. En la actualidad, nadie discute que la evaluacin puede abarcar las diferentes
fases de la poltica o programa, desde su diseo o concepcin hasta su impacto.
Sin embargo, la evaluacin en el marco de las polticas pblicas, es la fase menos
estudiada desde el punto de vista de su anlisis. Un buen indicador de esta tendencia es
el hecho de que de las cuatro excelentes antologas compiladas por Aguilar Villanueva
(El estudio de las polticas pblicas, Problemas pblicos y entrada en agenda de
gobierno, La hechura de las polticas y La implementacin de las polticas) no hay
ninguna que aborde los temas de evaluacin. Se puede decir que una buena parte del
desarrollo terico sobre la evaluacin de programas y polticas se ha realizado fuera del
marco de la disciplina del anlisis de polticas pblicas, aunque hay toda una serie de
autores que bien debido a su disciplina inicial (por ejemplo, Wholey, Vedung,
Monnier), bien a su especial inters por (por ejemplo, Weiss) o su inmersin
profesional (por ejemplo, Chelimsky) en los procesos polticos, se han encargado de
hacer el engarce entre ambas (sub)disciplinas.
____________________________________________________________________________________
24
______________________________________________________________________
1.4. El carcter retrospectivo y prospectivo del anlisis de polticas

pblicas
Algunos autores (Rist, 1990; Ballart, 1993; Vedung, 1997) sealan el carcter
retrospectivo de la evaluacin, dado que pretende ofrecer informacin sobre lo que ha
ocurrido o est ocurriendo. Adems, en la primera acepcin de la evaluacin como
medio para evaluar los resultados y efectos de un programa o poltica, resultaba lgico
e inevitable considerarla de forma exclusivamente retrospectiva. A medida que se va
ampliando el foco de la evaluacin, sin embargo, este carcter exclusivamente
retrospectivo no queda tan claro. De hecho, en el marco de algunos organismos
internacionales y algunos pases, como Suecia, se desarrollan modalidades de
evaluacin "ex-ante", que hacen difcil su clasificacin como actividad retrospectiva.
Este carcter retrospectivo puede implicar, adems, un cierto riesgo de considerar la
evaluacin exclusivamente hacia el final de los procesos, perdiendo una gran parte de
su potencial como elemento integrador, y desde un principio, del ciclo de vida de un
programa o poltica.
Precisamente, es ese carcter retrospectivo el elemento que Rist (1990) considera
diferenciador entre la evaluacin de programas y el anlisis de polticas. Mientras la
evaluacin de programas valora las polticas pblicas de forma retrospectiva, el anlisis
de polticas lo hace de forma prospectiva, es decir, busca informar decisiones que
todava tiene que tomarse. El foco del anlisis de polticas es, pues, el anlisis
prospectivo y el de la evaluacin de programas el retrospectivo. Tambin para
Chelimsky (1985), esta diferencia afecta al tipo de preguntas que cada uno de los tipos
de indagacin puede hacerse: el anlisis de polticas pone nfasis en los efectos
probables, mientras la evaluacin de programas lo har en los efectos reales.
Efectivamente, sta es una diferencia general entre evaluacin y anlisis, pero el propio
Rist reconoce que "lo que aparece a primera vista como una dicotoma clara retrospectivo y prospectivo- se convierte, si miramos ms de cerca, en dos pasos de un
proceso interactivo: se toman decisiones, se recoge informacin sobre los efectos de
dichas decisiones, se toman ms decisiones con los datos disponibles de los resultados
de decisiones previas, etc., etc." (Rist, 1990: 4).
En definitiva, aunque el carcter retrospectivo sirva como elemento diferenciador
del anlisis de polticas pblicas en general, que tiene un carcter ms prospectivo, hay
que reconocer la amplitud de miras cada vez mayor de la evaluacin. Es esta amplitud,
precisamente, la que permite que la evaluacin sea parte integrante de la vida de una
poltica y que sirva como herramienta metodolgica til para la totalidad de dicho
proceso.
____________________________________________________________________________________
25
______________________________________________________________________
1.5. Una visin integrada del anlisis de polticas pblicas: el papel de

la evaluacin
Como ya se ha comentado anteriormente, algunos autores han hecho un esfuerzo

de integracin de las diferentes perspectivas y componentes del anlisis de polticas
pblicas. Segn Dunn (1981: 36 y ss.), por ejemplo, el anlisis de polticas pblicas
debe generar informacin sobre tres tipos de cuestiones:
1) sobre valores, cuyo logro es la prueba principal sobre si un problema se ha
resuelto,
2) sobre hechos, cuya presencia puede limitar o mejorar el logro de los valores, y
3) sobre acciones, cuya adopcin puede resultar en el logro de los valores y la
resolucin de los problemas.
El analista al generar informacin sobre las anteriores tres cuestiones puede
emplear una o ms de estas tres perspectivas de anlisis:
1) Emprica, que describe las causas y los efectos de una poltica pblica dada.
Las cuestiones se refieren a los hechos y el tipo de informacin que se genera es
denominativo o designativo. Un posible ejemplo sera la descripcin, explicacin
o prediccin del gasto pblico en sanidad o educacin.
2) Evaluativa, que determina el valor de una poltica pblica. Las cuestiones son
de valor y el tipo de informacin que se genera es de carcter evaluativo. Como
ejemplo, la evaluacin de las diferentes maneras de distribucin de la carga fiscal
segn sus consecuencias ticas y morales.
3) Normativa, que recomienda futuras acciones que pueden resolver los
problemas pblicos. Las cuestiones estn relacionadas con la accin y el tipo de
informacin que se genera es de recomendacin o consejo (advocative). As, se
puede recomendar, por ejemplo, una poltica de ingresos mnimos garantizados
como una forma de paliar los problemas de desigualdad social.
Tabla 1.1:
TRES PERSPECTIVAS PARA EL ANLISIS DE POLTICAS PUBLICAS
Perspectiva
Cuestin principal
Tipo de informacin
EMPRICA
Existe? (hechos)
Designativa
EVALUATIVA
Qu valor tiene? (valores)
Evaluativa
NORMATIVA
Qu debe hacerse?
(acciones)
De recomendacin
(advocative)
____________________________________________________________________________________
26
______________________________________________________________________
Fuente: Dunn, 1981: 37
Adems, la produccin de informacin, sea del tipo que sea, se lleva a cabo a
travs de diferentes tcnicas analticas. Para Dunn, el anlisis de polticas utiliza los
mismos procedimientos analticos generales que se utilizan en otras ciencias sociales,
mencionando la descripcin, la prediccin, la evaluacin y la prescripcin. La
descripcin y la prediccin ayudan a contestar cuestiones designativas, la evaluacin
las evaluativas y la prescripcin las normativas. La prediccin y la recomendacin se
realizan tpicamente antes de que se adopte la accin (ex-ante), es decir, estn
relacionadas con el futuro; la descripcin y la evaluacin lo hacen despus (ex post) y
estn relacionadas con el pasado.
Tabla 1.2:
PROCEDIMIENTOS ANALTICOS GENERALES SEGN EL MOMENTO
Y EL TIPO DE CUESTIN
Tipo de cuestin/
Momento
Designativa
Evaluativa
De recomendacin
Antes de la accin
PREDICCIN
EVALUACIN
PRESCRIPCIN
Despus de la accin
DESCRIPCIN
EVALUACIN
Nota: La prescripcin puede ocurrir despus de que la accin se haya llevado a cabo, aunque esta forma
retrospectiva de anlisis de polticas (El gobierno debera haber hecho esto o aquello) es similar a un
mdico que receta la medicina cuando el paciente ha muerto.
Fuente: Dunn, 1981: 39
Estos procedimientos analticos generales se corresponden con cuatro mtodos

para analizar las polticas:
1) Seguimiento (descripcin): produce informacin sobre las causas y
consecuencias pasadas de las polticas.
2) Pronstico (prediccin): produce informacin sobre las consecuencias futuras
de las polticas.
3) Evaluacin (evaluacin): produce informacin sobre el valor de polticas
pasadas o futuras.
4) Recomendacin (prescripcin): produce informacin sobre la probabilidad de
que acciones futuras produzcan consecuencias valiosas.
____________________________________________________________________________________
27
______________________________________________________________________
Adems hay otros dos mtodos que no tienen correspondencia directa con ningn
procedimiento analtico general:
5) Estructuracin de problemas: basndose en procedimientos de clasificacin,
produce informacin especulativa sobre las soluciones potenciales de un
problema. Implica todo el resto de mtodos, siendo un metamtodo que funciona
como una especie de regulador central de todo el proceso de anlisis.
6) Deduccin prctica: permite llegar a conclusiones sobre el grado en el que los
problemas se han solucionado.
Estos mtodos analticos estn relacionados jerrquicamente y son
interdependientes. Algunos, como por ejemplo, el seguimiento se pueden utilizar por s
solos mientras otros, como la evaluacin, requieren de la utilizacin previa de otro
mtodo. La recomendacin requiere el uso previo del seguimiento, la evaluacin y el
pronstico.
Para Dunn, finalmente, esto se combina con cinco tipos de informacin relevante
para las polticas: problemas, alternativas, acciones, resultados y desempeo de la
poltica. El anlisis de polticas pblicas integrado que l propone es un proceso de
indagacin que implica esos cinco componentes de informacin y que se transforman el
uno en el otro a travs de los seis mtodos analticos (estructuracin de problemas,
pronstico, seguimiento, evaluacin, recomendacin y deduccin prctica). La
informacin y los mtodos son interdependientes y forman parte de un proceso
dinmico en el que ocurren las transformaciones correspondientes: los problemas se
transforman en alternativas y stas en acciones y stas en resultados, y as
sucesivamente.
En esta visin integrada, es lgico que la evaluacin tenga un papel acotado y
definido. Sin embargo, insistimos en la dificultad de encontrar polticas pblicas
analizadas de forma integral y continuada o, si se quiere, de la posibilidad de analizar
una poltica integralmente en un momento determinado o por parte de un nico equipo
de analistas. Esta es una de las razones por las cuales la evaluacin necesariamente
amplia su visin y, a su vez, ofrece una valoracin que asume los diferentes
componentes, perspectivas y fases del anlisis de polticas pblicas.
____________________________________________________________________________________
28
______________________________________________________________________
2. LA EVALUACIN DE POLTICAS PBLICAS
2.1. El concepto y el sentido de la evaluacin
A lo largo de los aos de desarrollo de la disciplina de la evaluacin, se han dado

mltiples definiciones del trmino, dependiendo de la amplitud del enfoque y de cada
uno de los autores.
En la definicin de Chelimsky (1985), "la evaluacin de programas es la
aplicacin de mtodos de investigacin sistemticos para la valoracin del diseo, la
implementacin y la efectividad de un programa". Tambin Weiss (1998), que utiliza el
trmino de investigacin evaluativa (evaluation research), dice que sta consiste en la
utilizacin de la metodologa propia de las ciencias sociales para hacer que el proceso
evaluador sea ms exacto y sistemtico. En la misma lnea, Rossi y Freeman (1989:14)
tambin definen la investigacin evaluativa como "la aplicacin sistemtica de los
procedimientos de investigacin social, para valorar la conceptualizacin y el diseo, la
ejecucin y la utilidad de los programas de intervencin social". En estas definiciones
se refleja ya su expansin a todo el ciclo de vida del programa o poltica. Sin embargo,
se hace hincapi en la utilizacin las metodologas de investigacin social. En otras
palabras, lo que define la evaluacin es su objeto de estudio y no tanto sus
procedimientos, que seran los mismos que los de la investigacin social.
Otra de las definiciones de evaluacin, la cual es citada por parte de muchos
autores, es la definicin adoptada por el Joint Committee on Standards for Educational
Evaluation (a partir de ahora Joint Committee), que como se ver ms adelante fue el
comit encargado de elaborar el primer cdigo profesional, que se convierte en
referencia en el mbito de la evaluacin. Tanto en la primera (1981) como en la
segunda edicin (1994) de las normas del Joint Committee, la evaluacin queda
definida, y de forma muy amplia, como "la investigacin sistemtica del valor o mrito
de un objeto". En este caso, la definicin hace ms nfasis en el carcter especfico de
valoracin de la evaluacin, es decir, implica que la evaluacin siempre supone un
juicio. Esto, lgicamente, debe reflejarse en los procedimientos con los que se realice.
Por lo tanto, se define diferencialmente la evaluacin por sus procedimientos y no por
su objeto, que se deja sin acotar.
Creemos que una definicin completa del concepto de evaluacin debe reflejar
ambos extremos, tanto lo referido al objeto como lo referido a los procedimientos.
Argumentaremos ms adelante la necesidad tambin de incluir en el mismo concepto
de evaluacin cuestiones referidas a las funciones de la misma.
____________________________________________________________________________________
29
______________________________________________________________________
En primer lugar, parece claro que si nos referimos a la evaluacin de programas o
polticas, tenemos ya una primera acotacin del objeto de estudio. Se evalan
programas, realidad ms definida y acotada, y polticas en general (ms adelante
diferenciamos entre estas dos realidades). En general, se puede hablar de la evaluacin
de cualquier intervencin social que pretenda abordar un problema pblico, bien sea
globalmente (polticas) o bien de forma particular a travs de proyectos, programas,
planes, medidas, servicios, materiales, etc. Parece claro, adems, que las intervenciones
(polticas, programas, etc.) no son estticas y tienen un ciclo de vida, desde su diseo
hasta los impactos a largo plazo que puedan producir. Como ya hemos visto, aunque en
las primeras etapas del desarrollo de la disciplina de la evaluacin se tenda a
considerar como objeto de evaluacin nicamente los resultados y efectos de los
programas, en la actualidad, el objeto de la evaluacin de programas se extiende a todo
su ciclo de vida.
Respecto a los procedimientos, ya hemos mencionado el carcter especfico de
enjuiciamiento de la evaluacin. Es decir, que adems de la recopilacin y el anlisis
sistemtico de informacin, se realiza un enjuiciamiento tambin sistemtico. O mejor
dicho, que dicha recopilacin y anlisis de informacin se realiza con el objetivo de
valorar el objeto a evaluar. El carcter sistemtico viene determinado al menos por tres
factores: en primer lugar, la conciencia de la actividad, es decir, saber que se est
evaluando y se quiere evaluar con carcter previo y respondiendo a unas determinadas
necesidades de informacin. En segundo lugar, porque se sigue un determinado orden y
mtodo al hacerlo (aqu es donde la evaluacin toma prestado elementos de la
metodologa de investigacin social). Y en tercer lugar, porque estructura de forma
lgica el camino hacia la valoracin, es decir, se recopila informacin, se interpreta
dicha informacin y se valora con la base de dichas interpretaciones que, a su vez,
estn basadas en la informacin recopilada. Patton (1982: 273) seala cuatro niveles de
anlisis en evaluacin, que aparecen en la tabla 1.3.: resultados o hallazgos,
interpretaciones, juicios y recomendaciones.
____________________________________________________________________________________
30
______________________________________________________________________
Tabla 1.3. EL ANLISIS VALORATIVO EN

EVALUACIN Y SUS CUATRO NIVELES
Es importante distinguir entre estos cuatro niveles:
RESULTADOS o HALLAZGOS: son los hechos, datos
e informacin que se recoge, la presentacin bsica de los
datos, los hallazgos empricos.
INTERPRETACIONES: son las explicaciones sobre los
hechos, especulaciones entre las interrelaciones, causas,
razones y significados que se dan a los datos.
JUICIOS o VALORACIONES: son las valoraciones
acerca de los resultados y sus interpretaciones, criterios
especficos aplicados a los hallazgos. Estableciendo si son
"buenos" o "malos", "positivos" o "negativos", "en la
direccin deseada" o "en la no deseada", "por encima,
acorde o por debajo de las expectativas", etc.
RECOMENDACIONES: son sugerencias sobre posibles
lneas de accin; cambios propuestos en el programa o
cosas a mantener en el mismo; consejos para los
patrocinadores, responsables y tcnicos del programa o
poltica que se evala, y que harn que mejore.
(A partir de PATTON, M.Q. 1986, Practical Evaluation, Beverly
Hills, Sage)
Segn la definicin apuntada, se pretende emitir juicios sobre el valor y el mrito

del objeto (programas, polticas, etc.) evaluado. Conviene aqu definir y distinguir entre
los dos trminos sealados: mrito y valor (o vala). Quien primero distingue estos
trminos es Michael Scriven, cuya aportacin terica al campo de la evaluacin es
calificada, precisamente, como "la ciencia de la valoracin" (Shadish, Cook y Levinton,
1991), pero tambin se recoge en la obra de Stufflebeam y Shinkfield (1987), y en una
propuesta tan diferente como es la de Guba y Lincoln (1989). Para estos autores, el
mrito depende de las caractersticas intrnsecas del evaluando y tiene que ver con si
hace bien lo que se supone que debe hacer, el valor depende de lo extrnseco, del uso
que se hace en el contexto. Es decir, mientras el mrito podra ser valorado
aisladamente, el valor slo se podra ser considerado respecto a un contexto y a unas
necesidades particulares. Es decir, el evaluando podra ser meritorio aunque no vlido
(puede que algo sea bueno en s mismo pero que no sea adecuado para un contexto
determinado). Esta circunstancia de estar interesados no slo en el mrito sino tambin
en el valor de lo que se evala abunda en el carcter prctico y aplicado de la
evaluacin.
____________________________________________________________________________________
31
______________________________________________________________________
Precisamente es este carcter aplicado y prctico, as como el cuarto nivel de
anlisis sealado por Patton (el de las recomendaciones), lo que recuerda la necesidad
de incluir en la definicin de evaluacin su porqu o razn de ser, es decir, sus
funciones. Efectivamente, la evaluacin no se hace en abstracto sino con la intencin
de mejorar los programas y polticas evaluadas, rendir cuentas y/o ejemplificar o
ilustrar acciones futuras (ms adelante, tratamos las funciones de la evaluacin). Es
decir, la informacin que se pretende arroje la evaluacin tiene vocacin de ser
utilizada para dichas funciones. Esta es la razn por la cual el evaluador extrae tambin
recomendaciones para la accin a la luz de los hallazgos, interpretaciones y juicios
establecidos.
As, el sentido ltimo de la evaluacin es su utilidad para el proceso de
intervencin social. Esta utilidad debe ser concebida, adems, en dos sentidos. Por una
lado, la evaluacin debe ser capaz de generar una informacin til para el programa o
poltica que esta evaluando, es decir, la informacin ha de ser pertinente al objeto
evaluado y a su contexto determinado. Por otro, debe ser una informacin con carcter
prctico, es decir, debe estar dirigida a la accin, proponiendo cursos de accin futura
(que pueden ir desde modificaciones concretas a continuar o terminar el programa o
poltica evaluada). Por esto, creemos que la evaluacin puede y debe tener tambin, en
este sentido, un carcter prospectivo. Prcticamente todos los autores de la disciplina
coinciden en la consideracin de la utilidad de la evaluacin como eje de la misma,
aunque ponen nfasis en elementos diferentes. Para Monnier (1995) la utilidad social es
el elemento clave de la evaluacin y aqulla se consigue si se reconoce e implica a los
diferentes actores en el proceso evaluativo. Para Vedung (1997), la evaluacin debera
ser til porque tiene una orientacin claramente prctica: es una valoracin destinada a
desempear un papel en futuras acciones. Para Weiss (1998), la evaluacin est
concebida para su uso, y eso es lo que la diferencia, precisamente, de otras formas de
investigacin social. Incluso cuando su utilizacin es menos directa e inmediata, la
utilidad sigue siendo el fundamento de la evaluacin. Patton (1997) estructura su
enfoque terico-prctico, precisamente, alrededor de la utilizacin, realizando una
propuesta que tiene en cuenta este aspecto desde el principio de los procesos
evaluativos.
2.2. Las funciones de la evaluacin
Ya se ha comentado en el punto anterior la necesidad de incluir las funciones de

la evaluacin en la propia definicin del concepto, dado su carcter prctico y aplicado.
La elaboracin sobre dichas funciones, adems, va a contribuir a comprender el
carcter especfico de la evaluacin sobre otro tipo de indagaciones. Las funciones
tienen que ver, lgicamente, con los usos que se pretende dar a la evaluacin, de
manera que la definicin de las mismas se encuentra en el mismo corazn del concepto.
____________________________________________________________________________________
32
______________________________________________________________________
Stufflebeam y Shinkfield (1987: 23) sealan tres funciones segn el uso que se
quiera hacer de la evaluacin: perfeccionamiento o mejora (improvement),
recapitulacin1, rendimiento de cuentas o responsabilidad (accountability) y
ejemplificacin o iluminacin para acciones futuras (enlightenment). En sus diferentes
versiones, creemos que stas son las tres funciones bsicas de la evaluacin.
La primera funcin, la de mejora del programa o poltica evaluada, significa que
la evaluacin se concibe como un artefacto metodolgico que permite la
retroalimentacin y el aprendizaje sobre la propia prctica. En este sentido, la
evaluacin resulta imprescindible como instrumento de mejora y perfeccionamiento y
como garante de la calidad de un servicio o programa. Lgicamente esta funcin
refuerza la atencin al contexto concreto y determinado de lo que se est evaluando, a
las necesidades y naturaleza de las personas destinatarias de dicho servicio y de todos
los agentes crticos en el mismo, especialmente el personal que lo atiende y la
organizacin que lo promueve.
El rendimiento de cuentas o responsabilidad sera la segunda funcin de la
evaluacin. La evaluacin debe servir como instrumento que permita, en los diferentes
niveles de responsabilidad, rendir cuentas sobre la gestin y los resultados de un
programa. Esto adquiere una mayor sentido cuando se refiere a programas y polticas
pblicas, ya que el rendimiento de cuentas debe formar parte indiscutible del sistema
democrtico. Este rendimiento de cuentas debe darse a varios niveles, incluyendo de
forma especial a la ciudadana: el ciudadano/a tiene derecho a saber no slo en qu se
estn empleando los fondos pblicos sino tambin con qu grado de idoneidad, eficacia
y eficiencia se estn asignando, gestionando y empleando dichos fondos.
Adems de estas dos funciones, la evaluacin puede cumplir una tercera que es la
de dar luz o iluminar acciones futuras. Aunque el sentido ltimo de la evaluacin
tiene que ver, esencialmente, con el programa concreto evaluado en un contexto,
situacin y momento determinado de forma que se contribuya a su mejora y se rindan
cuentas sobre el mismo, las evaluaciones arrojan una informacin sistemtica que
contribuye al "acervo cientfico" no slo de ese programa, servicio o poltica concreta
sino tambin del abordaje general de determinados problemas pblicos. Como dice
Carol Weiss, "el estudio de las polticas y programas en accin es una oportunidad para
estudiar los estmulos que conducen al cambio y las condiciones ambientales bajo las
cuales es ms probable que ocurran cambios" (Weiss, 1998a: 28). Es claro que si se
evalan sistemticamente los diferentes programas de prevencin de
drogodependencias, por ejemplo, dichas evaluaciones contribuirn en su conjunto, a
construir conocimiento sobre las diferentes formas de hacer prevencin, cules son los
contextos y grupos adecuados, quines son los agentes intervinientes necesarios, qu
respuestas han dado los poderes pblicos en diferentes momentos y por qu, etc. En
definitiva, se sabr ms sobre cmo hacer prevencin y esto servir de orientacin
general a los poderes pblicos sobre cmo abordar el problema de las
drogodependencias. En este sentido, en la actualidad, en la comunidad cientfica
internacional algunos evaluadores reclaman ms experiencias de sntesis de
Aqu respetamos la traduccin realizada en la versin castellana del trmino accountability aunque nos
parece ms adecuada la expresin "rendimiento de cuentas" o incluso de "responsabilidad" como se hace
en la traduccin de este trmino en otras obras (Rossi y Freeman, 89; Vedung, 97).
____________________________________________________________________________________
33
______________________________________________________________________
evaluaciones, meta-anlisis y metaevaluaciones para aprovechar todo el cmulo de
estudios de evaluacin realizados en determinadas reas en los ltimos aos (Cook,
1997). Desgraciadamente, esta peticin no puede ser trasladada a muchos pases como
Espaa, en donde lo primero que tiene que ocurrir es que se hagan suficientes estudios
como para poder ser sintetizados.
Vedung (1997) tambin se centra en estas tres funciones bsicas de la evaluacin:
mejora (o perfeccionamiento), responsabilidad (o rendimiento de cuentas) y
conocimiento bsico (que equivaldra a la funcin de enlightenment propuesta por
Stufflebeam y Shinkfield). Dos cuestiones nos parecen especialmente destacables y
novedosas en su discurso. Por un lado, el autor parte de la consideracin del
conocimiento bsico como objetivo subordinado a los otros dos. Efectivamente, la
mejora de las polticas evaluadas y el rendimiento de cuentas sobre las mismas
"destacan como las razones fundamentales para llevar a cabo una evaluacin, ya que
los conocimientos bsicos deberan considerarse ms bien como un efecto colateral de
los dos anteriores" (Vedung, 1997:131). Esto nos parece un punto especialmente
importante en la diferenciacin de evaluacin e investigacin, como se ver ms
adelante.
En segundo lugar, Vedung analiza con profundidad la funcin de la
responsabilidad, cuestin que normalmente se obvia en la literatura al uso. En su
anlisis, distingue cuatro perspectivas distintas respecto a la responsabilidad. Desde la
perspectiva poltica, la evaluacin es un instrumento clave para que los representantes
polticos comprueben que la administracin est realmente ejecutando las tareas que se
le han asignado. Desde una perspectiva tcnico-organizativa, la evaluacin es un
instrumento para que los directivos de los organismos pblicos tengan informacin
sobre si los subordinados estn cumpliendo correctamente su tarea. Aunque Vedung
reconoce que en el discurso sobre la evaluacin rara vez se escucha el punto de vista de
los ciudadanos, stos configuraran una tercera perspectiva. La ciudadana necesita la
evaluacin para valorar cmo los polticos elegidos y sus agentes a diferentes niveles
estn desarrollando sus tareas, y para exigirles responsabilidades en las prximas
elecciones. Por ltimo, desde la perspectiva del cliente (categora ms limitada que la
de los ciudadanos), la evaluacin puede producir informacin sobre si los servicios
prestados son satisfactorios y se estn distribuyendo equitativamente. Estas cuatro
perspectivas hacen que se den dobles lealtades en la cadena de representacin pblica
(los representantes polticos son a la vez superiores y subordinados, la burocracia
nacional es agente del gobierno y "jefe" de otros organismos pblicos, etc.), siendo
evaluados los que a su vez tienen que evaluar, lo que contribuye, segn el autor, a la
tibieza en el inters mostrado por la evaluacin en la vida pblica.
____________________________________________________________________________________
34
______________________________________________________________________
2.3. Propsitos y objetivos de la evaluacin de las polticas pblicas
En la literatura sobre evaluacin no se suele distinguir entre cules son las

funciones y cules los propsitos y objetivos de la misma. Nosotros, sin embargo,
queremos distinguir entre funciones bsicas de la evaluacin y objetivos o propsitos,
basndonos en la distincin de los dos conceptos. Segn la Real Academia de la
Lengua Espaola la funcin est definida como "capacidad de accin o accin de un
ser apropiada a su condicin natural (para lo que existe) o al destino dado por el
hombre (para lo que se usa)". Claramente, las funciones de la evaluacin han sido
definidas por el destino que se le ha dado a tal actividad (para lo que se usa) en
trminos genricos, de forma que pueden quedar definidas como su condicin natural
(para lo que existe). Nosotros queremos recalcar este factor de condicin natural, es
decir, la evaluacin existe para mejorar, rendir cuentas y/o iluminar acciones futuras. Si
cumple una funcin distinta, no es evaluacin, es otra cosa.
Sin embargo, los objetivos ("fin o intento a que se dirige o encamina una accin
u operacin"), fines ("motivo con que se ejecuta una cosa") y propsitos ("nimo o
intencin de hacer o de no hacer una cosa"), se distinguen de las funciones en que
pueden ser mucho ms variados y no definen en s mismos, la naturaleza, en este caso,
de la evaluacin.
Carol Weiss (1998a: 25) seala que, tradicionalmente, la evaluacin ha hecho
hincapi en el propsito de ofrecer informacin para facilitar el proceso de toma de
decisiones. El tipo de decisiones pueden ser:
hacer correcciones intermedias en el proceso de ejecucin de un programa
continuar, expandir o institucionalizar un programa o cortarlo, acabarlo o
abandonarlo
examinar nuevas ideas y/o programas
elegir la mejor entre varias alternativas
decidir si se contina con la financiacin
En esta misma lnea, Chelimsky (1987: 74-75) liga los propsitos de la
evaluacin al ciclo de las polticas pblicas y a los procesos de decisin en cada una de
esas fases. Estos diferentes propsitos tendrn implicaciones en los tipos de evaluacin
que debern aplicarse para cubrir las diferentes necesidades de informacin, como se
ver ms adelante. Ella habla, entonces, de tres grandes propsitos de la evaluacin,
que son:
- Para la formulacin de polticas, esto es, por ejemplo, para valorar y/o justificar
la necesidad de un nuevo programa. Requiere informacin de la evaluacin de, al
menos, tres grandes reas: 1) informacin del problema que se trata, 2)
informacin sobre anteriores programas y esfuerzos similares o relacionados, e 3)
informacin que permita la seleccin de un programa alternativo sobre otro.
____________________________________________________________________________________
35
______________________________________________________________________
- Para la ejecucin de polticas, esto es, por ejemplo, para asegurar que el
programa se est ejecutando de la forma ms efectiva y eficiente. Se aplica
igualmente a nuevos programas o programas ya existentes. La informacin que se
requiere para este propsito tiene que ver con: 1) informacin sobre la ejecucin
o implementacin del programa (si es operativo, cunto cuesta, si es similar en las
diferentes localizaciones, si se ajusta a lo formulado, si hay problemas en la
puesta en prctica, etc.) , 2) informacin sobre la gestin del programa (el grado
de control del gasto, la cualificacin y credenciales del personal, la distribucin
de recursos, el uso de la informacin del programa en el proceso de toma de
decisiones, etc.), e 3) informacin sobre el estado actual del problema abordado
en el programa (si est creciendo o aumentando, si est cambiando, etc.).
- Para la responsabilidad o rendimiento de cuentas (accountability), esto es, por
ejemplo, para determinar la efectividad de un programa y la necesidad de su
continuacin, modificacin o terminacin. Tambin se aplica a programas nuevos
y ya existentes y requiere informacin sobre: 1) informacin sobre los resultados
del programa, 2) informacin sobre si el programa ha logrado sus objetivos, e 3)
informacin sobre los efectos (esperados e inesperados) del programa.
Sin embargo, en los ltimos aos ha aumentado la conciencia de que los
resultados de una evaluacin no determinan, por s solos, las decisiones acerca de un
programa, servicio o poltica. En muchas ocasiones, las organizaciones y agentes en
torno a un programa o poltica no aplican de forma directa e inmediata los resultados de
una evaluacin. Ms frecuentemente aprenden de la evaluacin y este aprendizaje
afecta a las decisiones de forma sutil y gradual. Por esta razn, en los ltimos tiempos
se ha ido reconociendo el importante papel que puede tener la evaluacin como
facilitadora del aprendizaje organizativo (Weiss, 1998a: 26). En este caso, los
propsitos estn menos orientados a decisiones concretas sobre los programas o
polticas evaluadas, como son:
registrar la historia del programa o poltica
ofrecer feedback o informacin sobre su prctica a los profesionales que
intervengan en dichas polticas o programas
enfatizar o reforzar los objetivos de un programa
rendir cuentas (la cultura del rendimiento de cuentas puede hacer a los
profesionales de una organizacin estar ms atentos a las expectativas del
pblico)
entender (saber ms sobre) la intervencin social
Adems de estos nobles objetivos, la literatura sobre evaluacin, en su evolucin
hacia la incorporacin de la prctica a la teora evaluativa y su afn realista, ha ido
tambin identificando otros posibles propsitos con los que se llevan a cabo ciertos
estudios de evaluacin. Por ejemplo, en algunos casos se pueden realizar evaluaciones
a requerimiento de la subvencin, becas o proyectos obtenidos, no tanto porque
exista una conciencia sobre la conveniencia o necesidad de la evaluacin; en estos
casos, la evaluacin puede convertirse en un mero requisito formal.
____________________________________________________________________________________
36
______________________________________________________________________
Carol Weiss (1998a) seala que los evaluadores deben ser conscientes de la
existencia de propsitos encubiertos y Vedung (1997) utiliza el trmino propsitos
"estratgicos" ya que normalmente estn orientados a un determinado plan (aunque la
mayora de las veces permanecen encubiertos); en su identificacin se basa, en parte,
en un listado de abusos evaluativos identificado por Suchman (67). Stufflebeam y
Shinkfield (1987) hablan de pseudoevaluaciones. Estos propsitos se podran resumir
en los siguientes:
Aplazamiento. Se trata de llevar a cabo una evaluacin con el propsito
de demorar una decisin. En algunos casos se puede esperar, incluso, que
una determinada cuestin candente se vaya debilitando con el paso del
tiempo y disminuya la atencin y presin pblica. La evaluacin ser, en
cualquier caso, un elemento tranquilizador.
Evasin y/o evitacin de responsabilidades. En este caso las
evaluaciones se realizan para obligar a los oponentes a compartir
responsabilidades por decisiones impopulares. O puede ser que se encargue
un estudio de evaluacin para evitar toda responsabilidad, pretendiendo que
la evaluacin sea la que adopte las decisiones.
Legitimacin de una decisin ya tomada. La evaluacin puede ser un
medio para legitimar una decisin ya tomada. Weiss (1998a: 22) utiliza la
expresin "window dressing" ("desnudarse delante de la ventana") para
referirse a este propsito.
Relaciones Pblicas. Las evaluaciones tambin pueden llevarse a cabo
por pose o imagen, o como un medio de hacer visible o darle publicidad al
programa o poltica evaluada. Se puede utilizar la evaluacin como un
gesto de racionalidad y asumiendo una posicin de investigacin objetiva y
cientfica, ofreciendo as una buena apariencia externa.
Ofrecimiento de una imagen determinada. En el propsito anterior, el
mero hecho de encargar una evaluacin es suficiente. En este, la evaluacin
se centra en una seleccin sesgada y parcial de sus resultados sustantivos.
Pueden darse dos movimientos relacionados: uno, la justificacin de un
programa dbil a travs de la seleccin de aquellos aspectos positivos
(Eyewash para Suchman, 1967); otro, el encubrimiento de un fallo o
fracaso evitando la informacin relativa al mismo (whitewash).
La postura de los diferentes autores ante estos ltimos propsitos difiere
ligeramente. Vedung (1997) parece ms comprensivo con estos propsitos
denominndolos estratgicos, ya que responden a un determinado plan o estrategia.
En el caso de Suchman (su publicacin data del ao 1967 y el campo de la evaluacin
estaba muy poco desarrollado) y el de Stufflebeam y Shinkfield (1987) su posicin es
claramente condenatoria. Weiss (1998a) tambin habla de estos propsitos como
razones "no tan legtimas" de llevar a cabo evaluaciones y advierte a los evaluadores de
las mismas. Su posicin al respecto se ilustra en la siguiente cita:
"La evaluacin es, entonces, una empresa racional que a menudo se lleva a
cabo por razones no racionales o, al menos, no informativas (...), pero lo
____________________________________________________________________________________
37
______________________________________________________________________
importante es que tales motivos tienen consecuencias en la evaluacin que
pueden ser serias y nada prometedoras. (...) La gracia de las evaluaciones
es que a menudo se comprueba que son tiles an cuando se comenzaron
sin ninguna intencin de utilizar los resultados. (...) El potencial de
ejemplificacin general de la evaluacin ayuda a sobreponer algunos de
las seales no favorables emitidas por los patrocinadores desinteresados."
(Weiss, 1998a: 23-24)
En general, pues, se seala la importancia de reconocer la existencia de estos
otros propsitos de las evaluaciones. Tanto evaluadores como analistas deben estar al
tanto de estos posibles propsitos y saberlos reconocer y analizar. Adems, los
evaluadores deben sealar y hacer explcitos estos propsitos en caso de que haya
indicios de los mismos, y clarificar y negociar con las personas que encargan la
evaluacin los propsitos reales y legtimos de un proceso de evaluacin. Ante
situaciones extremas, los evaluadores deben saber identificar la situacin evaluativa de
la forma ms realista posible, con la intencin de poder decidir y si viene al caso
(apoyndose en criterios deontolgicos ticos y profesionales), no emprender la
evaluacin encargada.
2.4. Diferencias y similitudes entre la evaluacin de programas y de

polticas pblicas
La literatura en evaluacin habla en general de programas, servicios y polticas

pblicas, no distinguiendo, en la mayora de los casos, procedimientos distintos para
objetos diferentes. Es ms, se suele hablar de un objeto genrico de la evaluacin, al
que suele asignarse el concepto de programa, pero que pretende designar, en general,
polticas, planes, programas, proyectos, servicios, medidas y materiales, dejando fuera
la evaluacin institucional y de personal (Joint Committee, 1994). En otros casos el
campo acadmico y profesional de la evaluacin pretende abarcar an ms objetos:
tomamos como ejemplo los Principios Orientadores para Evaluadores elaborados por la
Asociacin Americana de Evaluacin (AEA, 1994), en los que se explicita que se
aplicaran, adems de a los campos mencionados anteriormente, a la evaluacin
institucional, de personal, del desempeo, de la tecnologa, de proyectos de
investigacin, de teoras, etc. De hecho, a lo largo de este trabajo se utiliza el trmino
evaluacin de programas y polticas en sentido amplio. Sin embargo, nos parece
conveniente realizar una serie de distinciones conceptuales y terminolgicas en este
sentido.
Una primera distincin sera la relacionada con el objeto de la evaluacin. S
parece evidente que es diferente evaluar programas que evaluar polticas pblicas; y
efectivamente, existe una diferencia de nivel. Algunos autores mencionan que existen
diferentes niveles de evaluacin, aunque esta categorizacin analtica no es frecuente
en la literatura de evaluacin y, cuando aparece, no se le da una especial importancia.
____________________________________________________________________________________
38
______________________________________________________________________
As Carol Weiss (Weiss, 1998a: 7), habla de programas nacionales (pone como ejemplo
el Head Start), de proyectos locales (pone como ejemplo el programa concreto de Head
Start que se lleva a cabo en el Centro Comunitario de Brigham), y de componentes de
los proyectos (pone como ejemplo un elemento del proyecto local mencionado como es
la implicacin de los padres a travs de encuentros semanales). Tambin Weiss habla
de que se pueden evaluar polticas, aunque la definicin que ofrece de las mismas sea
algo limitada (una poltica es una declaracin de objetivos, aceptada oficialmente,
ligada a una serie de actividades que se supone cumplirn dichos objetivos en una
determinada jurisdiccin). Sin embargo, la conclusin de Weiss al respecto es que la
mayora de las estrategias evaluativas que se usan en evaluacin de polticas son las
mismas que en la evaluacin de programas.
Sin embargo, nosotros creemos importante hacer un esfuerzo de distincin
conceptual entre lo que es evaluacin de polticas y evaluacin de programas, aunque
estemos en general de acuerdo con Weiss en que la mayora de las estrategias
evaluativas son las mismas. En la tabla siguiente se exponen las principales diferencias
en una serie de dimensiones. Segn el objeto de estudio, por evaluacin de programas
se entiende, en sentido estricto, la evaluacin de todo tipo de unidades: servicios,
medidas, proyectos, programas y planes. Estas unidades se caracterizan, con un mayor
o menor grado de amplitud y generalidad, por ser realidades acotadas, con unos
objetivos, unas actividades, unos recursos y un calendario ms o menos definidos. Sin
embargo, las polticas pblicas son unidades menos definidas a priori, realidades ms
amorfas, y consisten en procesos, decisiones y cursos de accin en los que
intervienen los poderes pblicos para abordar un determinado problema pblico en un
cierto perodo de tiempo. El trmino de polticas pblicas ha sido utilizado de muy
diferentes maneras (Hogwood y Gunn, 1984: 13-19) e incluso una poltica puede
consistir en no hacer nada (Heclo, 1972). Son ms difcilmente acotables y requieren
de la redefinicin y reconstruccin previa por parte del analista, ya que toda poltica
pblica es definida subjetivamente por el observador, comprendiendo normalmente un
conjunto de decisiones relacionadas con una variedad de circunstancias, personas,
grupos y organizaciones (Subirats, 1989: 42). Necesariamente, esta diferencia en el
objeto debe marcar, de alguna manera, distintas formas de abordar las evaluaciones.
Entre otras, una mayor probabilidad de que, para la evaluacin de polticas pblicas, el
agente evaluador sea un analista de polticas pblicas, y para la evaluacin de
programas, sean bien consultores externos (no necesariamente analistas), bien
responsables internos de dichos programas.
Respecto a la aplicacin, mientras la evaluacin de programas es probable que
enfatice la mejora y el control de responsabilidades internas, la evaluacin de polticas
puede que lo haga haciendo hincapi en el conocimiento general o iluminacin para
acciones futuras, o en una informacin general que permita tomar decisiones
fundamentadas sobre la continuacin o terminacin de tal poltica o programa. Por
ltimo respecto a la aplicacin, la evaluacin de programas definitivamente es la base y
contribuye a la evaluacin de las polticas pblicas.
Sin embargo, la metodologa utilizada es esencialmente la misma, aunque se
puede decir que la evaluacin de polticas siempre se apoya ms en el anlisis
secundario de datos, entre otros, de la informacin generada por los propios programas.
Finalmente, el calendario de la evaluacin o la temporalidad, en general, suele ser ms
____________________________________________________________________________________
39
______________________________________________________________________
ajustada en la evaluacin de programas ya que los ciclos temporales suelen ser ms
cortos y estar ms definidos.
Tabla 1.4
DIFERENCIAS ENTRE LA EVALUACION DE PROGRAMAS
Y LA EVALUACION DE POLITICAS
Dimensiones
EVALUACION DE
PROGRAMAS
EVALUACION
DE POLITICAS
OBJETO DE ESTUDIO
Planes, programas, proyectos

Servicios, medidas
Polticas Pblicas
AGENTE EVALUADOR
Consultores externos
Responsables internos
Analistas
APLICACION
Mejora del programa o servicio

Control de responsabilidades
Contribucin a la evaluacin de
una poltica
Iluminacin para acciones futuras

Ayuda a las decisiones sobre
continuacin o terminacin
METODOLOGIA
Flexibilidad metodolgica
Flexibilidad metodolgica
(relativo mayor apoyo en anlisis
secundario de datos)
TIEMPOS
Temporalidad ajustada
Puede tomarse ms tiempo

aunque debe reflejar el carcter
dinmico de la poltica
EJEMPLOS
Programa Deporte y droga

Red de Albergues Juveniles
Poltica de Juventud en la
Comunidad de Madrid
____________________________________________________________________________________
40
______________________________________________________________________
3. LO ESPECFICO DE LA EVALUACIN
3.1. Las diferencias con otras prcticas de anlisis: evaluacin versus

investigacin
Durante los primeros aos del desarrollo de la disciplina de la evaluacin de

programas en los aos sesenta y setenta, no se encuentran en la literatura especializada
distinciones entre investigacin y evaluacin. Entonces, se conceba la evaluacin como
un tipo de investigacin de carcter aplicado y que debe guiarse por los estndares de la
misma. En realidad, se consideraba la evaluacin como una hermana menor de la
investigacin, siendo a veces desprestigiada en la comunidad cientfica de entonces. La
utilizacin de trminos como investigacin evaluativa (Rossi y Freeman, 1989;
Weiss, 1975, etc.), aunque contribuan a dar una mayor "seriedad" y a obtener
legitimidad para el nuevo campo, no ayudaban al esclarecimiento o diferenciacin de
los dos conceptos.
Respecto a la naturaleza de la investigacin y de la evaluacin, es evidente que
ambas son modos de indagacin sistemtica. Esto implica que, como requisito mnimo,
son actividades que se hacen de forma consciente y con un sistema, es decir, siguiendo
unos pasos o aplicando algn mtodo o forma sistemtica de actuacin. Adems, para
Lincoln y Guba (1986: 547) se trata de tipos de indagacin disciplinadas. Por
indagacin disciplinada (disciplined inquiry), estos autores entienden algo que es
confirmable pblicamente y que permite explicitar la naturaleza de los datos, las
fuentes y el contexto en el que fueron recogidos, as como los procesos de
transformacin de los datos en informacin (interpretaciones, conclusiones,
extrapolaciones, recomendaciones).
A caballo entre el criterio de la naturaleza de cada actividad y el criterio de su
finalidad, estara su posible carcter bsico o aplicado. Ambos tipos de actividad
investigacin y evaluacin- pueden ser de carcter aplicado; pero la evaluacin es
siempre de carcter aplicado, nunca bsico. La investigacin, por el contrario, puede ser
tanto de carcter bsico como aplicado. Sin embargo, el hecho de que se d una
investigacin aplicada (cuyo fin primario sea la solucin de un problema o la respuesta
a una necesidad concreta, ms que el desarrollo de teora en abstracto) no la convierte
automticamente en una actividad evaluativa. Tampoco el hecho de ser aplicada no
significa que sea una investigacin de categora inferior; muy al contrario, el carcter
aplicado de la investigacin dota de contenido y utilidad social a la actividad cientfica.
Como sealan Lincoln y Guba es posible afirmar que muchos avances bsicos en las
ciencias han sido ocasionados por esfuerzos para resolver problemas prcticos (1986:
548). Lo que s parece claro es, como se ha dicho antes, que la evaluacin es siempre de
carcter aplicado ya que se hace para valorar el mrito y/o valor de un evaluando en su
____________________________________________________________________________________
41
______________________________________________________________________
contexto, para resolver determinadas necesidades de informacin y con la intencin de
mejorar el evaluando, rendir cuentas sobre el mismo o ilustrar sobre acciones futuras.
Es ms, se puede afirmar que la evaluacin es un tipo de indagacin sistemtica
especialmente aplicada.
El criterio de la diferente finalidad de la investigacin y la evaluacin es el que
proporciona una base ms amplia para su distincin. En trminos generales, la
investigacin se hace con el fin ltimo de construir conocimiento. La evaluacin, sin
embargo, se hace para mejorar los programas evaluados, rendir cuentas sobre los
mismos y generar una informacin que permita ilustrar posibles acciones futuras. Es
cierto que, de alguna manera, la evaluacin tambin construye conocimiento, pero ste
es siempre de carcter ms aplicado o concreto. La realizacin de evaluaciones
sistemticas en un determinado sector o de un determinado tipo de polticas (por
ejemplo, de cooperacin al desarrollo) es evidente que contribuye a la acumulacin de
conocimiento sobre el problema que se trata de resolver y la forma de hacerlo. Pero
tambin es claro que sta no es su funcin principal. La evaluacin nunca se hace con el
fin de comprobar proposiciones tericas, aunque s sea, en cierto modo, una aplicacin
de la teora ya que las evaluaciones siempre tienen como teln de fondo y referencia,
adems del contexto especfico del evaluando, el marco terico en torno al tipo de
intervencin evaluado. Esta diferencia de propsito es la primordial a la hora de
distinguir entre investigacin y evaluacin y la que hace que los dos tipos de
indagacin sean distintos respecto a otras dimensiones y caractersticas. As, la
investigacin es un modo de indagacin de carcter acadmico, mientras la evaluacin
lo es de carcter prctico (Cordray y Lipsey, 1987). Esto quiere decir que la evaluacin
de programas pone nfasis en la valoracin y el enjuiciamiento del evaluando, su
significado para los destinatarios, patrocinadores y responsables, en ser relevante y
sensible ante el contexto y, sobre todo, en ofrecer una informacin oportuna en el
tiempo y til para la toma de decisiones relacionada con dicho evaluando.
Por lo tanto la utilidad es el sentido ltimo o leit-motiv de la evaluacin de
programas. La evaluacin se hace con la intencin de ser utilizada. En su forma ms
simple, la evaluacin se lleva a cabo por parte de un cliente que tiene decisiones que
tomar y que busca en una evaluacin una informacin en la que basar sus decisiones.
Incluso cuando el uso es menos directo e inmediato, la utilidad de algn tipo es la
fundamentacin de la evaluacin (Weiss, 1998: 15).
El hecho de que la utilidad sea una caracterstica central de la evaluacin implica
una serie de condicionantes que deben darse en este tipo de actividad cientfica. La
existencia de un cliente o clientes que han demandado la evaluacin y la necesidad de
responder ante un contexto especfico hacen que el evaluador, adems de la lealtad
hacia su campo de estudio y como cientfico social, tenga, sobre todo, obligaciones con
el cliente, los formuladores de la poltica, los directivos, los profesionales y los
participantes y beneficiarios del programa evaluado. Esto significa que la evaluacin
debe tener mayor capacidad de respuesta que la investigacin, especialmente ante el
contexto (aunque la investigacin debe tener tambin en cuenta el contexto, para la
evaluacin la respuesta al mismo es crucial) y ante los responsables y agentes crticos
de los programas.
____________________________________________________________________________________
42
______________________________________________________________________
En conexin con esta capacidad de respuesta y, en general, con la utilidad como
sentido ltimo de la evaluacin, est la necesaria oportunidad en el tiempo que debe
tener la evaluacin. Los ritmos de la investigacin pueden ser distintos, mucho ms
lentos. Sin embargo, para la evaluacin, la capacidad de respuesta est claramente
ligada al calendario. La utilidad de la informacin que arroja una evaluacin depende,
en gran medida, de que sta llegue a tiempo para la toma de decisiones sobre las
mejoras, las posibles modificaciones y el rendimiento de cuentas. La entrega tarda de
un informe de evaluacin puede significar la prctica inutilidad del mismo. Eleanor
Chelimsky reflexiona sobre las aportaciones que se pueden hacer a la teora de la
evaluacin desde la experiencia de la prctica evaluativa, y es precisamente ste uno de
los puntos sobre el que llama la atencin; para ella, a la necesidad de oportunidad en el
tiempo de la evaluacin no se le ha dado la suficiente importancia en el nivel terico
(Chelimsky, 1998). Cuanto ms inestable e incierto polticamente sea el contexto en el
que se encuentra el programa o poltica a evaluar, ms acuciante es la necesidad de que
la evaluacin cumpla los criterios de temporalidad. Si se tarda mucho tiempo en
contestar las preguntas de evaluacin, por muy bien contestadas que estn, es posible
que el debate que las gener ya no sea el mismo, que se hayan quedado obsoletas y sean
irrelevantes o que los destinatarios a los que se haba dirigido la evaluacin hayan
desaparecido. Chelimsky tambin seala que el incumplimiento de plazos en un
proceso de evaluacin suele daar la reputacin y credibilidad de los evaluadores a
largo plazo; adems del incumplimiento de compromisos, los retrasos suelen entenderse
como seal de incompetencia o de que hay algo que ocultar (Chelimsky, 1998: 41).
La investigacin y la evaluacin se suelen producir en contextos distintos y que
pueden ser caracterizados de forma diferente, segn se trate de una investigacin o de
una evaluacin. Algunos autores como Weiss (1998), quien considera que la evaluacin
se desarrolla en un escenario de accin, han utilizado este criterio para distinguir entre
los dos tipos de actividad. La evaluacin se desarrolla en un contexto especfico que es
al que dicha evaluacin debe responder y que debe orientar y enfocar el estudio de
evaluacin. Adems, los procesos de evaluacin siempre se llevan a cabo en un
escenario de accin, en el que lo ms importante que ocurre es el programa. Weiss
insiste en que en este tipo de escenarios es probable que se den conflictos entre el
programa y la evaluacin del mismo; lgicamente, cuando esto ocurre, siempre se da
prioridad al programa y no a la evaluacin (Weiss, 1998: 15). Al fin y al cabo, si la
evaluacin se realiza para mejorar el programa, es lgico que aquella dependa de y se
subordine a ste. Por lo tanto, los procesos de evaluacin dependen ms del contexto
que los de investigacin. Esto, en trminos prcticos, significa que las estrategias de
seleccin, recopilacin y anlisis de la informacin tambin se deben plantear de forma
diferente en los dos tipos de actividad, siendo ms cautelosos e inclusivos (ofreciendo
una mayor participacin a responsables y a agentes crticos) en los procesos de
evaluacin.
Esta mayor dependencia del contexto de la evaluacin est ntimamente ligada al
necesario reconocimiento del carcter poltico de los procesos evaluativos. Esta es otra
diferencia clara con la investigacin, ya que esta ltima se ve mucho menos afectada
por el contexto poltico.
De forma especial, las diferencias en el objeto de estudio han sido poco tratadas
en la literatura sobre evaluacin, aunque desde nuestro punto de vista, tambin se
____________________________________________________________________________________
43
______________________________________________________________________
pueden identificar algunas diferencias. La diferencia bsica inicial estriba en que la
investigacin suele tener por objeto el estudio del problema que los programas intentan
abordar, es decir qu problema pblico se intenta solucionar y sus caractersticas (por
ejemplo, la desigualdad de oportunidades entre mujeres y hombres) y la evaluacin, sin
embargo, se dedica al estudio de las intervenciones pblicas que intentan solucionar
dicho problema, es decir, cmo se aborda el problema en un contexto y momento
determinado (por ejemplo, la poltica de igualdad de oportunidades entre mujeres y
hombres). Afinando algo ms en el anlisis, mientras la investigacin puede dedicarse a
la evolucin del problema en abstracto, la evaluacin pretende valorar las
intervenciones para abordar dicho problema y sus efectos en esa evolucin, o, dicho de
otra manera, cmo ha ido evolucionando el problema por efecto de la intervencin a
travs de un programa. Esto, en un sentido estricto, es a lo que se llama el efecto neto
de un programa o poltica, es decir, lo que ha producido un programa y que no se
hubiera producido en ausencia del mismo. Esta diferenciacin es importante porque
puede dar lugar a equvocos. Por ejemplo, el estudio de la situacin social de la mujer y
su evolucin durante tres aos en un determinado territorio no es equivalente a la
evaluacin del Plan de Igualdad de Oportunidades entre Mujeres y Hombres que se
haya ejecutado en ese territorio durante el mismo perodo. Es decir, una cosa es el
anlisis peridico de la situacin de la mujer, y otra muy diferente, la valoracin de las
acciones que se han llevado a cabo por parte de los poderes pblicos para paliar las
situaciones de desigualdad de gnero.
Adems de la valoracin de este efecto neto, que en muchas ocasiones es
sumamente difcil y costoso de medir, la evaluacin de la forma en la que se aborda un
problema pblico debe incluir la valoracin del diseo de la intervencin, su puesta en
prctica y sus resultados. Es decir, el foco de la evaluacin es la valoracin de las
acciones e intervenciones concretas que se realizan para abordar un problema
determinado, en todas sus dimensiones. Stufflebeam y Shinkfield (1987: 23) consideran
que, mientras la investigacin se limita al estudio de ciertas variables que tienen un
inters terico, la evaluacin se dedica a todos los criterios que se utilizan en la
determinacin de un valor. Esto significa que la investigacin puede centrarse en
ciertos aspectos concretos o en algunas variables especficas; es decir, su foco de
atencin puede ser pequeo o ms acotado. Por el contrario, la evaluacin, por el hecho
de determinar el valor de una intervencin, suele tender a considerar sta de forma
global, ms que centrarse en algunos aspectos concretos de dicha intervencin.
Sin embargo, aunque existen diferencias genricas entre el objeto de estudio de la
investigacin y la evaluacin y el reconocimiento de las mismas es tambin importante
para establecer una identidad para la evaluacin como actividad cientfica diferenciada,
no basta con distinguir los objetos en trminos abstractos. Por un lado, es evidente que
el abanico de objetos de investigacin (cualquier tipo de problema) es mucho ms
amplio que el de la evaluacin, que est mucho ms acotado (abordaje de un problema
a travs de algn tipo de intervencin). Pero por otro lado, para diferenciar entre
objetos, puede hacer falta el cruce del propsito con el que se lleva a cabo la
indagacin. As, el objeto de la evaluacin puede ser invadido por la investigacin, si
sta se lleva a cabo con un propsito diferente al de la evaluacin de programas. Por
ejemplo, el estudio comparado de las polticas de cooperacin al desarrollo en tres
pases, aunque se trata de un objeto que tiene que ver con el abordaje de un problema,
ms que con el problema en s mismo, sera ms investigacin que evaluacin porque,
____________________________________________________________________________________
44
______________________________________________________________________
seguramente, no se llevara a cabo con la intencin de mejorar las polticas o controlar
responsabilidades, sino con un propsito ms general de construccin de conocimiento.
Como ya se ha mencionado, los criterios ms utilizados para resaltar diferencias y
semejanzas entre investigacin y evaluacin, junto con los de finalidad, son los de tipo
epistemolgico y metodolgico. Algunas de las primeras distinciones que se
encuentran en la literatura, tendan a pensar en la investigacin en trminos positivistas,
dejndole a la evaluacin mayores grados de libertad metodolgicos. Las
evaluaciones suelen utilizar mtodos subjetivos y no estn tan estrechamente
controladas ni sujetas a manipulacin como las investigaciones (Stufflebeam y
Shinkfield, 1987: 23). Incluso se llega a identificar a cada tipo de actividad con un
paradigma diferente desde el punto de vista epistemolgico. Para Cordray y Lipsey
(1987: 29), la evaluacin se inscribira en una perspectiva ms constructivista
(examinando diferentes hechos, vistos desde muchos puntos de vista) mientras la
investigacin lo hara en una ms positivista (examinando un conjunto de hechos
sobre los aspectos tangibles de una intervencin).
En una lnea de inclusin de todas las perspectivas paradigmticas, distinguen
investigacin y evaluacin Lincoln y Guba (1986). Estos autores proponen una
definicin de investigacin que sea vlida para cualquier orientacin epistemolgica y
para cualquier tipo de investigacin (bsica o aplicada): es un tipo de indagacin
disciplinada que se lleva a cabo para resolver algn problema de forma que se consiga
entendimiento o se facilite la accin. Sin embargo, la evaluacin es un tipo de
indagacin disciplinada que se lleva a cabo para determinar el valor (mrito y/o vala)
de alguna entidad -el evaluando- tal como un tratamiento, un programa, unos recursos o
una actuacin, de forma que se mejore o refine el evaluando (evaluacin formativa) o se
valore su impacto (evaluacin sumativa) (Lincoln y Guba, 1986: 549-550). Como se
puede observar, estas definiciones vuelven a hacer hincapi en las diferentes
finalidades.
Una de las semejanzas que siempre se aducen al hablar de investigacin y
evaluacin es la utilizacin de la misma metodologa (Weiss, 1998). Es ms, en
ocasiones se ha definido la evaluacin como la utilizacin de los mtodos de la
investigacin para valorar programas. Para Weiss, la utilizacin de los mtodos de las
ciencias sociales tiene como fin hacer que el proceso valorativo sea ms exacto y
sistemtico. De nuevo, como muchos otros autores, Weiss seala que lo que distingue
la investigacin evaluativa no es el mtodo o la materia de la que se ocupa, sino la
intencin o el propsito para la que se hace (Weiss, 1998: 15). Como ya se ha visto, ni
siquiera Lincoln y Guba, quienes enmarcan su discusin con pautas de carcter
epistemolgico, insisten en las diferencias metodolgicas, sino que se centran en las
diferencias de propsito, y mencionan algunas cuestiones respecto a los destinatarios y
los resultados o productos. Ms adelante, se argumenta que tambin existen diferencias
de mtodo, aunque ambos tipos de actividad utilicen las mismas tcnicas de
recopilacin y anlisis de informacin e incluso las mismas metodologas en ocasiones.
De esta manera, hacemos eco del smil utilizado por Lincoln y Guba: el hecho de que
utilicen las mismas herramientas (martillos, destornilladores, sierras y llaves) no hace
iguales a carpinteros, electricistas y fontaneros (Lincoln y Guba, 1986: 537).
____________________________________________________________________________________
45
______________________________________________________________________
Carol H. Weiss, adems de la utilizacin de las mismas tcnicas y mtodos, e
incluso los mismos diseos de investigacin, menciona otra semejanza relacionada con
el criterio metodolgico. Para Weiss, la evaluacin pretende, como cualquier otra
investigacin, describir, entender relaciones entre variables y seguir la secuencia causal
de una variable con otra. Sin embargo, para la autora, no siempre se pueden aplicar los
mtodos con el mismo rigor que en la investigacin ya que las dependencias del tiempo,
el espacio, la gente y los recursos disponibles son ms estrechas y evidentes en
situaciones de evaluacin. As, "los mtodos de evaluacin a menudo representan un
trmino medio entre lo ideal y lo posible" (Weiss, 1998: 18). En definitiva, lo que las
diferencia, pues, no es la metodologa en s misma sino las circunstancias y
condicionantes con los que se aplica.
Segn nuestro punto de vista, la idea de metodologa de Weiss tiene que ver
con una visin tradicional y acotada del mtodo y que se limita a la forma en la que se
recopila y analiza la informacin. Esto tambin tiene que ver con la necesaria
diferencia que se debe establecer entre los niveles metodolgico y tecnolgico (referido
a las tcnicas para la recopilacin y anlisis de la informacin). La metodologa se
refiere al razonamiento lgico que vincula la informacin que se recopila al
conocimiento general. Las tcnicas son las que permiten recopilar la informacin.
Como veremos ms adelante, si consideramos que la metodologa de evaluacin
comprende algo ms que la recopilacin y el anlisis de la informacin, se pueden
tambin encontrar diferencias de mtodo entre los dos tipos de indagacin.
En lo que se refiere a la distincin entre la metodologa de investigacin y la de
evaluacin, es interesante insistir en la diferencia entre los niveles metodolgico y
tecnolgico. De esta manera, la utilizacin de las mismas tcnicas de recopilacin y
anlisis de informacin no significa la utilizacin de una misma metodologa. Como se
ha comentado antes, Guba (1990) dice que la metodologa se refiere a la forma en la
que se busca el conocimiento; nosotros aadiramos en que se busca y se ofrece el
conocimiento. As, creemos que cuando se habla de metodologa de evaluacin estamos
hablando de algo ms que la forma en la que se recopila y analiza la informacin;
hablamos, al menos, de 1) cmo se selecciona la informacin que se quiere recopilar,
teniendo en cuenta y respondiendo al contexto especfico del programa que se pretende
evaluar (diagnstico de la situacin evaluativa, diseo de la estrategia general de
evaluacin y establecimiento y definicin de los criterios o preguntas de evaluacin), 2)
cmo se recopila y trata la informacin que nos va a permitir contestarnos a las
preguntas de evaluacin, y 3) cmo se valora dicha informacin y, por lo tanto, se juzga
el mrito y/o valor del evaluando. En una visin amplia de la metodologa podramos
aadir, adems, otros dos pasos: 4) cmo se traducen dichas valoraciones en
recomendaciones para la accin y 5) cmo se transmiten y comunican los resultados de
la evaluacin para que stos sean lo ms tiles y utilizados. Aunque estos dos ltimos
pasos pueden ser tambin considerados como resultados esperados de los procesos de
evaluacin. Por lo tanto, hay varias caractersticas que distinguen la metodologa de
evaluacin de la de investigacin y la hacen, de alguna forma, especfica.
En primer lugar, esta especificidad tiene que ver con la definicin del problema a
resolver y con el primer paso sobre cmo se seleccionan los criterios o preguntas de
evaluacin. Weiss (1998: 15) seala que, en evaluacin, las preguntas que se plantean
se derivan siempre del propio programa a evaluar. Independientemente de que se tenga
____________________________________________________________________________________
46
______________________________________________________________________
en cuenta el estado de la cuestin, las fuentes ms importantes para la elaboracin de
los criterios o preguntas de evaluacin son los objetivos del programa a evaluar y, sobre
todo, las preocupaciones de los agentes crticos (de la comunidad de poltica o
programa). Mientras los investigadores pueden formular sus propias hiptesis, el
evaluador debe convertir en preguntas de evaluacin las preocupaciones del programa.
Aunque el evaluador pueda influir en lo que l considera importante, el corazn de los
estudios de evaluacin son las cuestiones de inters programtico.
En segundo lugar, en evaluacin siempre se da un elemento de valoracin. Para
Weiss (1998:15) una de las diferencias entre investigacin y evaluacin es lo que ella
llama la calidad de juicio. En evaluacin se compara entre lo que es y lo que debera
ser; se compara respecto a normas implcitas o explcitas, relativas o absolutas. El
elemento de valoracin respecto a una serie de criterios es lo que diferencia la
evaluacin respecto a otros tipos de investigacin. Tambin para Alvira, aunque los
procesos de evaluacin son muy similares a los de una investigacin aplicada, la
caracterstica que principalmente diferencia a los dos tipos de actividad es que en
evaluacin se deben emitir juicios de valor sobre el objeto evaluado (Alvira, 1991: 7).
Este debe ser siempre un enjuiciamiento sistemtico, que tenga en cuenta los criterios y
normas previamente establecidos y que se base, sobre todo, en los datos recopilados y
en las interpretaciones que de ellos se han hecho.
Sin embargo, investigacin y evaluacin no se diferencian por las tcnicas de
recopilacin y anlisis de informacin que son, bsicamente, las mismas. Aunque,
afinando en el anlisis, se puede sealar que, en general, las evaluaciones tienden a
utilizar tcnicas menos sofisticadas que las investigaciones. Las constricciones de
tiempo, recursos y contexto que suelen darse en las situaciones de evaluacin hacen
que, en muchas ocasiones, la utilizacin de tcnicas complejas y costosas sea menos
posible y apropiado.
Adems de los criterios mencionados, se pueden tambin sealar diferencias entre
investigacin y evaluacin segn los destinatarios o usuarios de los dos tipos de
actividad, ya que stos son potencialmente distintos, siendo los destinatarios de la
investigacin la comunidad cientfica en trminos abstractos, y de la evaluacin, una
comunidad de poltica o programa concreta. En el caso de la investigacin, el grupo
destinatario principal es la comunidad cientfica y en un papel secundario, las
comunidades de poltica relacionadas con el tema investigado. En evaluacin, ocurre
justamente lo contrario: en un papel secundario estara la comunidad cientfica, y como
destinataria principal la comunidad de poltica. Esta comunidad de poltica es, en
cualquier caso, compleja y amplia. Adems del cliente que la encarga, existen muchas
otras personas que estn implicadas en el programa, de una manera u otra, y, por lo
tanto, tienen necesidades de informacin e intereses en los procesos evaluativos. Es
posible que para una evaluacin haya un nico cliente que la ha encargado, pero
siempre va a haber ms destinatarios que esperan algo en concreto de esa evaluacin.
Como muestra, Guba y Lincoln (1989: 40-41) identifican un amplio listado de trece
tipos de posibles agentes crticos2 (stakeholders) en una evaluacin, divididos en tres
2
El trmino stakeholder suele utilizarse en ingls debido, en parte a su difcil traduccin. Aqu lo vamos
a traducir como agente crtico, alguien que puede verse afectado o afectar al programa y, por lo tanto, a
su evaluacin.
____________________________________________________________________________________
47
______________________________________________________________________
grandes clases: los agentes, los beneficiarios y las vctimas del programa a
evaluar. En este listado se incluyen desde los patrocinadores del programa (agentes)
hasta las personas que sufren costes de oportunidad por el uso del evaluando, tales
como las personas que hubieran preferido invertir los recursos en otros programas
(vctimas). Por lo tanto, el elenco de destinatarios a los que hay que responder y de
posibles actores a involucrar es mucho ms amplio y complejo en los procesos de
evaluacin que en los de investigacin.
Tambin se pueden establecer diferencias segn los resultados que deben
producir y que se esperan de los dos tipos de indagacin; respecto a los resultados se
puede hablar, por un lado, de productos esperados (publicacin de resultados en un caso
y recomendaciones e informe en el otro) y, por otro, de sus efectos (reconocimiento de
la comunidad cientfica en un caso y utilizacin de los resultados en el otro).
Debido a la naturaleza y finalidad de la evaluacin, sta debe contar con un
ltimo nivel de anlisis y exposicin de los resultados que consiste en la traduccin de
los resultados de la evaluacin en recomendaciones. Estas recomendaciones son
sugerencias sobre posibles lneas de accin a seguir respecto al programa o poltica
evaluada, cambios propuestos en el programa o cosas a mantener en el mismo o
consejos para la mejora dirigidos a los patrocinadores, responsables y/o profesionales
del programa. Evidentemente, estas recomendaciones deben seguir la secuencia lgica
y sistemtica de los niveles de anlisis anteriores (hallazgos, interpretaciones y
valoraciones). Es decir, las recomendaciones de una evaluacin deben estar basadas en
las valoraciones realizadas que, a su vez, habrn estado basadas en la recopilacin y
anlisis sistemtico de la informacin. Este producto de las evaluaciones no tiene por
qu ser exclusivo de las mismas, ya que una investigacin podra concluir tambin con
recomendaciones; pero ni es frecuente ni es un elemento crucial. Sin embargo, en las
evaluaciones las recomendaciones son un elemento importante ya que son el vnculo
formal entre una evaluacin y su uso. Ms all, el ofrecimiento de recomendaciones
especficas y orientadas a la accin ha sido considerado desde hace tiempo como algo
deseable y relacionado con las buenas evaluaciones (Torres, Preskill y Piontek, 196:
105), y esto no ocurre con la investigacin. Patton, quien ha desarrollado un enfoque
basado en la utilizacin, da tambin importancia a las recomendaciones y, aunque
insiste en que no slo stas sino todo el resto del proceso evaluativo es lo que provoca y
estimula el uso de la evaluacin, reconoce, sin embargo, que son, a menudo, la parte
ms visible de un informe de evaluacin (Patton, 1997: 324).
Efectivamente, la preocupacin por la utilizacin y el uso de la evaluacin ha sido
una constante en la literatura especializada en el campo de la evaluacin, cuestin que
no ocurre respecto a la investigacin. Dada la naturaleza especfica de la evaluacin, su
xito no slo se debe medir por el grado en que sta contribuye al aumento o mejora del
conocimiento sino, sobre todo, por el grado en el que ha resultado valiosa para cubrir
las necesidades especficas de informacin de un cliente, destinatario o usuario
particular.
Una respuesta natural a esta preocupacin por la utilizacin y por responder a
necesidades especficas de informacin, ha sido la atencin prestada a los procesos de
comunicacin de los resultados de las evaluaciones, incluyendo la importancia de la
elaboracin de un buen informe, legible y claro (y su difusin y seguimiento posterior),
____________________________________________________________________________________
48
______________________________________________________________________
y de otras formas alternativas de comunicacin (como por ejemplo, sesiones de trabajo,
presentaciones orales, conferencias de prensa, comunicaciones cortas como faxes,
memoranda o correos electrnicos, vdeos, posters, boletines y resmenes ejecutivos).
Un buen exponente de esta preocupacin por el elemento comunicativo es la obra de
Torres, Preskill y Piontek (1996), la cual se centra en fundamentar la importancia de
dicho elemento en los procesos evaluativos y en ofrecer orientaciones prcticas para la
comunicacin y difusin de los resultados. Es decir, la responsabilidad del evaluador no
acaba con la entrega del informe, sino que tambin tiene responsabilidades de
comunicacin, difusin y seguimiento de dicho informe.
Otra de las diferencias entre investigacin y evaluacin, respecto a los resultados
esperados de ambos procesos de indagacin, es, como seala Weiss (1998: 16) la
publicacin posterior. Mientras el resultado evidente de la investigacin es su
publicacin sta es, de hecho, prcticamente la nica va para la diseminacin de las
investigaciones-, la mayora de los informes de evaluacin no se publican. Por un lado,
los responsables de los programas entienden que la informacin que generan las
evaluaciones sirve, sobre todo, para contestar a sus preguntas y cubrir sus necesidades
de informacin, y no tienen especial inters en que dicha informacin se difunda. Por
otro lado, los evaluadores suelen trabajar con presin de tiempo y, normalmente,
despus de la entrega del informe, suelen ya estar trabajando en otro estudio. Adems,
los canales para publicar estudios de evaluacin son todava muy escasos,
especialmente en pases que, como Espaa, tienen todava una escasa cultura evaluativa
y la funcin de evaluacin muy poco desarrollada e institucionalizada. En el mbito
anglosajn existen una serie de publicaciones peridicas especializada en las que
pueden publicarse los resultados de estudios de evaluacin y el proceso seguido en los
mismos, as como debatir sobre mtodos enfoques, filosofa y usos de la evaluacin. En
realidad, en el campo de la evaluacin, las cuestiones referidas a los procesos y a la
metodologa pueden tener ms inters incluso que los propios resultados de los estudios
de evaluacin, ya que al estar estos centrados en un contexto especfico y en un
programa o poltica concreta son menos generalizables o extrapolables que los
resultados de las investigaciones. Sin embargo, no cabe duda de que los resultados de
las evaluaciones de programas y polticas de un determinado sector pueden ser tambin
de inters para la comunidad cientfica y profesional de dicho sector (por ejemplo, las
polticas de cooperacin al desarrollo), y que tambin pueden tener cabida en las
publicaciones y foros especializados de cada uno de los sectores.
Respecto a los efectos de los dos tipos de indagacin, se puede decir que la
investigacin pretende, en general, conseguir aportaciones a la comunidad cientfica y
un reconocimiento por parte de la misma; la evaluacin, sin embargo, pretende la
utilidad concreta y la utilizacin de los resultados que produzca. Esta utilizacin puede
ser directa e inmediata, para la toma de decisiones (se utilizan los resultados para tomar
decisiones concretas sobre el programa o poltica evaluada) o ms indirecta, difusa o
mediata, para el aprendizaje organizativo (se aprende de los resultados y de los propios
procesos de evaluacin y este aprendizaje general supone una mejora para el programa
y la organizacin o colectivo que lo lleva a cabo).
____________________________________________________________________________________
49
______________________________________________________________________
Finalmente, al ser actividades diferenciadas, el papel de los agentes (es decir,
investigadores y evaluadores) tambin puede diferenciarse, incluyendo algunos
requisitos y necesidades distintas para ambos. Al fin y al cabo los evaluadores se
mueven en un contexto determinante y de caractersticas muy distintas (con un fuerte
carcter poltico) a los contextos en los que se generan las investigaciones. Esto
significa que los evaluadores deben contar con una serie de destrezas, como son, por
ejemplo, el conocimiento de los procesos polticos y ciertas habilidades de
comunicacin, que no son tan importantes en el caso de los investigadores.
De esta manera, para moverse adecuadamente en los determinantes contextos
evaluativos, el evaluador requiere de unas habilidades diferentes a las del investigador.
Los evaluadores deben ser capaces de manejarse con habilidad en los contextos
complejos en los que deben intervenir. Necesitan, desde luego, una buena formacin
metodolgica, al igual que cualquier investigador, aunque sta debe ser de carcter
diferente: el evaluador debe ser un metodlogo todo terreno, capaz de dar diferentes
respuestas metodolgicas a distintas situaciones evaluativas. En nuestra opinin, el
buen evaluador no es el especialista en un determinado enfoque, una determinada
metodologa o en varias tcnicas concretas, sino el conocedor de un elenco amplio no
slo de los diferentes enfoques, metodologas y tcnicas sino de sus ventajas y
desventajas, fortalezas y debilidades en cada situacin y contexto especfico. Adems
de la formacin metodolgica, el evaluador requiere tambin de muchas otras
habilidades que debe desarrollar de forma competente: anlisis de polticas pblicas y
conocimiento sobre los procesos polticos en general, conocimiento y capacidad de
trato con grupos y personas, habilidades de comunicacin, etc. Por ltimo, es evidente
que un cierto conocimiento del sector en el que desarrolla el programa o poltica
evaluada es tambin necesario; por ejemplo, saber sobre poltica de cooperacin al
desarrollo y sobre fortalecimiento institucional, si sobre eso versan los programas a
evaluar. Sin embargo, para el investigador, adems de una formacin metodolgica, la
clave es ser experto especialista en el sector en el que se investiga.
Otra diferencia estriba en la mayor atencin que necesariamente deben prestar los
evaluadores a las cuestiones de tipo tico. Es claro que tambin la investigacin
(especialmente ms en unos campos que en otros) debe guiarse por unos principios
ticos, pero el carcter poltico de la evaluacin, apegada a un contexto especfico al
que tiene que responder y en la que siempre existen un nmero de personas y grupos
relacionados de diferente forma con el objeto de estudio, hace que la aparicin de
dilemas ticos en situaciones de evaluacin sea ms frecuente que en situaciones de
investigacin. Esta preocupacin por las cuestiones ticas ha sido recogida por las
asociaciones profesionales y acadmicas de evaluadores y, en los ltimos aos, se han
desarrollado cdigos deontolgicos que suponen, no slo orientaciones para afrontar
posibles dilemas ticos, sino tambin una forma de consolidar e institucionalizar el
campo profesional de la evaluacin (Bustelo, 1998).
Para terminar, se expone a continuacin una tabla en la que se resumen las
principales caractersticas de la investigacin y la evaluacin segn cada uno de los
criterios discutidos.
____________________________________________________________________________________
50
______________________________________________________________________
TABLA 1.5: DIFERENCIAS ENTRE INVESTIGACIN Y EVALUACIN

Criterio
INVESTIGACIN
EVALUACIN
NATURALEZA/
CONCEPTO
Es un tipo de indagacin disciplinada que se

lleva a cabo para resolver algn problema de
forma que se consiga entendimiento o se
facilite la accin
Es un tipo de investigacin disciplinada que se

lleva a cabo para determinar el valor (mrito y/o
vala) del objeto evaluado (programa, proyecto,
servicio o poltica) con el fin de mejorarlo,
rendir cuentas y/o ilustrar acciones futuras
Modo de indagacin acadmico

Modo de indagacin prctico
FINALIDAD Y
CONDICIONAN
TES
Puede ser bsica o aplicada
Siempre es aplicada
Construccin de conocimiento
Mejora de los programas

Rendimiento de cuentas
Ilustracin de acciones futuras
UTILIDAD
CONTEXTO
OBJETO
Debe ser una contribucin relevante para la

comunidad cientfica
Debe tener capacidad de respuesta ante y cierta

lealtad hacia los responsables de los programas
Trasciende temporalmente
Debe ser oportuna en el tiempo

TEMPORALIDAD AJUSTADA
Escenario de investigacin
(lo prioritario es la investigacin)
Escenario de accin (lo prioritario es el

programa evaluado y no su evaluacin)
El contexto es un factor ms a tener en

cuenta (no necesariamente determinante)
El contexto es determinante. La evaluacin es

dependiente del contexto y tiene por objetivo la
respuesta a dicho contexto especfico
Carcter ms tcnico
Carcter marcadamente poltico
Referido a problemas
(QU se aborda)
Referido a las intervenciones para abordar

dichos problemas (CMO se aborda)
Se interesa por la evolucin de un problema a
consecuencia de la intervencin en el mismo
Se interesa por la evolucin de un problema

en abstracto
Se puede centrar en algunos aspectos
concretos
MTODO
Referido la seleccin, recopilacin y anlisis

de la informacin
Tiende a considerar la intervencin de forma

global
Referido al diagnstico de la situacin

evaluativa, la eleccin del tipo de evaluacin, a
la definicin de los criterios de evaluacin, a la
recopilacin y anlisis de informacin, a la
valoracin y emisin de juicios a la luz de los
criterios de evaluacin, al establecimiento de
recomendaciones y a la comunicacin de los
resultados para conseguir una mayor
utilidad/utilizacin de la evaluacin
____________________________________________________________________________________
51
______________________________________________________________________
DESTINATARIOS
Grupos abstractos
Comunidad cientfica
De forma secundaria, comunidad de poltica

o programa
RESULTADOS:
PRODUCTOS Y
EFECTOS
ESPERADOS
AGENTES
(investigadores y
evaluadores)
Grupos y personas concretas

Cliente, patrocinadores
Responsables, profesionales
Agentes crticos (stakeholders): agentes,
beneficiarios y vctimas del programa evaluado
De forma secundaria, comunidad cientfica
Publicacin de resultados
Recomendaciones para la accin

Informes normalmente no publicados
Comunicacin y difusin activa de los
resultados a los interesados
Aportacin a y reconocimiento de la
comunidad cientfica
Utilidad y utilizacin de los resultados y los

procesos de evaluacin
Capacidad investigadora:
Conocimientos metodolgicos amplios y de sus

posibilidades de aplicacin
Conocimientos bsicos sobre metodologa

de la investigacin
Necesario conocimiento previo y exhaustivo
del sector
Conocimiento del sector (puede desarrollarse a

lo largo del proceso)
Otras habilidades necesarias: anlisis de
polticas pblicas y conocimiento de los
procesos polticos, conocimiento y capacidad
de trato con personas y grupos, habilidades de
comunicacin
Como se ha visto hasta ahora, las diferencias entre investigacin y evaluacin son
de tales dimensiones, que deben reflejarse no slo en la prctica de la evaluacin sino
tambin en la teora. Los manuales de evaluacin, por ejemplo, deberan dejar de hablar
de diseos de evaluacin como diseos de investigacin social, y concentrar sus
esfuerzos en las caractersticas metodolgicas especficas de la evaluacin. Otra
cuestin pendiente es, en nuestra opinin, la necesidad de una mayor elaboracin, tanto
desde el punto de vista prctico como del terico, sobre la valoracin y la emisin
sistemtica de juicios como parte del anlisis y la metodologa de evaluacin. Tambin
creemos que se debe seguir insistiendo en la forma de incluir, de forma sistemtica y
cmo quehacer especfico de los procesos evaluativos, el contexto del programa o
poltica evaluada como marco de referencia de la que arranca y al cual responde la
evaluacin, manteniendo el rigor de la actividad evaluativa.
Por otro lado, la distincin de la evaluacin respecto a otros tipos de anlisis e
investigacin ayuda a reforzar su identidad como actividad cientfica diferenciada. De
esta manera, resulta crucial separar y diferenciar los dos tipos de actividad, sobre todo
en el terreno de las polticas pblicas. Ambas actividades, investigacin y evaluacin,
son necesarias y complementarias y, por lo tanto, no conviene que restemos a una con
la otra. Por ejemplo, en el terreno de las polticas de cooperacin al desarrollo es
necesario que se siga investigando sobre las desigualdades norte-sur y sobre los ndices
de desarrollo en los diferentes pases y territorio. Incluso es interesante que, con
objetivos de anlisis e investigacin, se realicen estudios comparativos sobre las
____________________________________________________________________________________
52
______________________________________________________________________
polticas de cooperacin al desarrollo entre diferentes pases. Pero tambin es
absolutamente necesario que cada pas evale su poltica de cooperacin al desarrollo y
los diferentes programas e intervenciones que lleva a cabo con fines de mejora y
rendimiento de cuentas. En definitiva, no slo el hecho de que se d un alto grado de
actividad en uno de los modos de indagacin no significa que deba haber baja actividad
en el otro, sino que tanto la investigacin como la evaluacin se ven claramente
beneficiadas por una existencia mutua.
De esta manera, se debe sealar la importancia de la investigacin para ofrecer un
marco conceptual que sirva para la realizacin de evaluaciones. La evaluacin de
polticas innovadoras en las que existe poca base terica sobre qu es posible esperar de
una determinada intervencin (por ejemplo, las polticas de igualdad de gnero) suele
ser ms compleja que la evaluacin de programas en torno a los cuales se han realizado
mltiples investigaciones (por ejemplo, programas de asistencia a drogodependientes).
De igual manera, la existencia de programas sistemticamente evaluados ayuda a
conceptualizar y definir problemas y llama la atencin sobre campos de estudio en los
que existe una necesidad de investigacin.
Finalmente, se quiere apuntar otro terreno en el que, en nuestro parecer, ambos
tipos de indagacin pueden interactuar de forma fructfera; se trata de la investigacin
cuyo objeto de estudio son los procesos de evaluacin (investigacin evaluativa o sobre
evaluacin), como por ejemplo la realizacin de metaevaluaciones (evaluaciones de
procesos de evaluacin), investigacin sobre la utilizacin de la evaluacin por parte de
los poderes pblicos, sobre la institucionalizacin y el desarrollo de la funcin de
evaluacin en las diferentes instituciones, anlisis de las polticas de evaluacin en los
diferentes pases, etc. Este tipo de investigacin, que corresponde a la perspectiva ms
descriptiva del anlisis de polticas pblicas, est todava poco desarrollada. Su prctica
generalizada, sin embargo, contribuira de forma importante al desarrollo,
consolidacin e institucionalizacin de la evaluacin de programas no slo como
funcin normalizada en los sistemas poltico administrativos, sino tambin como
actividad cientfica diferenciada.
3.2. El carcter poltico de la evaluacin
En los ltimos veinticinco aos de desarrollo de la disciplina de la evaluacin de

programas y polticas, se ha ido reconociendo, de forma paulatina y creciente, el
carcter poltico de la evaluacin por parte de la comunidad cientfica. En algunos
casos, se entiende que poltica y evaluacin son dos realidades separadas aunque
interactuantes. La evaluacin debe responder ante el contexto poltico y, a su vez, ser
una herramienta que permita controlarlo. Para otros autores, como Monnier (1995), la
evaluacin es un acto poltico en s mismo.
Un buen indicador del reconocimiento del carcter poltico de la evaluacin es la
publicacin de la citada obra "The Politics of Program Evaluation" en 1987 y cuyo
____________________________________________________________________________________
53
______________________________________________________________________
editor, Dennis J. Palumbo conclua, en su captulo introductorio, que la poltica y la
evaluacin estn intrnsecamente interrelacionadas; tanto, que la efectividad de la
evaluacin depende de la incorporacin de la realidad poltica a los procesos de
evaluacin. Aunque Palumbo reconoce que existe un cierto peligro en lo que l llama la
"evaluacin poltica", sin darle un sentido peyorativo, (los poderosos se pueden
beneficiar ms que otros ya que tienen mayores probabilidades de controlar las
condiciones bajo las que se realizan las evaluaciones), la nica forma de tener un
mayor impacto en las polticas y los programas es incorporando los factores polticos
en los diseos de la evaluacin y la difusin de sus resultados. Es ms, precisamente es
la ingenua falta de atencin a las dimensiones polticas lo que puede contribuir a que la
evaluacin se utilice como una herramienta ideolgica. Palumbo considera que la
poltica y la evaluacin estn relacionadas de diversas formas, dos de ellas de carcter
positivo: por un lado, si las evaluaciones son utilizadas se convierten en una parte del
proceso de decisiones polticas del programa evaluado; por otro, las evaluaciones
adquieren una postura sobre el programa y esto es inevitable e inherentemente poltico.
Una tercera es de carcter negativo y es que una evaluacin puede realizarse con el
propsito de apoyar o crear imagen a un programa. Esta obra representa un hito en el
campo de la evaluacin no slo por el reconocimiento explcito de la relacin polticaevaluacin, sino tambin porque resta carcter peyorativo al trmino "poltica": no
se trata slo de partidismos entre partidos polticos sino, sobre todo, de "las
interacciones de varios actores dentro y entre burocracias, clientes, grupos de inters,
organizaciones privadas y legislaturas y sobre cmo se relacionan unos con otros desde
diferentes posiciones de poder, influencia y autoridad" (Palumbo, 1987:18-19). Esta es
la primera obra que tiene como propsito explcito aconsejar a los evaluadores la
necesidad de comprender la naturaleza poltica de la evaluacin y cmo incorporar la
poltica a su quehacer evaluador.
Una de las primeras autoras que trata el tema de evaluacin y poltica es Carol H.
Weiss, quien escribe un artculo en 1973 que tambin ser publicado catorce aos ms
tarde en la obra de Palumbo anteriormente mencionada. En dicho artculo titulado
Donde la poltica y la investigacin evaluativa se encuentran, la autora sostena que la
evaluacin es una tarea racional pero que se lleva a cabo en un contexto poltico en el
que hay que tener en cuenta tres consideraciones: la primera, que las polticas y
programas que se evalan son resultado de decisiones polticas. Segundo, la evaluacin
al llevarse a cabo para alimentar el proceso de toma de decisiones entra,
inevitablemente, en la arena poltica. Tercero, la evaluacin en s misma adopta una
postura poltica ya que, por su misma naturaleza, expone implcitamente cuestiones
tales como la naturaleza problemtica o necesidad de algunos programas, la legitimidad
de las estrategias y objetivos, etc. Conocer estas resistencias y fuerzas polticas es
necesario para realizar una evaluacin til. Aos ms tarde (Weiss, 1998), la autora
sigue insistiendo en que la evaluacin no se hace en abstracto, sino en un contexto
determinado; ms all, sta se realiza, principalmente, para facilitar la toma de
decisiones sobre el programa o poltica evaluada. En definitiva, se reconoce el contexto
poltico, incluso como determinante de una situacin evaluativa a la que vamos a tener
que responder metodolgicamente de formas diversas. La evaluacin como proceso
sistemtico reconoce, pero tambin ayuda a contrarrestar y controlar, ese clima poltico
en el que est inmerso cualquier programa o poltica, especialmente si es pblico. De
esta manera, para Weiss, el rigor de la evaluacin sistemtica es particularmente
importante si los programas son complejos, las decisiones a tomar son importantes y
____________________________________________________________________________________
54
______________________________________________________________________
caras y si se necesita informacin para convencer a otros de la validez de las
conclusiones.
En la misma lnea, Evert Vedung (1997) configura la evaluacin como una
funcin que pueden cumplir los acadmicos y cientficos para que gobernantes y
poderes pblicos reflexionen, comprendan mejor y tomen decisiones ms slidas y
fundamentadas. En definitiva, aunque la evaluacin se lleve a cabo en y para un
"ambiente poltico", evaluacin y poltica son dos realidades separadas; la primera
cumple una funcin de ayuda y control sobre la segunda. Ambas son necesarias y se
mezclan con frecuencia. As, el evaluador debe reconocer y ser consciente que su
trabajo puede verse afectado por determinadas luchas de poder.
Sin embargo, otros autores como Monnier (1995) van un paso ms all, y
consideran que no slo se trata de que la evaluacin se desarrolla inevitablemente en un
contexto poltico que hay que reconocer y tener en cuenta, sino que es una actividad
poltica en s misma y, por lo tanto, forma parte integrante de dicho contexto poltico.
Es decir, evaluacin y poltica no son dos realidades fcilmente separables. De esta
manera, la evaluacin, al margen del rigor metodolgico, debe procurarse una
legitimidad poltica. Y muchas veces, la credibilidad de una evaluacin depende ms de
dicha legitimidad poltica -que supone el reconocimiento y consideracin de los
distintos actores sociales- que de una exclusiva legitimidad cientfico-tcnica. Para
Monnier, la evaluacin sirve, entonces, como "elemento negociador entre Estado y
sociedad civil" y, por lo tanto, elemento generador e integrante de la realidad poltica.
En general, este reconocimiento del contexto poltico y su interaccin
determinante con los procesos de evaluacin, ha ido aumentando en los ltimos aos.
De esta manera, el carcter poltico de la evaluacin deja de ser un tema relacionado
con la prctica evaluativa para ser parte crucial de la teora de la evaluacin. Buen
exponente de ello es la conferencia dictada por Eleanor Chelimsky en el encuentro
anual de 1997 de la AEA (Asociacin Americana de Evaluacin) en San Diego,
titulada "El papel de la experiencia en la formulacin de teoras sobre la prctica de la
evaluacin" (Chelimsky, 1998) y en la que considera que una de las cuestiones
aprendidas con la experiencia, y que deben ser incorporadas a la teora de la
evaluacin, es la inequvoca relacin entre evaluacin y poltica. La autora cree que
existen dos problemas en la forma en la que se ha pensado que la evaluacin encaja en
el mundo real, especialmente en el mundo poltico en el que se desenvuelve: en primer
lugar, cree que no se ha pensado en ello lo suficiente y, en segundo lugar, piensa que,
cuando se ha pensado en ello, se han examinado evaluacin y poltica separadamente,
considerando la poltica como perifrica o contextual a la evaluacin y no como
conectada a aquella de forma visceral. Sin embargo, se debe considerar la poltica
como algo central en evaluacin.
Cules seran las implicaciones de esta centralidad poltica, propuesta por
Chelimsky, para la teora de la evaluacin? La primera implicacin tiene que ver con la
necesidad de ampliar la visin sobre la poltica y el proceso de elaboracin de
polticas. "Todava, incluso hoy en da, entendemos la poltica meramente como el
'contexto' de una evaluacin, como algo que se 'entromete' en el buen hacer, ms que el
motor que la conduce" (Chelimsky, 1998: 39). En general, los evaluadores deben ser
____________________________________________________________________________________
55
______________________________________________________________________
ms conscientes del dinamismo poltico que rodea cualquier situacin evaluativa y
reconocer su centralidad para la prctica profesional.
La segunda implicacin de esta naturaleza poltica es la necesidad de
credibilidad para la prctica evaluativa. Si los resultados de la evaluacin deben ser
tiles y sobrevivir a los avatares polticos, la evaluacin misma debe ser percibida
como creble e imparcial. En definitiva, "el evaluador debe ser el proveedor de
informacin honesta en un mar de partidismos" (Chelimsky, 1998: 51). Esta idea choca
parcialmente con el reciente planteamiento, muy extendido en parte de la comunidad
cientfica, que consideran que cierto compromiso partidario del evaluador con un ideal
(advocacy evaluation) es inevitable (Greene, 1997). Este panorama era distinto diez
aos antes cuando Palumbo deca que "el dilema poltico con el que se enfrentan los
evaluadores es seguir un rumbo entre el reconocimiento de la realidad poltica de la
evaluacin y mantener el simbolismo de la neutralidad" (Palumbo, 1987: 20). Es decir,
parece que la comunidad cientfica -al menos parte de ella- reconoce en la actualidad
que la neutralidad en evaluacin es prcticamente imposible. En cualquier caso, parece
adecuado seguir el planteamiento de Chelimsky, quien seala que reconocer que el
evaluador tiene sus valores y creencias no quiere decir que se tenga que recomendar
cierto partidismo; precisamente, una forma de contrarrestar el sesgo del evaluador es
contar con el sesgo opuesto al seleccionar el equipo de evaluacin3. En general, se trata
de enfatizar la imparcialidad en la realizacin del trabajo y la credibilidad en su
percepcin externa.
La tercera implicacin es la temporalidad o necesidad de oportunidad en el
tiempo (timeliness), es decir, que la evaluacin se haga en el momento oportuno y no
se retrase. Cuando el clima poltico cambia, presentar los resultados de una evaluacin
demasiado tarde puede significar lo mismo que no presentarlos. Sin embargo,
presentarlos a tiempo puede marcar la diferencia entre ser escuchados o no, que se
utilicen los resultados o no, o que se aumente o disminuya la credibilidad del
evaluador. En otras palabras, si se tarda mucho en contestar las preguntas de
evaluacin, puede que el debate que las gener ya no sea el mismo, que esas preguntas
sean ya irrelevantes o que los destinatarios de la evaluacin hayan desaparecido.
Por ltimo, la cuarta implicacin se refiere a la necesidad de flexibilidad y que
significa una cierta provisionalidad durante el proceso de evaluacin. Esto puede
significar enfrentar una polmica inesperada cambiando el diseo de la evaluacin,
aadiendo nuevos consultores o nuevos componentes a la evaluacin. En definitiva,
cada situacin evaluativa puede requerir una respuesta evaluativa nica, adaptada a las
circunstancias concretas. Tambin implica ser ms cautelosos a la hora de hacer
valoraciones absolutas, enfatizando las observaciones lo ms especficas, precisas y
validadas posible.
Se pueden mencionar otras implicaciones de este "reconocimiento poltico" de la
evaluacin, ya apuntadas por Palumbo en su obra de 1987. Esto significa reconocer que
los imperativos de los evaluadores y los de los gestores pblicos son distintos y muchas
veces entran en conflicto, que hay que entender el valor simblico y de cambio de la
3
Esta prctica de incluir en un mismo equipo evaluador sesgos opuestos es lo que hizo la GAO (General
Accounting Office) con la evaluacin de los polmicos programas de educacin bilinge en EE.UU.
____________________________________________________________________________________
56
______________________________________________________________________
informacin que ofrecen las evaluaciones (la informacin es poder), que es necesario
extender las evaluaciones ms all de los objetivos de un programa y comprender los
procesos organizativos que subyacen a toda situacin evaluativa. Tambin implica que
hay que tener en cuenta a todos los agentes crticos (stakeholders) -especialmente a los
ms indefensos- y reconocer que existen diferentes necesidades de informacin en
diferentes puntos del ciclo de una poltica.
Finalmente, nos gustara hacer una reflexin sobre otras posibles implicaciones
que tiene este inevitable carcter poltico de la evaluacin. En primer lugar, creemos
que la evaluacin slo puede entenderse plenamente desde una comprensin profunda
de los procesos polticos y de las polticas pblicas, mucho ms que desde una
posicin tcnica estrictamente metodolgica. La evaluacin de programas y polticas
pblicas es algo ms que una herramienta metodolgica o, si se quiere, la
"metodologa" de evaluacin debe entenderse en un sentido mucho ms amplio del que
normalmente se le asigna. Son importantes los pasos dados en los ltimos aos en los
que la evaluacin va tomando cuerpo como disciplina, diferencindose de la
investigacin e incluso, del anlisis de polticas pblicas (Lincoln y Guba, 1986), y
reclamando un cuerpo terico propio en el que su carcter poltico es central
(Chelimsky, 1998). Esto lgicamente ha de tener implicaciones en cmo se concibe la
formacin de evaluadores, cuestin que se abordar ms adelante en este captulo. En
segundo lugar, reafirma la idea de que, en evaluacin existe un doble componente:
adems de un componente cognitivo, relacionado con los aspectos sistemticos,
cognitivos y "comparativamente objetivos" de la investigacin y la indagacin, existe
un componente intuitivo, relacionado con aspectos intuitivos y cargados de significado
por parte del evaluador, sus clientes, los agentes crticos en la evaluacin y las
organizaciones en las que estn inmersos. Este segundo componente se ha ido
reconociendo en la ltima dcada, considerndose que debe ser integrado con el
primero (Torres, Preskill y Piontek, 1996).
3.3. El carcter prctico y aplicado a la accin: el elemento valorativo

y el establecimiento de recomendaciones
Ya se ha insistido, a lo largo de este captulo, sobre la especificidad del elemento

valorativo o de juicio que tiene la evaluacin. Adems de recopilar e interpretar
sistemticamente informacin, la evaluacin cuenta con otros dos niveles de anlisis
(valoracin y establecimiento de recomendaciones) que la hacen especfica respecto a
otros tipos de anlisis e investigacin.
En los primeros aos de desarrollo de la disciplina de la evaluacin, en los que
dominaba adems una concepcin epistemolgica netamente positivista y se conceba
que la ciencia poda y deba estar libre de valores, haba algunos autores que crean que
esta orientacin valorativa conduca a interpretaciones radicales y subjetivas y otorgaba
un poder inmerecido a los evaluadores. Aunque esta visin est superada en la
____________________________________________________________________________________
57
______________________________________________________________________
comunidad cientfica y profesional de la evaluacin, todava podemos encontrar algn
resquicio hoy en da4. Sin embargo, la mayora de los autores clave en evaluacin dan a
este elemento valorativo una importancia central en el desarrollo y articulacin de las
teoras de evaluacin (Shadish, Cook y Levinton, 1991).
Ya en los aos 80, este elemento valorativo es plenamente reconocido e incluso
utilizado como elemento central en la definicin de la evaluacin. Stufflebeam y
Shinkfield en su obra Evaluacin sistemtica (la obra original data de 1985 y la versin
castellana de 1987) insisten en que la meta esencial de la evaluacin es determinar el
valor de algo que se est enjuiciando. De acuerdo con esta definicin, si un estudio no
informa de cun buena o mala es una cosa, no se trata de una evaluacin (Stufflebeam
y Shinkfield, 1987: 20). Precisamente, es este elemento el que organiza su clasificacin
de modelos o enfoques de evaluacin, ya que estos autores denominan
cuasievaluaciones a los enfoques que no incluyen la valoracin como parte de la
evaluacin y evaluaciones verdaderas a los que s lo hacen.
El reconocimiento de este elemento valorativo implica su consideracin como
elemento sistemtico en el proceso de evaluacin. Esto significa que no slo hay que
procurar que la informacin que se recopile sea de calidad sino que se proporcione y
clarifique una base lgica que justifique las perspectivas de valoracin utilizadas para
interpretar y valorar los resultados. Ya que existen distintos pblicos y destinatarios de
una evaluacin, se pueden y deben emplear diferentes perspectivas de valoracin. Por
ejemplo, de un mismo programa de prevencin de drogodependencias en centros
educativos, la Agencia Antidroga puede estar interesada en la valoracin del programa
respecto a la reduccin de consumo de drogas en una zona determinada. Sin embargo,
el profesorado que participe en los proyectos de prevencin de los centros estar ms
pendiente del inters y motivacin de los chicos y de la posibilidad de obtener recursos
y desarrollar actividades como el fomento de la autoestima y del deporte que no slo
ayuden a prevenir la drogodependencia y otros problemas sociales, sino que fomenten
el desarrollo general del alumnado. Esta necesidad de tener en cuenta las diferentes
perspectivas de valoracin de los actores crticos en el programa o poltica evaluada, es
una de las claves de la evaluacin pluralista propuesta por Monnier. Precisamente, es el
compromiso sobre la interpretacin de los hechos y sus valoraciones entre
observadores y observador, de una parte, y entre los diferentes protagonistas del
programa, por otra, lo que hace que una evaluacin sea legtima polticamente y, por lo
tanto, til socialmente (Monnier, 1990-91: 143-145).
Siguiendo a Stufflebeam y Shinkfield (1987: 21), adems de los diferentes
protagonistas, tambin habr que tener en cuenta los conceptos de mrito y valor,
adems de los de viabilidad y equidad. En resumen, las bases de valoracin que deben
ser tenidas en cuenta son las siguientes:
1. Las distintas expectativas de los clientes. Nosotros aadiramos, adems, las
diferentes demandas de los ciudadanos.
4
En la parte III de esta tesis doctoral se analiza como en una publicacin basada en los resultados de
evaluacin de uno de los planes autonmicos de igualdad, se menciona expresamente que se exponen los
datos recopilados e interpretados, procurando excluir los juicios de valor... (para que).. la lectora o el
lector sean quienes saquen sus propias conclusiones (Comunidad de Madrid, 1997, Las mujeres en la
Comunidad de Madrid, p.3) .
____________________________________________________________________________________
58
______________________________________________________________________
2. El mrito o excelencias del servicio, programa o poltica en cuestin, es decir,
hace bien lo que se supone que debe hacer?
3. Hasta qu punto el servicio, poltica o programa es necesario o adecuado a la
comunidad a la que se dirige, es decir si tiene validez.
4. Hasta qu punto es viable, ya que es posible que consuma ms recursos de los
que necesite o cause infinidad de problemas polticos.
5. La equidad necesaria en toda sociedad democrtica para los programas y
polticas pblicas. Un servicio, programa o poltica pblica debe estar pensado,
ser asequible para todos los miembros de la sociedad, todos los grupos deben
disfrutar de una participacin equitativa en la utilizacin de los servicios, los
niveles de logro o consecucin de objetivos no deben ser sustancialmente
diferentes para los distintos grupos, y se debern producir unos resultados
similares en la mejora del bienestar de todos los grupos sociales.
Estas bases de valoracin se vern reflejadas en los criterios de evaluacin que se
establezcan en cada proceso evaluativo. Dunn (1981: 343) propone seis grandes
criterios de evaluacin, que son:
- Efectividad: Se ha conseguido los resultados?
- Eficiencia: Cunto esfuerzo se ha requerido para conseguir dichos resultados?
- Adecuacin: Hasta qu punto el logro de los resultados ha resuelto el
problema?
- Equidad: Estn distribuidos los costes y los beneficios de forma equitativa
entre los diferentes grupos?
- Capacidad de respuesta (responsiveness): Satisfacen los resultados de la
poltica las necesidades, preferencias o valores de los grupos implicados?
- Conveniencia o propiedad: Merecen realmente la pena los resultados
(objetivos) deseados?
Adems, las bases de valoracin pueden ser relativamente diferentes, y tener sus
matices especficos, dependiendo del mbito al que pertenezca la poltica o programa
evaluado. As, por ejemplo, en la evaluacin de las polticas de cooperacin al
desarrollo existe un consenso generalizado sobre la importancia de valorar a travs de
los criterios generales de eficiencia (hasta qu punto los resultados alcanzados derivan
de una utilizacin eficiente de los recursos financieros, tcnicos y humanos), eficacia
(hasta qu punto se han alcanzado los objetivos propuestos), impacto (consecuencias
previstas y no previstas para la sociedad, tanto negativas como positivas), pertinencia
(hasta qu punto el programa evaluado se ajusta, en este caso, a los objetivos globales
de desarrollo, a la poltica del donante y del receptor y a las necesidades y prioridades
locales) y viabilidad (definida en este mbito como hasta qu punto los cambios
positivos logrados como consecuencia del programa se mantienen despus de que ste
haya finalizado) (NORAD, 1997, Ministerio de Asuntos Exteriores, 1998).
____________________________________________________________________________________
59
______________________________________________________________________
Por la propia naturaleza de la evaluacin, sta debe contar con un ltimo nivel de
anlisis y exposicin de los resultados que consiste en la traduccin de los resultados
de la evaluacin en recomendaciones. Estas recomendaciones son sugerencias sobre
posibles lneas de accin a seguir respecto al programa o poltica evaluada, cambios
propuestos en el programa o cosas a mantener en el mismo o consejos para la mejora
dirigidos a los patrocinadores, responsables y/o profesionales del programa.
Evidentemente, estas recomendaciones deben seguir la secuencia lgica y sistemtica
de los niveles de anlisis anteriores. Es decir, las recomendaciones de una evaluacin
deben estar basadas en las valoraciones realizadas que, a su vez, habrn estado basadas
en la recopilacin y anlisis sistemtico de la informacin.
Las recomendaciones son, adems el vnculo formal entre una evaluacin y su
uso. Adems, el ofrecimiento de recomendaciones especficas y orientadas a la accin
ha sido considerado desde hace tiempo como algo deseable y relacionado con las
buenas evaluaciones (Torres, Preskill y Piontek, 1996: 105). Patton, quien ha
desarrollado un enfoque basado en la utilizacin, da tambin importancia a las
recomendaciones y, aunque insiste en que no slo las stas sino todo el resto del
proceso evaluativo es lo que provoca y estimula el uso de la evaluacin, reconoce, sin
embargo, que son, a menudo, la parte ms visible de un informe de evaluacin (Patton,
1997: 324).
Sin embargo, esta idea sobre la necesidad y conveniencia de las recomendaciones
tambin tiene algunos detractores. Michael Scriven, en su obra Hard-Won Lessons in
Program Evaluation expone 31 tesis, aprendidas, segn su autor, de los errores
cometidos en la prctica de la evaluacin (Scriven, 1993). Una de sus tesis, con el
irnico ttulo de Una evaluacin sin una recomendacin es como un pez sin una
bicicleta intenta persuadir sobre la idea de que las evaluaciones no tienen por que
concluir con recomendaciones; es ms, para l sta es una tarea que no debe realizar el
evaluador (siempre situndose desde la perspectiva del evaluador externo). Segn l, es
una falacia lgica pensar que juzgar el mrito y la vala conduce directamente a las
recomendaciones; la principal funcin del evaluador es valorar y hacer juicios, no la de
hacer recomendaciones. A continuacin, analizamos la tesis de Scriven y su
fundamentacin y cules son los argumentos que, en nuestro parecer, se pueden utilizar
para contrarrestarla.
El primer argumento que utiliza Scriven es que, en muchos casos, el evaluador no
est lo suficientemente cualificado para dar ese paso de pasar de las conclusiones a las
recomendaciones. Puede que necesite un mayor conocimiento del contexto local o
conocimientos especficos o determinados (por ejemplo, de tipo legal). Es cierto que
los evaluadores deben contar con un alto conocimiento tanto del contexto como de
otras cuestiones relacionadas con los programas o polticas que evalan. Sin embargo,
creemos que los evaluadores conocen necesariamente a fondo dicho contexto, ya que
han tenido que diagnosticar previamente la situacin evaluativa para responder con un
proceso evaluativo adecuado. Por otro lado, existe una alta probabilidad de que los
evaluadores competentes aprendan mucho sobre el programa, su contexto, el mbito o
tema sobre el que versa dicho programa y las diferentes perspectivas en torno al mismo.
Adems, una prctica muy utilizada en los equipos de evaluacin es contar con el
asesoramiento de especialistas en los temas tratados, de manera que se pueda
contrarrestar esa falta de conocimientos especficos que ayudan, definitivamente, a
____________________________________________________________________________________
60
______________________________________________________________________
contextualizar las recomendaciones. Teniendo en cuenta estas circunstancias, creemos
que el evaluador est, precisamente, en una situacin privilegiada para poder ofrecer
recomendaciones, entre otras cosas y sobre todo, porque stas emanan del estudio
riguroso y sistemtico del programa y su contexto.
El segundo argumento que utiliza Scriven es que, desde el punto de vista del
consumidor que quiere informacin para elegir entre diferentes productos, no tiene
ningn inters ni las recomendaciones para la accin (compre este determinado
producto) ni para la mejora (esto le interesar al responsable del producto, no al
consumidor). Este enfoque orientado al consumidor, que parece especialmente
adecuado para orientar a tomar decisiones en una situacin de mercado -al estilo de la
famosa publicacin Consumer Reports- no parece tan adecuado para la evaluacin de
programas y polticas pblicas. No slo en la mayora de los casos, la ciudadana no
tiene la oportunidad de elegir entre varios servicios, programas o polticas concreta,
sino que, incluso cuando esto es as, esta informacin es vlida nica y exclusivamente
en un momento muy determinado (en el de la eleccin de entrar o participar en un
determinado programa). Pongamos un ejemplo en el que podramos emular una cierta
situacin de mercado. Unos padres tienen que elegir el colegio pblico al que asistirn
sus hijos, ya que los criterios de zonificacin en su municipio son amplios y pueden
elegir, al menos entre 3 o 4 centros5. En el momento de la seleccin, esta perspectiva de
consumidores va ser especialmente interesante. Pero una vez seleccionado el colegio,
la perspectiva cambia radicalmente, porque rara vez se cambia de colegio a un nio
porque hemos comprobado que otro funciona un poco mejor o para probar en cual entre
varios le va mejor. Definitivamente, a los padres les interesar que el colegio de sus
hijos sea evaluado y que se ofrezcan recomendaciones para la mejora. Por ltimo, esta
visin liberal de la evaluacin de Scriven presupone una alta madurez a la ciudadana
consumidora de los recursos pblicos. Si a esto le aadimos la falta de cultura
evaluativa en general y de los poderes pblicos en particular, como es el caso de
Espaa, creemos que desperdiciar la capacidad del evaluador para establecer
recomendaciones y dejar a poderes pblicos poco acostumbrados y con poco tiempo la
tarea de traducir los anlisis en posibles cursos de accin, parece, cuanto menos,
insensato. Por otro lado, los ejemplos que utiliza Scriven para ilustrar sus
argumentaciones son de unos determinados tipos de evaluacin (de personal y de
productos) que, en cierto modo, estn alejados de una concepcin ms general de
evaluacin de programas o polticas.
Patton (1997) tambin critica la postura de Scriven. Para Patton, aunque el
consejo de Scriven sobre evitar hacer recomendaciones cuando uno carece de las
habilidades necesarias es sabio, falla a la hora de considerar que la bsqueda de dichas
habilidades y la captacin de expertos para ello forman parte de la responsabilidad del
evaluador (Patton, 1997: 327).
En cualquier caso, la literatura sobre evaluacin slo ha prestado especial
atencin al asunto de las recomendaciones de forma reciente. Incluso Patton llega a
decir que las recomendaciones son la parte ms dbil de la evaluacin. Hemos
Tambin podemos suponer que estos criterios de eleccin existen en cualquier caso. En algunos pases,
como en EE.UU. es prctica habitual que las familias siten su lugar exacto de residencia en funcin del
colegio elegido para los hijos.
____________________________________________________________________________________
61
______________________________________________________________________
progresado enormemente en las formas de estudiar programas, en la diversidad
metodolgica y en una variedad de tcnicas y diseos para la recopilacin de datos. Las
consecuencias de dichos avances a menudo culminan en recomendaciones, pero hemos
progresado comparativamente menos en cmo construir recomendaciones tiles.
Encuentro que ensear a los estudiantes sobre cmo pasar de los datos a las
recomendaciones es a menudo el mayor reto en la enseanza de la evaluacin. Es un
proceso que no es simple ni linear. (Patton, 1997: 328).
Esta atencin a las recomendaciones ha hecho que se hayan desarrollado una
serie de orientaciones y sugerencias prcticas para su elaboracin (Torres, Preskill y
Piontek, 1996; Patton, 1997; Chelimsky, 1998), las cuales nos parece importante
sealar porque ellas son reflejo de las teoras de la evaluacin que se han ido
construyendo con una importante base prctica (Shadish, Cook y Levinton, 1991).
Todas estas sugerencias denotan la importancia concedida a la elaboracin de
recomendaciones como colofn de los procesos de evaluacin. Al fin y al cabo, cuando
se incluyen recomendaciones en un informe de evaluacin, stas atraen la atencin del
lector como el nctar de las flores a las abejas (Patton, 1997: 324).
En primer lugar, una de las cuestiones a tener en cuenta al desarrollar las
recomendaciones es quines participan en su elaboracin y de qu forma. Esta cuestin
va a depender, sobre todo, del enfoque con el que se haya diseado y emprendido la
evaluacin, especialmente si es un enfoque de tipo participativo. La extensin con la
que participen en las recomendaciones los agentes crticos en el programa puede ser
diversa (Patton, 1997: 333) considerarse en un continuo (Torres, Preskill y Piontek,
1996: 106). En un extremo estaran los evaluadores que desarrollan ellos mismos las
recomendaciones y se las entregan a los agentes crticos (stakeholders) y en el opuesto
estaran las situaciones en las que son los propios implicados o stakeholders los que
desarrollan las recomendaciones. En los puntos intermedios se encontraran los
procesos en los que los evaluadores presentan recomendaciones para que sean
criticadas y modificadas por los implicados y agentes crticos y tambin las situaciones
en las que evaluador e implicados colaboran conjuntamente para su elaboracin. En
cualquier caso, estos autores que prestan especial atencin a las recomendaciones
suelen dar una gran importancia a la implicacin de los destinatarios de la evaluacin
en el desarrollo de las mismas. As, sugieren que, en caso de que las recomendaciones
estn hechas por el evaluador, ste debe entregarlas antes para permitir la revisin,
discusin y/o modificacin. Tambin desde su punto de vista es importante que los
agentes crticos (stakeholders) sientan como suyas las recomendaciones; para aumentar
este sentido de pertenencia lo mejor es desarrollarlas conjuntamente con ellos. Incluso,
para aumentar el mximo sentido de pertenencia del proceso de evaluacin en general y
su uso posterior, recomiendan implicar en el anlisis de los datos a los participantes en
el programa evaluado (Torres, Preskill y Piontek, 1996: 106-7).
En segundo lugar, hay que tener en cuenta el tipo de recomendaciones que se
quiere realizar. Las recomendaciones pueden ser:
- simples (se desarrolla la mejor opcin)
- se desarrollan varias opciones, analizando las debilidades, amenazas,
costes y beneficios de cada una
____________________________________________________________________________________
62
______________________________________________________________________
- opciones basadas en diferentes escenarios futuros con sugerencias para el
seguimiento
- diferentes recomendaciones para diferentes destinatarios
La idea de desarrollar varias opciones puede resultar especialmente interesante.
El propio Patton insiste en que algunos decisores prefieren recibir opciones mltiples
que verse avocados a una nica posibilidad de accin, y en cualquier caso seala la
conveniencia de que, siempre que sea posible hay que incluir en las recomendaciones
algunas consideraciones sobre los costes y beneficios de seguir dichas
recomendaciones. Tambin Chelimsky seala que, en su experiencia como responsable
de los estudios de evaluacin de la GAO (General Accounting Office), han llegado a la
conclusin de que es muy importante medir los costes de las recomendaciones para
aumentar la probabilidad de su uso. Para ella, la inclusin de la cuestin de los costes
en el proceso de evaluacin mejora la percepcin de credibilidad del estudio, ayuda a
las evaluaciones a resistir los ataques polticos y aumenta la probabilidad de que los
resultados sean utilizados con el tiempo (Chelimsky, 1998: 47). Estas sugerencias
hacen que se d una mayor importancia a esta fase final de las recomendaciones: no
slo el evaluador puede tener capacidad para hacerlo sino que tiene que dedicarle
especial tiempo, esfuerzos y cuidado (aumentando, por lo tanto, los costes de los
estudios de evaluacin). Esto resalta el papel del evaluador no slo como metodlogo e
investigador, sino como asesor y consultor.
Otras cuestiones relacionadas con las recomendaciones y que se encuentran en la
literarura (Patton, 1998; Torres, Preskill y Piontek) son las siguientes:
1. Las recomendaciones deben seguir claramente y deben ser apoyadas por los
hallazgos de la evaluacin.
2. El tipo de recomendaciones que van a aparecer en un informe final es materia
de negociacin con los clientes de la evaluacin (patrocinadores de la evaluacin
y agentes crticos stakeholders- implicados en el programa). En realidad se debe
negociar la naturaleza y la totalidad del contenido de los informes, una vez que el
propsito de la evaluacin ha sido clarificado y antes de que se recopile la
informacin. Las recomendaciones no son una excepcin.
3. Hay que distinguir entre diferentes tipos de recomendaciones. La cuestin aqu
estriba en que las listas largas e indiscriminadas difuminan el foco de atencin y
disminuyen el poder de las recomendaciones cruciales. Patton (1997) sugiere 6
formas de diferenciarlas:
- centrales y secundarias
- sumativas y formativas
- de aplicacin inmediata/a medio plazo/a largo plazo
- segn a quin van dirigidas: patrocinadores, gestores del programa,
profesionales, clientes o participantes
____________________________________________________________________________________
63
______________________________________________________________________
- si estn slidamente apoyadas por los datos (y todos los miembros del
equipo de evaluacin estn de acuerdo) o menos slidamente apoyadas y
existe algn disenso respecto a las mismas
- si implican una creencia slida sobre que se deba actuar o simplemente
pretenden estimular la discusin o hacer sugerencias que pueden formar
parte de la agenda en un futuro.
4. Las recomendaciones deben ser realistas, o mejor dicho, se deben enfocar hacia
acciones bajo el control de los destinatarios de la evaluacin, es decir, sobre lo
que puedan hacer algo. En esta misma lnea, se sugiere ofrecer datos y
descripciones que tengan que ver con los elementos clave del contexto del
programa evaluado.
5. Al escribir las recomendaciones, hay que ejercitar la sensibilidad poltica. Se
recomienda ponerse en la piel de los destinatarios de la evaluacin y trabajar con
ellos, de forma anticipada las implicaciones polticas de cada recomendacin.
6. Poner especial cuidado en la redaccin de las recomendaciones, ya que se
pueden diluir en un lenguaje vago y obtuso. Se debe intentar evitar palabras que
confunda o distraigan del mensaje central.
7. Dedicarle suficiente tiempo a la redaccin de las recomendaciones, para
trabajarlas con los destinatarios y para comprobar su claridad, comprensin,
carcter prctico, utilidad y significado. Se insiste en que, a menudo, el problema
es que los evaluadores acaban haciendo las recomendaciones deprisa y corriendo,
sin dedicarle el tiempo suficiente para hacer un buen trabajo.
8. Desarrollar estrategias para que las recomendaciones se tomen en serio. Se
sugiere que el evaluador ayude a los decisores a tomar decisiones sobre las
recomendaciones con, por ejemplo, sesiones de trabajo que asignen
responsabilidades de seguimiento y fechas tope para la puesta en prctica de
dichas recomendaciones.
3.4. El carcter prctico y aplicado a la accin: La preocupacin por la

utilizacin y el uso de la evaluacin
La preocupacin por la utilizacin y el uso de la evaluacin ha sido una constante

en la literatura especializada a lo largo de la evolucin de la disciplina, aunque para
algunos autores, como Monnier, hicieron falta muchas desilusiones por parte de los
investigadores ante la poca atencin otorgada por los responsables polticos o por los
gestores a sus resultados (...), para que la cuestin de la utilizacin de los resultados se
planteara de forma clara (Monnier, 1990-91: 142). Dada la naturaleza especfica de la
evaluacin, su xito no slo se debe medir por el grado en que sta contribuye al
____________________________________________________________________________________
64
______________________________________________________________________
aumento o mejora del conocimiento sino, sobre todo, por el grado en el que ha
resultado valiosa para cubrir las necesidades especficas de informacin de un cliente,
destinatario o usuario particular. Esto hace que, necesariamente, se distingan diferentes
necesidades de informacin.
Efectivamente, una de las primeras consecuencias de esta preocupacin por la
utilizacin de la evaluacin, ha sido la de esclarecer y clasificar los diferentes usos que
de una evaluacin pueden hacerse y las diferentes necesidades de informacin que
pueden cubrirse.
Los diferentes usos vienen determinados, en principio, por la funcin dominante
de cada evaluacin. Si la funcin principal es la mejora del programa o poltica a
evaluar, el posterior uso vendr dado por dicha funcin y las necesidades de
informacin estarn determinadas por una perspectiva de desarrollo o mejora. Si la
funcin dominante es la rendimiento de cuentas, las necesidades de informacin
vendrn determinadas por una perspectiva de accountability, en la que se necesitar
informacin que permita, sobre todo, hacer juicios generales sobre las
responsabilidades del programa. Finalmente, si domina la funcin de conocimiento o
enlightenment, las necesidades de informacin sern ms generales y la perspectiva de
uso estar ms determinada por los valores acadmicos.
Chelimsky, en su artculo Linking Program Evaluation to User Needs
(Chemimsky, 1987: 73) explora las relaciones entre 1) las funciones y los usuarios de
la evaluacin, 2) los diferentes tipos de necesidades de informacin, 3) los diferentes
momentos del ciclo de vida de un programa o poltica y 4) los diferentes tipos de
estudios de evaluacin. Resultante de este cruce de los cuatro aspectos mencionados, la
autora realiza una interesante tabla en la que expone las necesidades de informacin
para seis tipos de destinatarios gubernamentales de las evaluaciones (tomando como
modelo EE.UU., distingue tres en la rama ejecutiva y tres en la legislativa) y segn sea
una propuesta para un programa nuevo o un programa ya existente o recin ejecutado
(Chelimsky, 1987: 83-85).
As, para la funcin referida a la formulacin de polticas (policy formulation) el
tipo de informacin requerida es referente a tres reas: informacin sobre el problema,
sobre los resultados de otros programas similares e informacin que permita la
seleccin de una alternativa sobre las otras. Para la ejecucin de polticas (policy
execution) se necesitar informacin referida a la implementacin del programa, a la
gestin y direccin del programa y a la informacin actualizada sobre el estado actual
del problema que se intenta solucionar Finalmente, para el propsito del rendimiento de
cuentas (accountability) se necesita informacin sobre los resultados de un programa,
sobre si ha conseguido los objetivos propuestos y sobre los efectos (esperados e
inesperados). Tambin los diferentes destinatarios o usuarios de la evaluacin van a
tener diferentes necesidades de informacin, dependiendo de sus funciones especficas,
propsitos y nivel de responsabilidad: algunas sern comunes a todos y otras diferentes.
La capacidad para servir a diferentes usuarios, aunque deba intentarse, siempre se va a
ver constreida por la necesidad del evaluador de contestar a las preguntas precisas que
haya hecho el usuario principal (normalmente el cliente de la evaluacin). Las
necesidades de informacin van ser tambin distintas segn el tipo de programa o
poltica y el momento del ciclo en el que se encuentre. Por ejemplo, va a influir la
____________________________________________________________________________________
65
______________________________________________________________________
antigedad del programa (que sea nuevo o ya establecido) o si es aceptado o, por el
contrario, controvertido, o si es un programa caro o modesto. Finalmente, Chelismsky
distingue cinco actividades bsicas respecto al programa o poltica a evaluar: 1)
planificar y racionalizar un programa y su evaluacin, 2) ejecutar y gestionar un
programa, 3) justificar la efectividad de la ejecucin y gestin, 4) demostrar la
efectividad de un programa y 5) medir el problema y el progreso del programa. Cada
una de estas actividades requiere de diferente informacin evaluativa.
Aunque las conclusiones concretas de Chelimsky son difcilmente aplicables de
forma directa a la situacin de Espaa, creemos que su idea de clasificar y relacionar
los cuatro factores anteriormente mencionados (funciones, destinatarios y necesidades
de informacin, momento de la poltica y tipo de evaluacin) puede ser especialmente
clarificadora y fructfera para analizar los procesos de utilizacin de las evaluaciones.
Adems de a la diferenciacin y clasificacin de los posibles usos de la
evaluacin, la preocupacin por la utilizacin tambin ha llevado a la identificacin de
elementos prcticos facilitadores de dicha utilizacin en los procesos de evaluacin.
As, la literatura sobre uso y utilizacin de la evaluacin (Alkin, 1985; Joint
Committee, 1994; Patton, 1985, 1997; Shadish, Cook y Levinton, 1991) coincide en que
los evaluadores deben:
- tener en cuenta el contexto especfico de la evaluacin
- identificar los destinatarios (audiencias) de la evaluacin e implicarles
(especialmente a clientes y agentes crticos -stakeholders-) en el diseo de
la evaluacin
- mantener un fuerte y frecuente contacto y aportar resultados intermedios a
lo largo del proceso de evaluacin
- ajustar los informes a las necesidades de los destinatarios, usando una
variedad de formatos, incluyendo informes cortos y resmenes,
presentaciones orales y oportunidades para la interaccin
- presentar ilustraciones reales y concretas de los hallazgos
- presentar los resultados con una temporalidad adecuada a una variedad de
destinatarios
- usar un lenguaje simple y claro
Efectivamente, una respuesta tpica a esta preocupacin ha sido la atencin
prestada a los procesos de comunicacin de los resultados de evaluacin, incluyendo la
importancia de la elaboracin de un buen informe, legible y claro, y su seguimiento y
de otras formas alternativas de comunicacin. Un buen exponente de esta preocupacin
por el elemento comunicativo es la obra de Torres, Preskill y Piontek (1996). Una
consecuencia de esto es el aumento de responsabilidades en el papel del evaluador: la
responsabilidad del evaluador no acaba con la entrega del informe, sino que tambin
tiene responsabilidades de comunicacin, difusin y seguimiento de dicho informe. De
hecho, tiene todo el sentido esta preocupacin con los procesos de comunicacin ya
____________________________________________________________________________________
66
______________________________________________________________________
que, segn demuestra una encuesta realizada a evaluadores profesionales de la
Asociacin Americana de Evaluacin (Torres, Preskill y Piontek, 1997), dichos
profesionales estaban slo moderadamente satisfechos con sus esfuerzos y resultados
en la informacin y comunicacin de resultados. Los dos impedimentos ms
mencionados para una buena informacin y comunicacin tenan que ver con la falta de
tiempo invertida en esta tarea, en primer lugar, y la complejidad poltica y organizativa
en los procesos de evaluacin, por otro. Las razones mencionadas son: falta de claridad
entre los agentes crticos sobre sus necesidades de informacin, falta de respuesta ante
los esfuerzos por comunicar e informar, cambio de cliente o destinatario de la
evaluacin en mitad del proceso, situaciones muy cargadas polticamente, resistencia
ante los hallazgos negativos, caractersticas de individuos particulares e interpretacin
errnea de los hallazgos.
Otros autores sealan la necesidad de enfocar la totalidad del proceso de
evaluacin (y no slo las fases finales) a la maximizacin de su uso o, al menos,
considerar la cuestin del uso desde el principio (Weiss, 1998: 324). El mximo
exponente es Patton, quien elabora un modelo terico-prctico que se llama,
precisamente Evaluacin orientada a la utilizacin (Utilization-Focused Evaluation).
Este modelo, adems, se ha visto reforzado con los aos. La primera edicin de su libro
con el mismo ttulo es del ao 1978. En 1997 publica una tercera edicin introduciendo
nuevos elementos y reforzando su enfoque. La evaluacin orientada a la utilizacin se
hace con y para usuarios especficos e intencionados para usos especficos e
intencionados (Patton, 1997: 23). Es decir, todo el proceso de evaluacin, desde su
diseo hasta su comunicacin est enfocado a responder las preguntas necesarias a
determinados destinatarios identificados previamente. No slo la utilizacin de la
evaluacin es su sentido ltimo, sino que la concepcin general de los procesos
evaluativos debe estar subordinada a dicho fin.
Sin embargo, de forma paralela a esta preocupacin por la utilizacin, la
comunidad cientfica dedicada a la evaluacin, se ha ido haciendo ms consciente y
realista sobre cules pueden ser, realmente, los usos de las evaluaciones. De esta
manera:
En la toma de decisiones sobre un programa o poltica, la evaluacin es slo uno
de los factores a tener en cuenta. Muchas otras variables, adems de unos buenos
y tiles resultados de evaluacin, intervienen en la toma de decisiones. En primer
lugar, los resultados de la evaluacin deben ser aceptados como correctos y tiles.
Despus, hay que reconocer que van a interactuar con lo que la gente ya cree
sobre el programa, sus valores y creencias sobre lo bueno y lo malo, sus propios
intereses y los intereses de la organizacin o estructura que lance el programa,
etc. (Weiss, 1998: 324).
La utilizacin no siempre es directa e inmediata. Esta utilizacin directa e
inmediata s puede darse en ocasiones, sobre todo cuando hay buenas condiciones
(el tema no es polmico, implica pocos recursos o propone cambios para los que
existe un cierto consenso). Pero lo normal es que no sea as, y que los cambios,
aunque se den, sean ms sutiles y graduales. Lo importante aqu es que, aunque
no se d un uso directo, la evaluacin afecta la manera en la que la comunidad
de programa o poltica (conjunto de personas afectadas o implicadas en un
____________________________________________________________________________________
67
______________________________________________________________________
programa o poltica) ve el mundo, es decir, la hace ms consciente (Weiss, 1998:
325).
El uso de la evaluacin puede ser simblico (Palumbo, 1987: 25). Cmo y por
qu las organizaciones usan las evaluaciones es parte de cmo se utiliza la
informacin en general. La informacin se utiliza, sobre todo, con un valor
simblico; los gestores de programas y polticas tienden a recopilar ms
informacin de la que necesitan y si la informacin es favorable tiene mayores
probabilidades de ser utilizada que si no lo es.
Chelimsky (1998: 50) hace una reflexin sobre la necesidad de reconsiderar el
concepto de uso. Para ella, la justificacin de la evaluacin debe ser menor en
cuanto al uso que se haga de sus resultados (aunque ste sea importante para la
mejora de la formulacin de polticas) que en cuanto a su xito como proveedora
de informacin de inters pblico. Es decir, que adems de los intereses
particulares y especficos de los destinatarios especficos de una evaluacin, se
puede y debe pensar en el inters pblico y general.
Hacerse conscientes de esta realidad ha derivado en una visin ms flexible de la
utilizacin de los resultados de la evaluacin. Se ha pasado de pensar que el uso de la
evaluacin consista en el uso de los resultados para tomar decisiones a ser consciente
de unas mayores dimensiones en el concepto de uso. La evaluacin no slo puede y
debe servir para facilitar la toma de decisiones concreta respecto a un programa.
Tambin puede contribuir al aprendizaje organizativo y de los grupos humanos, y su
utilidad puede ir ms all del programa o poltica concreta que evala, no slo respecto
al mbito o campo que toque, sino tambin respecto a los propios procesos de
evaluacin. Cada proceso de evaluacin puede y debe contribuir y ofrecer una
informacin til sobre cmo evaluar determinadas polticas en determinados contextos,
qu enfoques, perspectivas, metodologas y tcnicas han sido adecuadas, etc.
En definitiva, se puede pensar en el concepto de uso de la evaluacin en un
sentido amplio. A este respecto, nos parece clara la definicin que hacen Torres,
Preskill y Piontek (1996: 2). Para ellas, el uso en evaluacin es cualquier consecuencia
o resultado de una evaluacin e incluye:
a) Los efectos de los mismos procesos de evaluacin, como una mayor
comprensin y/o apreciacin de la evaluacin.
b) Una mayor comprensin o nuevas perspectivas en una situacin,
programa u organizacin.
c) Las acciones que se llevan a cabo como resultado de una evaluacin.
En la misma lnea, para Carol H. Weiss (1998b), bajo esta visin ampliada sobre
los usos de la evaluacin, se puede hablar de cuatro tipos de uso:
1) Uso instrumental: se usan los resultados para tomar decisiones.
2) Uso conceptual: se utiliza la evaluacin para cambiar la comprensin de
lo que el programa o poltica es, hace o pretende.
____________________________________________________________________________________
68
______________________________________________________________________
3) Uso persuasivo: la evaluacin sirve para movilizar apoyos para conseguir
cambios necesitados en el programa.
4) Influencia en otras instituciones y eventos, ms all del programa o
poltica evaluada. Las conclusiones de una evaluacin pueden influir en las
redes de poltica (policy networks) y en los profesionales, alterar
paradigmas de poltica, y producir cambios en la agenda poltica.
De esta manera, para Weiss (1998b: 27), adems de utilizarse los resultados,
hallazgos y recomendaciones de un estudio de evaluacin, se usan las ideas y
generalizaciones extradas de la evaluacin, el mismo hecho de evaluar (ya que la gente
en torno de un programa se hace ms consciente del mismo), el foco del estudio y las
medidas utilizadas, as como el propio diseo de investigacin utilizado en el estudio
de evaluacin (ya que puede influir en las operaciones de programa).
Nos resulta especialmente interesante insistir en conceptualizar como uso de la
evaluacin los efectos que se pueden producir por el propio hecho de evaluar. Ya
hace aos se describi el efecto Hawthorne, por el que se demostr que las personas
estudiadas que saban estaban siendo observadas realizaban la tarea significativamente
mejor que las que no eran conscientes de estar siendo observadas6. Haciendo referencia
a las consecuencias positivas este efecto, se sabe que las personas que participan en un
proceso de evaluacin tienen mayores probabilidades de hacerse ms conscientes del
programa o poltica y sus objetivos. Como Greene (1988) ha sealado, los
profesionales que participan en definir y disear un proceso de evaluacin, comienzan
a pensar con mayor profundidad sobre lo que se est tratando de conseguir. Puede que
esto incluso lleve a una mayor cohesin del equipo de profesionales a cargo del
programa. En definitiva, la evaluacin es reflexin y revisin; el mero hecho de dar un
espacio formalizado para ello tiene efectos positivos en s mismos. Otros efectos
positivos del hecho de llevar a cabo una evaluacin pueden ser introducir una cultura
de rendimiento de cuentas o legitimar el programa en cuanto a que se manda un
mensaje sobre que se estn tomando las cosas en serio y hay algo que aprender del
mismo. Dependiendo del enfoque adoptado para la realizacin de la evaluacin, se
pueden obtener otros efectos colaterales. Por ejemplo, con los enfoques participativos
se ayuda a las personas en torno al programa evaluado a reflexionar sobre la prctica, a
pensar de forma crtica y a preguntarse por qu el programa funciona como lo hace.
Con una evaluacin basada en la teora, los profesionales deben analizar y hacerse
conscientes de las premisas subyacentes a su trabajo.
Este efecto se describi por primera vez en 1939 por dos investigadores (Roethlisberger y Dickson, 39)
que pretendan hallar la intensidad de luz ptima para la productividad de unas obreras que trabajaban
con piezas elctricas pequeas, en la planta de la Western Electric Company en Hawthorne. Constataron
que cualquier cambio en la intensidad de la luz produca un aumento de la productividad. Concluyeron
que el hecho de pertenecer al grupo experimental y ser observadas significaba una seal de atencin
personalizada de la empresa hacia ellas o hacia su bienestar personal.
____________________________________________________________________________________
69
____________________________________________________________________________________
CAPTULO 2
LA EVALUACIN DE POLTICAS PBLICAS
DESDE UNA PERSPECTIVA HISTRICA
INTRODUCCIN
Aunque los orgenes de la evaluacin de programas y polticas se sitan en la

dcada de los aos cuarenta con la aparicin de los trabajos de Ralph Tyler, el
desarrollo de la misma como campo cientfico y profesional diferenciado es
relativamente reciente, ya que se ha producido realmente en los ltimos treinta aos. A
pesar de esta juventud, la evaluacin ha sufrido una evolucin acorde con el contexto
histrico en el que se ha desarrollado. Por lo tanto, se pueden reconstruir
histricamente las propuestas realizadas por parte de cada autor e identificar algunos
factores que han influido en el desarrollo histrico de la evaluacin de programas,
como, por ejemplo, el grado de institucionalizacin y consolidacin profesional de la
misma, que es distinto segn los pases, o la propia evolucin en el estudio y la
concepcin de los problemas sociales. Por lo tanto, en este segundo captulo, se realiza
una breve historia de la evaluacin y se identifican los factores que han influido en su
desarrollo y evolucin. Adems, se exponen los enfoques ms destacables que se han
ido proponiendo a lo largo del desarrollo de la evaluacin como campo cientfico
diferenciado. De esta manera, se analizan las cuestiones ms relevantes de cada
enfoque o autor, destacando los elementos que han sido ms utilizados en la teora y la
prctica de la evaluacin.
Una cuestin estrechamente relacionada con los enfoques y el desarrollo histrico
de la evaluacin es la referida a las diferentes tipologas de evaluacin propuestas por
cada autor o perspectiva. A lo largo de estos aos de evolucin histrica, se han
establecido mltiples clasificaciones, identificndose diferentes tipos de evaluacin
posibles. Despus de un anlisis exhaustivo de las clasificaciones y tipologas
disponibles, resaltamos, en este segundo captulo, las que, desde nuestro punto de vista,
aportan una mayor claridad conceptual y pueden traducirse de forma ms operativa a la
prctica de la evaluacin de las polticas pblicas. Adems de las cuatro tipologas que
se proponen aqu como bsicas, tambin se mencionan otras clasificaciones utilizadas
en la literatura especializada y se discuten otros tipos de evaluacin no incluidos en las
tipologas bsicas anteriormente mencionadas, como son la evaluacin de la
evaluabilidad, y la metaevaluacin.
Tambin dependiendo del enfoque de evaluacin propuesto, la definicin de
quines son los agentes crticos en la evaluacin de un programa o poltica, as como
cul debe ser el papel del evaluador, pueden ser muy diferentes. Una de las
caractersticas de los contextos evaluativos es la presencia de diferentes personas o
colectivos que tienen algo que ver con el programa o la poltica a evaluar y que, por lo
tanto, pueden estar implicados en o afectados por la evaluacin. La definicin de
____________________________________________________________________________________
Captulo 2. La evaluacin de polticas pblicas desde una perspectiva histrica
71
____________________________________________________________________________________
quines son estos agentes crticos o stakeholders y, sobre todo, la inclusin o no de los
mismos en el diseo de evaluacin va a depender del enfoque que se adopte, siendo los
ltimos enfoques participativos y pluralistas los que hacen una definicin ms amplia
de agentes crticos y los que consideran clave la participacin de los mismos en la
evaluacin. En cualquier caso, cada enfoque suele dar prioridad a un tipo de
destinatarios de la evaluacin (patrocinadores, directores, gestores y profesionales,
usuarios, comunidad poltica o cientfica, etc.). Asimismo se discute en este captulo el
diferente papel que puede cumplir el evaluador dependiendo tambin de los diferentes
enfoques y estructuras institucionales en donde se produzca la evaluacin. De esta
manera, se describe el continuo cuyos extremos estaran representados, por un lado, por
el evaluador distanciado o despegado y, por el otro, por el evaluador comprometido o
apegado, y se identifican los diferentes tipos de evaluadores segn se encuentren en el
organigrama o staff de las organizaciones pblicas, trabajen en una organizacin
externa especializada en evaluacin o formen parte de un proyecto de evaluacin.
Un tema de especial auge hoy en da desde todos y cada uno de los enfoques de
evaluacin propuestos son las posibles implicaciones ticas relacionadas con la
prctica de la evaluacin. Efectivamente, en los ltimos aos se le ha prestado mucha
atencin a las cuestiones ticas relacionadas con la evaluacin. Esta preocupacin, en
cierta lgica, ha sido paralela al reconocimiento del carcter poltico de la evaluacin y, por lo tanto, al poder que sta pueda tener- y a la necesidad de que el evaluador
interacte en el contexto en el que debe intervenir. En este captulo se analizan las
cuestiones ticas que se tratan de forma creciente en los manuales de evaluacin, as
como la aparicin y desarrollo de cdigos deontolgico para evaluadores.
Finalmente, exponemos en el ltimo punto de este captulo, los aspectos que,
desde nuestro punto de vista, y una vez revisados los diferentes elementos que
componen el concepto de evaluacin, son ms importantes en la construccin de un
posible modelo general para la evaluacin de las polticas pblicas. El objetivo de este
apartado es ofrecer una visin general e integradora de las cuestiones y elementos
clave en la evaluacin de los programas y las polticas pblicas.
____________________________________________________________________________________
72
____________________________________________________________________________________
1. LA HISTORIA DE LA EVALUACIN Y LOS DIFERENTES

MODELOS O ENFOQUES PROPUESTOS A LO LARGO DE LA
MISMA
El estudio de los diferentes enfoques o modelos de evaluacin propuestos a lo

largo de la historia de la evaluacin, ofrece una idea no slo de las distintas propuestas
de los autores clave, sino tambin de la propia evolucin de la evaluacin como
actividad cientfica diferenciada. Esta evolucin, adems, no es ajena al desarrollo del
propio anlisis de polticas pblicas en general. Por ejemplo, existe un claro
paralelismo entre la superacin de los modelos racionales en el policy analysis (con la
aparicin de los modelos incrementalistas) a partir de los aos setenta y los enfoques de
evaluacin que reconocen y asumen la parte intuitiva de la misma.
En este apartado se pone en contexto la evaluacin como actividad cientfica
diferenciada, realizando una breve historia de la evaluacin y estudiando los factores
que inciden en su evolucin. Esto permite entender mejor las respuestas que los
especialistas han ido dando, proponiendo diferentes enfoques o modelos para entender
y practicar la evaluacin de programas. Posteriormente, se exponen las clasificaciones
de modelos propuestas por diferentes autores y el sentido de su estudio y, finalmente,
se discuten, de una forma sucinta y a grandes lneas, los modelos o enfoques ms
importantes en evaluacin de programas y polticas.
1.1. Breve historia de la evaluacin

La historia de la evaluacin de programas es relativamente reciente, ya que se
puede hablar de un campo que se ha desarrollado, en realidad, en los ltimos treinta
aos. Cuando se estudian los orgenes de la evaluacin de programas, hay que tener en
cuenta dos factores. En primer lugar, los intentos de utilizar los datos que
proporcionaban las investigaciones para comprender mejor los problemas pblicos y la
conducta social y para formular polticas pblicas ms inteligentes; en general tiene que
ver, con la idea de utilizar la ciencia para un mejor gobierno y direccin de los asuntos
pblicos En segundo lugar, tambin influyeron los intentos de medir el aprendizaje, la
conducta y otros factores, como la inteligencia y la personalidad, de los individuos, a
efectos de clasificacin educativa (para la seleccin de alumnos para determinadas
fases o secciones de estudio) y psicolgica (por ejemplo, para la seleccin de futuros
trabajadores). De hecho, muchos de los que luego seran especialistas en evaluacin de
programas, venan del mundo educativo y de la psicologa, de las ramas del diagnstico
(se pasa del inters de medir determinadas caractersticas o conductas de los individuos
a medir programas).
____________________________________________________________________________________
73
____________________________________________________________________________________
En una breve historia de la evaluacin, Weiss (Weiss, 1998: 10-15) menciona

algunos estudios en el siglo XIX que estn en el origen de la evaluacin de programas,
tal y como la conocemos hoy en da, y que podran ser etiquetados como evaluativos.
En 1833, un francs, Guerry, publica un estudio estadstico que intentaba demostrar
que la educacin no reduca el crimen. Poco despus, en 1844, un colega suyo, Depuit
trata de establecer la utilidad de las infraestructuras pblicas (carreteras, canales, etc.),
haciendo clculos sobre hasta cunto estara dispuesta a pagar la gente por dichas
infraestructuras. En general, a finales del siglo XIX y principios del XX, se utilizaba la
ciencia social para documentar la dimensin de los problemas y para identificar a la
gente afectada por dichos problemas. Entonces, estudiar el cmo se abordaban los
problemas y el xito de dicho abordaje no tena sentido ya que se supona que los
remedios que se establecan iban a resolver los problemas, es decir, no se pona en duda
que no fueran a hacerlo.
Los estudiosos en los mbitos de la educacin y la salud son los primeros que
empiezan a realizar estudios sistemticos sobre los resultados de su trabajo. En
EE.UU., Cabot en 1912 examina 3000 informes de autopsia y los compara con los
diagnsticos realizados previamente para evaluar la calidad de la diagnosis mdica. En
1914, Codman intenta evaluar el desempeo de los cirujanos a travs de la medicin
del estado de los pacientes despus de dejar el hospital. Uno de los estudios ms
famosos en educacin en aquellos aos (1933) fue el Eight-Year Study, dirigido por
Ralph Tyler y en el que se comparaban los resultados en 15 institutos de secundaria
progresistas y 15 tradicionales. Tambin en 1934, Palmer, de la Asociacin Americana
de Salud Infantil realiz un estudio sobre la efectividad de programas de salud en las
escuelas.
Seguimos haciendo una breve historia de la evaluacin, tomando sobre todo
como referencia a EE.UU., ya que ste ha sido el pas donde no slo se comienza a
desarrollar la evaluacin como actividad cientfica diferenciada, sino tambin uno de
los pases en los que existe un mayor grado de institucionalizacin de la evaluacin,
como veremos ms adelante.
En los aos 40, algunas fundaciones privadas comienzan a financiar evaluaciones
de programas sociales innovadores que ellas mismas haban puesto en marcha. Un
estudio famoso fue el del programa Cambridge-Somerville de jvenes trabajadores para
prevenir la delincuencia. En los aos 50, el Gobierno Federal reacciona, ante el
lanzamiento del Sputnik sovitico y su consiguiente miedo a un posible analfabetismo
cientfico de los norteamericanos, financiando nuevos currculos educativos (como el
Harvard Project Physics). Como consecuencia se realizan evaluaciones para
comprobar el xito de dichos currculos.
La Guerra Contra la Pobreza de mediados de los aos 60, supone el comienzo de
las grandes evaluaciones financiadas federalmente en Estados Unidos. Tambin se dan
evaluaciones a gran escala en el nivel internacional, evalundose, sobre todo,
programas de planificacin familiar en Asia, de nutricin y cuidado de la salud en
Amrica Latina y de desarrollo agrcola en Africa. Tambin en EE.UU se desarrolla el
anlisis coste-beneficio (sobre todo, a travs de la RAND Corporation y el
Departamento de Defensa) y otros mtodos de anlisis y evaluacin econmica. Como
consecuencia de esta actividad, se comienzan a desarrollar todo tipo de mtodos e
____________________________________________________________________________________
74
____________________________________________________________________________________
instrumentos de evaluacin. Estos aos son, adems, aos de gran optimismo y fe en la

ciencia.
El desarrollo y la institucionalizacin de la evaluacin en EE.UU. es una
consecuencia de las grandes sumas de dinero federal para esta actividad. Ya en los aos
70, la evaluacin era comn en todas las agencias federales norteamericanas. Se
establecen empresas y consultoras para llevar a cabo las evaluaciones financiadas
federalmente, los centros e institutos de investigacin universitarios asumen tambin
tareas de evaluacin y los institutos de investigacin y grandes empresas ya
establecidos se suman a la tarea evaluativa. Como comenta Weiss, en aquellos aos,
muchos investigadores reinstrumentalizan sus habilidades para aprovecharse de las
nuevas corrientes de dinero (Weiss, 1998: 13). Un punto lgido para la evaluacin fue
la realizacin, en estos aos, de una serie de experimentos sociales para examinar ideas
y polticas innovadoras previamente a su aprobacin (uno de los ms famosos es el
Negative Income Tax Experiment). Se ponan en marcha experiencias piloto lo
suficientemente grandes como para que se dieran las condiciones reales; as se supona
que los resultados experimentales ayudaran a los formuladores de polticas a decidir si
se deban generalizar dichos programas. En aquel entonces, result, sin embargo, que
en el momento en el que estuvieron listos los resultados (eran grandes experimentos,
que requeran tiempo para su realizacin), el clima poltico haba cambiado, y las
evaluaciones no resultaron tan tiles como se haba pensado en un principio.
En EE.UU. la evaluacin sigue creciendo hasta los aos 80, en los que la
administracin de Reagan corta drsticamente la financiacin para las nuevas
iniciativas sociales y los programas innovadores en el nivel federal (que era el tipo de
programas que generaba mayor movimiento de evaluacin). Hacia mediados de los 80,
y dados estos recortes en la financiacin disponible para los estudios de la evaluacin,
el panorama era pesimista: en la introduccin al Evaluation Studies Review Annual del
ao 1986, sus editores sealaban que haba varios signos de que la evaluacin, como
actividad cientfica diferenciada, se estaba desinstitucionalizando (Cordray y Lipsey,
1987: 32). Aunque en los 90 se recupera parte de esa financiacin (U.S. General
Accounting Office, 1987), existe una tendencia general al adelgazamiento del Estado
Federal, y las polticas sociales (y por lo tanto, su evaluacin) se han situado ms al
nivel central y local.
Finalmente, resulta interesante hacer un resumen de cules son las tendencias en
la evolucin de la evaluacin de programas. Weiss (1998: 14) identifica cuatro
tendencias recientes en la evaluacin de programas y polticas:
- Existe una tendencia hacia estudios de evaluacin con dimensiones
menores. Es decir, se pasa de los grandes estudios a pequeos estudios de
evaluacin.
- Otra tendencia es hacia estudios que utilizan en mayor medida
metodologas de tipo cualitativo. Es decir se pasa de lo cuantitativo y
experimental a lo cualitativo, los estudios de caso y las metodologas
participativas. En cualquier caso cada vez hay una mayor aceptacin de
formas de investigacin que no estaban tan legitimadas anteriormente, y
una mayor flexibilidad en la utilizacin de diferentes enfoques
____________________________________________________________________________________
75
____________________________________________________________________________________
epistemolgicos, mtodos y tcnicas (Yin, 1997). En los ltimos aos, se

ha insistido, precisamente, en los beneficios y la conveniencia de utilizar
mtodos mixtos (Greene y Caracelli, 1997).
- En EE. UU. se ha pasado de una predominancia de los estudios de
evaluacin en el nivel federal a una mayor localizacin de la actividad de
evaluacin en los niveles central y local.
- En los ltimos aos se han creado y desarrollado asociaciones
profesionales de evaluacin. Esto ha contribuido a un desarrollo paralelo de
la profesin de evaluador.
La consideracin de estas tendencias generales es una buena base para la
comprensin de la propia evolucin de las diferentes propuestas y enfoques que se han
ido proponiendo. En definitiva, dadas estas tendencias es explicable, por ejemplo, la
proliferacin de enfoques de tipo pluralista y participativo y la atenuacin de los
modelos experimentales.
1.2. Factores que influyen en la evolucin de la evaluacin y en la propuesta de

modelos o enfoques: grado de institucionalizacin y consolidacin profesional y
evolucin en la concepcin y estudio de los problemas sociales
Uno de los factores que ha influido claramente en el desarrollo de la evaluacin

ha sido el grado de institucionalizacin y consolidacin profesional de la misma, que
ha sido diferente en cada pas (Rist, 1990; Ballart, 1993).
La evaluacin se produce principalmente en los pases en los que existe un
desarrollo importante de polticas de bienestar social (EE.UU., Canad, Alemania,
Suecia y Gran Bretaa) y en los organismos internacionales (en general en la ONU y
especialmente en el Banco Mundial, OMS, FAO y UNESCO) especialmente en
aquellos dedicados a programas de ayuda internacional (Ballart, 1993: 209). El pas con
un mayor nivel de institucionalizacin es, sin duda, EE.UU., en donde existe una
poltica de evaluacin sistemtica de las polticas y los programas pblicos y en donde
la funcin de evaluacin est normalizada en el sistema poltico-administrativo a travs
de unidades especializadas, tanto en el nivel ejecutivo (existen estructuras de
evaluacin en los departamentos y agencias pblicas que gestionan programas
sociales), como en el nivel legislativo (General Accounting Office, Congressional
Research Service, Congressional Budget Office y Office of Technological Assessment).
En los pases europeos se produce una evaluacin ad-hoc, en relacin con demandas
especficas y no alcanza todava el carcter de una funcin asumida como propia por
las instituciones (Ballart, 1993: 209-211). En el caso concreto espaol en el que el
grado de institucionalizacin es muy bajo, Ballart (Ballart, 1993: 221-2) seala cules
son los posibles factores del retraso:
____________________________________________________________________________________
76
____________________________________________________________________________________
1) la incorporacin de Espaa a las nuevas polticas de intervencin social

llega en momentos de crisis econmica,
2) el sistema parlamentario espaol en los niveles central y autonmicotiende a limitar la funcin de control del Parlamento ya que se basa en una
fuerte disciplina de partido,
3) el Tribunal de Cuentas y sus homlogos en el nivel autonmico limitan
su papel al de supervisin de las cuentas pblicas de acuerdo con las leyes
de presupuestos y otras aplicables (aunque en teora deberan examinar la
eficacia y eficiencia de la actuacin de los organismos pblicos),
4) el nmero de profesionales con habilidades evaluativas es escaso
(tampoco existen programas de formacin especficos para ello)1, y
5) a pesar del avance en estos ltimos aos, los sistemas de formacin
internos son dbiles, la disponibilidad de datos en general todava es escasa
y las bases de datos no se han construido desde una perspectiva de
evaluacin.
Uno de los efectos de un alto grado de institucionalizacin es, lgicamente, un
mayor grado de consolidacin profesional. La consolidacin profesional de una
disciplina se puede medir a travs de una serie de factores como el desarrollo de
programas acadmicos superiores dedicados a la formacin de profesionales, la edicin
de publicaciones peridicas especializadas, la existencia de asociaciones profesionales
y la presencia de un mercado de trabajo con un cierto volumen de negocio con
empresas, agencias consultoras e institutos de investigacin, adems de profesionales,
dedicados y pagados por ello (Ballart, 1993: 211; Bustelo, 1998: 152). Paralelamente al
grado de institucionalizacin, la consolidacin profesional es tambin especialmente
elevada en EE.UU., aunque empieza a haber algunos signos de consolidacin en
Europa en los ltimos aos (creacin de asociaciones de evaluacin nacionales -como
la britnica, la alemana y la italiana- y europeas -Sociedad Europea de Evaluacin- y la
publicacin de algunas revistas especializadas -como por ejemplo, Evaluation).
El segundo factor que influye en la evolucin de la evaluacin como actividad
cientfica diferenciada y en la propuesta de modelos y enfoques es la propia evolucin
en el estudio y la concepcin de los problemas sociales.
A principios de la dcada de los aos sesenta, exista, en EE.UU. una gran
confianza en la capacidad del gobierno para afrontar los problemas pblicos. Los
liberales pedan reformas de acuerdo con el principio de igualdad y crean que el
Gobierno Federal deba ser el principal artfice de las mismas. En 1964, con el ascenso
de Johnson al poder y la mayora demcrata en las dos cmaras, se lanzan los grandes
1
Comienza a haber algunas tmidas excepciones. En la Universidad Complutense, por ejemplo, se

imparti durante los cursos 1998/99 y 1999/2000 un Experto en Evaluacin de Proyectos, Programas y
Polticas de Cooperacin al Desarrollo organizado por el Instituto Complutense de Desarrollo y
Cooperacin (IUDC-UCM). Este Experto, sin embargo, se ha reconvertido en el curso 2000/01 en un
Experto en Gestin del Ciclo de Proyecto que, aunque incluye una parte importante de evaluacin, ya no
tiene el carcter especfico de las dos primeras ediciones.
____________________________________________________________________________________
77
____________________________________________________________________________________
programas Great Society y War on Poverty que significan una amplia y audaz reforma
social que fomenta mucha investigacin y evaluacin. Las medidas y programas se
basaban, supuestamente, en decisiones racionales respaldadas cientficamente. Como
comenta Aguilar Villanueva Este aire intelectual, tcnico, de las polticas reformistas
contribuyo a aumentar la confianza en la capacidad del gobierno. Gran sociedad y
Guerra a la pobreza eran polticas no slo legtimas, justas, sino correctas. (...) Esa
actitud explicar la magnitud del escepticismo posterior en el gobierno (Aguilar, 1996
(4): 25).
Efectivamente, en la dcada de los aos setenta los resultados fueron
desalentadores para los politlogos ya que fueron conscientes de que los problemas
pblicos rebasaban por mucho las polticas pblicas. La potencia de las polticas
pblicas no era tanta como se esperaba para resolver problemas. Las investigaciones y
evaluaciones realizadas en aquella poca, incluyendo los pesimistas primeros estudios
de implementacin, fueron socavando la esperanza en la capacidad del gobierno como
el agente de la gran reforma social, adems de la credibilidad en las posibilidades de la
ciencia.
(Los estudios de implementacin) demostraban que la promulgacin de leyes
buenas o el buen diseo (cientfico-tecnolgico) de un programa gubernamental
no eran condiciones suficientes para el xito efectivo de una poltica (...). Ms
an. el proceso de implementacin fue tambin la ocasin para descubrir la
inconsistencia de muchas relaciones causales espurias que la legislacin y el
programa de gobierno haban incorporado, confiando en los teoremas de la
economa, la sociologa, la pedagoga, la ciencia poltica, el urbanismo. Las
conexiones causales entre fenmenos, contempladas por teoras, modelos y
tecnologas, o simplemente no sucedieron o tuvieron lugar en formas imprevistas,
con un cortejo de consecuencias secundarias indeseadas (Aguilar, 1996 (4):
26-27).
Este proceso es paralelo a ser consciente de que las grandes evaluaciones de los
grandes programas sociales, bajo un paradigma estrictamente positivistaexperimentalista no resultaban tiles para la mejora de las polticas reales. Qu haba
que evaluar pues? De esta manera, se comienzan a desarrollar enfoques que enfatizan la
evaluacin de los procesos, los contextos, los pequeos resultados, algo que ayudara a
ir tanteando y comprendiendo mejor el abordaje posible y real de los problemas
sociales y no tanto algo que pudiera dictaminar la resolucin masiva, directa y final de
los problemas que, adems, estaba claro que no se consegua. Esta prdida general de la
ingenuidad y la fe ciega en la aplicabilidad directa de la ciencia, as como el
reconocimiento de la complejidad de los procesos polticos que intervienen e una
poltica pblica son tambin factores importantes para entender la evolucin y el
desarrollo de las propuestas terico-prcticas en el campo de la evaluacin.
____________________________________________________________________________________
78
____________________________________________________________________________________
1.3. Las diferentes clasificaciones de modelos o enfoques y el sentido del estudio de

los mismos
Los modelos que aqu se resean, ms que modelos tericos son grandes
enfoques o aproximaciones sobre cmo concebir y enfrentar la evaluacin de
programas o polticas; en muchos casos, se trata de propuestas terico-prcticas para
realizar estudios de evaluacin. El sentido de su estudio y exposicin en este trabajo
estriba en ofrecer un marco general de los enfoques ms importantes en evaluacin,
entender cul ha sido la evolucin de las diferentes propuestas y, finalmente, estar en
condiciones de extraer conclusiones sobre cules enfoques pueden resultar los ms
adecuados para la evaluacin de las polticas de igualdad de gnero.
Se han ofrecido diferentes clasificaciones de los modelos para su exposicin. As,
Ballart (1992) seala dos grandes bloques: La evaluacin clsica por objetivos y la
evaluacin pluralista. Monnier (1990-91 y 95) distingue entre cinco grandes familias de
enfoques: el enfoque por los OBJETIVOS, por los EFECTOS, por la FORMA EN
QUE EL PROGRAMA SE PUSO EN PRCTICA, por los PROCESOS y por los
ACTORES SOCIALES. Vedung (1997) distingue tres grandes bloques: modelos de
efectividad, econmicos y profesional (de revisin de pares o colegas). Los modelos
econmicos los divide, a su vez, en modelos de productividad y de eficiencia (costeefectividad y coste-eficiencia) y los de efectividad los divide segn el elemento en el
que hacen ms nfasis: metas, resultados, cliente y participacin (ver tablas ).
Una de los trabajos ms interesantes respecto a la exposicin de diferentes
modelos o enfoques en evaluacin, es la que realizan Shadish, Cook y Levinton (1991)
en su obra Foundations of Program Evaluation, ya que basan dicha clasificacin en los
fundamentos tericos de cada uno de los autores propuestos (Scriven, Campbell, Weiss,
Wholey, Stake, Cronbach y Rossi). Estudian a fondo estos autores y extraen sus
teoras respecto a cinco aspectos o componentes de la evaluacin de programas:
- la programacin social (cmo se desarrollan, mejoran y cambian los programas
y polticas sociales, especialmente lo relacionado con los problemas sociales),
- la construccin de conocimiento (la forma en que los investigadores aprenden
sobre la accin social,
- la valoracin (la forma en que los valores se adhieren a las descripciones de los
programas),
- el uso del conocimiento (la forma en la que la informacin de las ciencias
sociales, incluida la evaluacin, se usa para modificar programas y polticas), y
- la prctica de la evaluacin (las tcticas y estrategias que los evaluadores
siguen en su trabajo profesional, especialmente dadas las limitaciones que encuentran.
As, clasifican las teoras en: 1) Teoras del estado uno, que son las que intentan
traer la verdad a la resolucin de los problemas sociales, y en las que incluyen a
Scriven (La ciencia de valorar) y a Campbell (El metodlogo de la sociedad
____________________________________________________________________________________
79
____________________________________________________________________________________
experimentadora), 2) Teoras del estado dos, que son las que generan alternativas que
enfatizan el uso y el pragmatismo, y en las que incluyen a Weiss (La relacin entre
evaluacin e investigacin de polticas), a Wholey (La evaluacin para la mejora de
los programas) y a Stake (La evaluacin sensible y los mtodos cualitativos). 3) Por
ltimo, las teoras del estado tres son las intentan integrar el pasado, y en ellas
incluyen a Cronbach (El diseo de la evaluacin funcional para un mundo de
acomodacin poltica) y a Rossi (Las evaluaciones extensas, a medida y dirigidas por
la teora. Un abanico de opciones).
Otra de las clasificaciones clsicas es la realizada por Stufflebeam y Shinkfield
(1987), en la que distinguen entre pseudoevaluaciones, cuasievaluaciones y
evaluaciones verdaderas. Las pseudoevaluaciones representaran usos perversos de la
evaluacin (investigaciones encubiertas y de relaciones pblicas), las cuasievaluaciones
estaran determinadas por su visin parcial y por la ausencia del elemento valorativo, es
decir, en ellas se contestan a una serie de preguntas pero no se evala el valor o mrito
de algo. Los dos enfoques que los autores consideran cuasievaluaciones son las
evaluaciones de objetivos y los estudios experimentales. Finalmente las evaluaciones
verdaderas examinan el valor o mrito de algo y en su trabajo exponen los estudios
orientados a la toma de decisiones, estudios centrados en el cliente, los estudios de
polticas y los estudios orientados hacia el consumidor.
En nuestra exposicin de modelos o enfoques se toma como base esta ltima
clasificacin, aunque se aaden otros modelos o enfoques propuestos en los ltimos
aos. Para cada enfoque hablamos de los autores pioneros y los ms representativos, es
decir, los que han tenido una mayor influencia y son ms citados en el mbito de la
evaluacin de programas y polticas. De esta manera, proponemos exponer de forma
sinttica o sucinta las principales caractersticas de los siguientes enfoques:
- Enfoque de evaluacin por objetivos
- Enfoques experimentales de evaluacin
- Enfoques orientados a la toma de decisiones
- Enfoque centrado en el cliente
- Enfoque centrado en el consumidor
- Enfoque orientado a la utilizacin
- Enfoques participativos
Como ya se ha mencionado anteriormente, se exponen los modelos o enfoques
que han tenido eco -y siguen teniendo en muchos casos- en la teora y la prctica de la
evaluacin de programas y polticas. La exposicin de enfoques sigue un cierto hilo
histrico, explicndose en ltimo lugar las propuestas ms recientes. Para cada enfoque
se presentan, de forma escueta, sus presupuestos bsicos, sus contribuciones ms
representativas al campo de la evaluacin, as como algunas de sus fortalezas y
debilidades para la prctica evaluativa.
____________________________________________________________________________________
80
____________________________________________________________________________________
A. Enfoque de evaluacin por objetivos
Este es el primer modelo que se propone en el mbito de la evaluacin de

programas, y se debe a Ralph TYLER que desarrolla su modelo en 1942 (Smith y
Tyler, 42), a partir del Eight-Year Syudy. A Tyler se le considera uno de los precursores
en materia de evaluacin (Monnier, 1990-1991) y el padre de la evaluacin sistemtica
de programas (Stufflebeam y Shinkfield, 1987). Su influencia ha sido muy grande
durante mucho tiempo y su modelo de evaluacin, basado en los objetivos, domina el
campo de la evaluacin hasta bien avanzados los aos 60 y extiende algunos coletazos
hasta prcticamente nuestros das, en los que no es extrao encontrar algunos estudios
de evaluacin con este enfoque.
Tyler define la evaluacin como el proceso en el cual se comprueba si existe una
congruencia entre objetivos y resultados, es decir, su modelo pretende ofrecer una
marco de anlisis para saber hasta qu punto se cumplen los objetivos. Tyler desarrolla
su modelo en el mbito educativo y tiene mucha importancia entonces, ya que
trasciende la concepcin de la evaluacin de los logros de los alumnos para proponer
una evaluacin del currculo educativo, concibindola como parte del desarrollo de la
planificacin educativa. Como ya se ha comentado, el modelo de Tyler va ms all del
mbito educativo y se convierte en el modelo dominante de la evaluacin de programas
en general. Durante mucho tiempo se sostuvo la idea de que evaluar un programa o
poltica consista en saber si se haba cumplido y hasta qu punto, los objetivos
propuestos en su formulacin.
Este modelo presupone que existen objetivos claros, precisos y medibles con los
que se pueden relacionar los efectos, considerados asimismo medibles. Una de las
mayores crticas recibidas es que, la mayora de las veces los objetivos de los
programas y las polticas son generales o ambiguos y, en muchas ocasiones,
incoherentes y hasta contradictorios. Este enfoque, adems, pretende y necesita traducir
en trminos operativos, racionales y jerarquizados los objetivos como paso previo a su
evaluacin. Esto ha condicionado, durante mucho tiempo, el concepto de
evaluabilidad de un programa o poltica y se han desarrollado mecanismos y tcnicas
para medir y aumentar dicha evaluabilidad2. Incluso suponiendo que una cierta
evaluabillidad existen una serie de limitaciones tcnicas importantes, ya que no todos
los objetivos son igualmente precisos, claros y medibles. Esto produce, y de hecho ha
producido, un proceso de filtracin en el se escogen los objetivos ms fcilmente
reducibles a trminos observables y operativos, de manera que puedan ser medibles.
Tambin presupone este enfoque que la fase de ejecucin de un programa o
poltica reproduce fielmente lo planificado previamente, cuando, sin embargo sabemos
que la puesta en prctica de un programa difiere en menor o mayor medida y de forma
inevitable del dispositivo inicialmente previsto (Monnier, 1990-1991: 133).
Se trata en mayor profundidad esta cuestin de la evaluabilidad en el punto referente a tipos de

evaluacin.
____________________________________________________________________________________
81
____________________________________________________________________________________
Otra crtica posible a este modelo es que concibe la evaluacin de una manera
terminal, tendiendo a medir el xito o fracaso final, y que da slo una idea parcial del
programa o poltica evaluada. Cuestiones sobre la adecuacin y pertinencia de los
objetivos propuestos y sobre la operatividad y funcionamiento de los programas,
incluyendo la eficiencia con la que se gestionan los recursos quedan fuera de este
modelo.
B. Enfoques experimentales de evaluacin
El enfoque experimentalista de la evaluacin se basa en la aplicacin de las reglas

de la investigacin experimental que pretende contrastar hiptesis previamente
formuladas y establecer lazos causales entre variables previamente definidas. El
investigador-evaluador manipula y controla las variables, de forma que se puedan
establecer dichas relaciones de causa-efecto.
Bajo este enfoque se propone la aplicacin de diseos experimentales o, en su
defecto, cuasi-experimentales. Una de las obras ms importantes para este enfoque es la
de Campbell y Stanley (63), no especfica del campo de la evaluacin sino de la
metodologa de las ciencias sociales en general. En esta obra, los autores proponen una
serie de diseos cuasi-experimentales que permiten el control de las variables
estudiadas (a base sobre todo de mediciones mltiples y utilizacin de grupos no
equivalentes), an cuando no se cuente con alguna de las condiciones necesarias para
los estudios estrictamente experimentales (especialmente la asignacin aleatoria de
sujetos a los grupos experimentales y de control y la asignacin aleatoria de tratamiento
o no -experimental y control- a los grupos). La obra de Campbell y Stanley representa
un hito importante, ya que suaviza las condiciones en las que se puede llevar a cabo
una evaluacin.
El autor ms representativo de este enfoque es Edward Suchman y su enfoque
cientfico de la evaluacin. Suchman (67) distingue entre evaluacin (proceso de
juzgar el mrito o valor de alguna actividad) e investigacin evaluativa (uso
especfico del mtodo cientfico-experimental para realizar dicho proceso). Este autor
se define claramente por la investigacin evaluativa que, segn l, no utiliza una
metodologa especfica sino que debe aproximarse al mximo al mtodo cientfico
experimental. Aunque Suchman reconoce que en los estudios de evaluacin hay que
tener en cuenta una serie de consideraciones y problemas prcticos que no son tan
importantes en investigacin bsica, cree que los evaluadores son bsicamente
investigadores que deben hacer un balance entre el mtodo riguroso que deben aplicar
y la situacin prctica en la que deben actuar.
Para Suchman, la evaluacin no mide directamente el fenmeno a estudiar sino
ndices del mismo, de manera que se pueden dar toda una serie de fuentes de variacin
sistemtica. Por eso, los problemas de validez y fiabilidad son sumamente importantes
y hay que intentar controlarlos. El autor distingue siete tipos de validez en el proceso
____________________________________________________________________________________
82
____________________________________________________________________________________
evaluativo (de proposicin, de instrumento, de muestreo, de observador, de sujeto, de

administracin y de anlisis) y cinco de fiabilidad (de sujeto, de observador, de
situacin, de instrumento y de procesamiento). Tambin hace una clasificacin y
sistematiza las diferentes categoras de efectos: esfuerzo (cantidad y calidad de la
actividad que se da en un programa), realizacin (resultados del esfuerzo), adecuacin
de la realizacin (si la realizacin ha sido adecuada a las necesidades), eficiencia (si
hay una proporcin en cuanto al esfuerzo) y proceso (explicaciones de las razones de
los hallazgos).
Entre las ventajas de este enfoque se encuentra haber ampliado la concepcin
tyleriana de la eficacia, ya que tambin se propone determinar las razones de los xitos
y los fracasos y de descubrir los principios subyacentes a un programa exitoso.
Tambin establece relaciones causales y controla variables, de forma que es ms difcil
la manipulacin externa. De hecho, para los defensores de este enfoque la evaluacin
experimental puede controlar y dejar de lado el contexto poltico de los programas y
polticas evaluadas.
Entre las muchas crticas que ha recibido este enfoque, est la idea de que el
mtodo cientfico-experimental (o aproximaciones al mismo) no es aplicable en
muchas situaciones evaluativas. Muchas veces por acercarse a este mtodo se sacrifican
aspectos importantes en la evaluacin, como son, tener una visin parcial del programa
evaluado y emplear mucho tiempo en la investigacin, de manera que la informacin
llega demasiado tarde para ser realmente til. Efectivamente, este enfoque pretende el
control de variables. En una situacin tan compleja como es un programa o poltica
pblica, o bien slo se estudia una pequea parte o componente del mismo, haciendo
caso omiso de los restantes, o bien se hacen grandes estudios que permitan el control de
un nmero alto de variables. Este tipo de grandes estudios tiene una alta probabilidad
de no resultar operativos ni tiles, ya que son muy caros y llevan mucho tiempo. Por
otro lado, los defensores de este enfoque estn ms preocupados por la metodologa de
investigacin, es decir, por conseguir un estudio fiable, vlido y representativo que en
que esa investigacin evaluativa arroje una informacin til para el programa evaluado.
Ya se ha comentado anteriormente la conveniencia de distinguir entre evaluacin e
investigacin, procesos que deben ser complementarios pero, desde nuestro punto de
vista, claramente diferenciados.
C. Enfoques orientados a la toma de decisiones
Como reaccin a los enfoques anteriores, una serie de autores desarrollan sus
perspectivas de evaluacin desde un punto de vista ms pragmtico, enfatizando el uso
y la utilidad de la evaluacin para la toma de decisiones en el programa o poltica
____________________________________________________________________________________
83
____________________________________________________________________________________
evaluada. Como representantes de este tipo de enfoques se pueden mencionar, entre

otros, a Cronbach3, Stuffleabeam y Weiss.
Una fortaleza de este enfoque es que anima a los profesionales y a las
instituciones y organizaciones a usar la evaluacin de forma continua y sistemtica. La
evaluacin sirve realmente para la toma de decisiones porque se enfoca hacia dicho
proceso. Tambin representa una forma en la que dichos profesionales se hacen
responsables y pueden explicar las decisiones tomadas en el desempeo de su trabajo.
Sin embargo, una posible limitacin es que la colaboracin que se requiere entre
evaluador y tomador de decisiones puede hacer que haya resultados sesgados.
Lee J. Cronbach ha sido uno de los autores ms prolijos en el campo de la

evaluacin. Se puede considerar que marca un hito en el momento en el que publica en
1963 un artculo (Course improvement through evaluation) y en el que expone que el
enfoque tyleriano no es suficiente. Al igual que Tyler, Cronbach se inicia a travs de la
evaluacin educativa aunque a lo largo de los aos expande su filosofa a la evaluacin
de programas en general. Buenos exponentes de la misma son sus obras de 1980
(Toward the Reform of Program Evaluation) y de 1982 (Designing Evaluations of
Educational and Social Programs).
Ya en 1963, Cronbach seala que la evaluacin sirve, sobre todo, para mejorar
los programas y las asignaturas. De esta manera la evaluacin se convierte en algo
fundamental para el desarrollo de los currculos educativos, siendo la herramienta que
permite recoger y utilizar informacin que ayuda a tomar decisiones sobre los
programas educativos. En su versin posterior, la evaluacin es un elemento necesario
para la mejora de los programas llegando a ser una instrumento que, en ltima
instancia, ayuda a desarrollar las polticas sociales y educativas. Tambin introduce en
dicho artculo la importancia de una evaluacin formativa que describa (y no mida
necesariamente) los cambios y los resultados del programa, se fije en los efectos
colaterales e identifique los aspectos que necesitan revisin.
Para Cronbach, la evaluacin debe estar bien planificada para que resulte
provechosa y el mejor diseo es el que promete aumentar el beneficio social a partir de
la evaluacin. Tambin debe tener una capacidad de respuesta flexible ya que las
preocupaciones de la comunidad a la que sirve son cambiantes. Por esta razn, aunque
la evaluacin ha de ser realista, cientfica y razonada, debe tambin penetrar en el
pensamiento de la comunidad y de los interesados en la evaluacin. El evaluador es,
por lo tanto, una especie de profesor que ayuda a hacer y contestar preguntas buenas y
apropiadas a cada situacin; por lo tanto, trabaja en equipo con los responsables del
programa.
Cronbach trata de integrar los enfoques cientfico y naturalista. Para l, la
evaluacin da lugar a todo tipo de investigacin y se pueden utilizar ambos enfoques,
dependiendo de la naturaleza del estudio. Ms que una eleccin de enfoque, propone
3
Shadish, Cook y Levinton (91) clasifican a Cronbach en las teoras del estado tres que son las
integradoras. Sin embargo, el primer Cronbach (63) insiste en la idea de la mejora de los programas a
travs de la evaluacin.
____________________________________________________________________________________
84
____________________________________________________________________________________
dar el balance adecuado entre los dos estilos a cada situacin evaluativa o a cada
pregunta de evaluacin. Para seleccionar las preguntas de evaluacin adecuadas
propone una primera fase divergente, de apertura y una posterior fase convergente en la
que se establecen prioridades. Para el establecimiento de prioridades propone guiarse
por dos factores: el grado de incertidumbre de una pregunta (a mayor incertidumbre
respecto a la respuesta, ms prioridad se debe otorgar a la pregunta) y el grado de
influencia (que define como el peso relativo que tiene dicha pregunta en el proceso de
toma de decisiones que afectan al programa evaluado).
La evaluacin debe indicar lo que se espera si un determinado plan de
intervencin se adopta en un cierto tipo de situacin. As, las conclusiones pueden
llegar a ser predicciones sobre la reaccin de los clientes, el programa, el cambio
institucional, etc. Atendiendo a este carcter predictivo de la evaluacin, Cronbach
define los siguientes elementos: unidades (individuos o clases sobre los que se realiza
la investigacin), tratamientos (cualquier tipo de accin), operaciones de observacin
(impresiones o datos que se recogen antes, durante y/o despus del tratamiento, a travs
de las cuales se pone de relieve sus efectos en las unidades) y el contexto o setting en el
que estn inmersas las unidades. Utilizando estos cuatro elementos habla de utos,
UTOS y *UTOS.
- El smbolo utos se refiere a la muestra de unidades, tratamientos,
observaciones y contexto que participan en un estudio.
- UTOS se refiere a la poblacin de unidades, tratamientos, observaciones y
contextos realmente representada en la muestra observada. El diseo ideal es el
que define UTO y selecciona un uto que lo representa. As, U es la poblacin y u
la muestra; T es el tratamiento a seguir y t el que realmente se experimenta; O es
el universo de todas las posibles observaciones y o son las que hemos realizado.
- el *UTOS se define como el campo de aplicacin. La evaluacin debe
permitir la extrapolacin de lo observado a las circunstancias de los *UTOS, que
representan lo que interesa, lo aplicable. La generalizacin a los *UTOS es la
funcin principal de la evaluacin, permitiendo la transferencia de conocimiento
a diferentes contextos, momentos y programas.
Finalmente, para Cronbach es importante la transmisin de los resultados de la
evaluacin. La utilidad de la misma depende del grado en el que las personas que
toman decisiones asumen sus resultados y consideran posible la aplicacin de las
recomendaciones. Esto debe tenerse en cuenta desde los primeros pasos de la
evaluacin. El informe de los resultados no tiene por qu ser un informe escrito. Segn
Cronbach, el informe ms potente puede ser una conversacin informal. En cualquier
caso es importante hacer informes para una comunidad amplia, resaltando los aspectos
que interesan a cada uno de los sectores implicados.
Daniel L. Stufflebeam forma parte del Comit Phi Delta Kappa que se rene en
1969 para evaluar el estado de la cuestin en evaluacin educativa y ofrecer algunos
consejos a la hora de realizar evaluaciones. Este Comit dictamina que la evaluacin
est enferma (escepticismo, falta de directrices, sndrome de las diferencias no
____________________________________________________________________________________
85
____________________________________________________________________________________
significativas, etc.) y decide que hay cinco cuestiones que hay que tener en cuenta: 1)
hay que redefinir la evaluacin, 2) la toma de decisiones est ntegramente relacionada
con la evaluacin, 3) la evaluacin no puede estar exenta de valores, 4) existen
diferentes niveles de evaluacin porque existen diferentes clases de pblico que
necesitan informacin distinta y 5) hay que distinguir entre evaluacin e investigacin.
La evaluacin queda redefinida, entonces, como el proceso de delinear, obtener y
ofrecer informacin descriptiva y valorativa sobre el valor (capacidad de respuesta a las
necesidades) o mrito (calidad) de los objetivos de un programa, su diseo, ejecucin e
impacto para guiar la toma de decisiones, controlar responsabilidades y promover
entendimiento sobre el fenmeno evaluado. Stufflebeam asume la redefinicin de la
evaluacin como un proceso para ofrecer informacin que pueda resultar til para la
toma de decisiones, y desarrolla lo que l mismo bautiza como el modelo CIPP. Este
modelo identifica 4 tipos de evaluacin:
Evaluacin del Contexto: pretende identificar el contexto institucional, los
destinatarios de un programa o poltica y evaluar sus necesidades y problemas.
Ayuda a desarrollar objetivos que sean coherentes con las necesidades y, en
general, ayuda a tomar decisiones sobre metas y objetivos y a ofrecer una base
para juzgar los resultados.
Evaluacin del Input: su objetivo es valorar la capacidad del sistema para llevar
a cabo las estrategias planteadas con los recursos dados. Identifica y valora el
mrito de proyectos alternativos y ayuda a disear los programas y a dar forma a
las propuestas y proyectos. Sirve para tomar decisiones sobre la estructuracin
del programa: identificacin de fuentes de apoyo y diseo de estrategias y
procedimientos. Ofrece una base para juzgar la ejecucin o implementacin del
programa.
Evaluacin del Proceso: pretende identificar y pronosticar, durante el proceso,
los fallos de la planificacin y describir y juzgar los aspectos del procedimiento
con el que se est llevando a cabo el programa. Ayuda a guiar la realizacin del
programa y sirve para tomar decisiones sobre la ejecucin del mismo. Ofrece una
base lgica sobre el proceso real y que servir posteriormente para interpretar los
resultados.
Evaluacin del Producto: su principal objetivo es evaluar los resultados y
relacionarlos con los objetivos y las informaciones sobre el contexto, el input y el
proceso, para interpretar su valor y su mrito. Ayuda a tomar decisiones sobre
continuacin, terminacin o modificacin de los programas y a presentar
informacin sobre los efectos de los mismos (intencionados o no, positivos y
negativos).
Bajo una perspectiva sistmica, este modelo es una estrategia para la mejora de
sistemas y evaluar significa obtener y utilizar feedback sistemticamente, de manera
que se convierte en una herramienta ara ayudar a que los programas funcionen mejor
para las personas a las que intentan servir. La evaluacin cumple un papel crucial en la
____________________________________________________________________________________
86
____________________________________________________________________________________
estimulacin y planificacin de cambios en una institucin (debe formar parte integral

del funcionamiento cotidiano de la misma).
En la planificacin del diseo de una evaluacin hay que ser flexibles, ya que la
dinmica de la misma hace difcil prever con exactitud cules van a ser las necesidades
especficas de informacin. Esta contradiccin (necesidad de planificacin pero
tambin de flexibilidad) es fcilmente resoluble asumiendo el diseo como un proceso
en el que hacer revisiones peridicas para una readaptacin y adecuacin a la realidad
del mismo.
Finalmente, Stufflebeam preside el Joint Committee on Standards for
Educational Evaluation en sus primeros aos y su influencia es crucial para la
elaboracin de las Normas para la Evaluacin de Programas en su primera edicin
(Joint Committee, 1981), que marcan un hito para el desarrollo y consolidacin de la
evaluacin como actividad cientfica diferenciada (Bustelo, 1999).
Las aportaciones de Carol H. Weiss al campo de la evaluacin han sido enormes,

sobre todo en lo que se refiere a entender la evaluacin como una parte de la
investigacin y anlisis de polticas. Ella es una de las primeras autoras en identificar y
describir las dificultades polticas y organizativas que rodean la evaluacin y en
denunciar el inevitable carcter poltico de la misma.
En sus primeros aos, Weiss adopta los mtodos y estrategias experimentalistas
de Campbell y Stanley (63). Pero con el tiempo, se aleja de dichas teoras idealistas y
focalizadas en los efectos, porque, segn ella, fallaban en la produccin de resultados
que pudieran ser realmente utilizados y en la apreciacin de las realidad poltica y
social de las polticas sociales (Shadish, Cook y Levinton, 1991: 181).
Entre sus aportaciones a la teora de la evaluacin de programas y polticas a lo
largo de ms de 30 aos, se encuentran las siguientes (Shadish, Cook y Levinton,
1991):
Incompatibilidad entre las ciencias sociales y los programas sociales. El
investigador de laboratorio puede controlar tratamientos experimentales y variables
dependientes. Pero ni la investigacin es el objetivo principal de los programas sociales
ni los cambios realizados en los programas se realizan para hacer mejor o ms fcil la
investigacin. Cuando entran en conflicto las necesidades de evaluacin y las
necesidades del programa, el programa tiene prioridad. Los evaluadores deben adaptar
sus estndares metodolgicos a la realidad del programa y obviar cuestiones que los
profesionales del mismo no vean como legtimas. Para Weiss, la emergencia de
mtodos cualitativos ha conseguido remediar algunos problemas de los mtodos
experimentales, aunque aquellos tambin tengan sus lmites, sobre todo la falta de
credibilidad. Sin embargo, reconoce su flexibilidad y su capacidad dinmica y de
demostracin del mundo desde la perspectiva de otros. Ella recomienda a los
evaluadores que utilicen tanto mtodos cualitativos como cuantitativos.
____________________________________________________________________________________
87
____________________________________________________________________________________
El contexto poltico de los programas sociales. Weiss es una de las primeras

autoras que seala y teoriza sobre el carcter poltico de la evaluacin4. Para ella la
evaluacin es una tarea racional que se lleva a cabo en un contexto poltico. Las
evaluaciones son resultado de decisiones polticas, se realizan para obtener informacin
para el proceso de toma de decisiones y por lo tanto, entran de lleno en la arena poltica
y, por ltimo, las evaluaciones toman posiciones -que so polticas- sobre el programa o
poltica evaluada.
Los lmites de la solucin de problemas sociales a corto plazo. En este asunto,
Weiss rompe la ingenuidad de los primeros evaluadores que pensaban que los
programas sociales cambiaran sustancialmente los problemas sociales. Los cambios en
los programas, y ms en los problemas, son lentos e incrementales.
Un contexto de mltiples agentes crticos (stakeholders) en los programas y
polticas. Todos los programas tienen mltiples agentes crticos que tienen diferentes
intereses y diferentes poderes para el uso de los resultados; enfrentan diferentes
decisiones y, por lo tanto, tienen diferentes necesidades de informacin.
Una visin ampliada del uso de la evaluacin. En su primera poca, Weiss
abogaba por un uso instrumental de la evaluacin. A lo largo de su carrera va
aumentando el concepto de uso, dndole un mayor nfasis a los usos indirectos,
graduales y de iluminacin general para acciones futuras y para una mayor
comprensin de los problemas sociales5.
Finalmente, una de las ltimas preocupaciones y desarrollos tericos de Carol
Weiss (1997, 1998) es la utilizacin, en evaluacin, de la teora de programas6. Por
teora de programas, Weiss entiende el conjunto de creencias que subyace a la
accin.(...) Es el conjunto de hiptesis sobre las que la gente construye y planifica los
programas. Es una explicacin de las relaciones causales que unen los inputs de un
programa a sus resultados esperados o como dice Bickman (1987:5) un modelo
plausible y sensible sobre cmo un programa se supone que debe funcionar (Weiss,
1998a: 55). Basndose en estas ideas, Weiss desarrolla lo que ella llama las teoras de
cambio de un programa: la teora del programa y la teora de la implementacin.
La teora del programa se refiere a los mecanismos que median entre la distribucin (y
entrega) de un programa y la aparicin de los resultados. El mecanismo operativo de
cambio no son las actividades del programa per se sino las respuestas que dichas
actividades generan (Weiss, 1998a:57). La teora de la implementacin tiene que ver
con lo que se requiere para traducir los objetivos en la entrega de un servicio o en las
operaciones de programa. Mientras que la teora del programa pone nfasis en las
respuestas de la gente a las actividades, la teora de la implementacin lo hace en los
servicios que se ponen en marcha y cmo se ofrecen. Weiss explica la conveniencia y
las ventajas de analizar y exponer estas teoras del cambio y de utilizarlas como una
gua para la evaluacin.
4
Su pensamiento sobre esta cuestin ha sido expuesto en el punto 3.2. del captulo primero.
Para un mayor desarrollo de su teora, vase el punto 3.4. del captulo primero.
Weiss ha utilizado el enfoque dirido por la teora (Theory-Driven Approach), que se podra considerar
otro enfoque ms (Chen, 1990, 1994; Chen y Rossi, 1983; Bickman, 1990). En este trabajo obviamos su
referencia especfica por abordarlo en las aportaciones de Weiss.
____________________________________________________________________________________
88
____________________________________________________________________________________
D. Enfoque centrado en el cliente
Los estudios orientados a la toma de decisiones suelen ir dirigidos en muchas

ocasiones a directivos y responsables de los programas y polticas evaluadas, ya que en
los niveles altos suelen tomarse ms decisiones. En el caso del enfoque centrado en el
cliente, el nfasis es en ayufar a la gente implicada en gestin cotidiana del programa.
Las preguntas de evaluacin se organizan en torno a las preocupaciones y cuestiones de
los profesionales de base. El propsito de este enfoque es ayudar a dichos profesionales
a entender el funcionamiento de las actividades de su servicio o programa y el grado en
el que son valoradas por expertos y destinatarios del programa.
Como fortaleza de este enfoque se suele mencionar su enfoque de investigacinaccin en la que la gente que ejecuta los programas es ayudada a dirigir su propia
evaluacin. Su mxima debilidad es, pues, su posible falta de credibilidad externa y el
posible sesgo hacia los profesionales por el control que estos ejercen sobre el proceso
evaluativo.
Robert Stake es el pionero de este enfoque. Tambin pueden mencionarse a Barry
MacDonald (75) en el Reino Unido. En realidad, el modelo propuesto por Stake es el
precursor de los enfoques participativos que veremos ms adelante, en los que se
incluirn otros autores. Stake propone en 1967 el Modelo de la Figura (The
Countenance of Evaluation) que posteriormente evoluciona a un modelo ms flexible
que denomina Evaluacin sensible (Responsive Evaluation) (Stake, 76).
Con el Modelo de la Figura se pretende describir y juzgar el programa
evaluado por completo:
La descripcin es el acto bsico de la evaluacin y hay que describir
antecedentes (toda condicin existente anterior al programa y que puede
relacionarse con los resultados), operaciones o transacciones y resultados.
El juicio es el segundo elemento de la evaluacin y aunque los evaluadores no
deben ser los que juzguen directamente, s son los nicos cualificados para
recopilar y procesar objetivamente las opiniones y los juicios de otras personas.
El tercer elemento es el esquema para la recopilacin de datos. (tabla 2.1). Hay
que recopilar informacin sobre los antecedentes, las transacciones y los
resultados en cuanto a dos ejes: lo supuesto, lo que se planifica o pretende (las
intenciones) y lo real, lo que se da u observa (las observaciones). Adems hay
que investigar sobre la base lgica que representa los antecedentes e intenciones
filosficas del programa y que, una vez formulada, se puede utilizar para juzgar
las intenciones del programa. Con estos datos se hacen dos tipos de anlisis: de la
congruencia (si lo que se pretenda realmente ocurri) y de la contingencia (si las
relaciones entre los elementos son lgicas y coherentes).
____________________________________________________________________________________
89
____________________________________________________________________________________
Por ltimo, estara la elaboracin de normas que son los criterios explcitos
para valorar la calidad de un programa. Hay dos tipos de normas: absolutas
(convicciones personales de lo que es bueno o deseable para un programa) y
relativas (Caractersticas de programas similares que se consideran
satisfactorios).
TABLA 2.1: Esquema de Stake para la recopilacin de datos en la

evaluacin de un programa
Intenciones
(lo que
pretende
la gente)
Observaciones
(lo que
percibe
la gente)
Base lgica
Normas
(lo que
la gente
generalmente
aprueba)
Juicios
(lo que la
gente cree que
debe ser el
programa
principal)
Antecedentes
Transacciones
Resultados
Matriz de descripcin
Matriz de juicio
Fuente: Stufflebeam y Shinkfield, 1987. Evaluacin sistemtica. Madrid: Paids/MEC. p.244
El propio Stake reconoce que su modelo es limitado y difcil de llevar a cabo y

propone la Evaluacin sensible. En este segundo modelo es ms importante la
observacin, la recopilacin de juicios, la identificacin de las necesidades del cliente y
la preparacin de informes informales que la preparacin de instrumentos, la
administracin de tests y el procesamiento de datos. Pretende ofrecer un servicio a
personas o grupos especficos, teniendo en cuenta la situacin y el contexto.
Por ltimo, Stake tambin ha contribuido al desarrollo de los estudios de caso
como mtodo especialmente utilizado en evaluacin (Stake, 1995).
____________________________________________________________________________________
90
____________________________________________________________________________________
E. Enfoque centrado en el consumidor
Este enfoque enfatiza el punto de vista del consumidor de programas. Su

propsito es el de juzgar servicios y bienes alternativos, ayudando a contribuyentes y
profesionales a elegir ms inteligentemente los bienes y servicios a consumir.
Este enfoque goza de mucha credibilidad entre grupos de consumidores. Sin
embargo, puede ser tan independiente de los profesionales que puede no ayudarles a
servir mejor a los consumidores. Adems, se requieren expertos competentes y con una
alta credibilidad y suficientes recursos para permitir al experto hacer su estudio (suele
ser caro).
Michael Scriven es el mximo representante de este enfoque. Scriven es uno de
los autores ms activos en el campo de la evaluacin y sus aportaciones a la campo de
la evaluacin son mltiples. Adems de este enfoque desde el punto de vista del
consumidor, Scriven ha desarrollado tericamente el elemento valorativo de la
evaluacin. De hecho, Shadish, Cook y Levinton (1991: 73) caracterizan su aportacin
terica como la ciencia de la valoracin. Efectivamente, para Scriven evaluar es
justamente la determinacin del mrito o valor de lo que se evala (evaluando). Critica
la idea de que la evaluacin deba servir para ofrecer una informacin utilizable; para l,
para lo que se utilice la evaluacin es un asunto que no tiene que ver con la funcin de
valoracin de la evaluacin.
Para Scriven, los informes para consumidores en los que se ofrecen estudios
comparativos de productos en el mercado (Consumer Reports) son un ejemplo de
evaluacin. El fin ltimo de la evaluacin es satisfacer las necesidades de los
consumidores; para esto, un evaluador externo e independiente debe emitir un juicio
basndose en pruebas procedentes de la comparacin de distintos programas. En esta
lnea, es muy importante que la evaluacin est libre de costes, es decir, debe arrojar un
balance positivo coste-beneficio o, en otras palabras, debe merecer la pena claramente.
Una de las aportaciones ms importantes de Scriven es su distincin entre
evaluacin formativa y evaluacin sumativa. La primera ayuda a desarrollar el
programa que pretende obtener informacin para la modificacin del mismo mientras la
intervencin o actividad se est llevando a cabo. Se hace para ofrecer feedback a las
personas que estn intentando mejorar el programa evaluado. La evaluacin sumativa,
sin embargo, calcula el valor del programa una vez desarrollado y lanzado al mercado.
Para Scriven, en este tipo de evaluacin, el evaluador debe ser externo y los resultados
de la evaluacin deben hacerse pblicos. Ambos tipos de evaluacin son importantes
para Scriven, aunque tiene una clara preferencia por la evaluacin sumativa.
En el intento de evitar los sesgos y servir los intereses de los consumidores,
Scriven propone la Evaluacin sin objetivos. La filosofa subyacente a esta propuesta
es la idea de que fijarse de antemano en los objetivos del programa puede condicionar
su evaluacin; a propsito se ignoran entonces las metas fijadas y se valoran los efectos
(esperados o no) producidos por el programa. Esta evaluacin es, segn el autor, menos
____________________________________________________________________________________
91
____________________________________________________________________________________
intrusiva, ms adaptable a los cambios repentinos de objetivos, menos propensa a la

tendenciosidad social y ms estimulante profesionalmente. Adems puede ser
reversible (se puede empezar por no considerar los objetivos para luego retomarlos) y
complementaria (dos evaluadores pueden trabajar simultneamente, uno con y otro sin
objetivos). Al no comparar los resultados con los objetivos propuestos, Scriven
propone hacer una evaluacin de las necesidades de los consumidores.
Otras dos contribuciones de Scriven son su concepto e insistencia de
metaevaluacin (la evaluacin debe ser evaluada) y la elaboracin de su Lista de
control de elementos clave en evaluacin (Key Evaluation Checklist)7, que nace de la
consideracin multdimensional de la evaluacin; la evaluacin comporta mltiples
dimensiones y por lo tanto, debe emplear diferentes perspectivas, introducir distintos
niveles de valoracin y utilizar una variedad de mtodos. Propone que los evaluadores
utilicen la lista de control para plantearse todos los aspectos, aunque no tienen por qu
hacerlo necesariamente en la misma secuencia en la que se exponen.
F. Enfoque orientado a la utilizacin
El nfasis de este enfoque se pone en ofrecer una informacin til y utilizable por
parte de los agentes crticos y los responsables del programa. La utilizacin de los
resultados de la evaluacin es el elemento organizador de este enfoque. Como principal
ventaja se encuentra el aumento de la probabilidad de uso de las evaluaciones, aunque
se corre el riesgo de sesgar informacin por no considerarse relevante.
El representante de este enfoque es Michael Q. Patton, quien ha escrito mltiples
libros en evaluacin y se ha dedicado a la prctica de la evaluacin durante ms de 25
aos. Aunque ha estado relacionado con el mundo acadmico (durante aos fue
profesor de la Universidad de Minnesota y director del Centro de Investigacin Social
de dicha universidad), se le puede considerar ms como evaluador profesional que ha
elaborado tericamente sobre su experiencia prctica. Una de sus obras -UtilizationFocused Evaluation- es la que expone el enfoque que aqu tratamos. Su primera edicin
data de 1978 y la tercera, con el nada modesto subttulo de El texto del nuevo siglo, y
en la que ha aadido partes sustanciales, es tan reciente como 1997. Su influencia es
enorme en el campo de la evaluacin: tiene una alta presencia en los foros
profesionales y en las publicaciones especializadas y es uno de los autores multicitados
en los textos sobre evaluacin.
Patton (1978, 1997) cree que el mayor problema de los estudios de evaluacin
consiste en que los resultados de los mismos no se utiliza; es decir la mayora no son
tiles para los potenciales usuarios. La falta de utilizacin de las evaluaciones la
enmarca Patton en la crisis general de la informacin: se ha avanzado muchsimo en la
Vase tabla 4.3. Key Evaluation Checklist de Scriven. Captulo 4.

____________________________________________________________________________________
92
____________________________________________________________________________________
capacidad de generar, guardar, recuperar y comunicar instantneamente la informacin,

pero no tanto en estar al da, clasificarla, absorberla, procesarla y usarla. Su propuesta,
entonces, la resume en el lema uso pretendido por quienes lo pretenden (intended use
by intended users) y se enfoca hacia la potenciacin de la utilizacin. Para esto, se
tienen que dar una serie de premisas (Patton, 1997: 382-383):
1) La preocupacin por la utilizacin debe ser la gua conductora de la
evaluacin.
2) Esta preocupacin debe ser continua y se debe dar desde un principio.
3) El factor personal (intereses y compromisos personales) contribuye
significativamente al uso.
4) Se debe hacer un anlisis cuidadoso y profundo de los agentes crticos
(stakeholders) y esto debe servir para identificar a los usuarios principales.
5) Las evaluaciones deben centrarse en algn aspecto, ya que debido a las
limitaciones de recursos y tiempo es imposible que una evaluacin preste
atencin a todas las cuestiones posibles. El camino ms til es centrarse en el
uso pretendido por quienes los pretenden.
6) Centrarse en el uso pretendido requiere hacer elecciones deliberadas y
profundas. Se puede juzgar el mrito o valor (evaluacin sumativa), mejorar el
programa (uso instrumental) o generar conocimiento (uso conceptual). Los usos
del proceso de la evaluacin tambin pueden ser distintos: fomento de una visin
compartida, reforzar intervenciones, fomentar el compromiso de participantes o
desarrollo de programas y organizaciones. Todos los usos son importantes y
legtimos y el valor relativo de cada uno depende de la situacin concreta. Los
usos pueden cambiar y evolucionar a medida que el programa o poltica madura.
7) Las evaluaciones tiles se deben disear y adaptar segn la situacin. Las
recetas estandarizadas no funcionan. El valor relativo de una utilizacin particular
slo puede ser juzgado en el contexto de un programa especfico y de los
intereses de los usuarios particulares.
8) Los usuarios principales deben estar implicados activa y personalmente en la
toma de decisiones sobre la evaluacin. Esa es la forma de fomentar su
compromiso de uso.
9) La participacin de calidad y no de cantidad es el objetivo. La cantidad de
tiempo de interaccin de grupo puede estar inversamente relacionada con la
calidad. Por eso, los evaluadores bajo este enfoque deben ser buenos facilitadores
de grupo.
10) La implicacin de calidad de los usuarios de la evaluacin resultar en
evaluaciones de calidad.
11) Los evaluadores deben aumentar su credibilidad siendo activos (en la
presentacin del enfoque y los mtodos que consideran adecuados), reactivos (al
____________________________________________________________________________________
93
____________________________________________________________________________________
escuchar atenta y respetuosamente a las preocupaciones de otros) y adaptativos

(al buscar formas de disear evaluaciones que incorporen los intereses distintos,
incluidos los suyos, y, a la vez, respeten estndares de calidad de la prctica
profesional).
12) Los evaluadores tienen la responsabilidad de entrenar o formar a los usuarios
y agentes crticos en la evaluacin en los procesos de evaluacin y en los usos de
la informacin.
13) El uso es diferente del informe y la difusin del mismo. Estos son medios
para facilitar el uso. El uso puede ser tomar decisiones, mejorar programas,
cambiar formas de pensar, facultar o empoderar a los participantes o generar
conocimiento.
14) Se deben tratar seriamente las cuestiones de los costes econmicos y de
calendario. Los beneficios relacionados con estos costes se manifiestan en un
mayor uso.
Patton apela a las Normas del Joint Committee (1994) para resaltar que, ante
todo, una evaluacin debe ser til. Para que se d este tipo de evaluacin, tienen que
darse cinco requisitos:
a) Capacidad de respuesta situacional: no hay una manera nica de hacer
evaluaciones y cada situacin evaluativa es nica.
b) Flexibilidad metodolgica: es necesario conocer una gran variedad de mtodos
para aplicar el ms adecuado en cada momento. De hecho, Patton habla del
Paradigma de la Eleccin (Paradigm of Choices) que va ms all de la
polmica de lo cuantitativo/experimentalista y lo cualitativo/naturalista.
c) Mltiples roles del evaluador: ste debe ser un investigador, pero tambin un
profesor, un buen comunicante y relaciones pblicas, etc. El factor personal es
muy importante.
d) Sensibilidad poltica (political sophistication): se deben conocer los distintos
intereses que por la evaluacin pueden tener los diferentes grupos implicados en
la misma. Estos intereses son diferentes en naturaleza, grado y se deben
identificar y establecer prioridades en caso de que no todos puedan ser atendidos.
En casi todas las evaluaciones existen implicaciones polticas que hay que
asumir.
e) Creatividad: a la hora de enfrentar una evaluacin. Existen dos tendencias que
hacen que esto sea muy importante: 1) tendencia a alejarse del paradigma
dominante hipottico-deductivo e ir hacia el paradigma de eleccin que
enfatiza el uso de mltiples mtodos y enfoques alternativos, y 2) los mtodos de
decisin ya no dominan el campo de la evaluacin, el foco ha cambiado hacia el
uso de la informacin, las cuestiones prcticas de la ejecucin de programas y la
tica de la prctica evaluativa.
____________________________________________________________________________________
94
____________________________________________________________________________________
La adecuacin de diferentes enfoques y mtodos a las diferentes situaciones

evaluativas es una idea clave en Patton. Para demostrar que las situaciones evaluativas
pueden ser muy diferentes entre s, hace un listado de variables situacionales que son
los aspectos o condiciones que puede variar y que configuran una situacin evaluativa,
y que aparecen resumidas en la tabla 2.2.
Tabla 2.2. Variables situacionales de Patton

Algunas de las variables situacionales que hay que tener en
cuenta son:
1.- Nmero de responsables a tratar.
2.- Historia del programa (corta-larga)
3.- Actitud de los profesionales que trabajan en el programa
(staff) ante la evaluacin (entusiasmo-resistencia).
4.- Conocimientos de evaluacin de dichos profesionales.
5.- Patrones de interaccin (direccin-trabajadores-beneficiarios o
clientes) en el programa (cooperacin-conflicto).
6.- Historia evaluativa del programa.
7.- Nivel educativo y cultural de los profesionales y beneficiarios.
8.- Homogeneidad-heterogeneidad de profesionales y
beneficiarios.
9.- Localizacin del programa (nica o mltiple).
10.- Recursos para la evaluacin.
11.- Nmero de fuentes de financiacin.
12.- Naturaleza del programa: si es simple (ej: programa para
dejar de fumar) o multidimensional (ej: programa para la
prevencin de la droga).
13.- Tipo de actuaciones o tratamiento (estables para el mismo
grupo durante un tiempo, individuales o grupales, etc.)
14.- Estructura en la toma de decisiones en el programa (verticalhorizontal).
15.- Claridad-ambigedad sobre el fin y la funcin de la
evaluacin.
16.- Datos existentes sobre el programa.
17.- nfasis en la evaluacin (voluntaria, impuesta).
18.- Tiempo disponible para la evaluacin (mucho o poco, tiempo
lmite flexible o cerrado).
Fuente: Patton, M.Q., 1980. Practical Evaluation. Newbury Park. Sage.
Este listado de variables situacionales resulta ser una buena gua para realizar un
diagnstico de la situacin evaluativa, operacin necesaria que debe realizarse antes de
delimitar una evaluacin. El hecho de ser consciente de estas dieciocho variables va a
facilitar la respuesta a los interrogantes sobre por qu, para qu y para quines
____________________________________________________________________________________
95
____________________________________________________________________________________
realizamos una evaluacin. Esto a su vez ayudar a definir la estrategia de evaluacin,

decidiendo el tipo de evaluacin a realizar as como el enfoque ms adecuado.
En la ltima edicin de su libro Utilization-Focused Evaluation introduce una
serie de temas nuevos que reflejan, en cierto modo, la evolucin de la evaluacin en los
ltimos aos. Algunos de estos temas son las cuestiones ticas en la prctica de la
evaluacin (tema candente en el mbito anglosajn) y la utilizacin de procesos
participativos de evaluacin para cambiar la cultura del programa y contribuir al
aprendizaje organizativo. De esta forma el concepto de utilizacin de agranda, ya no es
slo la utilizacin de los resultados de la evaluacin sino tambin de los propios
procesos evaluativos.
G. Enfoques participativos
Los enfoques participativos estn teniendo especial auge en los ltimos aos en
general en la evaluacin de programas y, de forma especial, en algunos sectores como
el de las polticas de cooperacin al desarrollo y ayuda internacional. Por
participativos, en sentido amplio, entendemos los enfoques que hacen especial nfasis
en la participacin de los agentes crticos en el programa en los procesos de evaluacin.
Es decir, la participacin es el elemento central de los mismos. Aqu vamos a hablar de
tres de estos enfoques:
- La evaluacin de cuarta generacin. Propuesta por Guba y Lincoln (1986,
1989), supone un enfoque alternativo desde el punto epistemolgico y
metodolgico. Desde el paradigma alternativo naturalista, proponen un enfoque
de evaluacin que fundamenta tericamente la participacin de los diferentes
agentes crticos. Su importancia e influencia es indudable, sobre todo, desde el
punto de vista de la justificacin ontolgica y epistemolgica de estos enfoques.
- La evaluacin para el empoderamiento8 (Empowerment Evaluation).
Impulsada por David Fetterman (Fetterman et al.,1996) ha concitado y dado
origen a toda una serie de experiencias participativas en evaluacin. Su xito e
influencia es importante, entre otras cosas, por la importancia que est ganando el
concepto de empowerment en otros mbitos (por ejemplo, en el desarrollo de las
polticas de igualdad de gnero).
- La evaluacin pluralista centrada en los actores sociales. Este enfoque
(Monnier, 1996) tiene especial influencia en el mbito de las polticas y la
No hemos encontrado un trmino en espaol que pueda expresar el sentido del concepto de
empowerment. An siendo conscientes de que no existe el trmino en espaol, hemos decidido utilizar
una traduccin literal que exprese el sentido del mismo. Pedimos disculpas por ello y agradeceramos
cualquier sugerencia para un trmino ms adecuado.
____________________________________________________________________________________
96
____________________________________________________________________________________
gestin pblica. Tambin propone la necesaria participacin de los actores

sociales en torno a una poltica pblica.
Por supuesto, estos no son los nicos enfoques participativos, aunque s nos
parecen los ms interesantes desde el punto de vista de la evaluacin. Se han propuesto
diferentes mtodos desde esta perspectiva participativa, en algunos casos en el mbito
de la planificacin y gestin de proyectos, aunque han tenido tambin su reflejo en
evaluacin. Un ejemplo en el mbito de la cooperacin al desarrollo y los organismos
internacionales, es el Diagnstico Rural Participativo (Participatory Rural Appraisal
o PRA). El PRA consiste en una serie de aproximaciones y mtodos que permiten a
los habitantes de las comunidades locales (rurales o urbanas) expresar, ampliar,
compartir, analizar sus conocimientos de las condiciones en las que viven, planificar
acciones futuras y llevarlas a la prctica (...) La utilizacin del PRA implica ciertos
cambios de orientacin con respecto a la evaluacin tradicional en cuanto a los marcos
de anlisis, las modalidades de trabajo, las relaciones y el poder (Ministerio de
Asuntos Exteriores, 1998: 92).
Antes de pasar a explicar cada uno de los enfoques, se exponen aqu algunas de
las fortalezas y debilidades de este tipo de enfoques. Para Weiss (1998: 105 y ss.), la
evaluacin participativa da voz a los agentes crticos en el programa y fomenta la
cooperacin con el evaluador. Tambin, a menudo ayuda a que dichos agentes crticos
comprendan mejor el programa o poltica, es decir, que se produzca aprendizaje sobre
el programa, adems de que tambin fomenta el aprendizaje sobre evaluacin, sobre
todo de los profesionales del programa, pero tambin de otros agentes crticos. En el
sentido de la justicia y la igualdad, las evaluaciones participativas tienden a compensar
la balanza y a un mayor equilibrio, aunque la misma Weiss seala que tampoco hay que
ser ingenuos al respecto: sentarse juntos en una mesa de trabajo, en una atmsfera
igualitaria, no elimina las distinciones que hay puertas afuera. Todava son importantes
las distinciones de clase, edad, raza, nacionalidad, ocupacin, gnero y otras (...) La
superacin de las diferencias de poder y de conocimiento entre los diferentes agentes
crticos no es fcil (Weiss, 1998a: 106).
Weiss tambin es crtica y menciona una serie de limitaciones de este tipo de
enfoques. En primer lugar, no todos los agentes crticos suelen estar interesados en la
evaluacin, ya que la mayora de ellos van a estar ms interesados en el programa que
en su evaluacin. Esto puede hacer que resulte difcil conseguir la participacin de
todos y que haya ausencias en las reuniones de trabajo. Adems, Weiss cree que
aunque los procedimientos participativos parece que aumentan la relevancia y la
factibilidad del estudio, no est claro que lo haga respecto a la calidad tcnica, que
puede verse como secundaria. Por otro lado, aunque estos enfoques aseguran que se
consigue aumentar las probabilidades de que la gente que participe en el estudio utilice
los resultados, la verdad es que algunos agentes crticos en los programas no toman
decisiones sobre, y ni siquiera influyen en, el futuro del programa, como por ejemplo,
los beneficiarios. Cuando estn los resultados es probable que no tengan mucha
autoridad para hacer algo con ellos y lo tendrn que hacer a travs de la presin a otros.
Por ltimo, si se hace evaluacin en un programa, servicio o poltica que tenga un
cierto grado de movilidad entre sus profesionales y responsables, es posible que la
gente con la que se ha trabajado en el comienzo del proceso no sea la misma que
cuando estn listos los resultados.
____________________________________________________________________________________
97
____________________________________________________________________________________
Efectivamente, los enfoques participativos se encuentran con algunas

contradicciones en su puesta en prctica en contextos con poca cultura participativa. En
el mbito de las polticas de cooperacin al desarrollo, el anlisis de las experiencias de
varios pases y agencias donantes, el Grupo de Evaluacin del CAD (Comit de Ayuda
al Desarrollo de la OCDE) (CAD, 1997, citado en Ministerio de Asuntos Exteriores
1998: 93-94) seala una serie de conclusiones referidas a cuestiones metodolgicas de
la evaluacin participativa. Por un lado, dicha evaluacin no es fcilmente integrable en
los mecanismos rutinarios de la agencias donantes, ya que es percibida como un
instrumento cuyas conclusiones son poco fiables y altamente subjetivas (en contraste
con las que se obtienen de herramientas y mtodos cuantitativos formales). Sin
embargo, algunas tcnicas participativas como las entrevistas con grupos focales o de
discusin, comienzan a ser adoptadas como estrategias comunes para la obtencin de
informacin en las evaluaciones convencionales. El CAD realiza una serie de
recomendaciones para las evaluaciones participativas:
Se deben realizar en contextos favorables, que reconozcan la importancia de la
participacin y la incorporen en la planificacin de las intervenciones.
Debe ser entendida como un proceso en el que los involucrados participen desde
sus primeras etapas, distinguiendo los proyectos con origen participativo de los
que no lo tienen, y en los que la evaluacin sea la etapa final de un seguimiento.
Los conceptos y marcos de anlisis deben ser definidos clara y precisamente,
identificando de forma clara los grupos involucrados y los participantes.
Los indicadores que se utilicen deben reflejar dichos conceptos y ser resultado
de un anlisis sistemtico basado en la colaboracin.
Segn el CAD, lo que queda pendiente es introducir el concepto de participacin
en las lneas prioritarias de las agencias donantes, tarea a la que las propias
evaluaciones pueden contribuir pero que debe tener un apoyo institucional ms amplio
y desde todos los niveles. Tambin es necesario seguir desarrollando mtodos, tcnicas
y marcos analticos, procedimientos e indicadores que sean adecuados a los complejos
niveles participativos de las agencias de cooperacin.
G.a. La Evaluacin de Cuarta Generacin
____________________________________________________________________________________
98
____________________________________________________________________________________
Egon Guba y Yvonna Lincoln (1987, 1989) desarrollan un enfoque en evaluacin

al que denominan Evaluacin de cuarta generacin. Su propuesta ha tenido una
importante repercusin ya que ha supuesto la base para muchos otros enfoques de tipo
participativo y porque propone una perspectiva alternativa desde el punto de vista
epistemolgico.
La denominacin de cuarta generacin se debe a que ellos plantean cuatro
generaciones de estudios de evaluacin, que son como siguen:
Primera generacin: La generacin tcnica. La evaluacin se caracterizaba por la
medicin. La evaluacin se vea como un medio para determinar si los alumnos
alcanzaban una serie de especificaciones a travs de una serie de exmenes o
tests. El evaluador es un tcnico.
Segunda generacin: La generacin de la descripcin. Nace con Tyler y pretende
describir las fortalezas y debilidades respecto a una serie de objetivos
determinados. El evaluador es un descriptor.
Tercera generacin: La generacin del juicio y la valoracin. Se pretende valorar
el mrito o valor del programa evaluado. Y el evaluador es un juez. En esta
generacin de desarrollan toda una serie de modelo (Stake Modelo de la
Figura, Scriven Evaluacin sin objetivos, Stufflebeam, CIPP, etc.).
Cuarta generacin: La generacin sensible (responsive), con capacidad de
respuesta y basada en la negociacin. En esta generacin se toma como punto de
referencia no los objetivos, las decisiones o los efectos, sino las preocupaciones,
quejas y cuestiones de los diferentes agentes crticos en el programa evaluado y,
por lo tanto, pueden verse afectados por dicha evaluacin. En esta generacin se
pueden mencionar, adems de a los propios Guba y Licoln, al segundo Stake
(Modelo sensible), la evaluacin iluminativa de Parlett y Hamilton, y a Patton.
Una de las mayores aportaciones de estos autores es que su enfoque supone una
propuesta ontolgica, epistemolgica y metodolgica distinta. La evaluacin que
proponen se basa en un paradigma naturalista y constructivista (Lincoln y Guba, 1985;
Guba, 1990). Esto quiere decir que, desde el punto de vista ontolgico (lo que se
considera que es la naturaleza de la realidad), piensan que las realidades existen como
constructos o construcciones mentales y que son relativas a las personas que los
sostienen. Desde el punto de vista epistemolgico (cul es la relacin entre el
conocimiento y el conocedor), creen que el conocimiento y el investigador formar parte
de una misma entidad subjetiva. Los hallazgos e informacin que se consiguen son el
resultado de una interaccin. Tambin significa que hay que estudiar los fenmenos tal
y como se dan, en su contexto, sin manipulacin de variables por parte del
investigador. Desde el punto de vista metodolgico (cmo se puede obtener el
conocimiento), proponen identificar, comparar y describir las diferentes construcciones
que existen. Esto significa una propuesta radicalmente distinta al paradigma positivista
e hipottico-deductivo hasta entonces dominante, en el que se consideraba que la
realidad existe y se dirige por leyes de causa-efecto que pueden ser conocidas, que la
investigacin puede y debe hacerse libre de valores y que las hiptesis pueden ser
comprobadas de forma emprica. E incluso distinto del postpositivismo que suaviza
el paradigma anterior ya que asume que la realidad existe pero no puede ser totalmente
____________________________________________________________________________________
99
____________________________________________________________________________________
comprendida y que existe una multiplicidad de causas y efectos, que la objetividad es

un ideal, y aunque sea difcil hay que pretender conseguirla de forma crtica y que es
crtico con el experimentalismo, enfatiza los enfoques cualitativos, la teora y el
descubrimiento. Esta comparacin de paradigmas se refleja en la tabla 2.3.
____________________________________________________________________________________
100
____________________________________________________________________________________
TABLA 2.3: TABLA COMPARATIVA DE PARADIGMAS

Guba, en su libro The Paradigm Dialog, de 1990, distingue cuatro grandes
paradigmas para la indagacin social y contrasta:
a) Su ontologa (lo que se considera que es la naturaleza de la realidad),
b) Su epistemologa (cul es la relacin entre el conocimiento y el conocedor)
c) Su metodologa (cmo se puede obtener el conocimiento)
Positivismo
a) La realidad existe y se dirige por leyes de causa-efecto que pueden ser
conocidas.
b) La indagacin puede estar libre de valores.
c) La hiptesis pueden ser comprobadas empricamente.
Post-positivismo
a) La realidad existe, pero no puede ser enteramente comprendida o explicada.
Hay una multiplicidad de causas y efectos.
b) La objetividad es un ideal, pero requiere de una comunidad crtica.
c) Es crtico con el experimentalismo, y enfatiza las aproximaciones cualitativas,
la teora y el descubrimiento.
Teora crtica
a) La realidad existe, pero no puede ser enteramente comprendida o explicada.
Hay una multiplicidad de causas y efectos.
b) Los valores median en la indagacin.
c) Propone la eliminacin de una falsa conciencia y facilita y participa en la
transformacin.
Constructivismo
a) La realidad existe como constructos mentales que son relativos a aquellos que
los sostienen.
b) El conocimiento y el conocedor son parte de una misma entidad subjetiva. Los
hallazgos son el resultado de la interaccin.
c) Identifica, compara y describe las varias construcciones que existen
(hermenetico y dialctico).
Fuente: Parsons, W. 1995. Public Policy. An Introudction to the Theory and Practice of Policy
Analysis. Chetelham: Edward Elgar, p. 71.
Los principios fundamentales de esta nueva propuesta son organizados por sus
autores a travs de cinco conceptos axiomticos: pluralismo de valores, construcciones
de los agentes crticos, justicia, mrito y valor y negociacin.
____________________________________________________________________________________
101
____________________________________________________________________________________
A. Se ha de reconocer un pluralismo de valores, ya que las generaciones

anteriores tendan a asumir el consenso de valores. Aqu se reconocen y se
valoran las diferencias. De esta premisa arrancan tres principios:
1. En una evaluacin que tenga en cuenta las diferencias de valores es ms
esperable el conflicto que el consenso.
2. Los procesos tcnicos, descriptivos y valorativos de las anteriores
generaciones de evaluacin no son suficientes para tratar el desacuerdo
partidario; se deben disponer algunos medios que permitan la acomodacin
entre diferentes posturas de valores.
3. Las partes que representan diferentes valores deben implicarse si se quiere
tener alguna esperanza de que estos tengan cabida.
B. El concepto de las construcciones de los agentes crticos: Como se ha visto
antes, este enfoque est enraizado en una concepcin ontolgica relativista, en la
que se concibe que las realidades son construcciones sociales relativas a quienes
las sostienen. Esto supone dos principios:
4. El evaluador a veces aprende sobre cules son las construcciones de los
agentes crticos, y en el mismo acto de aprender, ayuda a crear esas
construcciones.
5. El evaluador a veces ensea y comunica las construcciones de otros agentes
crticos y, en este proceso, clarifica las posiciones de valores que tienen que
ver con ellos.
C. El concepto de justicia: Nadie debe tener especial preferencia en los procesos
de evaluacin. Esto aade otros cuatro principios:
6. El evaluador est ticamente ligado a solicitar cules son las
preocupaciones, quejas y cuestiones de todos los agentes crticos
identificables, y a clarificar los valores que subyacen a las mismas.
7. La equidad demanda que el evaluador d igual validez a las cuestiones de
cada uno de los grupos agentes crticos.
8. Se debe recoger informacin de modo que resulte til a los protagonistas y a
los antagonistas del programa.
9. El evaluador debe demostrar y ensear los datos recogidos de forma
continua, para dar oportunidad de valoracin por parte de los agentes crticos.
D. Los conceptos de mrito y valor: Estos dos conceptos son distintos entre s,
dependiendo el mrito de las caractersticas internas del evaluando y el valor, de
caractersticas externas, siendo un concepto relativo al entorno en el que se sita
dicho evaluando. De esto, se desprenden otros tres principios:
____________________________________________________________________________________
102
____________________________________________________________________________________
10. Mientras el mrito puede ser valorado en solitario, el valor slo puede
valorarse en relacin a un contexto y unas necesidades determinadas. Si se
cambia el contexto, se cambiarn las necesidades y el valor.
11. El evaluador no puede llevar a cabo una valoracin de las necesidades o el
valor, excepto con mtodos de campo que tomen en cuenta de forma plena el
contexto local.
12. La transferencia de las valoraciones de necesidades y/o valor de una
contexto a otro depende de la similitud emprica de los contextos.
E. El concepto de proceso y resultados negociados: Si se asumen los axiomas
anteriores, est claro que una evaluacin justa slo puede hacerse a travs de la
negociacin. Finalmente, esto implica otros cinco principios:
13. A los agentes crticos se les debe dar la oportunidad de reaccionar ante los
resultados por razones ticas y de validez y para satisfacer el requisito de
colaboracin.
14. El evaluador debe implicar a todos los agentes crticos en todos los
momentos del proceso de evaluacin, solicitando y teniendo en cuenta sus
puntos de vista en las decisiones a tomar.
15. Los agentes crticos deben enrolarse en un proceso de negociacin que
determine las acciones a llevar a cabo en la evaluacin. Es este grupo de
agentes crticos el que acta como juez y que realiza las recomendaciones. El
evaluador acta como un mediador.
16. El evaluador debe permitir la posibilidad de desacuerdos entre los agentes
crticos. El objetivo del proceso de negociacin no es tanto el consenso como
la comprensin.
17. El evaluador debe actuar como mediador y agente de cambio en estas
negociaciones, animando al seguimiento de las decisiones acordadas y
actuando como monitor que valora dicho seguimiento.
De esta manera, la evaluacin tiene un significado muy distinto del que haba
tenido en las tres generaciones anteriores. Guba y Lincoln distinguen ocho rasgos
distintivos de este nuevo enfoque, que se resumen de la siguiente manera:
1. La evaluacin es un proceso socio-poltico.
2. La evaluacin es un proceso de enseanza-aprendizaje.
3. La evaluacin es un proceso continuo, recurrente y divergente.
4. La evaluacin es un proceso que crea realidad.
5. La evaluacin es un proceso emergente.
6. La evaluacin es un proceso con resultados impredecibles.
____________________________________________________________________________________
103
____________________________________________________________________________________
7. La evaluacin es un proceso de colaboracin.

8. La agenda para la negociacin se manifiesta mejor en un formato de estudio de
caso, siendo descritas las cuestiones que requieren negociacin respecto a las
particularidades de ese caso.
Los autores, sin embargo, reconocen que la evaluacin de cuarta generacin tiene
algunas limitaciones. Estas son:
1. Falta de legitimacin del nuevo enfoque. Este es el anlisis que hacen los
autores a finales de los aos 80. Creemos que, hoy en da, una dcada ms
tarde, aunque el problema de la legitimidad de los enfoques participativos
sigue existiendo, su credibilidad ha ido y sigue aumentando de forma
paulatina y su aceptacin es cada vez mayor, si no de los enfoques
metodolgicos globales, s de algunas de las tcnicas que se proponen (CAD,
1997, citado en Ministerio de Asuntos Exteriores, 1998: 93-94).
2. Disfuncionalidad poltica. Si se toma en serio el aspecto de colaboracin, la
gente con poder tiene que estar dispuesta a delegarlo.
3. Disfuncionalidad humana: Para los autores de este enfoque, todas las
evaluaciones son disfuncionales para el desempeo humano, creando
ansiedades y miedos que son difciles de combatir. Cuanto ms intensas y
personales sean las experiencias, ms aumentar esta tendencia. Por eso, la
creacin de un clima de confianza es importante, pero ste lleva tiempo.
4. Los lmites del tiempo y el contexto: Esta evaluacin est ligada al momento y
al contexto determinado en el que se lleva a cabo. Son evaluaciones que no
son generalizables.
5. Incapacidad de un diseo especfico previo: En este enfoque, el diseo de
evaluacin es emergente, no puede tener una planificacin previa.
6. La naturaleza abierta del enfoque: Es muy difcil alcanzar un punto final; las
evaluaciones se acaban cuando se acaba el tiempo o el dinero. La contestacin
de una pregunta levantar unas cuantas preguntas ms.
G.b. La Evaluacin para el Empoderamiento

____________________________________________________________________________________
104
____________________________________________________________________________________
Como ya se ha comentado anteriormente, el catalizador y propulsor de esta

propuesta es David Fetterman, cuya conferencia presidencial y propuesta de tema
general para el encuentro anual de la Asociacin Americana de Evaluacin del ao
1993 trat de ese tema. A partir de ese ao, el enfoque se ha ido desarrollando y
tomando cuerpo y sus principios, premisas y experiencias se reflejan en la obra del ao
1996 (Fetterman, Kaftarian y Wandersman, 1996).
La evaluacin para el empoderamiento consiste en el uso de los conceptos,
tcnicas y hallazgos de la evaluacin para promover mejoras y autodeterminacin
(Fetterman, Kaftarian y Wandersman, 1996: 4). Este enfoque tiene un claro propsito:
ayudar a la gente a ayudarse a s mismos y a mejorar sus programas utilizado un
formato de autoevaluacin y reflexin. Los participantes en los programas dirigen sus
propios programas: un evaluador externo a menudo sirve como rbitro y facilitador
dependiendo de las capacidades internas del programa. Su lema podra ser el de mejor
que ofrecer el pescado, ofrece la caa y ensea a pescar. Desde luego, este es un
enfoque que da absoluta prioridad a los profesionales de base de los programas y
polticas, a lo que podramos llamar, en trminos de Lipsky, los burcratas a nivel de
calle cuya importante influencia en el proceso de elaboracin de las polticas pblicas
ha quedado demostrado.
En la evaluacin para el empoderamiento se propone emplear tanto metodologa
cuantitativa como cualitativa y aunque se pueda aplicar a individuos, organizaciones o
comunidades, su foco est en los programas. Requiere necesariamente una actividad de
grupo y de forma cooperativa, es decir, no es una actividad individual del evaluador.
Esto no quita que tenga que mantenerse el rigor del estudio ni que la objetividad sea
una preocupacin. Aunque se reconoce que la evaluacin no es nunca neutral y que es
un acto poltico en s mismo, se aduce que se contrarrestan posibles sesgos al estar la
evaluacin en manos de un grupo, que puede actuar como controlador de los posibles
sesgos individuales. Es, por lo tanto, un proceso democrtico y no tiene por qu ser
excluyente de una evaluacin externa. Aqu es importante el concepto de
empoderamiento y su significado. El empoderamiento no es algo que alguien otorga
sino algo que surge de las mismas personas. Aplicado a la evaluacin, el evaluador no
empodera a nadie sino que la gente se empodera a ella misma con ayuda y arbitraje.
Las facetas o fases de desarrollo de la evaluacin para el empoderamiento y que
forman parte integral del proceso de evaluacin son (Fetterman, Kaftarian y
Wandersman, 1996: 9 y ss.):
Formacin: se da formacin a los participantes y esto se utiliza para hacer
mapas del terreno, estableciendo las preocupaciones y categoras que se quieren
estudiar.
Facilitacin: como rbitros y facilitadores para que los otros realicen una
autoevaluacin. Esto consiste en una orientacin general y hacia el proceso de la
evaluacin. El evaluador puede asistir a las reuniones de trabajo, remover ciertos
obstculos, clarificar patrones de mala comunicacin, ayudar a crear equipos de
facilitacin, a trabajar con unidades reacias y dar ideas nuevas para trabajar con
unidades cansadas. Tambin puede ayudar a crear el diseo de evaluacin.
____________________________________________________________________________________
105
____________________________________________________________________________________
Cualquiera que sea su contribucin, el evaluador debe asegurar que la evaluacin

permanece en manos del personal del programa.
Apoyo- Defensa (Advocacy): se trata de ayudar a los grupos a empoderarse a
travs de la evaluacin y de defender el programa evaluado, trabajando incluso
con representantes polticos, escribiendo en la arena pblica para cambiar la
opinin pblica y ofreciendo informacin relevante en los momentos adecuados
del proceso de toma de decisiones. Muchas veces los evaluadores deben ser
defensores de grupos que no tienen control sobre sus vidas como por ejemplo, la
poblacin sin techo o los fracasados escolares. En un contexto de
empoderamiento, los evaluadores deben permitir a los participantes cambiar la
direccin de la evaluacin, sugerir soluciones ideales a sus problemas y,
entonces, tratar de conseguir el cambio social.
Iluminacin: se trata de ayudar a abrir los ojos e ilustrar con ejemplos, datos,
hechos e ideas sobre los roles, las estructuras y las dinmicas de los programas.
Se puede ayudar a conseguir datos que ilustren efectos o a identificar cules son
las fortalezas y planterselas como objetivos a trabajar. La experiencia de
iluminacin ofrece el mismo tipo de intoxicacin intelectual que cada uno de
nosotros ha experimentado cuando por primera vez nos topamos con una
pregunta de investigacin. El proceso crea una comunidad dinmica de
aprendices a medida en que la gente se engancha en el arte y la ciencia de
evaluarse a s mismos (Fetterman, Kaftarian y Wandersman, 1996: 16).
Liberacin: es el acto de verse liberado o liberarse a s mismo de roles y
limitaciones preexistentes. A menudo implica nuevas conceptualizaciones sobre
uno mismo y los otros. Este tipo de evaluacin permite a los participantes
encontrar nuevas oportunidades, ver los recursos ya existentes de otra manera y
redefinir sus identidades y sus papeles futuros.
Los pasos a dar en una evaluacin para el empoderamiento son los siguientes
(Fetterman, Kaftarian y Wandersman, 1996: 20)
1) Determinacin de donde se encuentra el programa, incluyendo fortalezas y
debilidades (normalmente se les pide a los participantes que clasifiquen el programa en
las dimensiones que se deciden importantes),
2) Establecimiento de objetivos y metas, determinando hacia dnde se quiere ir
en el futuro con un nfasis explcito en la mejora del programa,
3) Desarrollo de estrategias y ayuda a los participantes para que determinen sus
propias estrategias para cumplir los objetivos, y
4) Documentacin del programa: ayuda a los participantes del programa para que
determinen el tipo de informacin necesaria para documentar un progreso creble hacia
los objetivos.
G.c. La Evaluacin Pluralista

____________________________________________________________________________________
106
____________________________________________________________________________________
Para entender el modelo de la evaluacin pluralista propuesto por Monnier (19901991, 1995), es conveniente tener en cuenta su visin sobre la accin de los poderes
pblicos, las polticas pblicas innovadoras y las relaciones entre el Estado y la
sociedad civil.
Para Monnier, las polticas pblicas innovadoras requieren siempre de la
negociacin, ya que existen fuertes intereses polticos en torno a las mismas. A esto hay
que aadir, adems, la complejidad de las relaciones entre los poderes pblicos y la
sociedad civil. Para analizar esta realidad hay que superar los modelos jurdicos y
tcnico-econmico de accin de los poderes pblicos (que son precisamente, segn
Monnier, los dos modelos que dominan en la administracin francesa). Bajo un modelo
jurdico, y siguiendo el esquema weberiano, las organizaciones de naturaleza
burocrtica tienen su fuente de legitimidad en el marco jurdico instituido: as, la
administracin pblica ejecuta las leyes votadas en el Parlamento, elegido a su vez
democrticamente por la sociedad civil. Por lo tanto, bajo este modelo, como la
actuacin estatal se ajusta exclusivamente a derecho, se proscribe toda interaccin entre
la sociedad civil y el Estado. En el modelo tcnico-econmico la fuente de legitimidad
se basa en referencias cientfico-tcnicas. Este modelo presupone la existencia de
objetivos explcitos y compartidos y excluye cualquier dimensin que no sea tcnicoeconmica, es decir, por ejemplo, la evaluacin se declara apoltica.
Como dice Monnier, Los modelos precedentes pueden ser relativamente
adecuados a la hora de analizar polticas rutinarias, con un alto grado de formalizacin
(...) pero distan de resultar apropiados en el marco de las iniciativas para hallar
soluciones a un problema social nuevo, o para mejorar el modo de funcionamiento o de
organizacin del aparato estatal (Monnier, 1995: 105). Un tercer modelo, que llama
Modus Vivendi o negociado, explicara mejor la realidad. Segn este modelo, el
contexto sociopoltico es cambiante y la formulacin de las polticas es compleja y
ambigua. Los programas y las polticas innovadoras siempre van a concitar conflictos,
ya que hay diferentes intereses. Se tiene que dar, pues, un proceso de negociacin entre
los diferentes actores sociales que tienen intereses distintos y llegar a un compromiso.
En definitiva, las decisiones no se adoptan, sino que afloran de la interaccin entre
diferentes perspectivas, puntos de vista, argumentos, es decir, son productos de un
modus vivendi. A todas luces, gobernar equivale a gestionar la accin colectiva
(Monnier, 1995: 261).
Mientras que para el modelo jurdico la evaluacin correspondera al control de la
regularidad y en el tcnico-econmico se tiende a la medida estadstica, al modelo
negociado y modus vivendi le corresponde la evaluacin pluralista. Esta evaluacin
debe ser til socialmente y esta utilidad social de la evaluacin reside ms en la
credibilidad y la legitimidad del proceso de evaluacin por parte de los actores crticos
que en la metodologa y el rigor tcnico. Se trata ms de una legitimidad poltica que de
una cientfico-tcnica. El enfoque pluralista asocia, pues, los actores sociales con el
desarrollo de la evaluacin, para aumentar su credibilidad y legitimidad. Por lo tanto, la
evaluacin nunca es ajena a las relaciones de poder ni neutral, convirtindose en un
acto poltico en s mismo que permite la relacin entre el Estado y la sociedad civil.
____________________________________________________________________________________
107
____________________________________________________________________________________
Su propuesta pluralista consiste en que la evaluacin genere verdaderamente un

espacio para negociar (Monnier, 1995: 149). Esta construccin de la legitimidad
poltica de la evaluacin implica que, adems de un evaluador profesional, se debe
contar con una instancia de evaluacin, depositaria del mandato poltico. Esta instancia
que Monnier llama comit de pilotaje agrupa a los diferentes protagonistas del
programa o poltica a evaluar, selecciona el equipo evaluador y hace un seguimiento de
su trabajo. As, los comanditarios (los que encargan) la evaluacin no tienen mayor
poder que los dems miembros del comit, y adems pueden beneficiarse de la
reflexin colectiva.
El dispositivo de evaluacin debe cumplir, al menos, tres papeles:
a) Ser un instrumento de observacin que permita percibir mejor la realidad
b) Ser un instrumento de medida de los fenmenos sociales, y
c) Ser un espejo reflectante que ayude a los actores a tomar conciencia de sus
expectativas y a ajustarlas a la realidad (Monnier, 1995: 269).
Segn la situacin podr darse mayor o menor importancia a uno u otro
componente, pero ninguno de ellos puede soslayarse totalmente.
Finalmente, para Monnier, el marco de referencia de la evaluacin debe ser el
anlisis de polticas pblicas. El anlisis de polticas pblicas reconoce la complejidad
de los procesos y las dificultades inherentes a la accin pblica; desde esta perspectiva
tambin debe entenderse la evaluacin. De hecho, para el autor el tema de la
evaluacin est estrechamente ligado con el reconocimiento de la poltica como
modalidad de accin colectiva; es decir, con la identificacin de la accin pblica en
trminos de proceso (Monnier, 1995: 266). El tradicional enfoque por objetivos
representaba una visin centralizada y unitaria del poder; la visin pluralista declara
una dimensin necesariamente poltica de toda accin pblica, que implica una
multiplicidad de centros de poder, lo que obliga a la evaluacin a estar muy apegada al
terreno. El anlisis de polticas pblicas y, ms en concreto, la evaluacin, puede
permitir una mayor viabilidad y legitimacin de las ciencias sociales para estudiar las
polticas pblicas sobre el terreno y contribuir a su mejora.
____________________________________________________________________________________
108
____________________________________________________________________________________
2. TIPOS DE EVALUACIN
En la literatura especializada en teora y metodologa de la evaluacin abundan

las clasificaciones sobre diferentes tipos de evaluacin (Alvira, 1991; Chelimsky, 1989;
Stufflebeam y Shinkfield, 1987). De hecho, parece que la prctica de clasificar la
evaluacin en diferentes tipos es un ejercicio de definicin y aprehensin del propio
concepto de la evaluacin. En esta lnea, Scriven (Scriven, 1967), uno de los autores
ms prominentes en evaluacin y que viene originariamente del campo de la filosofa
de la ciencia, articula parte de su discurso inicial sobre la evaluacin alrededor de polos
duales (evaluacin formativa vs. sumativa, intrnseca vs. final, amateur vs.
profesional, etc.).
De todas las posibles clasificaciones, se exponen aqu las cuatro tipologas
bsicas que a nosotros nos parecen clave para distinguir la naturaleza de la evaluacin.
Estas cuatro tipologas se construyen a partir de cuatro dimensiones: el papel que
cumple la evaluacin, el contenido o aspecto de la poltica que se evala, el agente
evaluador y el momento en el que se evala. Las denominamos bsicas ya que son
aplicables simultneamente, es decir, cada evaluacin podra ser clasificada por todas y
cada una de estas cuatro clasificaciones. As, por ejemplo, la evaluacin del II Plan de
Igualdad de Oportunidades para las Mujeres (1993-1995) llevada a cabo por el Instituto
de la Mujer (IM a partir de ahora), es una evaluacin sumativa, de proceso y resultados,
mixta (tiene partes de evaluacin interna y partes de evaluacin externa) y ex post
facto. Pasamos a explicar cada una de estas cuatro clasificaciones.
2.1. Segn el papel que cumple la evaluacin
Cronbach (63) es el primero que aplica el trmino de evaluacin formativa a la

evaluacin de programas y a Scriven (67) se le debe la distincin entre evaluacin
formativa y evaluacin sumativa. Esta distincin se realiza segn el papel que cumple
la evaluacin, es decir, y como sus nombres indican, segn se quiera utilizar la
evaluacin para ir (con)formando el evaluando (programa, servicio o poltica evaluada)
-evaluacin formativa- o se quiera utilizar la evaluacin para hacer recapitulacin del
evaluando y realizar una valoracin global del mismo -evaluacin sumativa-. A Stake
se debe un smil que creemos ilustra muy bien la distincin entre evaluacin formativa
y sumativa. En un restaurante, la evaluacin formativa es la que realiza el cocinero
probando la sopa mientras est acabando su faena culinaria, con el fin de comprobar si
necesita rectificar aadiendo algn ingrediente. La evaluacin sumativa es la que
realizan los clientes del restaurante cuando les han servido la sopa en la mesa.
Esta tipologa de evaluacin formativa-sumativa surge inicialmente de la
evaluacin educativa aplicada a la evaluacin individual del alumno. La evaluacin
sumativa es la que hace una valoracin global recapitulando el desempeo del alumno,
a efectos de calificacin y clasificacin del mismo; la evaluacin formativa es la que
____________________________________________________________________________________
109
____________________________________________________________________________________
pretende que la propia evaluacin sea un instrumento docente que permite obtener
feedback en una doble direccin (profesor-alumno) y que gua el propio desempeo del
alumno9. La transferencia de esta idea a la evaluacin de programas y polticas provoca
esta tipologa bsica segn el papel que queramos cumpla la evaluacin.
La traduccin prctica de esta distincin se puede ilustrar con un ejemplo de una
evaluacin de un programa que lleve, en su ejecucin, el ritmo del curso acadmico. En
su versin formativa, los agentes evaluadores definiran las preguntas o criterios de
evaluacin en el mes de septiembre. Nada ms empezar la aplicacin del programa, se
comenzara a recopilar y a analizar informacin para contestar a dichas preguntas, se
valorara y, sobre la marcha se utilizara la informacin evaluativa para la modificacin
y ajuste del programa evaluado; dichas modificaciones generaran ms preguntas de
evaluacin que se intentaran contestar y as, sucesivamente. El resultado sera que el
programa evaluado se habra ido modificando y reforzando sobre la marcha como
consecuencia de la evaluacin formativa. En su versin sumativa, tambin el equipo
evaluador tendra definidas las preguntas o criterios de evaluacin y antes del comienzo
de la aplicacin del programa en septiembre habra decidido cules seran los puntos y
momentos en los que, a lo largo de la aplicacin del programa en el perodo
septiembre-junio, habra que recoger informacin. La informacin se recogera en
dichos momentos, pero se ira acumulando para hacer un anlisis y una valoracin
conjunta en el mes de junio. El resultado sera una evaluacin global del programa
durante el curso acadmico que permitira mejoras y modificaciones para ediciones
posteriores.
El papel que se le confiere a la evaluacin en cada tipo es, por lo tanto, distinto.
La evaluacin formativa se asocia ms a la funcin de mejora de la evaluacin, y la
sumativa, a la de rendimiento de cuentas. Aunque este paralelismo no es absolutamente
lineal. Tambin la evaluacin formativa puede cumplir una funcin de responsabilidad
y, por supuesto, una sumativa la de mejora (aunque no sea de aplicacin inmediata).
Algunos autores como Cronbach (Cronbach, 1963; Cronbach et al., 1980) han
defendido la evaluacin formativa por encima de la sumativa, haciendo hincapi,
precisamente, en la funcin de mejora de la evaluacin. Para Scriven, sin embargo, esta
postura no es realista; para l, toda decisin que no sea arbitraria descansa sobre una
evaluacin sumativa (y relacionada con cmo resolver problemas como la droga, el
control de crmenes, la ciruga, etc.). En definitiva, aunque se haga buena evaluacin
formativa (que suele resultar, adems, cara), nunca se debe dejar de hacer sumativa. De
hecho la tesis nmero diez de su obra Hard-Won Lessons in Program Evaluation seala
que La evaluacin formativa es atractiva, pero la evaluacin sumativa es un
imperativo (Scriven, 1993: 59).
Desgraciadamente, la prctica totalidad de la evaluacin que se aplica al alumnado en el actual sistema

universitario espaol, es de tipo sumativo. Adems de la propia cultura e inercia del sistema universitario,
existen al menos tres factores que, a nuestro juicio, contribuyen a la dificultad de aplicar una evaluacin
formativa del alumnado: el poco reconocimiento de la labor docente del profesorado universitario fuera
del aula (tanto de forma oficial como elemento cultural aprehendido por la comunidad universitaria), la
existencia de grupos grandes de alumnos y el sistema cuatrimestral de asignaturas.
____________________________________________________________________________________
110
____________________________________________________________________________________
2.2. Segn el contenido o aspecto de la poltica que se evala
La segunda clasificacin bsica se establece segn el aspecto o contenido del

programa o poltica que se evala. As, podemos distinguir entre la evaluacin del
diseo o conceptualizacin del programa o poltica, la evaluacin del proceso de
puesta en prctica de dicho programa o poltica y, finalmente, la evaluacin de
resultados10.
La evaluacin del diseo o conceptualizacin del programa estudia y valora
cmo est diseado o formulado un programa o poltica. Los aspectos que trata este
tipo de evaluacin tienen que ver con si el programa est bien fundamentado, si est
basado en un buen anlisis de la realidad, si las metas y objetivos estn bien
formulados, definidos, jerarquizados, especificados, si las acciones que se proponen
responden de forma lgica a los objetivos, si se prevn los recursos necesarios
(incluidos los humanos y su organizacin), si est explicitada una metodologa de
intervencin, si se han diseado y adecuados los mecanismos de informacin,
seguimiento y evaluacin, si es coherente el programa con la filosofa y objetivos de la
institucin o instituciones que lo formulan, ejecutan y evalan, etc. En realidad, este
tipo de evaluacin tiene que ver con lo que algunos autores (Weiss, 1998; Chen, 1990)
denominan la teora de programa, que consiste en todo lo relacionado con las
creencias subyacentes a una intervencin. Como se ha sealado en el punto 1.4. de este
captulo, referido a los diferentes enfoques, Weiss (1998) habla de la teora de
programa y de la teora de la implementacin11: ambas teoras equivaldran al
contenido de la evaluacin del diseo y la conceptualizacin de un programa o poltica.
Este tipo de evaluacin resulta clave en las polticas pblicas porque ofrece una
necesaria visin de la intervencin pblica y porque es, adems, el tipo de evaluacin
menos practicado.
La evaluacin del proceso de puesta en prctica (o si se quiere, tomando como
referencia el lenguaje ms utilizado en anlisis de polticas pblicas, de la
implementacin) se refiere a todos los aspectos relacionados con el funcionamiento y
ejecucin de una determinada poltica o programa. En trminos de Pressman y
Wildavsky, la implementacin (ejecucin, puesta en prctica) de una poltica es el
conjunto de acciones que transforma las intenciones en resultados observables o el
espacio intermedio del actuar entre el extremo de un concepto de poltica como
declaracin de intenciones anterior a toda accin- y el extremo del otro concepto de
10
Se podra incluir en esta clasificacin un primer tipo de evaluacin: la evaluacin de necesidades que
coincidira con la evaluacin del contexto del modelo CIPP de Stufflebeam (Stufflebeam y Shinkfield,
87). Aqu ha decidido descartarse por dos razones. Por un lado, para hacer una evaluacin de necesidades
o contexto no tiene por qu existir necesariamente una intervencin por lo que no se estara hablando
estrictamente de evaluacin de programas; por otro, el anlisis de la realidad o diagnstico de
necesidades puede llevar una lgica metodolgica muy distinta a las evaluaciones.
11
Como se explicaba en el punto 1.4., la teora del programa se refiere a los mecanismos que median
entre un programa y sus resultados y la teora de la implementacin tiene que ver con lo que se requiere
para traducir los objetivos en las operaciones de programa.
____________________________________________________________________________________
111
____________________________________________________________________________________
poltica como declaracin de resultados posterior a toda accin- (Aguilar,

1996d:44). Este tipo de evaluacin se centra en dicho espacio, es decir, en cmo una
poltica o programa se pone en prctica, cmo funciona en el terreno, cules son las
dificultades que encuentra en dicha ejecucin y si se est llevando a cabo tal y como se
tena previsto (incluido el grado de cumplimiento de las acciones previstas) y cul es el
grado de desviacin. Esto incluye lgicamente la valoracin de los recursos que se
utilizan para esta puesta en prctica, incluyendo los recursos humanos. Aqu debe
incluirse, pues, todo lo relacionado con el funcionamiento del equipo que lleva a cabo
el programa, las relaciones intergubernamentales e interinstitucionales que se
establecen para ello y los actores crticos y participantes que intervienen para la puesta
en prctica (facilitando o dificultando la misma). Tambin se tiene en cuenta si se est
llegando al grupo de destinatarios previsto y, en general los flujos de entrada, estancia y
salida de dichos destinatarios en el programa, as como si se cumple el calendario
previsto y cul es la anatoma del retraso (de nuevo en trminos de Pressman y
Wildavsky) y, en general, todo lo que tiene que ver con la dimensin temporal de la
ejecucin de un programa o poltica. Es evidente que este tipo de evaluacin es
necesario ya que siempre existe diferencia entre lo que est diseado y previsto y lo
que luego se pone en prctica. La explicacin y valoracin de esa puesta en prctica
ofrece claves ineludibles para la posterior interpretacin y evaluacin de los resultados.
Finalmente, adems del diseo y del proceso de puesta en prctica, se pueden
evaluar los resultados de un programa o poltica pblica. Aqu resulta interesante
distinguir entre productos (lo que produce o general un programa o poltica, lo que
correspondera al trmino de outputs) y los efectos (los efectos que tienen dichos
productos, tanto esperados como no esperados, lo que equivaldra al trmino
outcomes). Por ejemplo en un curso de formacin de postgrado, los productos seran las
horas de formacin (incluyendo su estructuracin, metodologa, etc., es decir, su
calidad docente), la documentacin y material entregado adems de la producida por
los alumnos, las relaciones que se establecen entre profesorado-alumnado y entre el
propio alumnado, etc. y los efectos seran el aprendizaje y capacitacin de los alumnos,
as como la aplicacin de los conocimientos aprendidos en los puestos de trabajo o la
entrada al mercado de trabajo, pasando por la utilizacin de las relaciones establecidas
para la realizacin de actividades profesionales conjuntas, etc. Entre los efectos, se
podra distinguir entre efectos directos (los efectos sobre el grupo de destinatarios
previstos) y efectos indirectos (los efectos que se producen en grupos ms amplios o
en la sociedad en general) . La evaluacin de estos efectos indirectos es a veces
denominada evaluacin del impacto de un programa o poltica. La distincin entre
productos y efectos es una distincin interesante para la evaluacin de polticas. Es
lgicamente ms fcil identificar y evaluar los productos de un programa que sus
efectos, que suele ser ms costoso. Sin embargo es imprescindible valorar la calidad de
los productos para poder tener una referencia sobre los efectos que han o no han
producido. Por otro lado, el hecho de evaluar los productos no exime necesariamente
del intento de medicin y valoracin de los efectos (sta es la tendencia que ha habido
en educacin ocupacional no formal y de postgrado en Espaa, en la que se ha
desarrollado una buena metodologa de evaluacin del producto formativo, pero en
mucha menor medida, la evaluacin de los efectos). Adems, la dificultad de la
evaluacin de los efectos de un programa o poltica estriba en la identificacin de sus
efectos netos (los efectos achacables al programa o poltica y no a otros factores). Sin
embargo, la evaluacin exclusiva de los efectos de un programa (sin que ofrezca
____________________________________________________________________________________
112
____________________________________________________________________________________
informacin sobre los productos que los han generado, los procesos de puesta en
prctica y el diseo y teora subyacente a dicho programa) suele ofrecer una visin
parcial que es, adems poco til para la mejora de los programas y el rendimiento de
cuentas y para la explicacin de las razones de que se hayan dado o no una serie de
efectos.
2.3. Segn el agente que evala
Segn el agente que evala, se puede distinguir entre evaluacin interna y

evaluacin externa. La evaluacin externa es la que se realiza por parte de alguien que
no tiene que ver ni con la financiacin, ni con la formulacin ni con la ejecucin del
programa o poltica que se evala. Por lo tanto, la evaluacin interna es la que se hace
por parte de una institucin, unidad de evaluacin, equipo o agente que ha participado o
participa en el programa o poltica en alguno o ms de los aspectos antes mencionados
(financiacin, formulacin y ejecucin). Se pueden dar tambin procesos mixtos que
consisten en dividir el proceso de evaluacin y realizar alguna parte de forma interna y
otra externa (por ejemplo, disear la evaluacin internamente y ejecutarla externamente
o, por el contrario, contar con asesores externos para el diseo del estudio de
evaluacin y posteriormente ejecutarlo internamente).
Entre las ventajas de la evaluacin interna se encuentran un mejor conocimiento
del programa o poltica a evaluar y su contexto, un menor coste (al menos en costes
directos), una mayor probabilidad de implicacin de la comunidad de programa en los
procesos de evaluacin y una mayor probabilidad de utilizacin de la evaluacin por
parte de profesionales y agentes crticos por haber sido protagonistas de la misma. Por
el contrario, los procesos de evaluacin externa gozan normalmente de una mayor
credibilidad externa y de una mayor probabilidad de ser objetivos (en el sentido de
ausencia de sesgos, por el hecho de que el agente evaluador se sita externamente y
puede situarse desde todas las diferentes perspectivas de los distintos grupos y personas
implicadas en el programa evaluado), una mayor probabilidad de cumplimiento del
calendario (las evaluaciones externas siempre se terminan, las internas tienen mayor
probabilidad de retraso y de no conclusin) y una mayor posibilidad de realizar
procesos de evaluacin tcnicamente sofisticados y que requieran de una
especializacin concreta.
Sin embargo, estas ventajas y desventajas de un tipo y otro de evaluacin son
siempre relativas: un buen evaluador externo debe conocer profundamente el programa
a evaluar y su contexto, los procesos de evaluacin interna pueden ser tremendamente
costosos si se miden los costes indirectos de los mismos, los evaluadores internos
deben tambin procurar la ausencia de sesgos y los enfoques participativos, en los que
profesionales e agentes crticos son protagonistas, no slo pueden sino que, en muchos
casos, conviene que estn dirigidos por un equipo externo. Por ltimo, el cumplimiento
del calendario previsto es una cuestin esencial en cualquier proceso de evaluacin, ya
sea interno o externo. La eleccin de una evaluacin interna o externa depende, pues,
de la situacin evaluativa concreta, de los recursos disponibles y de la finalidad de la
evaluacin y la utilizacin posterior que vaya a drsele.
____________________________________________________________________________________
113
____________________________________________________________________________________
Finalmente, se quiere sealar dos cuestiones respecto a esta tipologa. En primer

lugar, en el proceso de las polticas pblicas debe existir siempre un nivel de
evaluacin interna que no debe obviarse por la eventual existencia de evaluaciones
externas. Es decir, el hecho de que exista la posibilidad de realizar una evaluacin
externa no elude las responsabilidades de evaluacin interna de la gestin pblica.
Aunque lgicamente hay que procurar que no existan solapamientos entre ambos
procesos, normalmente suelen darse en niveles distintos (es posible que la evaluacin
externa se centre en aspectos ms globales y la interna ms en los procesos internos de
gestin, por ejemplo). En segundo lugar, la realizacin de buenos procesos de
evaluacin externa es una excelente manera de ir introduciendo una cultura evaluativa
en las organizaciones que, posteriormente, pueden evaluar internamente de forma
normalizada.
2.4. Segn el momento en el que se evala
La ltima clasificacin se refiere al momento en el que se realiza la evaluacin y,

en su versin ms simple, consta de dos grandes categoras: la evaluacin ex ante (la
que se realiza antes de que el programa o poltica evaluada se ponga en marcha) y la
evaluacin ex post facto (la que se realiza durante o despus de que el programa o
poltica evaluada se haya puesto en marcha). Se considera evaluacin ex ante, adems
de a la evaluacin que se pueda realizar antes de que un programa se ponga en marcha
en sentido estricto (en este caso, se tratara lgicamente de una evaluacin del diseo y
conceptualizacin del programa, sobre el papel), a la evaluacin de las experiencias
piloto. Este es un tipo de evaluacin que se ha practicado bastante en algunos
organismos internacionales: antes de generalizar un programa nuevo de grandes
dimensiones, se hace una experiencia piloto en uno o varios lugares determinados. La
evaluacin de dicha experiencia piloto (a la que, adems, se le dedica una gran cantidad
de esfuerzo y recursos) se la considera evaluacin ex ante. La evaluacin ex post facto
es cualquier evaluacin que se realiza durante o una vez el programa se ha ejecutado (a
veces, se distingue entre estas dos posibilidades: in via o evaluacin durante y ex post
facto o evaluacin despus). En los pases en los que existe poca cultura y poca
prctica de evaluacin, como el nuestro, la prctica totalidad de evaluaciones que se
realizan suelen ser ex post facto. De hecho, muchas evaluaciones no se prevn con la
suficiente antelacin (tenindolas previstas al inicio del programa o plan a evaluar, an
cuando sea una evaluacin de tipo sumativo), plantendose su diseo y ejecucin en las
fases finales del programa a evaluar, limitndose as las posibilidades de recopilacin
sistemtica de informacin y, por lo tanto, de la evaluacin en general.
____________________________________________________________________________________
114
____________________________________________________________________________________
TABLA 2.4. TIPOS DE EVALUACION

Clasificacin segn las cuatro tipologas bsicas
SEGUN EL PAPEL DE LA EVALUACION
Formativa: Se hace con la intencin de mejorar sobre la marcha el diseo y la ejecucin del
programa a evaluar.
Sumativa: Se hace una recapitulacin del programa durante un periodo de tiempo
determinado para ofrecer una valoracin global y final del mismo.
SEGUN EL CONTENIDO O FASE DEL PROGRAMA

Evaluacin de Diseo: Analiza y valora el diseo y conceptualizacin del programa.
Evaluacin de Proceso: Analiza y valora el proceso de puesta en prctica del programa, es
decir, cmo se ejecuta, pone en prctica y funciona.
Evaluacin de Resultados:
De outputs o productos: Analiza y valora la calidad de lo que produce un programa
(actuaciones, actividades, materiales, etc.).
De outcomes o efectos: Analiza y valora los efectos que son producidos por los
outputs del programa.
SEGUN EL MOMENTO DE LA EVALUACION

Ex-ante: Se realiza antes de que el programa se ponga en marcha.
Ex-postfacto: Se realiza durante o una vez el programa ya se ha ejecutado.
SEGUN EL AGENTE EVALUADOR

Interna: Se lleva a cabo por parte de los responsables o profesionales del programa o por
una unidad interna de la entidad que financia, planifica y/o ejecuta el programa, siendo en
realidad una (auto)evaluacin.
Externa: Se realiza por parte de alguien ajeno al programa, y que no tiene nada que ver ni
con su financiacin, ni con su planificacin ni con su ejecucin.
Fuente: elaboracin propia
____________________________________________________________________________________
115
____________________________________________________________________________________
2.5. Otros tipos de evaluacin
Adems de las cuatro clasificaciones bsicas (por las que cualquier evaluacin
puede ser clasificada), se quiere sealar aqu otros dos tipos especficos de evaluacin y
que tienen que ver con los propios procesos evaluativos: la evaluacin de la
evaluabilidad y la metaevaluacin.
La evaluacin de la evaluabilidad, como su propio nombre indica, consiste en
valorar si un programa, poltica o intervencin es evaluable. Este tipo de evaluacin
se realiza, lgicamente, antes de realizar una evaluacin y sirve precisamente para
determinar la viabilidad y utilidad de realizarla. Tradicionalmente los criterios de la
evaluabilidad de un programa o poltica eran, sobre todo, de carcter tcnico: sobre
todo se han centrado en si los objetivos estaban claramente definidos, especificado y
eran medibles. Este concepto de evaluabilidad era, en nuestro parecer, muy limitado y,
en cierto modo ingenuo. De hecho, si se tuviera que renunciar a hacer evaluaciones
porque el programa o poltica a evaluar tiene unos objetivos ambiguos, poco claros o
contradictorios, probablemente se haran muy pocas evaluaciones. La superacin de
esta ingenuidad y, sobre todo, la experiencia prctica de hacer evaluaciones, llevan a
cuestionar los criterios exclusivamente tcnicos de evaluabilidad. As, Chelimsky, en
un reciente artculo en el expone sus reflexiones a partir de su experiencia al frente del
departamento de evaluacin de la GAO (General Accounting Office) estadounidense
(Chelimsky, 1998), propone una serie de criterios para decidir hacer o no hacer
evaluaciones (es decir, criterios de evaluabilidad) que tienen un carcter ms contextual
y poltico que los criterios tradicionales de evaluabilidad (tabla 2.5.). Es ms,
precisamente el criterio de tener unos objetivos no medibles no debe ser, segn
Chelimsky, razn para rechazar una evaluacin.
____________________________________________________________________________________
116
____________________________________________________________________________________
Tabla 2.5
CRITERIOS DE EVALUABILIDAD
Adaptado de Chelimsky, E. 1998. "The Role of Experience in Formulating Theories of
Evaluation Practice" en American Journal of Evaluation, vol.19, n 1, pp.35-55.
RAZONES PARA NO RECHAZAR UNA EVALUACION

1.
2.
3.
4.
Aunque el tema sea polmico

Aunque los objetivos del programa o poltica no sean medibles
Aunque se requieran expertos especficos para la evaluacin
Aunque el uso de la evaluacin pueda ser impedido por los
defensores del programa u otros agentes
RAZONES PARA SI RECHAZAR UNA EVALUACION
1. Si no se va poder realizar de una forma convincente por una

limitacin razonable de recursos econmicos.
2. Si hay poca o ninguna base de conocimiento sobre la que
construir y el tema es nuevo para el equipo.
3. Si no se pueden recopilar datos originales y no hay datos ya
existentes disponibles.
4. Si no puede ser terminada a tiempo para que resulte til.
5. Si no va a aadir nada nuevo, ni para el programa ni para la
prctica de la evaluacin.
6. Si no hay una posicin o postura respecto a la poltica o programa
sobre la que ejecutar las recomendaciones potenciales.
7. Si el inters pblico no puede contrarrestar el resto de las
consideraciones anteriores.
8. Si las preguntas propuestas fueran demasiado numerosas, amplias,
triviales, sesgadas y no pudieran ser modificadas.
La metaevaluacin es la evaluacin de la evaluacin, es decir, consiste en la

valoracin de uno o varios procesos de evaluacin. No hay que confundirla con la
sntesis de evaluaciones, la cual consiste en sintetizar los resultados de varias
evaluaciones, aunque en algunas tipologas (Chelimsky, 1989) equiparan los dos
significados. En el caso de la metaevaluacin se valoran los procesos completos de
evaluacin, no slo los resultados que arrojan dichas evaluaciones. El concepto de
metaevaluacin se desarrolla con mayor profundidad en el captulo tres, ya que este
tipo de evaluacin es la base sobre la que se asienta la investigacin que se presenta en
esta tesis doctoral.
2.6. Otras clasificaciones

____________________________________________________________________________________
117
____________________________________________________________________________________
Ya se ha comentado que algunos autores han elaborado sus propias tipologas de

evaluacin que a veces slo se diferencian en cuestiones de matiz. Normalmente estas
tipologas se basan inicialmente en el criterio de las fases de una poltica o programa
aunque suelen incluir dentro de una misma clasificacin algn otro criterio.
Por ejemplo, Ballart (1992) distingue entre evaluacin del diseo o
conceptualizacin, de la implementacin, de la eficacia o impacto y de la eficiencia. En
realidad, en el concepto de eficacia (grado en que se cumplen los objetivos) se podran
incluir cuestiones de proceso de puesta en prctica (se est llevando a cabo el
programa como se pretenda? se han puesto en marcha las actividades previstas?)
como de resultados (se han obtenido los resultados esperados?). Ocurrira lo mismo
con el concepto de eficiencia (referido a una buena utilizacin de los recursos),
preguntndose sobre la adecuada utilizacin de los recursos tanto en el proceso de
puesta en prctica como en lo referente a los resultados y efectos conseguidos.
Alvira (1991) realiza una clasificacin con nueve tipos de evaluacin: de
necesidades, de diseo y conceptualizacin, de la evaluabilidad, de la implementacin,
de la cobertura, monitorizacin y seguimiento del programa, de resultados (efectos
sobre los destinatarios), de impacto (efectos sobre la comunidad en general) y,
finalmente, la evaluacin econmica. La cobertura es un aspecto que tambin puede
plantearse al menos, en las fases de proceso y resultados. El seguimiento de un
programa o poltica, si se hace desde un punto de vista evaluativo, formara parte de la
evaluacin del proceso; adems, se puede seguir y monitorizar un programa sin que eso
implique que se d una evaluacin. Por ltimo, la evaluacin econmica puede ser un
aspecto a tratar tanto en una evaluacin de diseo, como en una de proceso o de
resultados.
De alguna forma similar a la clasificacin de Alvira, se encuentra una de las
clasificaciones ms extendidas y probablemente ms utilizadas en el mbito de las
polticas pblicas (Chelimsky, 1989, Caudle, 1989, Anderson y Ball, 1987). Esta
clasificacin fue realizada por la Evaluation Research Society (Evaluation Research
Society Standards Committee, 1982), y en ella se identifican 6 tipos de aproximaciones
a la evaluacin de programas. Esta clasificacin se realiza basndose en las prcticas de
evaluacin, principalmente en los EE.UU.12 y se basa tambin en los criterios de las
diferentes fases o aspectos que se evalan, el momento en el que se realizan, la
principal finalidad que cumplen y el tipo de decisiones al que asisten (cuestiones sobre
la formulacin o para la ejecucin de polticas o para el rendimiento de cuentas). Lo
interesante de esta clasificacin es que los seis tipos de evaluacin constituyen el
repertorio cotidiano de la evaluacin de programas. Por supuesto estn lejos de ser las
nicas aproximaciones, pero s sera justo decir que representan un amplio acuerdo en
el campo en los que se refiere a la prctica comn en evaluacin de programas, y que
12
La Evaluation Research Society, junto con el Evaluation Network se reconvierte en el ao 1986 en la

AEA (American Evaluation Assotiation). En la asociacin actual, aunque se declara internacional y hay
asociados no norteamericanos y grupos de trabajo sobre temas internacionales y multiculturales, esto no
deja de ser una nota meramente extica. Al igual que la organizacin antecesora, su principal actividad
cientfica, acadmica y profesional se desarrolla en EE.UU.
____________________________________________________________________________________
118
____________________________________________________________________________________
son relevantes, en diversos grados, para las necesidades de los administradores

pblicos (Chelimsky, 1989: 269). Estos seis tipos son los siguientes:
Anlisis previo (Front-end analysis): Este tipo de evaluacin se suele hacer
antes de la toma de decisiones sobre un nuevo programa o poltica. Tiene, pues, una
orientacin prospectiva y trata de estimar la viabilidad y los posibles efectos de los
programas o polticas a evaluar. Considera la evaluacin de necesidades y de costes
y la capacidad operativa del programa o poltica y de la(s) agencia(s) protagonista(s)
en su implantacin. Para Chelimsky, este tipo de anlisis intentan resolver
cuestiones relacionadas con la formulacin de las polticas. Sera equivalente, en
parte, a una evaluacin ex ante.
Evaluacin de la evaluabilidad: En esta clasificacin a este tipo de
evaluacin, adems de darle la finalidad de comprobacin de factibilidad y utilidad
de procesos de evaluacin posteriores, se le ha dado el sentido de valoracin sobre si
las premisas y teora del programa son congruentes con los objetivos y si es probable
que las actividades cumplan dichos objetivos (lo que equivaldra a una evaluacin
del diseo) y tambin a la descripcin de las caractersticas reales del programa
ejecutado y comparacin con los objetivos (lo que equivaldra a la evaluacin del
proceso de puesta en prctica).
Evaluacin del proceso: Para Chelimsky esta es una forma de evaluacin que
o bien se puede hacer sola o en combinacin con otro tipo. Su finalidad es describir
y analizar los procesos de las actividades en ejecucin del programa, con la idea de
mejorarlas. Para la autora, esta evaluacin contesta sobre todo preguntas sobre la
ejecucin de la poltica pero ayuda tambin a las evaluaciones de efectividad a
contestar preguntas relacionadas con el rendimiento de cuentas y a explicar los
resultados de las mismas.
Evaluacin de efectividad o impacto: Tambin es retrospectiva, como la
anterior y trata de averiguar si los cambios observados son resultado del programa o
de otros factores. Se trata de contestar preguntas relacionadas, sobre todo, con el
rendimiento de cuentas, aunque para la autora, este tipo de evaluacin tambin es
necesario para preguntarse sobre la formulacin y la ejecucin del programa.
Seguimiento o monitorizacin del programa o del problema: En esta
clasificacin se categoriza de igual manera el seguimiento de un programa o
intervencin (ir comprobando si se est llevando a cabo tal y como estaba previsto y
corregir las desviaciones) con el seguimiento del problema (comprobacin peridica
del problema que dio origen a la intervencin), que son dos cosas muy diferentes. El
primero requiere un seguimiento relacionado con la gestin cotidiana del programa y
el segundo, una recopilacin, procesamiento y anlisis peridico de informacin que
requiere, ms bien, una infraestructura de investigacin (a modo de observatorio).
Este tipo de evaluacin es continuo. Para Chelimsky este tipo de evaluacin puede
contestar bien preguntas respecto a la formulacin, bien a la ejecucin de las
polticas, aunque dice que tambin los sistemas de informacin que se generen para
el seguimiento de un programa pueden ser utilizados para contestar preguntas
relacionadas con el rendimiento de cuentas siempre que se haga un anlisis de series
temporales. En nuestra opinin, los sistemas de informacin y seguimiento, aunque
____________________________________________________________________________________
119
____________________________________________________________________________________
son una condicin inmejorable y en muchos casos necesaria para la evaluacin, no

implican necesariamente la realizacin de un proceso evaluativo, menos an la
aplicacin de un anlisis de series temporales (que implicara, a su vez, todo un
diseo de evaluacin previo en el que una parte fuera la aplicacin de dicha tcnica).
Metaevaluacin o sntesis de evaluaciones: En esta clasificacin se habla de
forma indistinta de estos dos tipos de evaluacin y se le otorga el significado de
sntesis de evaluaciones, es decir, una forma de evaluacin que reanaliza los
resultados de una o varias evaluaciones para determinar que es lo que se ha
aprendido sobre una poltica o programa.
Finalmente, para Chelimsky, si se tienen cuenta las cinco funciones bsicas de
la actividad de la administracin pblica:
1.
2.
3.
4.
5.
Planificar y racionalizar un programa y su evaluacin

Ejecutar y gestionar un programa
Justificar la efectividad de la ejecucin y gestin de un programa
Demostrar la efectividad de un programa
Medir la evolucin de un problema o un programa
Y si se cruzan con los seis tipos de evaluacin, se obtiene que el Anlisis

Previo sirve para las funciones 1. Y 5. La evaluacin de la evaluabilidad para el 2.
(desde nuestro punto de vista, tambin y sobre todo para la 1.), la evaluacin del
proceso para la 2. Y la 3., la evaluacin de impacto para la 3., la 4. Y la 5., el
seguimiento para las cinco funciones y la sntesis de evaluaciones para la 1., la 3. Y
la 4.
Estos tipos de evaluacin no se practican en la misma medida, realizndose
mayores esfuerzos en las evaluaciones de proceso y de resultados. Tambin para
Chelimsky, aunque el anlisis previo, la monitorizacin y la metaevaluacin son
herramientas potentes, sobre todo, para la formulacin de polticas, no se llevan a
cabo muchas evaluaciones de este tipo en la rama ejecutiva (Chelimsky, 1989: 271).
____________________________________________________________________________________
120
____________________________________________________________________________________
3. LOS ACTORES DE LA EVALUACIN
Una de las caractersticas de los contextos evaluativos es la presencia de

diferentes personas y colectivos que tienen algo que ver con el programa o poltica que
se pretende evaluar. Aunque el cliente o comanditario de la evaluacin, es decir, quien
encarga la evaluacin y decide que hay que realizarla porque tiene unas determinadas
necesidades de informacin, sea slo uno, los destinatarios de la evaluacin, es decir a
quin va dirigida y quines son los posibles usuarios de la evaluacin, son muchos ms.
Esta realidad significa que existe un elenco amplio de potenciales agentes crticos en la
evaluacin.
Estas personas implicadas en el programa o poltica a evaluar reciben el nombre
de stakeholder, trmino de difcil traduccin al castellano y que vendra a ser algo as
como "el que tiene algo que decir o tiene algn inters en". Segn el Joint Committee la
definicin de stakeholder en evaluacin sera "los individuos o grupos que pueden
estar implicados en o afectados por una evaluacin" (Joint Committee, 1994) y para
Greene seran los grupos de gente que pueden verse afectados por el programa y
aquellos cuyas decisiones pueden afectar el futuro del mismo (Greene, 1988). Aunque
sera ms correcto traducirlos como implicados en y afectados por la evaluacin, por
razones de economa lingstica traducimos stakeholders como agentes crticos de los
programas a evaluar y, por lo tanto, de su evaluacin.
Todos los agentes crticos en un programa, por el hecho de serlo, seran
susceptibles de tener inters en su evaluacin y, por lo tanto, ser destinatarios y
posibles usuarios de los procesos evaluativos. Quines son o pueden ser estos agentes
crticos? Se podran establecer cuatro grandes categoras:
-
Patrocinadores, formuladores de polticas y responsables polticos
Directores de los programas, gestores pblicos y profesionales en general
Destinatarios directos e indirectos (por ejemplo, padres de nios en

programas educativos), usuarios potenciales del servicio, programa o poltica
evaluada y el pblico o comunidad en general
Otros: profesionales y responsables polticos de programas similares, expertos

del sector o poltica que se evala, cientficos sociales en general.
Guba y Lincoln (1989) van ms all y hacen una definicin curiosa y amplia de
los posibles agentes crticos o stakeholders de un programa y que, por lo tanto, tendran
algn inters en su evaluacin. Distinguen entre agentes, beneficiarios y vctimas de
los programas o polticas (el evaluando). En la tabla siguiente (tabla 2.6) se expone su
listado.
____________________________________________________________________________________
121
____________________________________________________________________________________
Tabla 2.6. Listado de Agentes Crticos (Stakeholders)

segn Guba y Lincoln
Guba y Lincoln (1989)
Fourth Generation Evaluation
Listado de posibles agentes crticos (stakeholders). Los autores distinguen 3 tipos con sus
diferentes subtipos:
1. Los agentes que son aquellas personas involucradas en la produccin, uso y puesta en
prctica del programa o poltica a evaluar (el evaluando). Incluyen:
- los que formulan el evaluando
- los que financian, en los niveles local, regional y nacional
- los asesores de necesidades locales, es decir quienes identifican la
necesidad que el evaluando va a intentar mitigar o remover
- los que toman las decisiones y deciden utilizar o desarrollar el evaluando
de forma local
- los proveedores de materiales, instrumental e instalaciones necesarias
- el cliente de la evaluacin (el que contrata)
- el personal que ejecuta el evaluando, como por ejemplo, los profesores,
los oficiales de polica, las enfermeras, etc. (profesionales en general)
2. Los beneficiarios que se benefician de alguna manera del uso del evaluando. Incluyen:
- los beneficiarios directos, el grupo diana, las personas para las que fue
diseado el evaluando
- los beneficiarios indirectos, las personas cuya relacin con los
beneficiarios directos se ve mediatizada, facilitada, fomentada o
positivamente influida
- las personas que ganan algo por el hecho de que el evaluando est en
uso, como por ejemplo, las editoriales de materiales o textos, las empresas
proveedoras de servicios, etc.
3. Las vctimas, personas o grupos afectados negativamente por el uso del evaluando (y
que pueden incluir, debido a los fallos del evaluando, uno o ms grupos supuestamente
beneficiarios). Incluyen:
- los grupos sistemticamente excluidos del uso del evaluando, como por
ejemplo, los jvenes normales excluidos de los programas para los
superdotados
- los grupos que sufren efectos colaterales negativos, como por ejemplo, los
estudiantes, y sus padres, que son trasladados a un colegio distante de
forma que los alumnos con necesidades especiales ocupan sus puestos en
el colegio cercano
- las personas que se ven en desventaja poltica, como prdidas de poder,
influencia o prestigio por el uso del evaluando
- las personas que sufren costes de oportunidad, como por ejemplo
personas que hubieran preferido dedicar ese dinero a otras cuestiones o,
por ejemplo, editoriales rivales.
En cualquier caso, la eleccin de unos u otros agentes crticos como destinatarios

principales de la evaluacin depende del enfoque que se adopte. Para Greene (1997:
25-26) los enfoques experimentales en la tradicin de Campbell tratan de contestar
____________________________________________________________________________________
122
____________________________________________________________________________________
preguntas sobre resultados, responsabilidad y coste-beneficio para los formuladores de

las polticas; el enfoque orientado a la utilizacin de Patton trata de contestar a
preguntas de usuarios comprometidos e identificados de la evaluacin que
normalmente suelen ser los gestores de programas y sus asesores. La evaluacin
sensible y centrada en el cliente de Stake pretende contestar a los agentes crticos ms
cercanos al programa evaluado, normalmente los propios directores de programas y sus
profesionales. El enfoque orientado a los consumidores de Scriven trata de cubrir las
necesidades de los consumidores de programas y servicios, etc. Es decir, de pendiendo
de la orientacin, se va a hacer especial nfasis en un tipo de actores u otros.
En cualquier caso y, sin necesidad de ser tan exhaustivos como Guba y Lincoln,
se cree conveniente insistir en la pluralidad de actores potenciales de un proceso de
evaluacin y en su necesaria participacin e inclusin en el mismo, dependiendo de la
situacin evaluativa concreta. Este reconocimiento de la pluralidad de actores ha ido
paralelo al auge de los enfoques participativos en evaluacin. La fundamentacin de
estos enfoques se basa, como ya se ha visto, por un lado, en otorgar una mayor
legitimidad al proceso evaluador y, por otro, en aumentar la utilidad del mismo. Lo que
s parece evidente es que a mayor participacin de diferentes actores en la evaluacin,
mayor probabilidad de uso de la misma. Para Ballart (1993: 203), la implicacin de los
principales actores, incluyendo entre stos a los mismos beneficiarios de la poltica y a
los que tengan algn inters en al misma es condicin para un cierto pluralismo y
adems tambin para la integracin de todas las informaciones, interpretaciones y
juicios pronunciados en el marco del proceso evaluador.
Eso s, tampoco hay que ser ingenuos y pensar que todos los agentes crticos van
a a estar deseando participar abiertamente y sin problemas en los procesos de
evaluacin, en los que, lgicamente, cada persona o colectivo va a tener sus propios
intereses y en los que es inevitable que surjan conflictos. Si se reconoce el ambiente y
contexto poltico de cualquier situacin evaluativa, tambin significa aceptar que no
siempre estos actores crticos (stakeholders) van a querer negociar amablemente con
los evaluadores (Chelimsky, 1998, 44-45). Para esta autora los evaluadores deben
predecir los posibles ataques de aquellos para estar preparados a una respuesta valiente
y adecuada.
____________________________________________________________________________________
123
____________________________________________________________________________________
4. EL PAPEL DEL EVALUADOR
Lgicamente, uno de los principales actores de los procesos evaluativos son los
propios evaluadores. Dependiendo de la orientacin y el tipo de evaluacin a realizar,
su papel puede variar sustancialmente. Weiss (1998: 34) menciona tres tipos de
posibilidades para encargar una evaluacin, basndose en la experiencia
estadounidense:
1. Evaluador en el staff u organigrama: dentro de una organizacin hay alguien
dedicado (en exclusiva o no) a realizar evaluaciones. Puede ser una persona o
un equipo, habiendo instituciones que tiene una propia unidad de evaluacin,
dependiendo de las dimensiones de los programas o polticas a evaluar.
Normalmente son, por lo tanto, evaluadores internos, pero tambin puede
ocurrir que una organizacin contrate a un evaluador como extensin de su
propio staff.
2. Organizaciones externas especializadas en estudios de evaluacin: en este
caso se contrata a una organizacin externa, que pueden incluir consultoras,
institutos de investigacin e incluso, departamentos de universidad. En el
caso de pases con poca tradicin y cultura de evaluacin, como es Espaa, en
muchos casos ocurre que las organizaciones o equipos contratados estn ms
especializados en el sector al que pertenece el programa o poltica a evaluar
que en evaluacin.
3. Peticin de proyectos de evaluacin (requests for proposals). Esta en realidad
es una leve variacin de la anterior ya que en Estados Unidos, los programas
gubernamentales no permiten la eleccin de una organizacin sin que exista
competicin13; es decir, se dan concursos en una supuesta igualdad de
condiciones. De manera paralela ocurre en Espaa si el que contrata es una
administracin pblica y el contrato pasa de una determinada cantidad.
En cualquier caso, el evaluador trabaja en contextos en los que hay tambin
mucha otra gente, como se ha visto en el punto anterior y, dependiendo, de la situacin,
orientacin y tipo de evaluacin, puede interactuar con dichos actores de forma
diferenciada. Para Weiss (1998: 97 y ss.) caben dos posibilidades que se podran situar
en los extremos de un continuo:
a. El evaluador distanciado o despegado: este es el papel que se le ha otorgado
tradicionalmente al evaluador. Aqu el evaluador procura situarse por encima
13
Adems de los contratos, en los que la institucin pblica contratante establece los parmetros del
estudio (lo que sera el equivalente al pliego de condiciones tcnicas en Espaa) y selecciona al equipo
basndose en esos parmetros, y que es el procedimiento ms comn, tambin existe en Estados Unidos
la posibilidad de becas o proyectos de investigacin (grants) que se dan a investigadores o evaluadores
que son los que inician y manejan su propio estudio. Algunos estudios de evaluacin se producen bajo
esta segunda modalidad.
____________________________________________________________________________________
124
____________________________________________________________________________________
de la situacin y mantener la mxima autonoma y objetividad posible. Este

evaluador busca los hechos y pone toda su confianza en la metodologa.
b. El evaluador comprometido o apegado: el evaluador trata de responder de
forma sensible e interactiva a las preocupaciones e intereses de los grupos de
agentes crticos. En este caso, el evaluador interacta de forma cotidiana
durante el proceso de evaluacin, emplea un tiempo considerable en el lugar
en el que se ejecuta el programa a evaluar y se implica con el grupo de
profesionales.
El segundo tipo de papel se ha reforzado mucho con los ltimos enfoques en
evaluacin y a raz del fracaso de muchas experiencias de evaluacin que defendan a
ultranza un papel absolutamente distanciado para el evaluador en aras de la objetividad.
Por un lado, con un papel distanciado resulta mucho ms difcil para el evaluador
captar la realidad y las preocupaciones de las personas implicadas en un programa. Por
otro, resulta mucho ms difcil para un grupo de profesionales aceptar a alguien que
sita por encima, emitiendo juicios sobre una realidad que, en muchos casos, se
siente no se conoce realmente; realmente, en estas situaciones los desequilibrios de
poder del evaluador respecto a la gente del programa pueden llegar a ser percibidos
como grandes. Por otro lado, la propuesta de evaluadores ms comprometidos ha hecho
que se puedan superar algunas visiones estrechas de los programas y polticas y
pblicas y se pueda mostrar las diferentes percepciones que existen en torno a las
mismas. Tambin ha sido una manera de aumentar el uso de las evaluaciones y
otorgarle legitimidad a las mismas en la comunidad de programa (aunque esto haya
supuesto restarle credibilidad cientfica, al menos en los primeros aos de propuesta).
Por ltimo, se ha comprobado que con este tipo de evaluaciones, por el mero hecho de
poner en marcha un proceso de evaluacin tiene una serie de efectos colaterales
beneficiosos (Weiss, 1998: 103).
Esta tendencia de avalar un papel comprometido para el evaluador ha tenido su
punto lgido recientemente cuando han salido a la luz una serie de escritos en el mundo
anglosajn sobre la advocacy evaluation (Greene, 1997), que podramos traducir por
evaluacin comprometida. La fundamentacin de esta idea se encuentra en la
inevitabilidad del compromiso en la evaluacin; se supone que este compromiso no es
equivalente a sesgo partidario sino un compromiso de valor a un ideal de pluralismo
democrtico. Esta idea tambin tiene algunos detractores: Chelimsky (1998) seala que
no es lo mismo el reconocimiento de ciertos valores por parte de los evaluadores que un
compromiso partidario.
Lo que s es evidente es que los evaluadores se mueven en un contexto poltico en
el que deben saber manejarse. Para Palumbo (1987: 20-21) algunos evaluadores (...) se
pueden sentir ms cmodos siendo tcnicos que agentes de cambio, y todos los
evaluadores deben asumir el rol de tcnico al menos parte del tiempo". Esto es a veces
difcil porque los evaluadores se encuentran con imperativos que son opuestos, aunque
no irreconciliables. En primer lugar, deben entender y mejorar los programas; en
segundo lugar, deben descubrir los hechos sobre el programa, incluso cuando stos
son negativos y, por ltimo deben aportar conocimientos sobre la evaluacin y la
gestin de programas.
____________________________________________________________________________________
125
____________________________________________________________________________________
Por ltimo, si tenemos en cuenta este ambiente en el que deben moverse y al que
deben responder los evaluadores, stos, adems de formacin metodolgica en
evaluacin, deben conocer los procesos polticos y teora de la organizacin y de
grupos. Para Torres, Preskill y Piontek (1996), en la ltima dcada se ha reconocido en
el campo de la evaluacin que, adems de un componente cognitivo (relacionado con
los aspectos sistemticos, cognitivos y "comparativamente objetivos" de la
investigacin y la indagacin), existe un componente intuitivo (relacionado con
aspectos intuitivos y cargados de significado por parte del evaluador, sus clientes, los
agentes crticos en la evaluacin y las organizaciones en las que estn inmersos).
Ambos componentes deben ser integrados para una buena labor evaluativa.
Esto tiene que ver con lo que debe ser la formacin de los evaluadores y la
institucionalizacin de la evaluacin de la profesin y actividad cientfica diferenciada.
En el mundo anglosajn, los programas de formacin especializados para evaluadores
son una realidad desde hace aos (Altschuld y Engle, 1994) y en los ltimos 10-15 aos
se ha avanzado mucho en el terreno de la consolidacin profesional, a travs del
desarrollo de asociaciones profesionales y la creacin de cdigos deontolgicos para
evaluadores (Bustelo, 1998). Incluso se comienza a sealar la necesidad de acreditacin
de los evaluadores profesionales en Estados Unidos.
____________________________________________________________________________________
126
____________________________________________________________________________________
5. LAS CUESTIONES TICAS EN EVALUACIN
En los ltimos aos se le ha prestado mucha atencin a las cuestiones ticas

relacionadas con la evaluacin. Esta preocupacin, como es lgico, ha sido paralela al
reconocimiento del carcter poltico de la evaluacin y, por lo tanto, al poder que sta
puede tener y a la necesidad de que el evaluador interacte en el contexto en el que
debe intervenir. Muchos de los ms recientes manuales en evaluacin de programas y
polticas contienen un captulo especfico en cuestiones ticas (Patton, 1997; Weiss,
1998; NORAD, 1997).
Otro indicador de esta preocupacin tica son los cdigos deontolgicos
elaborados por las asociaciones profesionales, que en algunos casos, tienen ese objetivo
implcito incluso en el ttulo que les han dado (Orientaciones para una actuacin tica
en el caso de las asociaciones canadiense y australasitica). Como ya se ha sealado
anteriormente, la existencia de cdigos deontolgicos es, a la vez, un indicador y un
elemento generador o provocador de una mayor consolidacin institucional y
profesional de una disciplina. Profesiones fuertemente consolidadas desde hace tiempo
(como son la medicina, la abogaca o la arquitectura) o ms recientemente (como la
psicologa) han desarrollado este tipo de cdigos. Adems de fomentar un sentido de
pertenencia e identificacin entre los profesionales, acotan y regulan la prctica
profesional entre sus respectivos campos.
Pero un aspecto de enorme trascendencia, probablemente su aspecto ms
caracterstico, respecto a los cdigos deontolgicos es que permiten la introduccin y
desarrollo de los temas ticos, que resultan clave en la prctica de la evaluacin
(Bustelo, 1998). No se trata slo de elaborar tericamente sobre estos asuntos como
parte intrnseca al propio campo cientfico, sino tambin de orientar ante los conflictos
y dilemas ticos que se van a producir, inevitablemente, en cualquier situacin
evaluativa. En cierto modo, se trata de afrontar esta realidad y de reconocer
explcitamente el contexto poltico en el que est inmersa la evaluacin. Este
reconocimiento explcito se refleja en los cdigos que se han elaborado. Por ejemplo, el
Joint Committee, adems de plantearse, con la elaboracin de sus Normas, orientar el
diseo, empleo y crtica de las evaluaciones y de animar a la utilizacin de una
variedad de mtodos en evaluacin, pretende ayudar a los evaluadores a identificar y
afrontar la realidad poltica. Textualmente este comit afirma que "las agendas polticas
y el dinero son fuentes de poder que pueden corromper la evaluacin en cualquier
circunstancia. La adhesin a las Normas ayudar a minimizar las posibilidades de una
mala utilizacin de ese poder por parte de los evaluadores o sus clientes" (Joint
Committee, 1994: 4).
El propio hecho de afrontar las cuestiones ticas en evaluacin se reconoce no
slo por parte de las asociaciones profesionales, sino tambin por los propios
acadmicos del campo de la evaluacin. Scriven seala que es verdaderamente antitico dejar a la tica fuera de la evaluacin de programas (Scriven, 1993: 30). Esto
significa que el evaluador debe ser formado tambin en cuestiones ticas ya que
necesita ciertas habilidades en tica aplicada y al menos, un entrenamiento bsico en
____________________________________________________________________________________
127
____________________________________________________________________________________
las normas legales que se deben seguir en estudios de evaluacin. En muchas

situaciones, de esta formacin e incluso de la orientacin que puedan proporcionar los
cdigos ticos no se desprendern respuestas claras y automticas ante los dilemas
ticos que un evaluador pueda encontrarse. Como dice House (1994: 28), "tenemos este
tipo de problemas (dilemas ticos) y debemos hablar de ellos, incluso aunque no
podamos resolverlos". Precisamente, en la nueva revista de la Asociacin Americana
de Evaluacin The American Journal of Evaluation que sustituye a la anterior
Evaluation Practice, se ha abierto una nueva seccin en Retos ticos, dirigida por
Michael Morris, y que consiste en que, cada nmero se presenta una situacin o dilema
tico y se le pide a uno o dos profesionales de la evaluacin que discutan sobre la
misma y sealen qu haran ellos si se encontraran en una situacin similar.
En el captulo que dedica a cuestiones ticas (Evaluar con integridad) en su
manual de evaluacin, Carol Weiss (1998: 320 y ss.) seala seis ideas fundamentales
sobre cmo se debe realizar una evaluacin tica en una sociedad democrtica. Estas
son las siguientes:
1. Conocer el programa o poltica que se va a evaluar y su contexto
2. Mantener la alta calidad tcnica y la relevancia del estudio de evaluacin: la
calidad en investigacin se define en trminos metodolgicos. En evaluacin,
adems, se debe asegurar que el estudio es relevante para la situacin y el
contexto concreto.
3. Utilizar el equilibrio y el juicio: los evaluadores trabajan en un contexto en el
que el programa es prioritario y las condiciones no siempre son buenas para el
estudio sistemtico. Las elecciones del evaluador deben tener en cuenta: el
tipo de informacin que quiere el cliente, los deseos y puntos de vista de otros
agentes crticos, la naturaleza de las premisas del programa, las posibilidades
de eso de la evaluacin y las oportunidades de que se incorporen los
resultados al conocimiento profesional y a la opinin pblica. Tambin tiene
que ser sensible a los cambios que se produzcan en el contexto a lo largo del
proceso de evaluacin.
4. Considerar el uso desde el principio: las conclusiones deben ser escuchadas,
respetadas y aceptadas, ya que sern la base para la accin.
5. Comportarse ticamente a lo largo del estudio: a veces las obligaciones ticas
pueden llegar a se contradictorias o entrar en conflicto. Hay que procurar,
sobre todo, no distorsionar y no daar sensibilidades.
6. Sobrevivir y cosechar recompensas: con esta mxima, Weiss pretende
demostrar que, a pesar de todas las demandas que se requieren del evaluador,
la evaluacin merece la pena ya que es un trabajo que nunca es aburrido y
que, sobre todo, genera comprensin y mayor calidad de vida, ya que
pretende mejorar la forma de abordar problemas pblicos.
Como se puede observar, a las cuestiones ticas a las que se refiere Weiss van ms
all del comportamiento tico al que se refiere en el punto 5. Es decir, evaluar
ticamente implica el propio concepto y concepcin de la evaluacin. Ocurre lo mismo
____________________________________________________________________________________
128
____________________________________________________________________________________
en el manual de Patton (1997), en el vincula las cuestiones ticas a la naturaleza poltica

de la evaluacin y a su poder. Patton (Patton, 1997: 350-1) plantea cuatro mximas
polticas que deben seguir los evaluadores, segn su enfoque de la evaluacin
orientada a la utilizacin: 1. No toda la informacin es til; 2. No toda la gente es
usuaria de informacin; 3. Es ms probable que la informacin dirigida al uso alcance el
objetivo; y 4. Slo la informacin creble es poderosa en ltima instancia. Es evidente
que estas cuatro mximas tienen claras implicaciones ticas.
Finalmente, y como ejemplo de la importancia de las cuestiones ticas no slo en
la evaluacin en general, sino tambin en los manuales o guas de evaluacin que se han
elaborado ltimamente de forma especfica, mencionamos el manual para evaluar
proyectos de ayuda al desarrollo elaborado por la Agencia Noruega de Cooperacin
(NORAD, 1997: 12-13). El cuarto punto del manual, La tica de la evaluacin expone
diez principios ticos que se basan, a su vez, en las lneas directrices elaboradas por la
Agencia Canadiense de Desarrollo Internacional. En este manual se seala que la
evaluacin puede tener consecuencias importantes para todos los implicados en la
ejecucin de un proyecto y, por lo tanto, el evaluador debe cumplir una serie de
requisitos, tanto profesionales como ticos, y que son:
1. Sensibilidad cultural: estar familiarizados con las caractersticas culturales del
pas
2. Anonimato y confidencialidad: se debe respetar ese derecho de los informantes
3. Responsabilidad en las evaluaciones: el equipo evaluador no debe realizar
ninguna afirmacin a menos que todos sus miembros hayan tenido la oportunidad
de aprobarla o manifestar su desacuerdo con ella
4. Consideracin con los informantes: avisar con tiempo y hacer un uso eficiente
de su tiempo
5. Valores fundamentales: cuando sea difcil encontrar un equilibrio entre las
tradiciones culturales, las prioridades del pas receptor y los propios valores del
pas donante, habr que guiarse por la Declaracin Universal de los Derechos
Humanos.
6. Integridad y omisiones: el evaluador tiene la responsabilidad de sacar a la luz
cuestiones que no hubieran sido reflejadas en los trminos de referencia.
7. Evaluacin de personas: la evaluacin de proyectos no incluye normalmente la
evaluacin de personas; en todo caso, la funcin de las personas y no ellas mismas
8. Errores e infracciones: cuando se descubran errores habr que evitar citar
personas concretas en el informe
9. Convalidar la informacin: con los participantes e implicados, aunque la ltima
palabra la tenga el equipo evaluador.
10. Compartir los resultados: se podrn hacer sesiones informativas y resmenes
de carcter no oficial, manteniendo la discrecin respecto a los contenidos finales.
____________________________________________________________________________________
129
____________________________________________________________________________________
6. CONCLUSIONES: HACIA UN ENFOQUE INTEGRADOR DE

EVALUACIN DE POLTICAS PBLICAS
Una vez hecho un repaso general de la teora de la evaluacin de programas y

polticas pblicas, estamos en condiciones de sealar, desde nuestro punto de vista,
cules son las caractersticas en las que se debera insistir en un enfoque integrador de
evaluacin de las polticas pblicas. De esta manera, destacaramos una serie de
caractersticas que creemos clave para este enfoque integrador: Estas seran:
-
Concepcin amplia y global de las polticas y de la evaluacin, situndola en

un contexto ms general del proceso de polticas pblicas y superando
visiones estrechas o limitadas.
Delimitacin clara de QUE se quiere evaluar, PARA QUE y PARA

QUIENES, adems de hacerlo con visin estratgica.
Reconocimiento del carcter poltico en todas sus dimensiones, lo que implica

otorgarles un carcter especfico a la actividad cientfica de evaluar
programas y polticas pblicas.
Visin prctica y orientada a la accin, consiguiendo que los estudios de

evaluacin sean realmente tiles en la prctica
Continuidad, que no significa estar continuamente evaluando sino tener

presente la evaluacin desde un principio y de forma continuada; sta es la
manera de aumentar las probabilidades de que sea una herramienta potente.
Flexibilidad metodolgica, tanto en la forma de afrontar la evaluacin como

en las tcnicas de recopilacin y tratamiento de la informacin.
Sistemas de informacin adecuados: esta es una de las condiciones que, en la

prctica, facilita o dificulta en mayor medida los procesos de evaluacin.
Temporalidad y oportunidad en el tiempo, como factor clave en los procesos

de evaluacin. Este es uno de los factores que ms condiciona y hay que tener
en cuenta en evaluacin.
Participacin de los agentes crticos, no slo para legitimar y aumentar las

probabilidades de uso, sino para tener una visin lo ms completa y menos
sesgada posible de las polticas pblicas.
Importancia de la comunicacin y difusin de los resultados, como clave para

la utilizacin de los procesos evaluativos.
____________________________________________________________________________________
130
____________________________________________________________________________________
Adems de estas caractersticas generales, querramos aadir tres cuestiones que

nos parecen clave para la evaluacin de polticas pblicas en Espaa.
1. En primer lugar, creemos clave darle una mayor importancia a la evaluacin
del diseo de las polticas y a todo lo relacionado con la identificacin de la
teora de programa en trminos de Weiss. Esta es el tipo de evaluacin
menos practicada. Esta claro que, en teora, se ha superado la visin de la
evaluacin como exclusiva medicin de la eficacia (es decir, hasta qu punto
se cumplen los objetivos propuestos), pero en la prctica sigue dominando
esta visin. En las polticas que nos ocupan, es evidente que no slo debera
interesar si los planes de igualdad de gnero se han cumplido, sino los propios
planes en s mismos: Son el instrumento adecuado?, Cules son los
mecanismos por los que generan igualdad?, Estn relativamente equilibrados
respecto a los objetivos de la poltica?, Qu concepto de igualdad estn
dejando entrever? Una reflexin profunda sobre estos extremos, har a los
poderes pblicos ms conscientes de lo que estn haciendo, hacia dnde van y
hacia dnde deben ir.
2. En Espaa, tiene que aumentar la prctica de la evaluacin a muchos niveles.
Si existiera una mayor prctica de evaluacin, esto producira un aumento de
la cultura de evaluacin. Se deben evaluar programas y tambin se deben
evaluar, globalmente, las polticas pblicas14. La evaluacin de polticas es
ms difcil en el mercado que la de programas, ya que, en muchos sectores,
no suele estar identificado un ncleo con visin global; quiz el mundo
acadmico a travs de analistas de polticas pblicas- pueda aportar algo a
este respecto. Por otro lado, la evaluacin de polticas se hace ms difcil si
no se han evaluado medidas, programas, servicios, etc.
3. Por ltimo, hay que realizar un esfuerzo por aumentar la consolidacin e
institucionalizacin del campo de la evaluacin de programas y polticas
pblicas. Para esto hace falta la existencia de asociaciones acadmicas y
profesionales especficas, de programas de post-grado especficos, de
publicaciones y foros especializados.
14
Para una discusin ms profunda sobre este aspecto, vase el captulo 9 de este trabajo.
____________________________________________________________________________________
131
PARTE II: LAS POLITICAS PUBLICAS DE IGUALDAD DE GENERO EN ESPAA
_______________________________________________________________________________________
CAPTULO 3
LAS POLTICAS PBLICAS DE IGUALDAD DE GNERO EN
ESPAA EN LOS NIVELES CENTRAL Y AUTONMICO
INTRODUCCIN
El objetivo de este captulo es ofrecer una visin general de las polticas pblicas
espaolas de igualdad de gnero en los niveles de gobierno central y autonmico. Esta
visin general resulta imprescindible para analizar las evaluaciones que sobre dichas
polticas pblicas se han realizado y para comprender la funcin de evaluacin en torno a
las mismas.
En primer lugar, se definen y fundamentan las polticas de igualdad de gnero como
una de las posibles respuestas de los poderes pblicos ante la desigualdad de gnero,
explicando tambin el papel que han cumplido tanto el movimiento de mujeres como el
feminismo institucional en la definicin y la puesta en prctica de dichas polticas. Tambin
se revisan los estudios que sobre feminismo institucional y polticas pblicas de igualdad
de gnero ha habido en Espaa y se seala la falta de estudios concretos, y la necesidad de
los mismos, especialmente de las polticas autonmicas en este rea.
En segundo lugar, se reconstruyen las polticas de igualdad de gnero en Espaa en
los niveles central y autonmico desde una perspectiva histrica, haciendo especial nfasis
en su rpido desarrollo, ya que aunque la institucionalizacin de las polticas de gnero
comenz aproximadamente una dcada ms tarde que en otros pases occidentales, la
situacin y consolidacin de dichas polticas en Espaa es hoy en da equiparable a la de
dichos pases. Tambin se tratan en este captulo la entrada en agenda del problema de la
desigualdad de gnero y la evolucin que ha ido sufriendo la definicin de dicho problema
y las consecuencias de esa diferente definicin en el tipo de respuestas que se ofrecen. De
igual manera, se describe el marco institucional en el que se desarrollan las polticas de
igualdad central y autonmicas, analizando el tipo de organismos especficos que se han
ido creando, as como su posicin en el organigrama gubernamental. Por ltimo, se realiza
un repaso de los actores crticos que contribuyen a la formulacin y ejecucin de las
polticas pblicas de igualdad de gnero espaolas.
Finalmente, se analiza el instrumento bsico y concreto con el que se han articulado
las polticas de igualdad de gnero en estos dos niveles de gobierno: los planes de igualdad.
Los planes de igualdad consisten en un conjunto de objetivos, medidas y actuaciones que
afectan a diferentes reas gubernamentales y que son aprobados por los ejecutivos de cada
_______________________________________________________________________________________
Captulo 3. Las polticas pblicas de igualdad de gnero en Espaa en los niveles central y autonmico
133
_______________________________________________________________________________________
gobierno. Adems de ofrecer un panorama sobre su proliferacin y generalizacin en los

gobiernos autonmicos, tambin se analizan su significado y evolucin, as como sus
fortalezas y debilidades como principal y prcticamente exclusivo instrumento de las
_______________________________________________________________________________________
134
_______________________________________________________________________________________
1. CONCEPTO E HISTORIA DE LAS POLTICAS DE IGUALDAD DE

GNERO
Las polticas pblicas de igualdad de gnero se definen, en este trabajo, como el

conjunto de intenciones y decisiones, objetivos y medidas adoptadas por los poderes
pblicos en torno a la promocin de la situacin de la mujer y de la igualdad de
gnero entre mujeres y hombres1. La adopcin del trmino genrico de igualdad de
gnero tiene que ver con una definicin ms actual, comprehensiva y aceptada
internacionalmente del problema que pretenden resolver las polticas pblicas en cuestin
(la desigualdad entre hombres y mujeres)2. En l, se incluyen todas las acciones impulsadas
por los poderes pblicos y que tienen por objetivo conseguir una mayor igualdad de
oportunidades entre mujeres y hombres, incidiendo sobre las condiciones socio-econmicas
y culturales que impiden y obstaculizan dicha igualdad.
1.1. Las difciles relaciones feminismo-Estado
El origen de estas polticas pblicas de igualdad de gnero se encuentra en la idea o

el reconocimiento de que el Estado o los poderes pblicos pueden y deben hacer algo
para paliar las desigualdades de gnero y la discriminacin de la mujer. Aunque, como
veremos ms adelante, las relaciones de las mujeres con el Estado han sido casi siempre
difciles y, de alguna forma, contradictorias, el impulso esencial para que el tema de la
desigualdad de gnero se convirtiera en una cuestin pblica, entrara en la agenda de los
poderes pblicos y se comenzaran a formular medidas al respecto, se debe al movimiento
feminista de segunda ola de la dcada de los aos 60 y la de los 703. Este movimiento
1 Esta definicin no obvia una visin ms amplia como la que se refleja en la definicin de Dye, ya que una
poltica pblica puede ser todo aquello que los gobiernos deciden hacer y no hacer (Dye, 1975: 1). En este
sentido, tambin entendemos como poltica pblica de igualdad de gnero cuando los poderes pblicos no
asumen un problema como pblico o deciden no actuar en determinadas esferas por considerarlas del mbito
privado.
2
Vase el punto 2.2. de este captulo, en el que se hace un anlisis sobre la evolucin del problema pblico
de la desigualdad a lo largo de la existencia de las polticas pblicas de igualdad de gnero.
De acuerdo con la literatura especializada en el movimiento feminista, han existido dos grandes olas de
activismo poltico feminista en la mayora de los pases occidentales. La primera ola coincidira con el
principio de siglo y los movimientos sufragistas. La segunda empieza en la mayora de los pases
industrializados a finales de la dcada de los aos 60 y a principios de la de los 70 (en Espaa ser un poco
ms tarde, con un retraso de aproximadamente 10 aos). Algunas autoras (Stetson y Mazur, 1995: 20)
_______________________________________________________________________________________
135
_______________________________________________________________________________________
feminista, que estuvo protagonizado, entre otros, por el feminismo radical, explica las
desigualdades de gnero por la existencia de un sistema patriarcal. El nuevo concepto
entonces de patriarcado o sistema patriarcal implica un sistema bsico de dominacin
sexual, que pasa por encima del de raza o clase social y que configura un sistema social
organizado a partir de la superioridad del gnero masculino sobre el femenino. Esta nueva
nocin de sistema patriarcal explicaba las razones por las que la igualdad formal o de
derecho, reivindicada por las sufragistas que conformaron el feminismo de primera ola, y
conseguida a grosso modo con el derecho al voto de las mujeres en la casi totalidad de
los pases occidentales, no haba sido suficiente. La verdadera igualdad implicara,
entonces, cambios ms grandes que la igualdad de hombres y mujeres ante la ley y que
deban incidir en ese sistema organizado socialmente sobre una divisin del trabajo en
funcin del sexo biolgico, y a partir del cual se han construido social y culturalmente los
gneros. Estas nuevas ideas, aunque generan rupturas en el movimiento de mujeres debido
al diferente papel que se le otorga al Estado en la teora feminista una parte del feminismo
radical considera que el Estado no puede hacer nada por las mujeres-, tambin provocan la
propia intervencin del Estado, a travs de la formulacin de polticas de promocin y de
acciones positivas para las mujeres. Es en Estados Unidos de Amrica en dnde surge y
tiene un mayor auge este movimiento feminista radical de segunda ola, y tambin dnde
haban comenzado a dar las primeras acciones positivas y los primeros indicios del llamado
feminismo institucional, a travs del Womens Bureau, el cual se crea a principios del
siglo XX (Stetson, 1995: 254-271).
Sin embargo, y como se ha comentado antes, la intervencin del Estado a favor de la
mujer no goz nunca del apoyo de todas las feministas. Ya se ha dicho que las relaciones
de las mujeres con el Estado fueron siempre difciles y segn la idea de cmo deban ser
dichas relaciones se han defendido posturas muy distintas: en un extremo, estaran las
feministas que han aceptado que el Estado sea el instrumento primordial para la mejora de
la situacin de la mujer y, por otro, las que han abogado por que el feminismo forme parte
exclusiva de la sociedad civil, rechazando cualquier intervencin del Estado, ya que ste
contribuye a la dominacin masculina. Efectivamente, junto con el tema de la participacin
de las feministas en las organizaciones polticas (es decir, si deba darse o no la doble
militancia, en partidos polticos y en organizaciones feministas), el tema del anlisis sobre
el papel que el Estado debe tener en la correccin de las desigualdades de gnero, ha sido el
que ha producido ms debates en el feminismo y ha creado mayores conflictos en el
movimiento. Si se acepta la idea del sistema patriarcal, se debe aceptar, necesariamente,
que el Estado moderno tambin forma parte de dicho sistema y que ha desarrollado
mecanismos e instituciones para mantenerlo y reproducirlo. Esto es as desde sus inicios, ya
que la Revolucin francesa neg la condicin de ciudadanas a las mujeres. Para las
historiadoras feministas, el surgimiento y desarrollo del Estado de derecho, pues, a
diferencia de los hombres, no benefici a las mujeres deteriorando an ms su situacin
reflejan en su escritos cmo los historiadores hablan de una tercera ola en la actualidad de algunos pases (ej:
EE.UU.). Otros textos hablan del feminismo de tercera ola, a partir de la dcada de los aos 80, y que se
centrara en la crtica al uso monoltico de la categora mujer, reconociendo as la diversidad de las mujeres
y que afecta a otras variables que interactan con el gnero, como son el pas, la raza, la etnicidad y la
preferencia sexual (Miguel, 1995: 254-5).
_______________________________________________________________________________________
136
_______________________________________________________________________________________
poltica ya que, en el Antiguo Rgimen, al menos, las relaciones familiares tenan gran
importancia en la vida poltica. El Estado, entonces, ha tenido un papel importante en la
creacin y mantenimiento de la situacin de las mujeres4. Sin embargo, y debido a las
propias movilizaciones feministas, los gobiernos occidentales comienzan a aplicar medidas
para corregir las desigualdades de gnero por lo que se produce, segn algunas autoras, la
paradoja de que algunas instituciones del Estado generan o apoyan directa o indirectamente
la discriminacin de gnero, mientras que otras intentan corregir la situacin (Astelarra,
1990: 211).
El anlisis que sobre el Estado hace la teora feminista est marcado, precisamente,
por la idea de Catherine MacKinnon de que el feminismo no tiene una teora del Estado
(MacKinnon, 1995: 177). Para esta autora, el feminismo tiene capacidad descriptiva sobre
la forma en la que el Estado aborda las diferencias de gnero, pero le falta un anlisis del
Estado como jerarqua de gnero. De esta manera, la prctica feminista habra oscilado
entre la adopcin de una teora liberal del Estado por una lado, y una teora del Estado de
izquierdas (marxista y postmarxista) por otro (Threlfall, 1990: 215).
Siguiendo en esta lnea, Stetson y Mazur (1995: 6-10) dividen las crticas feministas
al Estado en dos tipos o corrientes: al Estado de Bienestar y al Estado liberal. Una parte de
las crticas de la literatura feminista se concentran, pues, en el Estado de Bienestar. As,
las feministas marxistas britnicas (McInstosh, 1978; Wilson, 1977) reclaman que el
Estado de bienestar es un instrumento creado por el Estado capitalista que oprime
particularmente a la mujer; de esta manera, la dependencia de las mujeres de sus maridos se
sustituye por una dependencia del Estado capitalista. Las feministas escandinavas (Hernes,
1990; Borchost and Siim, 1987) reconocen que algunas polticas de bienestar son esfuerzos
bien intencionados para ofrecer beneficios sociales a los trabajadores y sus familias y que el
nfasis en las madres trabajadoras ha aumentado las opciones y la independencia
econmica de las mujeres; sin embargo, estas polticas han institucionalizado el papel de
las mujeres como madres y trabajadoras, lo cual contribuye a la doble carga ya que no se
han alterado los papeles tradicionales de los hombres. Sus conclusiones son que las mujeres
se convierten en usuarias sin haber alcanzado realmente el estatus de ciudadanas; por lo
tanto, aunque las mujeres hayan alcanzado libertades respecto a las estructuras familiares
patriarcales, el Estado de bienestar ha fortalecido su subordinacin a la esfera pblica. De
esta manera, la vida de la mujer depende ms de la poltica de los Estados que la de los
hombres, y est determinada por la misma (Hernes, 1990: 47). Threlfall seala que existe
una segunda etapa en la crtica feminista al Estado de bienestar que consiste en una nueva
reflexin hecha a partir de los aos de crisis econmica y de polticas de recorte del gasto
pblico coincidente especialmente con los aos de thatcherismo ingls: se reconoce
4 Existe una lnea de trabajo sobre gnero y ciudadana, de la que es un buen exponente Elisabeth Meehan,
quien realiza una reconceptualizacin de la nocin de ciudadano a la luz de las nuevas realidades europeas.
Segn Meehan, la ciudadana es un concepto que ha evolucionado a lo largo de la historia, pero todava es
una categora que excluye. Viejas ideas como la incapacidad de las mujeres de pensar en el inters pblico y
como la divisin del trabajo en las esferas pblica y privada tienen todava influencia en la poltica europea y
afectan a las posibilidades de las mujeres para actuar como ciudadanas (Meehan, 1993: 24). Sobre ciudadana
y mujeres, vanse tambin Sassoon (1998), Woodward (1998), Gallego (1998), y todos los artculos en la
obra colectiva editada por Paloma de Villota (1998).
_______________________________________________________________________________________
137
_______________________________________________________________________________________
entonces que, an siendo discriminatorios en su concepcin y puesta en marcha, el recorte

en los servicios sociales pblicos afecta especialmente a las mujeres, debido a que son stas
las que ms los utilizan y, por lo tanto, dichos recortes son un duro golpe al bienestar de las
mujeres (Threlfall, 1990: 219).
Otra parte importante de las crticas hacia el Estado por parte de la literatura
feminista, son las referidas al Estado liberal. Estas crticas van dirigidas no slo hacia el
Estado liberal sino tambin hacia el feminismo liberal que es el que ha reclamado, desde un
principio, cambios en las leyes y la integracin de las mujeres en el mbito pblico. Segn
estas crticas, subyacente a esta concepcin liberal, se halla la idea de que el Estado es
neutral y puede responder ante cualquier grupo que desarrolle recursos polticos. Y esto,
segn Ferguson (1984) y MacKinnon (1995), es un mito que sirve, adems, a los intereses
de los ms poderosos. La idea es que, independientemente de las leyes que se aprueben o
de las mujeres que accedan a puestos pblicos, el Estado refleja, promueve, sostiene y
responde ante una jerarqua de dominacin masculina y subordinacin femenina. Para estas
autoras, las burocracias son la misma esencia de la desigualdad; por eso las polticas
lanzadas por dichas burocracias no pueden producir igualdad. Adems, el discurso
burocrtico en s mismo produce clientes y no participantes, haciendo que las mujeres
acaben subordinadas al Estado5.
Otras autoras establecen diferentes tipologas que incluyen las distintas
aproximaciones que se pueden encontrar en la teora poltica feminista y que implican,
lgicamente, diferentes formas de definir el problema de la desigualdad de gnero y, por lo
tanto, de concebir el papel que los poderes pblicos deben adoptar respecto al mismo6. Joni
Lovenduski (1995: 202-203) establece una de las tipologas ms completas, con cinco
categoras distintas y corrobora, adems, la idea de MacKinnon de que hasta la fecha no
existe una teora feminista del Estado. Para la autora, se han desarrollado diferentes
perspectivas dentro del movimiento, ya que se han fijado en elementos diferentes del
Estado; ella seala que se puede hablar de cinco paradigmas distintos en la literatura
feminista, a saber: 1. Segn la visin liberal el Estado es neutral y slo se le puede
reprochar desigualdad entre los sexos si se ponen obstculos legales especficos para la
igualdad de las mujeres (como, por ejemplo, ausencia de sufragio femenino). 2. Segn el
paradigma radical el Estado es masculino y nunca podr dar poder a las mujeres, por su
5
Las crticas feministas a la ciencia de la administracin son tambin claras y se refieren a las teoras de Max
Weber y tambin a las crticas a la profesionalizacin, liderazgo e institucionalizacin de la autoridad.
Lovenduski (1997: 208-209) menciona las teoras de Jones (1993), Ferguson (1984) y Bologh (1991). Segn
estas autoras, el burcrata racional de Weber es, al fin y al cabo, una constructo de una masculinidad concreta
idealizada; en su mundo, las mujeres se mantienen en la esfera privada bajo la proteccin de los hombres. En
definitiva, las organizaciones burocrticas institucionalizan la preponderancia de masculinidades concretas,
potenciando y otorgando ventajas de este modo a algunos hombres sobre todas (o casi todas) las mujeres y
otros hombres.
Castells (1996: 21-25) establece tres grandes perspectivas de la teora poltica feminista: la teora feminista
liberal, la teora feminista marxista y socialista y la teora feminista radical. Para ello se basa en la
clasificacin de Alison Jaggar (Jaggar, 88) que identifica cuatro tendencias separando la teora marxista de la
socialista (liberal, marxista, socialista y radical). Para Castells la distincin entre teora feminista marxista y
socialista resulta poco clara.
_______________________________________________________________________________________
138
_______________________________________________________________________________________
propia naturaleza, ya que est pensado para el poder de los hombres. Este paradigma
rechaza al Estado por masculino. 3. Segn el paradigma marxista feminista el Estado no
oprime especficamente a las mujeres, ya que stas estn oprimidas como consecuencia de
su posicin de clase; es decir, las mujeres de clases dominantes no estn oprimidas. El
Estado es capitalista, pero no patriarcal, siendo el patriarcado un sistema de dominacin
masculina sobre la mayora de las mujeres y algunos hombres. 4. Segn los sistemas
duales, que son una mezcla entre el feminismo radical y el marxista, el capitalismo y la
dominacin masculina estn combinados en el Estado para oprimir a las mujeres. Y, por
ltimo, 5. La visin postestructuralista aboga por que no se puede asumir lo que hace el
Estado por las mujeres sin analizar sus diferentes partes y los efectos que cada una produce
en las mujeres, bien sean positivos o negativos. El Estado y, por lo tanto, las organizaciones
estatales, son espacios de carcter cambiante en el que compiten discursos tanto internos
como externos. Para Lovenduski, ninguna de estas teoras explica adecuadamente el papel
del Estado en las polticas de gnero y, cada una, tiene sus ventajas e inconvenientes. La
teora feminista liberal nos muestra la importancia de las leyes para las mujeres aunque no
tiene en cuenta cmo funcionan realmente. Si se asumen que todos somos iguales ante la
ley se pueden institucionalizar las desigualdades. La teora radical, a pesar de ser simple y
no ofrecer un marco para la comprensin de por qu las mujeres se benefician a veces de la
accin del Estado, nos alerta del modo en el que las normas masculinas se introducen en las
instituciones para gobernarnos. El paradigma marxista muestra lo importante de las
relaciones econmicas y los sistemas duales, cmo los sistemas econmicos y de gnero se
combinan para afectar la posicin de las mujeres. Sin embargo, la teora marxista ignora
dicha interaccin y tambin la importancia de las circunstancias familiares para su estatus
de clase. Tampoco explican los sistemas duales por qu algunas mujeres se benefician a
veces de la accin del Estado, cuestin que s permite la visin postestructuralista que, sin
embargo, presenta muy pocas posibilidades para la generalizacin.
En cualquier caso, parte de la literatura feminista ms reciente es algo menos
radical respecto al posible papel del Estado. Actualmente hay posturas que ven al Estado de
forma menos monoltica y como un aliado potencial para los diferentes y diversos intereses
de las mujeres (Stetson y Mazur, 1995: 6). En palabras de Lovenduski: El problema es que
es imposible evitar el Estado porque est muy presente en la mayora de las reas
importantes de la vida moderna. En este sentido, sostenemos que las mujeres necesitan del
Estado y que es importante para el movimiento feminista entender esto (Lovenduski,
1997: 202). Incluso se reconoce la necesidad de una visin ms amplia, desde una
perspectiva del anlisis de polticas pblicas, en la que no se mire hacia el Estado
analizando exclusivamente su papel sino que se contemple, de forma ms global, la
relacin entre el Estado y la sociedad. Para Astelarra (1998: 223), por ejemplo, las
demandas que hacen las feministas requieren la concertacin Estado-sociedad ya que
implican revisar el entramado comunitario y de la familia y sus relaciones sociales; por lo
tanto, las feministas no pueden dirigirse slo al Estado, sino que deben revisar la relacin
Estado-sociedad.
1.2. El Feminismo institucional

_______________________________________________________________________________________
139
_______________________________________________________________________________________
A pesar de la debilidad organizativa del movimiento feminista de las dcadas de los

aos sesenta y setenta, y de la fragmentacin del mismo debido a las diferentes
concepciones sobre cules deban ser las relaciones del movimiento con el Estado y si ste
deba intervenir o no en pro de las mujeres, el impacto en las agendas polticas de las
reinvindicaciones feministas fue grande, especialmente si se tiene en cuenta la buena
acogida que las nuevas ideas de intervencin a favor de las mujeres tuvieron en los
organismos internacionales, especialmente en la Organizacin de las Naciones Unidas
(ONU), a partir del ao 19757. Esto se tradujo en un contagio a otras organizaciones
internacionales, y esta nueva preocupacin en el nivel internacional tuvo su reflejo, a su
vez, en las diferentes naciones, influyendo, definitivamente, en la formulacin de polticas
de igualdad de gnero en la mayora de los pases desarrollados. Es decir, las feministas
fueron especialmente eficaces como introductoras de agenda o agenda setters8 del
problema de las desigualdades de gnero en las diferentes polticas nacionales.
Compartimos aqu la idea de Granados (1999: 159) de que, en general, tanto las
definiciones del problema de la desigualdad, como su entrada en agenda y la toma de
decisiones al respecto no han tenido historias nacionales. Ha sido el movimiento feminista
el que ha presionado por que la desigualdad entre los gneros fuera tenida en cuenta por los
poderes pblicos, y el que ha conseguido que, primero en pases aislados, Estados Unidos
casi siempre, y despus generalizado a travs de la actuacin de determinadas
organizaciones internacionales, el problema de la desigualdad entre los gneros fuera
incluido en los procesos de toma de decisiones.
Una de las posibles respuestas9 de los poderes pblicos de las diferentes naciones
ante el problema de la desigualdad apuntado y destacado por el movimiento feminista y las
organizaciones internacionales, es lo que se ha venido a denominar feminismo
institucional (Lovenduski, 1997; Granados, 1999), feminismo de Estado (Stetson y
Mazur, 1995; Valiente, 1994) o femocracias (Threlfall, 1990). Este feminismo
institucional o de Estado, que se generaliza a partir de la dcada de los aos 70 y la de los
80 en la mayora de los pases occidentales, puede definirse como el "establecimiento de
Este ao fue declarado el Ao internacional de la Mujer y se celebr en Mxico la I Conferencia Mundial

sobre las Mujeres, y fue seguido del Decenio de las Naciones Unidas para las Mujeres (1976-1985).
Por este trmino se entiende los colectivos o movimientos que consiguen llamar la atencin suficientemente
sobre un tema en cuestin (en este caso, la desigualdad de gnero) como para que adquiera relevancia pblica
y sea considerado por parte de los poderes pblicos como susceptible de ser tratado y abordado como
problema pblico, es decir que entre en la agenda de actuacin de los poderes pblicos y, por lo tanto, stos
consideren que se debe hacer algo al respecto.
9
Para Threlfall (90: 226) se han dado dos tipos de estrategia feminista con efectos transformadores sobre las
administraciones pblicas: una es la creacin de femocracias, que hara referencia a lo que aqu
denominamos feminismo institucional o de Estado y que consiste en la creacin de organismos dedicados a la
gestin de programas de apoyo a la mujer y la otra sera el cambio del personal mismo del Estado y de los
organismos pblicos y semipblicos a travs de la poltica de igualdad de oportunidades en el acceso a los
cargos en la Administracin. Esta segunda estrategia est menos generalizada, aunque la autora menciona las
experiencias en Reino Unido y Australia en los niveles local y regional respectivamente.
_______________________________________________________________________________________
140
_______________________________________________________________________________________
instituciones cuyo principal cometido es impulsar la formulacin y puesta en prctica de

medidas para alcanzar un mayor grado de igualdad entre las mujeres y los hombres"
(Valiente, 1994: 1), o como mencionan Stetson y Mazur, dndole una direccin ms
concreta al trmino, es el fenmeno de institucionalizacin del feminismo en organismos
pblicos que promueven una agenda de igualdad de la mujer, es decir, utilizan el concepto
para denominar "la institucionalizacin de intereses feministas" (Stetson y Mazur, 1995:
10). Tambin Lovenduski (1997: 207) considera que el feminismo institucional consiste en
las estructuras, procesos y prcticas que resultan de la institucionalizacin del feminismo en
el gobierno10. Este feminismo institucional ha sido en ms de una ocasin controvertido y
criticado por las feministas radicales, debido a la idea de que las estructuras
gubernamentales eran un componente importante del sistema patriarcal y ser parte de las
mismas significaba aliarse con el poder masculino y por la necesidad de diferenciarlo del
propio movimiento feminista. Hernes, por ejemplo, habla del feminismo desde arriba
como respuesta oficial, en la forma de feminismo estatal, a la agitacin feminista o
feminismo desde abajo (Hernes, 1990: 23). El trmino femcrata para designar a las
personas, casi todas mujeres, que dirigen y trabajan en los organismos de igualdad, aparece
por primera vez en el movimiento feminista australiano, en la dcada de los aos 70, y se
utilizaba para designar peyorativamente a las feministas que se haban dejado cooptar,
ocupando puestos en los organismos de igualdad. Este trmino que originariamente tena
cierto carcter irnico y de autodesprecio, se ha convertido en Australia en una imagen del
experimento australiano de intervencin feminista en el Estado (Sawer, 1995: 22). Por lo
tanto, este carcter peyorativo inicial ha ido desapareciendo y actualmente se utiliza, en
general, para las personas que trabajan en los organismos de igualdad, siendo un trmino
que utilizan las propias feministas de Estado para referirse a ellas mismas (Valiente,
1996).
En cualquier caso, y como ya se ha mencionado anteriormente, debido en parte a la
fuerza de la segunda ola del movimiento feminista y a la influencia de los organismos
internacionales, unido a la concepcin generalizada de una necesaria intervencin pblica
en los problemas sociales, a partir de las dcadas de los aos 60 y 70 en la mayora de las
democracias occidentales y, a partir de la dcada de los 80 en Espaa, se implantan y
desarrollan diferentes instituciones pblicas con el fin de promocionar la situacin de la
mujer y promover la igualdad entre los sexos, y esto es lo que se denomina feminismo
institucional. Estas instituciones varan en tamao, recursos, estructura orgnica y posicin
en el organigrama gubernamental, pudiendo tomar la forma de ministerios, secretaras de
Estado, comisiones interministeriales, agencias, organismos autnomos, departamentos o
unidades administrativas dentro de ministerios o departamentos, etc.11. En la mayora de los
10
Para Lovenduski existe una relacin entre el feminismo institucional y los sistemas de representacin
democrtica. Para esta autora un indicador importante del lugar que ocupan las mujeres en un sistema de
representacin democrtica es el grado de institucionalizacin de los conflictos de gnero. El feminismo
institucional es la manifestacin organizativa de su institucionalizacin. Las interesantes cuestiones que
plantea este concepto tienen que ver con las polticas de legitimidad, representacin y organizaciones
(Lovenduski, 1997: 208).
11
Vanse el listado de organismos de igualdad en Europa occidental consignados en el cuadro 10.1 en

Lovenduski, 1997: 206. En el se reflejan los nombres de tres organismos establecidos antes de 1970 (en
_______________________________________________________________________________________
141
_______________________________________________________________________________________
pases occidentales se da este feminismo institucional, adems de en el nivel nacional, en

los otros niveles gubernamentales (regional y local). Para algunas autoras, este feminismo
institucional no slo consiste en los organismos de igualdad que trabajan en nombre de los
intereses de las mujeres, sino que tambin incluyen los pactos de mujeres que se han dado
en los pases nrdicos y la formacin de grupos de presin o lobbies al estilo americano
(Miguel, 1995: 253). Lo que est claro es que este feminismo institucional ha ido
adquiriendo progresivamente fuerza en estos ltimos aos, de forma paralelamente
inversa al dinamismo del movimiento feminista de segunda ola (Lovenduski, 1997: 204;
Granados, 1999: 190; Miguel, 1995: 253). Para Lovenduski, desde 1970 se ha dado un
continuo crecimiento de la presencia de mujeres en la direccin de instituciones polticas,
un cambio en las agendas polticas para incluir temas de mujeres y el desarrollo del
feminismo institucional; y estos cambios han sido el resultado de acciones deliberadas de
las mujeres para influir en poltica (Lovenduski, 1997: 204). Como hemos visto antes, esto
no significa que el feminismo institucional y su decidido abandono de la apuesta por
situarse fuera del sistema no haya recibido crticas de otros sectores del movimiento
feminista (Miguel, 1995: 253). De hecho, y como se ver ms adelante, en Espaa las
relaciones entre femcratas y feministas no han sido especialmente fciles (Valiente, 1996)
y un indicador de ello puede ser la inicial confusin y la posterior valoracin que se
realizaba del papel del IM en el proceso preparatorio de la IV Conferencia Mundial de la
Mujer en Pekn, por parte del movimiento feminista (Solana et al., 1997).
Este crecimiento del feminismo institucional genera un especial inters por las
instituciones estatales en los estudios de gnero desde el rea de la ciencia poltica. A partir
de los aos 90, comienzan a aparecer investigaciones cuyo objeto de estudio es este
feminismo institucional en el mundo occidental, el papel que dicho feminismo cumple
respecto a las polticas pblicas de igualdad y sus relaciones con el movimiento feminista
(Meehan y Sevenhuijsen, 1991; Stetson y Mazur, 1995; Gardiner, 1997). Una de las obras
emblemticas de esta nueva perspectiva del feminismo de Estado es Comparative State
Feminism, de Stetson y Mazur (1995), en la que realizan un anlisis comparativo del
feminismo institucional en 14 pases. Esta mirada hacia las agencias o estructuras
dedicadas a la mujer, rompiendo en cierto modo la visin anterior ms monoltica y global
del Estado, ofrece una nueva perspectiva de anlisis del Estado y de su capacidad para
conseguir objetivos feministas. Como mencionan algunas autoras, para desarrollar una
teora feminista del Estado, se necesita menos abstraccin y ms estudios sobre "el alcance
y el contexto de la accin gubernamental y sus consecuencias en la posicin de las
mujeres" (Dahlerup, 1987: 108). El trabajo emprico de Stetson y Mazur es una referencia
obligada en este sentido. Estas autoras hacen un anlisis comparativo a partir de 14 estudios
de caso, entre los que se encuentra Espaa, realizados por investigadoras que ya haban
realizado previamente algn tipo de estudio relacionado con el feminismo de Estado en su
pas. El objetivo de la investigacin era analizar hasta qu punto las estructuras
Austria y Reino Unido), veinticinco entre 1970 y 1980 y otros diez entre 1981 y 1990. Curiosamente, no
consigna la creacin del IM en Espaa en 1983.
_______________________________________________________________________________________
142
_______________________________________________________________________________________
gubernamentales dedicadas a la mujer (womens policy machinery)12 pueden ser

consideradas como verdadero feminismo de Estado, es decir, hasta qu punto han influido
en la formulacin e implantacin de polticas feministas (que promocionan la situacin de
las mujeres y/o socavan los patrones de la jerarqua de gnero) y hasta qu punto han
permitido el acceso de los grupos no gubernamentales de mujeres para ejercer influencia en
dichas polticas. Es decir, la existencia de estructuras gubernamentales dedicadas a la mujer
no implica la existencia de una verdadero feminismo institucional o de Estado. Las autoras
concluyen que todos los pases, excepto Polonia, muestran evidencia de feminismo de
Estado, es decir, todas las estructuras gubernamentales dedicadas a las mujeres son
feministas en mayor o menor grado. Establecen una tipologa de feminismo de Estado
basndose en dos categoras (nivel de influencia en las polticas y nivel de acceso de grupos
de mujeres a las polticas) y concluyen que hay mayor grado de feminismo de Estado
cuando ocurren dos condiciones: cuando el Estado se define como un espacio de justicia
social y tiene la capacidad estructural de institucionalizar las nuevas demandas de igualdad,
y por otro lado, cuando la sociedad apoya ampliamente organizaciones feministas que retan
las jerarquas de sexo a travs tanto de movimientos radicales como de movimientos ms
moderados y reformistas dentro de los partidos y sindicatos. Es decir, los factores que
contribuyen a explicar el carcter feminista de los organismos de igualdad tienen que ver
con la forma en la que se estableci el organismo, su estructura y forma organizativa, la
cultura poltica de la sociedad (sobre todo en lo relacionado a cmo se concibe el Estado) y
la poltica del movimiento de mujeres.
En el anlisis comparativo de Stetson y Mazur, y segn el cruce de los dos
parmetros empleados, Australia, Dinamarca, los Pases Bajos y Noruega son pases en los
que el feminismo institucional tienen un fuerte arraigo, Irlanda e Italia se encuentran en
niveles bajos de feminismo institucional y el resto de los pases se encuentran en
situaciones intermedias. Espaa y Polonia son los dos casos elegidos para el contraste, ya
que representan recientes cambios polticos (el resto de los casos fueron seleccionados a
travs del mecanismo de comparacin de casos ms similares y escogiendo pases con
sistemas democrticos estables desde 1950). El anlisis del caso espaol, basado en el
estudio de caso realizado por Celia Valiente sobre el feminismo de Estado espaol en el
nivel central es clasificado por Stetson y Mazur en la tipologa de aquellos pases que
tienen un alto nivel de influencia en las polticas pero un bajo nivel de acceso a los
movimientos de mujeres13. Es decir, el caso espaol, aunque ms tardo en su desarrollo, es
comparable con el resto de los pases industrializados democrticos y es clasificado en la
misma tipologa junto con Suecia, Gran Bretaa y Francia.
12
El trmino womens policy machinery es utilizado por Stetson y Mazur para describir "cualquier estructura
establecida por el gobierno y cuyo propsito principal es el de la mejora de la situacin social de las mujeres"
(p.3).
13
Australia, Holanda, Noruega y Dinamarca se clasifican en el tipo 1, en el que tienen tanto alto nivel de
influencia en las polticas como alto nivel de acceso a las organizaciones de mujeres. En el tipo 2 y junto a
Espaa, se encuentran Suecia, Gran Bretaa y Francia; en el tipo 3, en el tienen un alto nivel de acceso pero
un bajo nivel de influencia en las polticas, se encuentran Alemania, Estados Unidos y Canad y en el tipo 4
(bajo nivel en las dos categoras) estaran Irlanda e Italia. Polonia es el otro caso para el contraste en el que no
se encuentran signos de feminismo de estado.
_______________________________________________________________________________________
143
_______________________________________________________________________________________
Por lo tanto, se puede decir que el estudio del feminismo institucional ha estado
inextricablemente unido al anlisis de las polticas pblicas de igualdad de gnero y al
papel del movimiento feminista en dichas estructuras y polticas. Se podra decir, pues, que
la existencia de algn tipo de estructura gubernamental de igualdad es condicin necesaria
para la formulacin y ejecucin de lo que denominamos polticas de igualdad de gnero,
entendidas stas como se han definido al inicio de este captulo (como el conjunto de
intenciones y decisiones, objetivos y medidas adoptadas por los poderes pblicos en torno a
la promocin de la situacin de la mujer y de la igualdad de gnero entre mujeres y
hombres). El objeto de este captulo es realizar un anlisis de las polticas de igualdad en
Espaa en el nivel central y autonmico.
El anlisis tanto del feminismo de Estado y su impacto como de las propias polticas
de igualdad se ha centrado en Espaa, sobre todo, en el nivel central (Astelarra, 1990;
Threllfall, 1994; Valiente, 1995, 1996 y 1997; Gil Ruiz, 1996; Martnez, 1997; Sensat y
Varella, 1998). Se han realizado algunos estudios autonmicos en el caso andaluz y vasco
por parte de jvenes politlogas (Granados, 1997 y 1999; Elizondo y Martnez, 1995), pero
son todava a todas luces insuficientes14 y son prcticamente inexistentes los estudios del
feminismo institucional en el nivel local, con alguna pequea excepcin (Valiente, 1999).
Sin embargo, dada la actual estructura del Estado espaol y su desarrollo en los ltimos 25
aos, no se puede obviar el nivel autonmico en el anlisis del impacto de las polticas
pblicas de igualdad de gnero y de las estructuras gubernamentales dedicadas a las
mujeres. Especialmente, si tenemos en cuenta que las competencias relacionadas con la
promocin de la mujer iban en el paquete inicial de competencias cedidas a las
comunidades autnomas desde el inicio en su misma creacin, incluso para las que
accedieron a la autonoma por la va lenta o a travs del artculo 143 de la Constitucin.
Es decir, la competencia en temas de mujer ha sido caractersticamente autonmica desde
el comienzo del Estado de las autonomas.
En el nivel internacional tambin existe una tendencia al estudio del feminismo
institucional a niveles nacionales, renunciando a profundizar en las estructuras regionales y
locales a cambio de obtener anlisis globales en cada una de las naciones, especialmente si
los estudios son de carcter comparado. En el anlisis de Stetson y Mazur, por ejemplo, los
tres casos que se incluyen en el tipo 3 (baja influencia en las polticas, alto acceso de los
grupos de mujeres a dichas polticas) son Alemania, Estados Unidos y Canad,
precisamente tres estados federales. En el caso de Alemania, por ejemplo, existen una gran
cantidad de estructuras gubernamentales dedicadas a las mujeres al nivel regional (de los
Lnder) y al nivel local (aproximadamente 1.100 despus de la unificacin). Esto hace que
haya una gran variedad de estructuras y que sea "imposible dar una nica valoracin del
impacto de dichas estructuras" (Ferree, 1995: 105-106). En definitiva, lo que queremos
aqu sealar es que el hecho de que no se pueda hablar de una alta influencia en las
polticas en el nivel nacional, no tiene por qu decir que no la haya en el nivel regional o en
el local, aunque haya una alta variabilidad y no se pueda generalizar.
14 Para tener una mejor de idea del estado actual de los Estudios de gnero o Womens studies en ciencia
poltica en Espaa y la evolucin que han tenido, consultar Granados, 1999: 74-105; Uriarte, 1997 y Valiente,
1998.
_______________________________________________________________________________________
144
_______________________________________________________________________________________
En Espaa, la creacin, en 1983, del Instituto de la Mujer (a partir de ahora IM), se

considera como el punto de partida del feminismo de Estado y de las polticas pblicas
de igualdad de gnero en Espaa (Gil, 1996). Este feminismo de Estado espaol no slo
ha tenido un impacto significativo en la formulacin de las polticas pblicas de igualdad
(Valiente, 1997: 127), sino que ha sido el principal protagonista e impulsor de las mismas.
El nivel central es, por lo tanto, el nivel gubernamental de referencia en los inicios de las
polticas de igualdad en Espaa, aunque esta caracterstica se va desdibujando con los aos
el desarrollo del Estado de las autonomas. Como veremos con ms detalle ms adelante, a
partir de finales de la dcada de los aos 80, en Espaa se van desarrollando estructuras
gubernamentales similares al IM en las comunidades autnomas de forma generalizada y
en el nivel local de forma ms irregular. En la actualidad, por lo tanto, parece
especialmente interesante incluir tambin en el anlisis del feminismo de Estado espaol, al
menos, el nivel autonmico.
_______________________________________________________________________________________
145
_______________________________________________________________________________________
2. LAS POLTICAS DE IGUALDAD DE GNERO EN ESPAA

DESDE UNA PERSPECTIVA HISTRICA
2.1. Un crecimiento rpido
En 1977, estando la Unin de Centro Democrtico en el Gobierno, se crea la

Subdireccin General de la Condicin Femenina en el entonces Ministerio de Cultura y
Bienestar Social, suprimiendo la Seccin femenina heredada de la poca franquista. Al
frente de esta nueva subdireccin se puso a un grupo de mujeres progresistas no vinculadas
a ningn partido poltico y que realizaron una labor no demasiado fcil, ya que su voluntad
reformadora se entenda como un ataque a la familia y a la sociedad por parte de los grupos
ms conservadores pero no era suficiente para los grupos feministas15. Su lnea de trabajo
inclua el apoyo a asociaciones a travs de subvenciones, la creacin de tres Centros de
Informacin a la Mujer y la revisin de la legislacin discriminatoria16. En 1980 pasara a
denominarse Subdireccin General de la Mujer, dependiente de la Direccin General de
Juventud y Promocin Sociocultural, del Ministerio de Cultura. Con este cambio no
aumenta su rango poltico-administrativo ni deja de ser una pequea unidad administrativa
con poco presupuesto y dentro de un departamento ministerial no central.
Es decir, aunque se pueden analizar las estructuras anteriores como las primeras
estructuras gubernamentales dedicadas a la mujer, e incluso valorar el papel de transicin
que cumplieron, habr que esperar hasta la creacin del IM en 1983 para hablar de un
feminismo institucional ms significativo17. Con la creacin del IM se aumenta el rango
poltico administrativo de las estructuras gubernamentales dedicadas a la mujer, se dispone
de un presupuesto propio y es entonces cuando las polticas pblicas de igualdad de gnero
comienzan a formar parte de las polticas de gobierno.
15 El movimiento feminista mantuvo contradicciones al plantearse las relaciones con la Subdireccin General
de la Condicin Femenina. Por un lado, era el nico organismo democrtico que defenda los intereses de las
mujeres y que poda facilitar apoyo econmico a las asociaciones y, por otro se representaba una institucin
estatal en un gobierno percibido como de derechas (Alberdi, Escario y Lpez-Acotto, 1996: 331).
16
En aquellos aos se consiguieron algunos xitos importantes, como la inclusin de la prohibicin de las
discriminaciones por razn de sexo en el trabajo en el estatuto de los Trabajadores, y la reforma del Cdigo
Civil en 1981, que legalizaba el divorcio y adaptaba las leyes relativas al matrimonio al principio de igualdad
establecido en la Constitucin (Granados, 1999: 263-264).
17
Queda pendiente la realizacin de un estudio en profundidad sobre el verdadero papel que cumpli,
durante la transicin democrtica, la Subdireccin General de la Condicin Femenina y que, posteriormente
se denominara Subdireccin General de la Mujer en la creacin y aparicin del feminismo institucional en
Espaa.
_______________________________________________________________________________________
146
_______________________________________________________________________________________
Este retraso espaol de aproximadamente dos lustros respecto a otros pases del
mbito occidental, que haban desarrollado el feminismo de Estado en la dcada de los
setenta, tiene que ver sobre todo con el tardo desarrollo democrtico espaol debido a la
dictadura franquista de cuarenta aos de duracin.
A finales del ao 1983, se crea el IM en el nivel nacional como consecuencia de las
presiones de algunos sectores del movimiento feminista, la influencia internacional y el
ejemplo de otros Estados que ya contaban con organismos similares y, sobre todo, la subida
del PSOE al poder en 1982 y las presiones de las mujeres militantes dentro del propio
partido socialista (Valiente, 1996).
Cinco aos ms tarde se lanza el I Plan de Igualdad de Oportunidades de las Mujeres
(1988-1990) en el nivel nacional al que le siguen el II y el III Plan en los perodos 93-95 y
97-2000 respectivamente. A partir del ao 1988 se comienza un proceso paralelo en la
creacin de organismos especficos18 y la aprobacin de planes en las comunidades
autnomas (a partir del ao 1989). Aunque este proceso ha tenido ritmos distintos en las
diferentes Autonomas, actualmente, todas las comunidades autnomas (exceptuando las
ciudades autnomas de Ceuta y Melilla) cuentan o han contado con un Plan que estructura
las polticas de igualdad de gnero en cada uno de sus territorios.
Como se puede observar en la tabla 3.1, se puede considerar el ao 1988 como el
punto de partida del Feminismo institucional o de Estado en el nivel autonmico. Aunque
se haban creado poco antes algunas estructuras dedicadas especficamente a la mujer, stas
eran unidades administrativas inferiores y subsumidas dentro de una Direccin General no
especfica (Cantabria, Agencia de Promocin de la Mujer, 1986) o estructuras intermedias
previas a la creacin de una estructura ms estable (Catalua, Comisin Interdepartamental
para la Promocin de la Mujer, 1987). En 1988 se crean los institutos de Andaluca,
Comunidad Valenciana y Pas Vasco, adems de unidades administrativas inferiores en
Extremadura y La Rioja, que junto con Cantabria y Catalua, hacen que ya este primer ao
sean ms de la tercera parte del total de comunidades autnomas (17) las que cuenten con
algn tipo de estructura gubernamental dedicada a la mujer. En 1989 se aaden Asturias y
Madrid, adems de crearse el Institut Catal de la Dona en Catalua. En 1990 se crean
estructuras en Baleares y Castilla-La Mancha, lo que hace que casi dos tercios de las
comunidades autnomas tengan este tipo de estructuras. Las restantes comunidades
autnomas van creando sus estructuras en los primeros aos 90 (Murcia, Galicia y CastillaLen), y en los ltimos aos, se crean sendos institutos en las tres comunidades autnomas
que faltaban (Instituto Aragons de la Mujer, 1993; Instituto Canario de la Mujer, 1994;
Instituto Navarro de la Mujer, 1995)19. Es decir, y como se ver ms adelante cuando
18
El trmino "organismo especfico" se utiliza aqu con un significado similar al de "estructuras

gubernamentales dedicadas a la mujer" (women's policy machinery). Tambin se utiliza, a lo largo del texto,
la expresin "organismos de igualdad" con el mismo significado.
19
En 1999 se crea el Instituto Asturiano de la Mujer, que no tiene rango de organismo autnomo ni est
creado por ley, sino que es un rgano desconcentrado dependiente de la Consejera de la Presidencia,
establecido por decreto (vanse Decretos 61/99 de 10 de Agosto y 137/99 de 16 de Septiembre, publicados en
el B.O.P.A. del 12 de Agosto y 18 de Septiembre, respectivamente).
_______________________________________________________________________________________
147
_______________________________________________________________________________________
analicemos el marco institucional, aunque estas estructuras son muy diferentes y su poder y
grado de institucionalizacin y consolidacin difiere mucho entre s, vemos que en un
espacio de no ms de siete aos se generalizan las estructuras gubernamentales dedicadas a
la mujer en el nivel autonmico.
_______________________________________________________________________________________
148
_______________________________________________________________________________________
TABLA 3.1
Estructuras gubernamentales para la igualdad de gnero en las
comunidades autnomas
Comunidad
Autnoma
ANDALUCIA
Organismo de igualdad
y ao de creacin
Instituto Andaluz de la Mujer (88)
ARAGON
Instituto Aragons de la Mujer (93)
ASTURIAS
Secretara de la Mujer (89)

Direccin Regional de la Mujer (93)
Secretara Regional de la Mujer (95)
Instituto Asturiano de la Mujer (99)
Comisin Interdepartamental de la Mujer (90)
Instituto Balear de la Mujer (2000)
Instituto Canario de la Mujer (94)
BALEARES
CANARIAS
CANTABRIA
CASTILLA-LA
MANCHA
CASTILLA-LEON
CATALUA
EXTREMADURA
GALICIA
Agencia de Promocin de la Mujer (86)*

Direccin General Mujer (97)
Direccin General de la Mujer (90)
Servicio Regional de la Mujer*
Secretara Regional de la Mujer (94)
Direccin General de la Mujer e Igualdad de
Oportunidades
Comisin Interdepartamental de Promocin de la Mujer
(87)
Institut Catal de la Dona (89)
Asesora Ejecutiva de la Mujer (88)*
Servicio Galego de Promocin da Igualdade del Home e
la Muller (91)
MADRID
MURCIA

Direccin General de Poltica Social y Familia (95)
Direccin General de Juventud, Mujer y Familia (97)
Secretara Sectorial de Mujer y de Juventud
Subdireccin General de la Mujer (91)
Instituto Navarro de la Mujer (95)
Instituto Vasco de la Mujer (Emakunde) (88)
NAVARRA
PAIS VASCO
Planes de
Igualdad
I Plan 1990-92
II Plan 1995-97
I Plan 1994-96
II Plan 97-2000
I Plan 1989-91
II Plan 1993-95
III Plan 1996-2000
I Plan 1991-93
II Plan 1996-99
I Plan 1995-96
II Plan 97-2000
I Plan 1991-93
II Plan 1998-2001
I Plan 1990-94
II Plan 1995-99
III Plan 1999-2003
I Plan 1994-96
II Plan 1997-2000
I Plan 1989-92
II Plan 1994-96
III Plan 1998-2000
I Plan 1991
I Plan 1992-94
II Plan 1995-97
III Plan 1998-2001
I Plan 1989-91
II Plan 1993-95
III Plan 1997-2000
I Plan 1993-95
II Plan 1997-2000
I Plan 1998-2000
I Plan 91-94
II Plan 95-98
III Plan 1999-2002
LA RIOJA
Centro Asesor de la Mujer*
I Plan 91-95
(Direccin General de Bienestar Social -88)
II Plan 96-99
COMUNIDAD
Institut Valenci Dona (88)
I Plan 89-91
VALENCIANA
Direccin General Mujer (97)
II Plan 1997-2000
* Unidades administrativas inferiores al rango de Direccin General y dependientes de una Direccin General no
especfica de temas de mujer.
_______________________________________________________________________________________
149
_______________________________________________________________________________________
Desde el momento en el que empiezan a surgir las estructuras gubernamentales

dedicadas a la mujer en el nivel autonmico, comienzan tambin a desarrollarse las
polticas autonmicas de igualdad de gnero. Es decir, con la misma rapidez que surgen
dichas estructuras, se van consolidando tambin unas polticas de igualdad de gnero,
articuladas, como veremos ms adelante, a travs de planes de igualdad. Como seala Celia
Valiente (1995, 1996), aunque el feminismo de Estado aparece en Espaa
aproximadamente diez aos ms tarde que en otros pases occidentales, en el ao 1994, el
IM espaol es comparable en trminos de presupuesto, personal y objetivos a las
instituciones de igualdad de dichos pases. Si adems tenemos en cuenta el desarrollo tanto
de las polticas como de los organismos de igualdad en el nivel autonmico, se puede
concluir que Espaa es uno de los pases europeos con un crecimiento mayor y ms rpido
en este terreno en los ltimos diez aos.
Este desarrollo debe ser entendido, adems, teniendo en cuenta dos factores del
contexto socio-poltico espaol que son importantes para el anlisis del desarrollo y el
papel de las polticas pblicas de igualdad de gnero en Espaa en general, y en el nivel
autonmico, en particular. En primer lugar, este pas pasa de la dictadura franquista a un
sistema democrtico integrado en Europa en un perodo aproximado de 10 aos. A esta
situacin poltica hay que aadirle los profundos cambios sociales, incluyendo el papel de
las mujeres, que ha experimentado la sociedad espaola. En segundo lugar, y de forma
paralela, hay que tener en cuenta el desarrollo del Estado de las autonomas. En menos de
20 aos hemos pasado de un pas fuertemente centralizado a uno de los ms
descentralizados de Europa, desarrollando un modelo abierto, todava en desarrollo, con
claros caracteres federales, aunque slo podra ser adjetivado como "cuasi-federal o
federalizante" dada la atrofia del Senado como verdadera cmara territorial y cuya reforma
se est estudiando (Moreno, 1997:141).
En este contexto, las polticas de igualdad de gnero en el nivel autonmico han ido
adquiriendo una importancia creciente, de tal manera que resulta imprescindible su anlisis
para obtener una idea general de estas polticas en el Estado espaol. Esta generalizacin y
descentralizacin de las polticas de igualdad de gnero tambin ha tenido sus efectos en el
nivel local aunque, como se ha comentado anteriormente, este desarrollo ha sido mucho
ms irregular. El estudio sistemtico de las polticas de igualdad de gnero en el nivel local
(incluyendo polticas de promocin de la mujer, que es lo que, en muchos casos, domina en
este mbito), que excede este trabajo de investigacin, permanece como un campo de
estudio todava sin explotar y que, creemos, adquirir deseablemente un gran desarrollo en
los prximos aos.
_______________________________________________________________________________________
150
_______________________________________________________________________________________
2.2. La evolucin en la definicin del problema
El tipo de respuestas que se den y el tipo de acciones pblicas que se lleven a cabo al
amparo de una poltica pblica dependen, en gran medida, de cmo se defina el problema
pblico que se pretende resolver. Es decir, en este caso es importante saber cmo se define
el concepto de (des)igualdad de gnero. Ms all, resulta interesante analizar si ha habido
algn cambio en la definicin del problema desde que ste se hiciera pblico y ver cul ha
sido su evolucin desde el inicio de las polticas pblicas de igualdad de gnero en Espaa.
A principios de la dcada de los aos 80, las revindicaciones de las socialistas
feministas consistan, sobre todo, en desarrollar el derecho de igualdad establecido en la
Constitucin espaola de 1978, impulsando legislacin no discriminatoria y desarrollando
acciones que promovieran la igualdad entre los sexos. De hecho, el objetivo del IM,
expresado en su ley de creacin es el cumplimiento y desarrollo de los principios
constitucionales, la promocin y fomento de las condiciones que hacen posible la igualdad
social entre los sexos y la participacin de la mujer en la vida poltica, cultural, econmica
y social20.
Es decir, por un lado, se reivindicaba en primer lugar, la igualdad legal o de derecho.
Aunque la Constitucin de diciembre de 1978 consagraba el principio de igualdad en su
artculo 14, todava quedaban, en el momento de creacin del IM, algunos restos de una
legislacin claramente desigualitaria y machista. Una buena parte de las medidas del I Plan
de Igualdad en el nivel central tenan que ver con los cambios legislativos necesarios como
condicin previa para comenzar a abordar los problemas de desigualdad de las mujeres. Por
lo tanto, muchas de aquellas primeras energas se emplearon en conseguir la igualdad de
derecho. Ya por entonces, se era consciente de que esta igualdad de derecho, aunque
necesaria, no conllevaba la igualdad de hecho. De esta manera, se trataba de promover las
condiciones necesarias para que las mujeres pudieran tener las mismas oportunidades que
los hombres en toda una serie de mbitos (haciendo especial hincapi en el laboral). Sin
embargo, la verdadera igualdad de oportunidades es difcil de conseguir cuando la situacin
de partida de ambos sexos ha sido muy distinta y cuando las causas profundas de la
desigualdad se hallan en las propias estructuras sociales que apoyan y perpetan dicha
desigualdad. Esta es la razn por la que se ha comenzado a formular la idea de la igualdad
de hecho en torno a los resultados y no slo en torno a las oportunidades. Es decir, no
slo se trata de poner el punto de mira en que todas las personas, independientemente de su
sexo, tengan las mismas oportunidades, sino de empearse en conseguir que en muy
diferentes mbitos, y que se reflejan en datos y estadsticas (salarios, tasa de desempleo,
tipo de estudios, niveles en la escala laboral, usos del tiempo, etc.) no sea la variable sexo
la que explique las mayores diferencias.
20
(Ley de creacin del Organismo Autnomo Instituto de la Mujer. Ley 16/1983, de 24 de Octubre).
_______________________________________________________________________________________
151
_______________________________________________________________________________________
Por otro lado, el problema se defina, en los comienzos de feminismo de Estado en

Espaa, en trminos de desigualdad entre los sexos, refirindose especialmente a la falta
de participacin de las mujeres en la sociedad. Sensat y Varella (1998) analizan el primer y
segundo planes en el nivel central y concluyen que las polticas de igualdad de gnero en
Espaa han tratado de luchas contra la desigualdad de sexo y no de gnero. Entendemos,
como seala Lovenduski (1997), que sexo se refiere al sexo biolgico y gnero al modo en
que las relaciones entre sexos se producen e institucionalizan, esto es, el gnero se refiere a
las consecuencias sociales de las diferencias biolgicas entre hombres y mujeres21.
Siguiendo a aquellas autoras, que definen el gnero como una categora relacional que
tiene que ver con las relaciones entre hombres y mujeres que se establecen
asimtricamente, aunque la categora de gnero se reconoce en el II Plan central (93-95),
esto se ha hecho slo al nivel del discurso. Estas mismas autoras tambin sealan que los
dos primeros planes centrales se han articulado alrededor de la arena productiva (y no la
reproductiva). La arena productiva tiene que ver con las actividades realizadas dentro del
mercado o esfera pblica y que se hacen a cambio de un salario; estas actividades estn
reconocidas social y econmicamente. Por el contrario, la arena reproductiva tiene que ver
con la esfera privada y con las actividades de cuidado dentro del hogar y la familia; estas
actividades son las que mantienen, cotidianamente, la fuerza de trabajo dentro de la unidad
domstica. Pero no estn reconocidas ni social ni econmicamente; son invisibles. Es decir,
por un lado, aunque hay una tendencia hacia el reconocimiento de la categora de gnero superando la categora sexo-, sta no llega a ser asumida plenamente. Por otro lado, se hace
hincapi en la igualdad de la mujer hacia el hombre (en el mbito productivo) y no tanto en
la igualdad del hombre hacia la mujer (mbito reproductivo).
Tambin basndose en el dilema pblico-privado, Gil (1996) seala diferencias entre
el primero y el segundo plan central. El I Plan (1988-1990) estaba orientado casi
exclusivamente hacia el mbito del trabajo, no mencionndose el dualismo pblico-privado
o la necesidad de promocionar un reparto ms igualitario de las responsabilidades
domsticas. El II Plan (1993-1995), sin embargo, mencionaba la necesidad de nuevos
balances entre las esferas pblica y privada. Este II Plan menciona ya algunas acciones
relacionadas con la esfera privada. Estas diferencias son un indicador de cmo ha ido
evolucionando la definicin del problema de la igualdad. A lo largo del tiempo, las mujeres
se han dado cuenta de que no es suficiente conseguir la igualdad formal; ni siquiera es
suficiente tener mayor acceso al mercado laboral porque las estructuras sociales,
econmicas y culturales no permiten que este acceso se haga en verdadera igualdad de
condiciones. Las mujeres han conseguido tener un cierto acceso al mundo productivo
(principalmente masculino) pero todava tienen, de forma casi exclusiva y sin conseguir
21
El concepto de gnero, adems, pretende romper en cierto modo las categoras monolticas de mujeres y
hombres, desplazando el foco de mujer hacia el de gnero, explicando la desigualdad no tanto por las
diferencias genricas entre hombres y mujeres, sino por los conflictos en las relaciones de gnero. Para
Lovenduski, los conflictos de gnero (...) se definen como conflictos construidos en funcin de los roles
opuestos de hombres y mujeres. Al contrario de conceptos como temas de mujeres, derechos de mujeres o
necesidades de mujeres, el conflicto de gnero no presupone intereses comunes de todas las mujeres y todos
los hombres. El conflicto de gnero no requiere una identidad social amplia, sino que requiere que la disputa
se construya en funcin de diferencias entre mujeres y hombres concretos (Lovenduski, 1997: 207).
_______________________________________________________________________________________
152
_______________________________________________________________________________________
repartirlo22, la responsabilidad del mundo reproductivo (principalmente femenino). De esta

manera, aunque todava es importante conseguir un acceso ms igualitario de las mujeres a
la esfera productiva, va adquiriendo importancia creciente la combinacin de estrategias
dirigidas al mbito reproductivo.
Una de las consecuencias de esta evolucin en la definicin del problema es la
creciente, aunque todava dbil, (re)consideracin de algunos aspectos tradicionalmente
considerados privados (relacionados con el mbito reproductivo y domstico) como
asuntos pblicos (algo que se considera para la accin pblica). Esto tambin ha llevado a
nuevas definiciones del problema de igualdad: del concepto de igualdad a al de
igualdad entre; de la idea de la participacin de la mujer en un mundo de hombres a la
de cambiar el mundo para que en l quepan hombres y mujeres. Un indicador simblico de
esta tendencia son los cambios en los ttulos de los sucesivos planes centrales. Los planes
primero y segundo se titulaban Planes de la Igualdad de Oportunidades de las Mujeres.
El III Plan (1997-2000) es denominado Plan para la Igualdad de Oportunidades entre
Mujeres y Hombres. Adems, en la introduccin de este III Plan central se dice que la
promocin de la igualdad no requiere nicamente la adopcin de medidas positivas
dirigidas las mujeres (...). Tambin requiere medidas destinadas a adaptar la organizacin
de la sociedad hacia una distribucin ms justa de roles23. Sin embargo, creemos, de
acuerdo con Sensat y Varella, que esta nueva definicin se reconoce en el nivel del discurso
pero no se traduce a la prctica de las polticas pblicas de igualdad de gnero24.
Otra tendencia evolutiva en la definicin del concepto de igualdad es su
reivindicacin no slo en trminos de derechos, sino tambin en trminos de sus efectos
positivos, es decir, la idea de que la igualdad no es slo buena para las mujeres sino para
las hombres y la sociedad en general tambin. Este es el caso, por ejemplo, del lema de la
22
Los ltimos datos sobre usos del tiempo son que en 1996 las mujeres espaolas emplean una media de
7h35 en actividades domsticas, mientras los hombres lo hacen durante 3h05. Estos datos son algo mejores
que los de 1993 (7h.58 frente a 2h30), y esto significa que las cosas van cambiando. Pero las diferencias
siguen siendo enormes (Instituto de la mujer. Mujeres en cifras).
23
III Plan para la Igualdad de Oportunidades entre Hombres y Mujeres 1997-2000. Pg. 10.
24
Tanto Gil (1996) como Sensat y Varella(1998) basan sus anlisis en el I y II Plan exclusivamente. En
nuestro breve anlisis del III Plan central, encontramos que, en estos temas, parece haber incluso algn
retroceso. Mientras en el II Plan haba un rea especfica sobre Promocin de una distribucin ms
equitativa de las responsabilidades domsticas, en el III slo hemos encontrado un objetivo dentro del rea
de Economa y Empleo que tiene que ver con la armonizacin de la vida familiar y laboral de las mujeres
y los hombres. Es significativo no slo que ese objetivo sea formulado desde el rea de economa y empleo
(rea productiva), sino que es menos preciso y ambicioso que el del II Plan. As, por ejemplo, podemos
comparar la accin 3.5.4. del III Plan con la 5.1.5. del II. La primera es sensibilizar a la opinin pblica
sobre la importancia de difundir una imagen de las mujeres y de los hombres que afiance y consolide una
distribucin de las tareas no sexistas. La segunda es realizar campaas, a travs de publicidad y material
divulgativo, sobre la prctica cotidiana del reparto de papeles y responsabilidades, a fin de suscitar una toma
de conciencia en dos vertientes: una, sobre la igualdad de oportunidades, y otra, sobre los efectos positivos
que para las nias y nios supone el ser atendidos tanto por parte de la madre como del padre.
(Curiosamente, aunque esta ltima accin se fundamenta con los efectos positivos que la misma puede tener
no slo sobre la mujer madre, sino tambin sobre los hijos -y esto es un paso importante-, no se menciona en
ningn momento los posibles efectos positivos posibles para el hombre en su labor de padre).
_______________________________________________________________________________________
153
_______________________________________________________________________________________
campaa de 1998 de la Comunidad de Madrid (La igualdad nos interesa a todos y no slo
a las mujeres. Aplica la igualdad en tu vida cotidiana). Otro ejemplo es el del programa
OPTIMA (lanzado por el IM despus del II Plan, a travs del IV Programa de Accin de
la UE) y que trata de estimular a las empresas para que establezcan compromisos de
igualdad en sus organizaciones25. Esta tendencia podra llevar a utilizar tambin estrategias
de marketing o venta, adems de las tradicionales de reivindicacin que, por supuesto,
siguen estando en la esencia de cualquier accin pblica dirigida a conseguir la igualdad.
Puede ser bien para vender la imagen de la mujer para el mundo productivo (por ejemplo,
las mujeres pueden ser muy buenas y diferentes directivas en una organizacin") o bien
para vender las actividades reproductivas a los hombres (por ejemplo, es importante una
presencia fuerte del padre en los primeros aos de crianza o la prctica de actividades
domsticas y de cuidado de los dems son importantes para el desarrollo y maduracin
afectiva y emocional del ser humano).
En el Institut Catal de la Dona, para realizar la evaluacin de II Plan de Igualdad de
Oportunidades (1994-1996), establecen una categorizacin del tipo de acciones contenidas
en ese plan que reflejan, en cierto modo, la tendencia evolutiva en la definicin del
problema de la igualdad. Hablan de acciones de "promocin de la mujer" (tienen por
objetivo la prestacin de servicios a las mujeres), de "igualdad" (tienen por objetivo
establecer los condicionantes que mujeres y hombres tengan las mismas oportunidades) y
de "paridad" (encaminadas a potenciar la modificacin de las pautas de relacin social, de
forma que mujeres y hombres compartan responsabilidades tanto en el mbito pblico
como en el privado) encontrando que se haban ejecutado muchas ms de la primera
categora, menos de la segunda y muy pocas de la tercera. Una de sus conclusiones es que
hay que ir equilibrando estas tres categoras de acciones, es decir, hay que tender hacia la
paridad.
En la tabla 3.2. se expresan grficamente las tendencias en la evolucin del problema
de la igualdad y algunas de sus consecuencias sobre su abordaje en las polticas pblicas de
igualdad de gnero.
25En
el II Plan, la accin 3.8.3. mencionaba, entre otras medidas, campaas con el lema la igualdad de
oportunidades es una buena oportunidad para las empresas.
_______________________________________________________________________________________
154
_______________________________________________________________________________________
TABLA 3.2. Evolucin del problema de la igualdad

Igualdad
de derecho
Igualdad de hecho Igualdad de hecho

(oportunidades)
(resultados)
Igualdad entre los sexos

Lucha contra la
discriminacin
basada en el sexo
(diferencias biolgicas)
Igualdad a
Igualdad como
derecho de la
mitad de la
poblacin
Igualdad de gnero
Lucha contra la
discriminacin
basada en el gnero
(consecuencias sociales)
ACCIONES POSITIVAS
PARA LAS MUJERES
INCIDIR EN LAS
ESTRUCTURAS
SOCIALES
(y no slo en
las mujeres)
Igualdad entre
LOS DESTINATARIOS
DE LAS ACCIONES DE
IGUALDAD PUEDEN SER
TAMBIEN LOS HOMBRES
Igualdad de
gnero como
forma de
desarrollo social
NO SOLO POLITICAS
ESPECIFICAS SINO
PERSPECTIVA DE GENERO
EN TODAS LAS
POLITICAS PUBLICAS
Todas las tendencias evolutivas expresadas en la tabla 3.2. no representan conceptos

mutuamente excluyentes; es decir, la evolucin en la definicin del problema no significa
que se abandone la antigua formulacin, sino que se enriquece con la nueva. As, la
igualdad de derecho como reivindicacin de la mitad de la poblacin sigue siendo bsica en
la definicin del problema de la igualdad.
Una de las consecuencias de poner en el punto de mira de las acciones pblicas no
slo en la igualdad de oportunidades, tanto legal como "de facto", sino en la igualdad de
resultados implica reafirmar la necesidad de acciones positivas para las mujeres. Es decir,
para que la igualdad de oportunidades sea real hay que "colocar" a las mujeres en el mismo
punto de partida removiendo los obstculos para ello y estableciendo medidas especiales
_______________________________________________________________________________________
155
_______________________________________________________________________________________
que animen a superarlos. Y si lo que se pretende es la igualdad de resultados, hay que

intensificar dichas acciones positivas, incluyendo incluso, medidas de discriminacin
positiva.26 Las tendencias hacia el concepto de gnero y el de igualdad entre han hecho
replantear el que haya que cargar todas las tintas en las mujeres como nicas destinatarias
de las polticas de igualdad; hay que plantearse tambin el cambio de las estructuras
sociales en general e incluso la idea de que los hombres tambin son destinatarios
directos de las polticas de igualdad de gnero. El foco se traslada a las diferencias basadas
en el gnero, en ambas direcciones, aunque como es evidente las discriminaciones de
gnero afectan en mayor medida a las mujeres que a los hombres. Por ltimo, contemplar la
igualdad no slo como derecho sino como algo deseable para todos los seres humanos y
en todos los aspectos, hace que, ms que acciones pblicas sectoriales para la igualdad, se
planteen acciones pblicas conducentes a impregnar de "perspectiva de gnero" todas las
polticas pblicas, es decir, que todas las actuaciones y polticas pblicas se formulen,
ejecuten y evalen teniendo en cuenta a las mujeres y las consecuencias diferenciales que
sobre ellas puedan tener dichas actuaciones. Para esto, lgicamente, habr que haber
analizado la realidad tambin con dicha perspectiva, visibilizando a las mujeres en dicho
anlisis.
Aunque parece que la definicin de igualdad apunta en las direcciones arriba
indicadas, como ya se ha mencionado antes, estas tendencias estn, por lo general, slo
reconocidas en el nivel discursivo. En general, el feminismo institucional espaol ha tenido
mucho xito en la formulacin del discurso subyacente a las polticas pblicas de igualdad
pero no tanto en la traduccin prctica de dicho discurso en actuaciones verdaderamente
coherentes con el mismo. Por un lado, este discurso todava contiene algunas
contradicciones (hablamos de gnero, pero lo hacemos desde institutos de la mujer;
hablamos de igualdad y nos vamos dando cuenta de que para conseguirla debemos
establecer un trato diferencial y no obviar una supuesta igualdad); por otro, el discurso no
se traduce en la prctica y ejecucin de las polticas. Algunos ejemplos e indicadores de
esto podran ser:
1. En las evaluaciones hablan exclusivamente de las destinatarias de los planes de
igualdad. Aunque incluso los ttulos de los planes incluyan a la otra mitad de la
poblacin -los hombres-, en los diseos de evaluacin, cuando stos incluyen
recopilar informacin de la poblacin destinataria, el universo sobre el que se trabaja
es el de las mujeres.
2. Cuando se propone algn tipo de medida relacionada con el reparto de las
responsabilidades del mbito reproductivo, se hace desde el marco de la conciliacin
de la vida laboral y domstica, es decir se insiste desde la perspectiva de que el
26
Nosotros no estamos de acuerdo en que la frontera entre una accin y una discriminacin positiva est
claramente delimitada; creemos, adems, que la utilizacin del trmino discriminacin puede acentuar el
carcter peyorativo de este tipo de medidas. Lo que est claro es que, aunque estas medidas han sido muy
criticadas y tienen una altsima probabilidad de ser polmicas, s se reconocen como efectivas (por ejemplo, el
sistema de cuotas en los partidos polticos). Para un estudio en profundidad la fundamentacin jurdica de
dichas medidas y de las crticas posibles a las mismas, vanse Ruiz Miguel (1996) y Prez del Ro (1996).
_______________________________________________________________________________________
156
_______________________________________________________________________________________
hombre debe asumir responsabilidades para que la mujer pueda trabajar y no soportar
una doble carga (es decir, en funcin del mbito productivo y por una cuestin de
justicia social, para que las mujeres tengan la oportunidad de ser ms productivas),
pero se insiste menos en una justificacin del reparto del mbito reproductivo en s
mismo, reconocindolo, valorizndolo e intentndolo repartir con los hombres,
porque tambin puede ser bueno para ellos y para la sociedad en general.27
3. La perspectiva de gnero se asume como discurso, pero en muchos casos se
vaca de contenido y se traduce en una simple contabilizacin de cuntas mujeres han
sido beneficiadas por cada actuacin, proyecto o poltica.
Como se puede observar, a pesar de todo lo avanzado, existen todava bastantes
contradicciones, que resultan interesantes para el anlisis. Al tratarse de polticas pblicas
de un alto carcter simblico, es relativamente fcil cubrirlas de un discurso en el nivel
formal que cubra el expediente, a pesar de que las polticas simblicas tengan su
importancia (Valiente, 1999: 485-490). Precisamente, el anlisis de las acciones y planes
pblicos de igualdad desde esta perspectiva nos parece especialmente interesante, incluida
la fase de la evaluacin. Cul es el concepto de igualdad al que verdaderamente estn
respondiendo los planes pblicos? Existen contradicciones entre el discurso y las acciones
y la perspectiva desde la que se realizan?
2.3. La entrada en la agenda poltica
El proceso de formacin o construccin de la agenda poltica es una fase

determinante en el anlisis de polticas pblicas y ha recibido especial atencin por parte de
los politlogos, ya que intenta responder a interrogantes clave en el estudio de las polticas
pblicas. Dentro de esta fase se analizan las razones de por qu un determinado tema
adquiere relevancia pblica y otros no, qu es lo que hace que los poderes pblicos se
encarguen de unos temas y no de otros, quines influyen en esa entrada en la agenda.
Posteriormente habr que estudiar si es suficiente la entrada en agenda para que los poderes
pblicos acten sobre el tema en cuestin. La igualdad de gnero resulta especialmente
paradigmtica en el anlisis de la construccin de agenda ya que, entre otras cosas, los
poderes pblicos han demostrado inters por l de forma reciente porque la mayora de las
27
Aqu nos encontramos tambin con la dualidad pblico-privado. Lo que se ha definido como perteneciente
al mbito privado es un terreno en el que los poderes pblicos no deben entrar. En el corazn de la cuestin
est, pues, qu es lo que se considera de mbito pblico y qu se considera del mbito privado. La historia de
las polticas pblicas de igualdad es, en cierto modo, cmo los movimientos de mujeres han ido consiguiendo,
a lo largo de las historia, que cuestiones consideradas tradicionalmente como privadas hayan sido
consideradas cuestiones pblicas y hayan entrado en la agenda de actuacin de los poderes pblicos. Uno de
los ejemplos ms recientes ha sido el caso de la violencia domstica y el maltrato a las mujeres.
_______________________________________________________________________________________
157
_______________________________________________________________________________________
cuestiones aparecan vinculadas tradicionalmente al mbito de lo privado (Martnez, 1998:

149).
Se ha argumentado que la entrada en la agenda poltica es un paso particularmente
difcil para las polticas pblicas de igualdad de gnero (Martnez, 1997; Threlffal, 1990;
Ousthoorn, 1991). Efectivamente, estas polticas se deben definir como un problema
pblico y la cuestin de la igualdad debe ser suficientemente reconocida para que llegue a
discutirse. Sin embargo, y como seala Celia Valiente (1997), las femcratas28 espaolas
han tenido un cierto xito en la definicin de problemas y en la introduccin de los mismos
en la agenda poltica. La introduccin de los temas de igualdad de gnero en la agenda
poltica est, sin duda, relacionada con la utilizacin de planes transversales, es decir que,
al menos en la teora, acata todo el Gobierno (en su mayora, denominados planes de
igualdad de oportunidades). Estos planes son actualmente el instrumento principal para la
articulacin de las polticas pblicas de igualdad de gnero, tanto en el nivel central como
en el autonmico29. As, las femcratas espaolas han conseguido introducir la igualdad de
gnero en muchas de las agendas polticas de diferentes sectores gubernamentales (aunque
en algunos con ms xito que en otros). Sin embargo, y como veremos ms adelante, las
femcratas espaolas no han tenido tanto xito en el control de la formulacin y ejecucin
de dichas polticas. Entre otras cosas, la mera inclusin de temas en las agendas de los
poderes pblicos no garantiza necesariamente la implementacin de polticas pblicas al
respecto (Martnez, 1998: 149).
La entrada en la agenda poltica de la igualdad de gnero ya ha sido analizada por
Celia Valiente (1995) en el nivel central. Entre otros factores, Valiente destaca el
compromiso del Partido Socialista Obrero Espaol (PSOE) impulsado, a su vez, por las
mujeres feministas dentro de dicho partido. En 1981, se crea Mujer y Socialismo, dentro
del PSOE, y esto representa un factor fundamental para que el Gobierno Socialista de 1982
introduzca el tema de la desigualdad de gnero en su agenda poltica. De hecho, en el
programa electoral de 1982 de dicho partido se hablaba de crear una "comisin para la
igualdad que garantice la no discriminacin entre los dos sexos" (PSOE 1982: 29). Esto
hace que, una vez ganadas las elecciones generales de Octubre de 1982 con mayora
absoluta, y con la presin de "Mujer y Socialismo" a sus compaeros de partido, entrara en
la agenda de los poderes pblicos la creacin del IM, que se realiza formalmente a finales
de 1983.
El principio de igualdad ya haba quedado consagrado en la Constitucin de 1978,
como valor fundamental (a travs del precepto 1.1), como principio jurdico (a travs de su
artculo 14) y como principio poltico (a travs del precepto 9.2). Las primeras femcratas
espaolas insisten en la necesidad de adecuar la legislacin a dicho principio constitucional
28
Por femcratas entendemos las personas responsables de las instituciones pblicas que tienen por objetivo
la promocin e igualdad de la mujer. Este trmino, junto con el de feminista de Estado se ha utilizado tambin
para denominar a cualquier mujer feminista en la administracin Pblica (Siim, 1991; Sawer, 1990)
29
Aunque en el nivel local tambin se utiliza en ocasiones este mismo instrumento (sobre todo en las
ciudades grandes y medianas), su uso no est tan extendido y generalizado como en los otros dos niveles
gubernamentales.
_______________________________________________________________________________________
158
_______________________________________________________________________________________
y se apoyan especialmente en el precepto 9.2, que establece que corresponde a los poderes
pblicos promover las condiciones para que la libertad y la igualdad del individuo y de los
grupos en que se integra sean reales y efectivas; remover los obstculos que impidan o
dificulten su plenitud y facilitar la participacin de todos los ciudadanos en la vida poltica,
econmica, cultural y social, para fundamentar la necesidad de su intervencin para la
aplicacin real de dicho principio de igualdad. Estos fundamentos jurdicos deben tambin
estudiarse en los Estatutos de autonoma, normas fundamentales de las comunidades
autnomas. En todos estos estatutos se han incluido preceptos similares al 9.2 de la
Constitucin, algunos de forma ms especfica que la propia Constitucin y los otros
Estatutos. Este es el caso del precepto 12.2 del Estatuto de Andaluca que establece que la
Comunidad Autnoma propiciar la efectiva igualdad del hombre y de la mujer andaluces,
promoviendo la plena incorporacin de sta en la vida social y superando cualquier
discriminacin laboral, cultural, econmica y poltica30. En cualquier caso, la Constitucin
Espaola (CE) de 1978 efecta una descentralizacin territorial del poder, y como ya se ha
visto anteriormente, las materias de promocin de la igualdad de gnero, as como casi toda
la poltica social van a pasar a depender desde un principio de las comunidades autnomas,
por lo que los fundamentos jurdicos de las polticas de igualdad de gnero tambin deben
contemplarse desde la perspectiva autonmica.
Valiente tambin menciona como factor determinante en la entrada en agenda, tanto
del tema de la igualdad en general como de la creacin de organismos especficos para su
consecucin, la influencia de los organismos internacionales. El ao 1975 fue declarado
Ao Internacional de la Mujer por la Organizacin de las Naciones Unidas y fue seguido
del Decenio de las Naciones Unidas de la Mujer que comienza en 1976 y termina en 1985.
Las Conferencias Mundiales sobre la Mujer (Mxico, 1975; Copenhague, 1980; Nairobi,
1985 y Pekn, 1995) han ido marcando hitos y arrancando compromisos a los diferentes
Estados, reflejados en el Plan de Accin Mundial que se aprob en Mxico (1975), las
Estrategias orientadas hacia el futuro para el adelanto de la Mujer en Nairobi (1985) y la
Plataforma de Accin de Pekn (1995). Las propias estructuras para la igualdad de la
Organizacin de Naciones Unidas se desarrollaron enormemente durante aquellos aos:
para el final del Decenio, se haban establecido y consolidado tres de las principales
instituciones: La Divisin para el Adelanto de la Mujer (DAW) que se centra en la poltica,
el Instituto Internacional de Investigaciones y Capacitacin para la Promocin de la Mujer
(INSTRAW), que se centra en la investigacin y, finalmente, el Fondo de Desarrollo de las
Naciones Unidas para la Mujer (UNIFEM), que se centra en las actividades operativas.
Paralelamente, en el ao 1979, la Asamblea General de la ONU aprob la Convencin
sobre la Eliminacin de todas las Formas de Discriminacin Contra la Mujer que
comprende derechos de la mujer aceptados internacionalmente y que son aplicables a todas
las mujeres y en todos los campos. Esta Convencin, cuya norma bsica es la prohibicin
de todas las formas de discriminacin contra la mujer y que establece medidas que deben
tomarse para asegurar que las mujeres disfruten de los derechos que les corresponden, est
abierta a todos los Estados y se ratifica voluntariamente por parte de los mismos. Espaa lo
30
Para un excelente estudio de las bases jurdicas del principio de igualdad de gnero, tanto en la
Constitucin Espaola como en los diferentes Estatutos de Autonoma, consultar Granados (1999: 233- 253).
_______________________________________________________________________________________
159
_______________________________________________________________________________________
ratifica muy poco despus de la creacin del IM, en diciembre de 1983 y en 1995 eran ms
de 150 los pases que la haban ratificado. Basndose en el artculo 17 de dicha Convencin
se crea el Comit para la Eliminacin de la Discriminacin de la Mujer, que es el que se
encarga de velar por la aplicacin de la Convencin en los Estados Participantes.
Esta atencin a los derechos de la mujer, inicialmente impulsada por la Comisin de
la Condicin Social y Jurdica de la Mujer de Naciones Unidas (CSW)31, tuvo repercusin
tanto en las agencias internacionales especializadas como la Organizacin Mundial de la
Salud (OMS), la Organizacin Internacional del Trabajo (OIT), la UNESCO, etc. como en
las propias Comunidades Europeas y el Consejo de Europa32.
El artculo 119 del Tratado de Roma (1957), constitutivo de la Comunidad
Econmica Europea, reconoce el principio de igualdad de entre mujeres y hombres,
referido exclusivamente a la igualdad de remuneracin entre los trabajadores masculinos y
femeninos que realicen un trabajo igual. Sin embargo, la obligacin formal de aplicar su
contenido no se da hasta 1975, ao en el que se aprueba una directiva (n 75/117) para
armonizar las legislaciones de los Estados miembros en esa materia. Adems de la base
jurdica de las polticas de igualdad para las mujeres en la Unin Europea (anteriormente
CEE), hay que mencionar la aprobacin, en 1972, del Primer Programa de Accin Social
Comunitario, en el que se incluan medidas para garantizar la igualdad en el empleo, la
formacin profesional, mencionando la conciliacin de las responsabilidades familiares con
las profesionales. En 1982 se aprueba el Primer Programa Comunitario para la Igualdad de
oportunidades (1982-1985), con el fin de contribuir a crear las condiciones necesarias para
que la aplicacin de la legislacin comunitaria resultara ms efectiva. A este primer
programa le siguen consecutivamente el II (1986-1990), el III (1991-1995) y el IV
Programa de Accin Comunitario para la Igualdad de Oportunidades (1996-2000).
Como se puede observar, el reconocimiento internacional de los derechos de la mujer
a lo largo de la dcada de los aos 70 y sus consiguientes convenios, estructuras y medidas
son ligeramente anteriores al comienzo del perodo democrtico en Espaa (las primeras
elecciones democrticas son en 1977). De hecho, el Decenio de la Mujer coincide con el
perodo de transicin espaola, aprobacin de la Constitucin y segunda legislatura
democrtica postconstitucional en la que gana el PSOE y acaba poco antes de la entrada de
Espaa en la Comunidad Europea (1986). Ms que una influencia directa de toda esta
maquinaria internacional en la entrada en la agenda de los poderes pblicos espaoles,
constituye una fuente primordial de legitimacin y fundamentacin jurdica y terica para
la accin. En realidad, la Convencin para la Eliminacin de la Discriminacin de la Mujer
31
Esta Comisin, creada el 21 de Junio de 1946 es el organismo intergubernamental que propone a la

Asamblea General, a travs del Consejo Econmico y Social (ECOSOC), las acciones que se deben
desarrollar en favor de las mujeres.
32
El Consejo de Europa, fundado en 1949, tambin contribuye, aunque en menor medida, al reconocimiento
internacional de los derechos de las mujeres. Hay que mencionar el Convenio Europeo para la Proteccin de
los Derechos Humanos, que entra en vigor en 1953 y la Carta Social Europea, de 1961 que, aunque no se
refiere a la discriminacin de forma especfica, varios artculos tienen relacin con los derechos de las
mujeres
_______________________________________________________________________________________
160
_______________________________________________________________________________________
se ratifica una vez ya est constituido el IM y la entrada de Espaa en la Comunidad

Europea no llega hasta 1986, aunque las negociaciones haban comenzado mucho antes y
ya exista una clara tendencia "europeista" en los poderes pblicos. Efectivamente, "la
existencia de ejemplos internacionales sirvi a las feministas socialistas no slo como
fuente de inspiracin (...), sino tambin como poderoso argumento para ser esgrimido ante
polticos provenientes de todos los partidos, incluido el PSOE, reticentes a la creacin de
organismos de igualdad, pero deseosos de que Espaa se integrara en el grupo de los pases
democrticos y desarrollados econmicamente" (Valiente, 1994:9).
Relacionado con esto, adems de la influencia de los organismos internacionales y
supranacionales, hay que mencionar tambin el ejemplo de otros Estados con organismos
similares, especialmente el Ministerio de los Derechos de la Mujer francs que fue
establecido en el ao 1981.
En el mbito autonmico, queda pendiente la realizacin de estudios de caso para

cada Comunidad Autnoma, en los que se analice con cierta profundidad el peso relativo
de los factores en la creacin de cada uno de los organismos y su posterior desarrollo en
polticas de igualdad autonmicas33.
De forma general, creemos que tiene especial importancia para la entrada en la
agenda del tema de la igualdad, el modelo central del IM y, tambin, el propio desarrollo
del Estado de las autonomas. Respecto al primer factor, hay que tener en cuenta que,
adems de que el IM tena entre sus objetivos la promocin de organismos anlogos en las
comunidades autnomas, una buena parte de las comunidades autnomas estaban en manos
del mismo partido que el Gobierno de la Nacin, y ya hemos visto como el PSOE haba
sido protagonista principal en el nivel central. Respecto al propio desarrollo del Estado de
las autonomas hay que tener en cuenta que no slo las competencias relacionadas con la
promocin de la mujer fueron asumidas por todas las comunidades autnomas desde un
principio, sino que el hecho de que determinados temas entraran en las agendas de los
Gobiernos Autonmicos era una de las vas para la propia institucionalizacin e
identificacin de las comunidades autnomas Quiz tuvieran una relativa menor
importancia en aquellos primeros momentos, tanto las influencias internacionales (que
como veremos ms adelante, van teniendo una importancia creciente en el espectro
autonmico, especialmente a partir de 1995 y la IV Conferencia de Pekn), como el peso
del movimiento de mujeres en la entrada en agenda de los poderes pblicos de los temas de
igualdad -en el que, probablemente, exista una variabilidad grande en las diferentes
comunidades autnomas.
2.4. El marco institucional de las polticas de igualdad: la creacin de organismos
especficos de igualdad en los niveles central y autonmico
33
El nico estudio de caso conocido hasta ahora es el realizado por Elena Granados (1999). En l, la autora
atribuye especial importancia en la creacin del Instituto Andaluz de la Mujer al mimetismo respecto al IM
en el nivel nacional.
_______________________________________________________________________________________
161
_______________________________________________________________________________________
Como ya se ha mencionado anteriormente, el desarrollo de organismos especficos de

igualdad de gnero en el nivel autonmico en Espaa comienza al final de los aos 80, esto
es, aproximadamente unos cinco aos despus de la creacin del IM central, en 1983.
Como ya ha sido sealado (Valiente, 1996, Martnez, 1997) el IM represent un modelo
para la institucionalizacin autonmica de organismos de igualdad. Tambin se ha
mencionado que este desarrollo posterior en el nivel autonmico, respecto al central, tiene
que ver con el propio ritmo y desarrollo del Estado de las autonomas en el territorio
espaol. Las comunidades autnomas son creadas entre finales de 1979 (Pas Vasco y
Catalua) y principios de 1983 (en la que se aprueban los ltimos cuatro Estatutos Extremadura, Baleares, Madrid y Castilla y Len-). Generalmente, en todos los Estatutos se
mencionan derechos generales referidos a la igualdad de los ciudadanos y se establecen
competencias relacionadas con la promocin de la mujer. Las comunidades autnomas
institucionalizaron estas competencias a travs de diferentes estructuras organizativas.
Como ya se ha planteado en la introduccin de este captulo, estas femocracias
autonmicas, junto con el nivel central, han sido y estn siendo los actores principales de
las polticas pblicas de igualdad de gnero en Espaa. En definitiva, se puede considerar
que el marco institucional de estas polticas pblicas de igualdad son las diferentes
estructuras gubernamentales u organismos especficos que se encargan de impulsar dichas
polticas.
En este apartado se analiza este marco institucional tomando en cuenta dos factores
organizativos de dichas estructuras gubernamentales: uno, el tipo de organismo y el otro, su
posicin en el organigrama del respectivo gobierno -central o autonmico-, es decir, a qu
departamento gubernamental est adscrito. Estos dos factores nos parecen claves de la
capacidad institucional de dichas estructuras. En primer lugar, el tipo de organismo
determina el grado de autonoma y en muchos casos fortaleza de la estructura. En segundo
lugar, la posicin en el gobierno es determinante para tener una mayor autoridad como
impulsor de una poltica horizontal y para que las polticas de igualdad de gnero no estn
especialmente sesgadas hacia una el rea que las alberga (bienestar social, empleo, etc.).
Tambin se discuten los cambios que han acaecido respecto a estos dos factores en cada
una de las comunidades autnomas
En el nivel central, el IM es un organismo autnomo de tipo administrativo, creado
por ley, y que estuvo adscrito en sus inicios al Ministerio de Cultura. En 1988 se crea el
Ministerio de Asuntos Sociales y una mujer del PSOE de fuerte tradicin feminista Matilde Fernndez- asume su cartera y una serie de competencias y organismos entre los
que estaba el IM. La posicin relativa, en cierto modo, mejoraba entre otras cosas, porque
la hasta entonces directora del IM -Carlota Bustelo- es nombrada subsecretaria del nuevo
Ministerio. A Matilde Fernndez, le sucede otra conocida feminista en la cartera
ministerial, Cristina Alberdi. Desde 1996, fecha en la que el Partido Popular gana las
elecciones generales, el IM pasa a estar adscrito al Ministerio de Trabajo y Asuntos
Sociales, asignando a su cartera a hombres de muy poco conocida trayectoria o sensibilidad
feminista (Javier Arenas, Manuel Pimentel y Juan Carlos Aparicio). Es indudable que este
organismo es menos "feminista", pero adems, al fundirse el Ministerio de Asuntos
_______________________________________________________________________________________
162
_______________________________________________________________________________________
Sociales con el de Trabajo, las cuestiones ms "sociales" (y que ocupaban el corazn del
anterior Ministerio de Asuntos Sociales) adquieren una relativamente menos importante
posicin en un Ministerio en el que los temas estrella son las pensiones, la seguridad
social y los planes de empleo. Por otro lado, pone en una buena posicin los temas de
empleo de los planes de igualdad, aunque se siga identificando los temas de mujer con el
rea de asistencia social.
Respecto a las comunidades autnomas, se seala a continuacin el marco
institucional - es decir los organismos de igualdad, su configuracin y adscripcin- para las
polticas de igualdad de gnero, teniendo en cuenta, por un lado, los datos del ao 1998 y,
por otro, los actuales34. La informacin se resume en las tablas 3.3.a y 3.3.b que se
representan a continuacin. En estas tablas se presentan los siguientes datos:
- Se hace un cuadro de doble entrada con dos factores:
Horizontalmente, se sealan las reas gubernamentales a las que estn adscritos
los organismos de igualdad. Las cuatro posibilidades existentes son: presidencia,
bienestar social, cultura y familia, mujer y juventud.
Verticalmente, se ponen los diferentes tipos de organismos posibles: organismos
autnomos, direcciones generales de la mujer, secretaras regionales de la mujer,
comisiones interdepartamentales y otras direcciones generales no especficas.
- En cada una de las casillas se pone el nombre de la Comunidad Autnoma
correspondiente que tiene un organismo de igualdad que corresponde a los dos factores
sealados (por ejemplo, Andaluca tienen un organismo de igualdad que es autnomo y
est adscrito a Presidencia)
- Se sealan, antes del nombre, el ao de creacin del organismo y, en su caso, se seala
tambin el momento de su ltima modificacin.
- En parntesis aparecen los partidos polticos que formaban los diferentes gobiernos
autonmicos en el ao 1998 (Tabla 3.3.a), y que los forman en la actualidad (Tabla 3.3.
b). Si el gobierno es de coalicin se sealan los dos partidos con un / entre los mismos.
- Si el rea gubernamental a la que est adscrita el organismo tiene ms competencias
que la sealada en las cuatro categoras iniciales se seala dentro del recuadro con un +.
Esto ocurre slo con las reas de Bienestar Social, en la que en Canarias comparte
competencias con Empleo, en Navarra con Deporte y juventud, en Madrid, Castilla y
Len y La Rioja con Sanidad.
34
La razn de presentar los dos momentos estriba en que el marco institucional del ao 1998 es con el que se
realizan la mayora de las evaluaciones que se estudian en este trabajo y es el que, por lo tanto, se analiza. Sin
embargo, en las elecciones autonmicas de 1999 se producen algunos cambios de signo poltico en algunas
comunidades autnomas y algunos cambios significativos de estructuras. Hemos querido reflejar estos
cambios en la tabla 3.3. b.
_______________________________________________________________________________________
163
_______________________________________________________________________________________
- En las casillas de las otras direcciones generales no especficas, se sealan los nombres
de las Direcciones Generales en las que se sitan las competencias de igualdad de
gnero.
_______________________________________________________________________________________
164
_______________________________________________________________________________________
Tabla 3.3.a Marco institucional de las polticas de igualdad autonmicas.

Ao 1998
Area
Familia,
gubernamental
Presidencia
Bienestar
Cultura
Mujer y
/
Social
Tipo de organismo
Juventud
Organismos
Autnomos
88 Andaluca
(PSOE/PA)
93 Aragn
(PP/PAR)
89 Catalua
(CiU)
88 Pas Vasco
(PNV-EA)
94 Canarias
(CC/PP)
+ Empleo
91-95 Navarra
(UPN)
+ Deporte y
Juventud
Direcciones
Generales de
86-97 Cantabria
la Mujer
(PP/PRC)
89 Castilla- La
Mancha
(PSOE)
89 Madrid
(PP)
+ Sanidad
88-97 Comun.
Valenciana
(PP/UV)
Secretaras
Regionales de
la Mujer
94 Castilla y
Len
(PP)
+ Sanidad
91 Galicia
(PP)
88-91
Extremadura
(PSOE)
88-95 Asturias
(PP)
Comisin
Interdeparta 90 Baleares
(PP)
mental
Otras Direc. 91-97 Murcia
(PP)
Generales no D.Gnal. Juventud,
especficas Mujer y Familia
88 La Rioja
(PP)
+ Sanidad y
Consumo
D. Gnal. Bienestar
Social
_______________________________________________________________________________________
165
_______________________________________________________________________________________
El primer factor a tener en cuenta es el tipo de organismo. Como se puede

comprobar en la tabla 3.3:
a) En siete comunidades autnomas (Andaluca, Aragn, Canarias, Catalua, Galicia,
Navarra y Pas Vasco) los organismos o agencias de igualdad son organismos
autnomos, al igual que el IM en el nivel central. Esta circunstancia marca unas
diferencias con las diez comunidades autnomas restantes, a saber:
Son creadas por ley. El resto de los organismos son unidades administrativas que
estn normalmente reguladas por decretos.
Tienen personalidad jurdica propia y una autonoma funcional y administrativa
mucho mayor. Tienen su propio presupuesto, independientemente de la Consejera
o Departamento al que estn adscritos.
Cuentan con un Consejo de Administracin en el que existe la posibilidad de
que estn representadas otras fuerzas sociales.
b) Los diez organismos de igualdad autonmicos restantes son unidades
administrativas con algunas diferencias entre s, a saber:
1. Una Comisin Interdepartamental en Baleares35
2. Cinco Direcciones Generales de la Mujer (Cantabria, Castilla-La Mancha,
Madrid, Comunidad Valenciana y Extremadura)
3. Dos Secretaras Regionales de la Mujer en Asturias36 y Castilla-Len, y que
vienen a ser muy similares a las direcciones generales.
35
Existe tambin una Comisin Interdepartamental en Catalua, que fue creada previamente al Institut
Catal de la Dona, a travs del decreto 25/1987 de 29 de Enero, denominada Comisin Interdepartamental
de Promocin de la Mujer y que en el ao 1993 cambia de nombre por el de Comisin Interdepartamental
para la Igualdad de Oportunidades de las Mujeres (Decreto 209/1993 de 31 de Agosto). Dicha Comisin es
la que elabora el I Plan cataln que tiene, entre sus medidas, la creacin del Instituto Cataln de la Mujer que
es creado por la ley 11/1989 de 10 de Julio. Esta comisin sigue subsistiendo en paralelo con el Instituto, la
preside el Presidente de la Generalidad que nombra una vicepresidenta que se hay significado en la labor a
favor de las mujeres y en ella estn representados todos los departamentos de la Generalidad. Se concibe
como un rgano de coordinacin e impulso de las acciones que promueven la no discriminacin entre
hombres y mujeres y sus funciones son las de coordinar y fomentar las acciones y proyectos de los diferentes
departamentos y proponer a la Junta de Gobierno del Instituto Cataln de la Mujer las medidas normativas
necesarias para fomentar la igualdad de oportunidades y la no discriminacin entre hombres y mujeres
(Decreto 209/1993 de 31 de Agosto).
36
Con los cambios producidos en el Gobierno del Principado de Asturias en las elecciones de junio de 1999
(en las que accede el PSOE al poder), se crea el Instituto Asturiano de la Mujer en agosto de ese mismo ao.
Sin embargo, este Instituto no se crea como sus homlogos autonmicos, como un organismo autnomo, sino
como un rgano desconcentrado, dependiente de la Consejera de Presidencia, a travs del Decreto 61/1999
de 10 de Agosto (B.O.P.A. 12 de agosto de 1999).
_______________________________________________________________________________________
166
_______________________________________________________________________________________
4. Dos Direcciones Generales no especficas de temas de mujer. Estas direcciones

son las responsables de las polticas y planes de igualdad y de las relaciones con el
IM y otras comunidades autnomas
En La Rioja hay una unidad administrativa pequea (Centro Asesor de la
Mujer), dentro de la Direccin General de Bienestar Social. No ha sufrido
cambios en su estructura desde su creacin (1988). No contar con una unidad
administrativa superior especfica de mujer puede deberse, entre otras cosas, a
la intencin de mantener una administracin pblica autonmica pequea,
acorde con el tamao de esta Comunidad Autnoma que tiene solamente
250.000 habitantes.
En el caso de Murcia, tambin Comunidad Autnoma Uniprovincial pero con
una extensin y una poblacin mucho mayor que La Rioja, la Direccin
General con competencias en mujer es tambin responsable de juventud y
familia. Sin embargo, y como se analizar ms adelante al ver los cambios que
se han producido en Murcia s lleg a haber una direccin general especfica.
Su configuracin actual probablemente se deba ms a la concepcin de los
problemas pblicos relacionados con la mujer por parte del Partido Popular que
es el que gobierna en Murcia desde 1995.
El segundo factor a analizar es la Consejera o Departamento al que estn

adscritos los organismos de igualdad y su situacin en el organigrama de gobierno. Esta
categorizacin tambin se puede observar en la tabla 3.3.a. Siete de los organismos
dependen actualmente de los departamentos de Presidencia (Andaluca, Aragn, Baleares,
Cantabria, Catalua, Murcia y Pas Vasco)37. Esto implica una mejor posicin para
conseguir que otros departamentos formulen y ejecuten las medidas correspondientes
contempladas en los planes de igualdad (intentando as, introducir la perspectiva de gnero
a travs de todas las polticas), ya que Presidencia es un rea gubernamental entendida, en
cierto modo, como transversal y, por lo tanto, ms neutral y con mayor autoridad con
respecto a las restantes reas tambin suele ser un rea ms cercana al poder-. Este tipo de
relacin y de dependencia parece tener ms sentido para polticas pblicas que se pretendan
globales e integrales (es decir, abordando todas las posibles cuestiones que afectan a las
mujeres) y, por supuesto, horizontales (existiendo un compromiso por parte de todos los
poderes pblicos y no slo de los relacionados especficamente con los temas de mujer o
igualdad).
Entre las restantes, otros siete organismos dependen de los Departamentos o
Consejeras de Bienestar Social (Canarias, Castilla-La Mancha, Castilla y Len, Madrid,
Navarra, La Rioja y Comunidad Valenciana). En el caso de Canarias, la Consejera incluye
tambin la denominacin y competencias de Empleo y en otras tres, Madrid, Castilla37
Este nmero aumenta a ocho en 1999, con la creacin del Instituto Asturiano de la mujer, dependiente de
la Consejera de Presidencia.
_______________________________________________________________________________________
167
_______________________________________________________________________________________
Len y La Rioja las competencias de bienestar social comparten Consejera con las
competencias de Sanidad. En Galicia, acorde con la ideologa conservadora del Partido
Popular en el gobierno desde hace varias legislaturas, existe una Consejera especfica
llamada Familia, Mujer y Juventud de la que depende la Agencia para la Promocin de
la Igualdad entre el Hombre y la Mujer. Los restantes dos organismos (Asturias y
Extremadura) dependen de las Consejeras de Cultura.
Si se combinan estos dos factores mencionados, se puede tener una idea de cun
favorable o ventajoso es el marco institucional de cada una de las polticas pblicas de
igualdad de oportunidades autonmicas. Como se puede ver en la tabla 3.3.a, en el ao
1998 haba cuatro institutos (Andaluca, Aragn, Catalua y el Pas Vasco) que cuentan
con el marco institucional ms favorable.
Las femcratas son conscientes de estos factores y la evolucin y los cambios que se
han producido a lo largo de estos aos han ido, por lo general, en esta direccin. Bien
creando un organismo autnomo (como es el caso de Navarra38), creando unidades
administrativas superiores o especficas (como en Cantabria, Castilla y Len, Extremadura
y Asturias)39, o pasando el organismo de otro departamento o consejera al rea de
presidencia (como en Cantabria y Murcia).
Slo hay tres excepciones significativas; una de ellas ilustra precisamente esta
tendencia: el Instituto Andaluz de la Mujer que en sus comienzos fue adscrito a la
Consejera de Presidencia, fue pasado en 1990 a la Consejera de Asuntos Sociales para
volver a Presidencia en 1994. La evaluacin que hacen sus responsables de este perodo en
Asuntos Sociales es negativo, es decir, se consideran y perciben en mejor posicin estando
en Presidencia. Las otras dos excepciones tienen que ver con los cambios de tipo poltico
que se dieron en las elecciones legislativas de 1995 en algunas comunidades autnomas al
ganar el Partido Popular, entre ellas Madrid y Murcia. En 1995, la Direccin General de la
Mujer de Madrid pasa de la Consejera de Presidencia a la de Sanidad y Servicios Sociales,
nica consejera madrilea ocupada por una mujer (Rosa Posada). Murcia cambia su
anterior Direccin General de la Mujer en una nueva y significativamente diferente
Direccin General de Poltica Social y Familia, tambin en 1995; en 1997 se reconvierte
en Direccin General de Juventud, Mujer y Familia y se adscribe a la Consejera de
Presidencia.
Tambin en la tabla 3.3.a se reflejan los partidos polticos que formaban gobierno en
cada Comunidad Autnoma en el ao 1998, ya que, como se ha explicado antes, el marco
38 El Instituto Navarro de la Mujer se crea en 1997. Antes exista una Subdireccin general de la Mujer que
depencda de la Direccin General de Bienestar Social.
39
Cantabria crea en 1997 la Direccin general de la Mujer, dependiente de Presidencia. Antes, exista la
Agencia de Promocin de la Mujer que dependa de la Direccin general de Bienestar Social. La Secretara
Regional de la Mujer de Castilla y Len pasa de ser una pequea unidad administrativa dependiente de la
Direccin General de Accin Social a depender directamente del Consejero de Bienestar Social en 1994. En
Extremadura se pasa de una unidad administrativa pequea dependiente de la Direccin General de Accin
Social (Asesora Ejecutiva de la Mujer) a una Direccin General de la Mujer en 1991.
_______________________________________________________________________________________
168
_______________________________________________________________________________________
institucional correspondiente a aquel ao es bajo el que se realizan las experiencias de

evaluacin analizadas. As, se puede apreciar la importancia de algunos partidos
nacionalistas (en su mayora de tendencia conservadora) en el mapa poltico autonmico
actual, gobernando en mayora en las comunidades autnomas de Catalua y Navarra, y en
coalicin en otras seis (Andaluca, Aragn, Canarias, Cantabria, Pas Vasco y Comunidad
Valenciana). Con las elecciones autonmicas de 1999, el PSOE recupera tres
comunidades autnomas (Aragn, Asturias y Baleares), y siguen siendo importantes los
pactos con los partidos. Estos cambios se reflejan en la tabla 3.3.b.
_______________________________________________________________________________________
169
_______________________________________________________________________________________
Tabla 3.3.b Marco institucional de las polticas de igualdad autonmicas.

Ao 2001
Area
gubernamental
/
Tipo de organismo
Presidencia
Bienestar
Social
Cultura
Familia,
Mujer y
Juventud
88 Andaluca
(PSOE)
Organismos
Autnomos
93 Aragn
(PSOE/PAR)
90-2000 Baleares
(PSOE/PSM/UM)
89 Catalua
(CiU)
88 Pas Vasco
(PNV-EA)
Otro tipo de
organismos
Direcciones
Generales de
la Mujer
94 Canarias
(CC/PP)
+ Empleo
91-95 Navarra
(UPN)
+ Deporte y
Juventud
91 Galicia (1)
(PP)
88-99 Asturias
(PSOE)
Instituto Asturiano
de la Mujer (rgano
desconcentrado) (2)
89 Castilla- La
Mancha
(PSOE)
88-91
86-97 Cantabria 89 Madrid (3)
(PP/PRC)
Extremadura
(PP)
(PSOE)
88-97 C.
Valenciana
(PP)
94-2000 Castilla
y Len (4)
(PP)
+ Sanidad
91-97 Murcia (4) 88 La Rioja

Otros
(PP)
organismos (PP)
Secretara Sectorial
+ Sanidad y
no especficos de Mujer y de la
Consumo
Juventud
D. Gnal. Bienestar
Social
(1) La Consejera pasa a denominarse Familia, Promocin de Empleo, Mujer y Juventud

(2) El rgano desconcentrado es una figura de la Administracin Institucional autonmica que se establece por decreto
(3) En 1999 la Consejera pasa a ser de Servicios Sociales exclusivamente
(4) La Direccin general se denomina de la Mujer e Igualdad de Oportunidades
(5) En Murcia pasa de ser una Direccin General a una Secretara Sectorial
_______________________________________________________________________________________
170
_______________________________________________________________________________________
Como se puede observar en la tabla 3.3.b los cambios que se han producido a partir
de las elecciones autonmicas de 1999 y del 2000 (Galicia) son los siguientes:
- Cambio de signo poltico en los gobiernos autonmicos de Aragn, Asturias y
Baleares, que pasan del PP al PSOE, en coalicin con el PAR en Asturias y con el
PSM y UM en Baleares. En la Comunidad Valenciana, el gobierno pasa a ser
exclusivamente del PP y no en coalicin con UV como en la legislatura anterior.
- En Baleares se crea por ley un organismo autnomo -el Instituto Balear de la
Mujer-. En Asturias tambin se crea el Instituto Asturiano de la Mujer que pasa,
adems, a estar adscrito a la Consejera de Presidencia, aunque no se crea como
organismo autnomo sino con la figura de rgano desconcentrado, creado por
decreto y no por ley.
- Se dan algunos cambios de estructura en las Consejeras que afectan
indirectamente al marco institucional de los organismos de igualdad: en Galicia la
Consejera asume tambin las competencias de promocin de empleo y en la
Comunidad de Madrid se vuelven a separar las competencias de Sanidad y
Servicios Sociales, crendose dos Consejeras distintas. La Direccin General de
la Mujer se adscribe a la de Servicios Sociales.
- En Castilla y Len se pasa de una Secretara Regional a una Direccin General
de la mujer e Igualdad de Oportunidades. En Murcia, sin embargo, se pasa de una
Direccin General no especfica (de Juventud, Mujer y Familia) a una Secretara
Sectorial tampoco especfica (de Mujer y de la Juventud).
En definitiva, se engrosan las filas de los organismos adscritos a presidencia y la de
los organismos autnomos y otras estructuras algo ms fuertes que las anteriores.
Finalmente, hay un curioso anlisis a realizar. Si tenemos en cuenta el sexo del

Consejero o Consejera del rea al que est adscrito el correspondiente organismo de
igualdad, vemos que, en 1998 (ao en el que hemos fijado el marco institucional existente
en el momento en el que se realizan las evaluaciones analizadas), casi una de cada tres
personas responsables de las Consejeras de las que dependan los organismos de igualdad
eran mujeres (5 mujeres consejeras de un total de 17). Este es un alto porcentaje si se
considera que slo el 13% del total de consejeros autonmicos son mujeres. Este hecho
tiene probablemente que ver con la tendencia de asignar las competencias de mujer a
departamentos que tienen mayor probabilidad de estar dirigidos por mujeres por ser
considerados ms "femeninos" (como Bienestar Social o Cultura). Curiosamente este
panorama vara ligeramente en la estructura actual, siendo esa proporcin de 3 mujeres
consejeras de un total de 17. A este descenso probablemente se le pueda seguir dando la
misma explicacin, ya que existe una mayor tendencia a adscribir los organismos de
igualdad al rea de presidencia, rea considerada tradicionalmente masculina.
_______________________________________________________________________________________
171
_______________________________________________________________________________________
2.5. Una revisin de los actores que contribuyen a la formulacin de las polticas
pblicas de igualdad de gnero
El estudio de los actores40 que contribuyen a la formulacin, implementacin y

evaluacin de las polticas pblicas es una caracterstica importante del anlisis de dichas
polticas. Los actores estudiados e identificados por los analistas como implicados en las
polticas pblicas de igualdad de gnero incluyen las femcratas y feministas de estado, los
movimientos feministas y los grupos de mujeres, los partidos polticos, los sindicatos, los
medios de comunicacin de masas y el "feminismo acadmico". Estos actores han sido
analizados en el caso espaol por Valiente (1996) y Martnez (1997), quienes centran su
anlisis en las polticas pblicas de igualdad de gnero en general (Martnez), o en el nivel
central (Valiente). En este apartado, se realiza una revisin de dichos anlisis enfatizando el
nivel autonmico.
Ya se ha apuntado anteriormente la importancia del feminismo de Estado en la
aparicin, formulacin e impulso de las polticas de igualdad de gnero en Espaa. Se han
establecido diferentes organismos de igualdad en el nivel autonmico que han conseguido
que los diferentes gobiernos autonmicos lancen planes de igualdad. Por lo tanto, este
feminismo institucional tambin ha jugado un importante papel en las polticas
autonmicas. Aunque se han de sealar las diferencias entre las distintas comunidades
autnomas -diferentes marcos institucionales, diferentes ritmos y niveles de consolidacinpodemos decir en general que las femocracias autonmicas han conseguido sensibilizar a la
sociedad espaola sobre los problemas de la igualdad, introducir dichos problemas en las
agendas de sus gobiernos, generar un marco institucional para las polticas pblicas de
igualdad y hacerse visibles como instituciones pblicas.
Como actores importantes del feminismo de Estado en el nivel autonmico hay que
considerar el nivel local. As, las diputaciones provinciales y los ayuntamientos no slo se
consideran algunas veces como destinatarios de las polticas de igualdad de gnero en el
nivel autonmico, sino que tambin para el cumplimiento de muchas de las acciones
propuestas por los planes de igualdad cuentan con ellos como agentes activos. En algunos
de los organismos de igualdad existe algn tipo de estructura en la que existe una
representacin de este nivel local. Por ejemplo en el Instituto Vasco de la Mujer
(Emakunde), este nivel local est presente en su Consejo de Administracin.
Celia Valiente (1996), en su estudio sobre los factores que contribuyeron a la
creacin del IM en el nivel central y al comienzo de las polticas de igualdad de gnero, ha
sealado la influencia relativa del movimiento feminista y los grupos de mujeres.
Tambin ha destacado que las relaciones entre las feministas y las femcratas, durante ese
40
Al igual que hace Eva Martnez (97:), utilizamos el trmino "actores" en masculino ya que el trmino en
femenino no se utiliza, aunque resulta evidente que sera ms lgico, en este caso, hablar de "actrices".
_______________________________________________________________________________________
172
_______________________________________________________________________________________
perodo, no han sido especialmente fluidas. Sin embargo, como seala Martnez, s ha
habido un impacto del movimiento feminista en el feminismo de Estado espaol, aunque
este impacto ha podido variar dependiendo de los diferentes momentos. Con todo, es cierto
que las organizaciones feministas espaolas no son ni han sido tan fuertes y potentes como
en otras democracias occidentales y, adems, no han estado muy dispuestas a crear redes
entre ellas (Martnez, 1997: 226-227). Si nos centramos en el mbito autonmico, vemos
que, a grandes rasgos, existen diferencias entre las comunidades autnomas. La presencia
de los movimientos de mujeres en las polticas pblicas de igualdad es mayor en algunos
lugares, como por ejemplo, Catalua, Canarias o el Pas Vasco, que en otros. Para estudiar
a fondo la presencia o ausencia de los movimientos de mujeres en las polticas pblicas de
igualdad de gnero espaolas, hacen falta estudios de caso en cada Comunidad Autnoma
que analicen la flexibilidad y la disposicin de las estructuras femocrticas y las femcratas
para la participacin de los movimientos de mujeres, la fortaleza de cada movimiento y el
marco de relaciones entre femcratas y feministas en la formulacin, ejecucin y
evaluacin de las polticas de igualdad. Otra de las cuestiones que quedan por estudiar es el
papel que estn cumpliendo algunos grupos de mujeres no feministas (como asociaciones
de viudas, de amas de casa, algunas asociaciones de mujeres rurales) en las polticas de
igualdad de gnero en Espaa en este momento, ya que los gobiernos conservadores
tienden a estar especialmente dispuestos a recabar su participacin en las polticas de
igualdad.
Otros actores importantes suelen ser en las polticas pblicas los partidos polticos.
Ya se ha sealado la importancia del Partido Socialista Obrero Espaol (PSOE) en la
creacin del IM y el comienzo de las polticas pblicas de igualdad de gnero en el nivel
central. El protagonismo del PSOE en las polticas de igualdad fue tambin alto al
comienzo de las polticas pblicas de igualdad de gnero autonmicas. En primer lugar, por
la propia influencia del IM y, en segundo lugar, porque era el partido que gobernaba la
mayora de las comunidades autnomas en aquel momento (10 de 17 en 1987). Con todo, a
medida que ha ido pasando el tiempo, el PSOE ha ido perdiendo ese protagonismo en las
polticas de igualdad de gnero. Esto se debe, principalmente a su posicin en el mapa
poltico autonmico, siendo especialmente dbil desde que en las elecciones autonmicas
de 1995 pierde siete Comunidades y en 1996 pierde las elecciones generales. Adems, las
polticas pblicas de igualdad de gnero autonmicas se han ido desarrollando por su
cuenta, con una influencia decreciente de la poltica a nivel central.
La llegada al poder del Partido Popular en el nivel central y en la mayora de las
comunidades autnomas lgicamente ha afectado a las polticas de igualdad de gnero ya
que la concepcin del papel de la mujer y cmo deben actuar los poderes pblicos al
respecto cambia en cierta manera con una ideologa conservadora. Sin embargo, el freno
que se le ha puesto a las polticas de igualdad por parte de los gobiernos ms conservadores
ha sido menor, al menos al nivel formal, de lo que se esperaba o era previsible en su
momento. Celia Valiente escriba que el futuro a largo plazo del IM era incierto, si ganaba
las elecciones el partido conservador, no slo porque ste no estaba en ningn modo
identificado con el feminismo de Estado sino, sobre todo, porque el IM era una institucin
muy ligada a e identificada con el PSOE (Valiente, 1995: 234; 1996: 197). Nuestra
hiptesis de este mantenimiento de las instituciones femocrticas y de la estructura formal
_______________________________________________________________________________________
173
_______________________________________________________________________________________
para las polticas de igualdad de gnero -esto es, los planes de igualdad- por parte de los
gobiernos conservadores es la influencia tan importante que ha tenido la IV Conferencia
Mundial de la Mujer en Pekn en Septiembre de 1995 y su Plataforma de Accin, as como
el IV Programa de Accin Comunitario para la Igualdad de Oportunidades para Mujeres y
Hombres (1996-2000).
En el anlisis de los partidos polticos como actores de las polticas pblicas
autonmicas, hay que tener en cuenta, como ya se ha mencionado en el apartado sobre el
marco institucional, a los partidos nacionalistas. Como se vio en la tabla 3.3.a hay
diferentes partidos nacionalistas en ocho de las 17 comunidades autnomas, bien slos
(Catalua, Navarra) o en coalicin, siendo el partido mayoritario de dicha coalicin
(Canarias, Pas Vasco) o el minoritario (Andaluca, Aragn, Cantabria, Valencia). Incluso
en el nivel nacional, el PP est gobernando desde 1996 en minora con el apoyo de CiU,
PNV y Coalicin Canaria, cuestin que pone a estos partidos en una posicin estratgica
para influir en las polticas pblicas, tanto en el nivel central como en el autonmico. En lo
que respecta a las polticas de igualdad autonmicas, tambin es importante sealar que en
Catalua y el Pas Vasco los gobiernos autonmicos llevan siendo nacionalistas desde hace
mucho tiempo y estas dos comunidades autnomas, junto con Andaluca, cuentan con los
Institutos de la Mujer autonmicos ms antiguos y estables. Se puede considerar que son
lderes de las femocracias y polticas de igualdad autonmicas.
En los sindicatos tambin se han movilizado mujeres feministas que han tenido cierta
influencia en las polticas de igualdad de gnero, especialmente en las polticas
relacionadas con el empleo. Efectivamente, en Espaa se han impulsado en los ltimos
aos bastantes medidas para la promocin del empleo femenino y, en esto, han tenido un
papel importante las secretaras de la mujer de los principales sindicatos. En los ltimos
aos, tambin estn teniendo un papel importante como agenda setters y como impulsoras
de medidas en los temas de acoso sexual en el mbito laboral.
Tambin se ha reconocido la importancia del llamado feminismo acadmico en las
polticas de igualdad de gnero, especialmente en el estudio de la situacin de la mujer y
sus necesidades y en sealar algunos temas importantes para su entrada en las agendas
polticas. En el caso de Espaa, la relativa importancia creciente de este feminismo
acadmico podra ser ms consecuencia de las primeras polticas de igualdad de gnero y
su apoyo y fomento que factor desencadenante de las mismas. El papel que ha jugado el IM
a nivel nacional ha sido importante no slo apoyando la investigacin (apoyando los
seminarios universitarios de mujer y a feministas acadmicas individuales, adems de
creando un programa sectorial especfico dentro del Plan Nacional de Investigacin), sino
tambin sintetizando, publicando y divulgando la investigacin en temas de mujer. Al igual
que los planes de igualdad nacionales, todos los planes de igualdad autonmicos contienen
acciones referidas al apoyo de la investigacin en temas de mujer. Sin embargo, est claro
que este feminismo acadmico todava no es demasiado potente en Espaa, sobre todo si lo
comparamos con otros pases europeos o norteamericanos. Esta carencia es especialmente
grave en lo que se refiere al estudio de las polticas pblicas, tanto de las propias polticas
de igualdad de gnero como en el estudio del resto de las polticas pblicas con perspectiva
_______________________________________________________________________________________
174
_______________________________________________________________________________________
de gnero41. Probablemente, tanto el apoyo continuado como la necesidad de evaluar

sistemticamente los planes y las polticas emprendidas en los prximos aos fortalezca el
papel de este actor y haga aparecer nuevos equipos de investigacin en este rea.
41
Para tener una visin general del estado de la cuestin en los estudios de mujeres y poltica, consultar
Uriarte, 1997 y Valiente, 1998b.
_______________________________________________________________________________________
175
_______________________________________________________________________________________
3. LOS PLANES DE IGUALDAD COMO INSTRUMENTO BSICO

PARA LA ARTICULACIN DE LAS POLTICAS PBLICAS DE
IGUALDAD DE GNERO
3.1. Qu significan los planes de igualdad y qu papel cumplen en las polticas de

igualdad de gnero
Como ya se ha sealado anteriormente, en Espaa, las estructuras gubernamentales

relacionadas con la mujer u organismos de igualdad que conforman el feminismo de
Estado, tanto en el nivel central como en el autonmico, se configuran ms como
impulsoras que como ejecutoras directas de las polticas de igualdad. Es decir, lo que
pretenden es persuadir a las otras unidades de sus respectivos gobiernos que asuman una
serie de objetivos para promover la igualdad de gnero en cada una de las reas de las que
son responsables. Esta es la razn por la que el IM, despus de sus primeros aos de
existencia, adopt como principal instrumento de las polticas de igualdad la elaboracin y
aprobacin de planes de igualdad de oportunidades para las mujeres. Todas las
comunidades autnomas han seguido el mismo camino. El I Plan nacional se aprueba en el
ao 1988 y los primeros autonmicos en 1989 (Asturias, Catalua, Madrid y Comunidad
Valenciana). Esto significa que en Espaa se lleva ya diez aos articulando las polticas de
igualdad de gnero a travs de este instrumento que son los planes de igualdad. Por lo
tanto, a parece como especialmente interesante realizar un anlisis de dichos planes en los
niveles central y autonmico.
As, muchas de las investigaciones ms recientes tienen en cuenta el anlisis de
dichos planes (Gil Ruiz, 1996; Martnez, 1997; Valiente, 1997; Sensat y Varella, 1998), ya
que stos son el principal instrumento con el que se articulan las polticas de igualdad,
desde los organismos especficos que promueven la igualdad de gnero.
Estos planes son un conjunto de objetivos y medidas tomadas y aprobadas por un
gobierno y que deben llevar a cabo los diferentes departamentos gubernamentales, en un
perodo concreto de tiempo (de dos a cinco aos). Los planes tambin suelen implicar, al
menos formalmente, otros niveles gubernamentales y organizaciones no gubernamentales.
La concepcin de planes de carcter integral como son los planes de igualdad est
ntimamente ligado a los conceptos de "perspectiva de gnero" y "mainstreaming" o
transversalidad de dicha perspectiva de gnero, que son conceptos clave de las polticas de
igualdad de gnero a nivel internacional (tanto la Plataforma de Accin de la IV
Conferencia Mundial de la Mujeres en Pekn, 1995 como el IV Programa de Accin
Comunitaria, 1996-2000, establecen sendas directrices y recomendaciones respecto a
_______________________________________________________________________________________
176
_______________________________________________________________________________________
dichos conceptos). Conseguir que todas las polticas pblicas sean formuladas, ejecutadas y
evaluadas con perspectiva de gnero es la meta. El "mainstreaming" o transversalidad es la
estrategia para conseguir dicha perspectiva de gnero.
La perspectiva de gnero implica poner en cuestin la idea implcita de que las
polticas pblicas sean neutrales respecto al gnero, ya que stas reproducen las estructuras
sociales en cuya base se encuentra la desigualdad, entre otras razones, porque muchas
polticas pblicas afectan diferencialmente a los colectivos masculino y femenino; por lo
tanto, se trata de introducir la variable gnero desde la propia definicin del problema
pblico que se intenta resolver y a la hora de formular, ejecutar y evaluar las acciones
pblicas La definicin del problema contempla alguna variacin respecto al gnero? Se
est formulando, ejecutando y evaluando la poltica teniendo en cuenta dichas diferencias?
Un buen ejemplo para ilustrar este concepto puede ser el de las polticas de prevencin de
drogodependencias dirigidas al colectivo juvenil. Para abordar este tema y formular
acciones pblicas al respecto se estudian los patrones de consumo de drogas y los estilos de
vida y actitudes ante la salud. Al estudiar los datos ms recientes se ve que, junto con la
variable de edad, la variable sexo es la que explica las mayores diferencias respecto a estos
patrones de conducta y actitudes hacia la salud. Mientras la variable de edad s es ms
atendida a la hora de plantear las acciones pblicas a llevar a cabo, la del sexo no se
considera de igual manera. Es decir, los programas de prevencin de drogodependencias en
el mbito escolar estn (tericamente) dirigidos a chicos y chicas, sin hacer diferencias. A
qu destinatario tenan en la cabeza los formuladores de dichos programas? A qu perfil
de destinatario -siendo el de las chicas y los chicos tan distintos en este terreno- se dirigen?
Existen diferencias en cuanto al impacto en unos y otras? Nos atrevemos a establecer una
hiptesis tentativa sobre un posible sesgo hacia el perfil masculino como destinatario tipo
de la mayora de las acciones.
El concepto de "mainstreaming", de difcil traduccin al castellano42 es la estrategia
que se propone para conseguir esta perspectiva de gnero. No se trata de hacer un "ghetto"
de las polticas de igualdad, realizando exclusivamente acciones especficas para las
mujeres, sino que se trata de impregnar de perspectiva de gnero el resto de las polticas
que abordan todo tipo de problemas pblicos que, lgicamente, tambin afectan a las
mujeres y, en muchos casos, de forma diferencial respecto a los hombres. De alguna
manera, adems de la idea de transversalidad tiene que ver tambin con el concepto de
"normalizacin", con la idea de "normalizar" la perspectiva de gnero en la formulacin de
todas las polticas pblicas, con la idea de integrar dicha perspectiva de gnero en la
corriente principal.
42
Existen muchas crticas a la traduccin de mainstreaming como transversalidad porque se entiende que
es algo ms; se cree que por transversalidad se puede interpretar la simple contabilidad de las mujeres que
se han beneficiado de una determinada actuacin o poltica. Quiz esto podra ser subsanado traducindolo
como transversalidad de la perspectiva de gnero, aunque parece que es un trmino algo complejo. En
cualquier caso, la utilizacin del trmino en ingls se ha generalizado en la comunidad de poltica (policy
network) de la igualdad de gnero. Este no es un fenmeno exclusivo de Espaa, sino que se da
internacionalmente.
_______________________________________________________________________________________
177
_______________________________________________________________________________________
Ambos conceptos (perspectiva de gnero y mainstreaming) estn intrnsecamente

relacionados entre s, de forma que el trmino ms utilizado en la actualidad en la
comunidad internacional es el de gender mainstreming que podra ser traducido como
transversalidad de gnero. Este trmino implica tanto el objetivo (la perspectiva de
gnero) como la estrategia para conseguirlo (la transversalidad y normalizacin en todas
las polticas pblicas). El concepto de gender mainstreaming apareci por primera vez
en los textos internacionales despus de la III Conferencia Mundial de la Mujer en Nairobi
y se integra plenamente en la Plataforma de Accin de Pekn como concepto clave. Dicha
Plataforma hace un llamamiento constante a promover la poltica del gender mainstreaming
o de la transversalidad de gnero, sealando repetidamente que los Gobiernos y otros
actores deben promover una poltica activa y visible de transversalidad de la perspectiva de
gnero en todas las polticas y programas, de forma que, antes de que las decisiones sean
tomadas, se haga un anlisis de los efectos en las mujeres y los hombres,
respectivamente43. Como la Plataforma, sin embargo, no ofrece ninguna orientacin
concreta sobre cmo desarrollar y ejecutar esta poltica de la transversalidad de gnero, se
estn haciendo esfuerzos tanto en el nivel nacional en los diferentes pases44 como en el
nivel internacional por su definicin y difusin. En el nivel internacional, destaca el
esfuerzo realizado por el Consejo de Europa, a travs de su Grupo de Especialistas en
Mainstreaming. Este grupo establece una definicin de gender mainstreaming apuntando a
su meta, a su proceso, a sus objetos y a sus sujetos activos. As, la transversalidad de
gnero (gender mainstreaming) es la (re)organizacin, mejora, desarrollo y evaluacin de
los procesos de polticas, de forma que la perspectiva de la igualdad de gnero se incorpora
en todas las polticas y a todos los niveles y en todas las fases, por parte de los actores
normalmente implicados en la formulacin de polticas (policy-making) (Consejo de
Europa, 1998: 19).
En cualquier caso, sta es una estrategia comn e internacionalmente aceptada, al
menos en el nivel terico. Stetson y Mazur (1995) concluyen en su estudio sobre
feminismo de Estado comparado que todas las agencias o estructuras gubernamentales que
son clasificadas, segn su anlisis, en la categora ms alta de feminismo de Estado,
cuentan con este enfoque centralizado (a travs de un organismo especfico) pero horizontal
y trans-sectorial (que intenta llegar a todos los sectores y polticas) a la hora de promover la
igualdad de gnero en las polticas "normales" o "corrientes" (mainstream policy).
Por lo tanto, los planes de igualdad son un instrumento que tiene como filosofa
subyacente la perspectiva de gnero en los diferentes sectores o polticas, ya que, como se
ha comentado anteriormente, estos planes son un conjunto de objetivos y medidas que se
deben llevar a cabo por los diferentes departamentos gubernamentales y no slo por el
organismo de igualdad correspondiente.
43
Vanse los prrafos 79, 105, 123, 141, 164, 189, 202, 229, 238, 252, 273 de la Plataforma de Accin de la
IV Conferencia Mundial de la Mujer. Pekn, 1995.
44
En Espaa existe algn proyecto como el Hera 2001. Visibilizando el Mainstreaming que desarrolla la
Fundacin Mujeres en el marco del IV Programa Comunitario de Igualdad de Oportunidades. Para ms
informacin consltese la pgina web: www.fundacionmujeres.es/hera2001.
_______________________________________________________________________________________
178
_______________________________________________________________________________________
Esta concepcin de planes promueve, o al menos facilita las siguientes

caractersticas:
Conciencia de los poderes pblicos sobre el problema de la igualdad. Los poderes
pblicos deben pensar sobre el problema y sobre cmo resolverlo. Este factor refuerza,
adems, la fundamentacin de las polticas de igualdad de gnero.
Compromiso Pblico: los planes se aprueban normalmente en Consejo de Ministros o
de Gobierno. En algunas comunidades autnomas tambin se debe informar o presentar el
plan en el parlamento autonmico correspondiente. Estas circunstancia implica un
compromiso formal importante respecto a la igualdad de gnero.
Globalidad: los planes se disean para ser globales y comprensivos, es decir, para
tratar el problema de la igualdad desde diferentes mbitos y sectores (empleo, educacin,
legislacin, salud, etc.) y desde diferentes perspectivas. Este factor hace que se vea el
desarrollo de la mujer desde una perspectiva ms integral y realista y que se vaya
superando poco a poco la visin tradicional y limitada de relacionar casi exclusivamente la
promocin de la mujer y la igualdad de gnero con los temas de bienestar social.
Visin estratgica: Un buen plan significa que se deben establecer unas lneas
estratgicas y relacionarlas con perodos de tiempo concretos y determinados. Se tienen
tambin que prever con antelacin los recursos -tanto econmicos como humanos e
institucionales- y se deben adquirir compromisos respecto a los mismos. Esta es una gran
ayuda para situar a los poderes pblicos sobre dnde quieren llegar y cmo y cundo
piensan hacerlo.
Horizontalidad: La globalidad de los planes de igualdad requiere de la participacin
activa de diferentes departamentos y sectores gubernamentales. Este es el primer paso y
una condicin necesaria para promover el "mainstreaming" de la perspectiva de gnero
hacia todas las polticas pblicas.
Coordinacin interdepartamental: Con un plan horizontal, se estimula, de alguna
manera, a los diferentes departamentos a que trabajen juntos o, al menos, que sepan y
conozcan lo que estn haciendo otros.
Participacin: La mayora de los ltimos planes de igualdad en el nivel central y
autonmico han contado con un "proceso de elaboracin" anterior a su aprobacin. Estos
procesos normalmente incluyen algn tipo de participacin de grupos de mujeres, aunque
en algunos casos dicha participacin pudiera ser, sobre todo, una forma de legitimar al
organismo de igualdad y al plan. En general, se da menos participacin en el proceso de
ejecucin de los planes y prcticamente ninguna en los procesos de evaluacin, si stos
existen. Sin embargo, la estructura de plan estimula la participacin de diferentes agentes y,
a veces, ofrece un marco institucional para la misma.
Seguimiento y evaluacin: La utilizacin de planes como instrumento principal de las
polticas lleva a pensar en trminos de hacer seguimiento y evaluar dichos planes,
especialmente cuando esos planes cubren un perodo especfico de tiempo y se supone que
_______________________________________________________________________________________
179
_______________________________________________________________________________________
deben ser seguidos por otros planes. Las femcratas han comenzado a pensar en la
evaluacin de los planes de igualdad como algo necesario y deseable. Ms an, esto puede
ser importante para la creacin de una "cultura evaluativa" en las administraciones
pblicas, dado adems, el carcter horizontal de dichos planes.
Por supuesto, todos estos factores estn presentes en los planes de igualdad de forma
potencial. Es decir, aunque la estructura de los planes los permiten, facilitan y estimulan,
tambin estos pueden quedarse en compromisos exclusivamente formales o en
declaraciones generales de buenas intenciones.
3.2. La evolucin de los planes de igualdad en Espaa
Ya se ha sealado que el primer plan de igualdad en el nivel nacional fue aprobado en

1988 (I Plan de Igualdad de Oportunidades para las Mujeres 1988-90) y slo un ao ms
tarde se aprueban planes en cuatro comunidades autnomas (Asturias, Catalua, Madrid y
Comunidad Valenciana). En 1990 se aprueban otros dos planes en otras dos comunidades
autnomas (Andaluca y Castilla-La Mancha). En 1991 eran ya once comunidades
autnomas las que ya haban lanzado y aprobado sus respectivos primeros planes. En los
ltimos aos, la aprobacin de planes se ha generalizado a todas las comunidades
autnomas (Galicia en 199, Murcia en 1993, Aragn y Castilla y Len en 1994, Canarias
en 1995 y la ltima, Navarra, con su primer plan aprobado en 1998. En la tabla 3.4 se
muestra un cronograma de todos los planes de igualdad centrales y autonmicos.
Como se puede observar en dicha tabla 3.4, cuando finaliza el perodo de aplicacin
de un plan, no siempre se ha continuado de forma inmediata con el siguiente.
Normalmente, el proceso de elaboracin y posterior aprobacin es largo y, en algunos
casos, se seala que dicho retraso es debido, precisamente, a la necesidad de evaluar los
resultados del plan, los cuales no suelen estar listos nada ms acabarlo. Salvo en los casos
de Cantabria, Extremadura y Comunidad Valenciana, en donde este perodo interplanes
ha resultado mucho ms largo por diferentes razones de inestabilidad organizativa, las
lagunas de tiempo suelen durar un mximo de uno o dos aos. La tendencia parece
dirigirse, adems, hacia la reduccin de estos perodos.
_______________________________________________________________________________________
180
_______________________________________________________________________________________
TABLA 3.4. EVOLUCION DE LOS PLANES CENTRALES Y AUTONOMICOS DE

IGUALDAD DE GENERO EN ESPAA
88
CENTRALES
89
90
91
92
I Plan 88-90
93
94
I Plan 89-91
II Plan 93-95
I Plan 91-93
Baleares
I Plan 91-93
Extremadura
I Plan 94-96
I Plan 1990-1994
II Plan 97-2000
II Plan 97-2000
II Plan 1995-1999
II Plan 94-96
I Plan 89-91
II Plan 93-95
I Plan 93-95
III Plan 1999 - 2003
III 98-2000
III Plan 97-2000

II Plan 97-2000
I 98-2000
Navarra
I Plan 1991 - 1995
La Rioja
Pas Vasco
II Plan 97-2000
I Plan 92-94 II Plan 95-97 III Plan 98-2001
Murcia
C. Valenciana
02
I Plan 1991-?
Galicia
Madrid
01
II Plan 98-2001
Castilla y Len
I Plan 1989-1992
00
III Plan 1996-2000
I 95-96
Castilla-La Mancha
99
II Plan 1996-99
Canarias
Cantabria
98
III Plan 97-2000
I Plan 94-96
Asturias
97
II Plan 95-97
Aragn
Catalua
96
II Plan 93-95
I Plan 90-92
Andaluca
95
I Plan 89-91
II Plan 1996-2000
II Plan 97-2000
I Plan 1991-1994 II Plan 1995-98 III Plan 1999-2002
_______________________________________________________________________________________
181
03
_______________________________________________________________________________________
La duracin de los planes es variable y no parece deberse a ninguna razn concreta,

aunque se puede observar una tendencia hacia planes ligeramente ms largos. Esto puede
deberse a que algunos de los primeros planes eran de tanteo, de manera que tendan a ser
ms cortos en sus inicios. Como se puede observar en la tabla 3.5 el total de 38 planes
centrales y autonmicos aprobados en el ao 199845, slo ha habido uno de dos aos (I
canario), 21 (55%) de tres aos, 10 (26%) de 4 aos y 6 (16%) de 5. Es decir la mayora de
ellos han sido de tres aos y la media de duracin se sita en tres aos y medio.
Curiosamente, ningn plan rebasa la barrera psicolgica del ao 2000.
TABLA 3.5. DURACION DE LOS

PLANES DE IGUALDAD
DURACION n planes
Dos aos
Tres aos
Cuatro aos
Cinco aos
TOTAL
1
21
10
6
3%
55%
26%
16%
38
100%
Duracin media= 3,5
En lo que se refiere al formato de los planes, se pueden establecer dos tendencias.

Por un lado, los planes tienden a ser crecientemente ms especficos y realistas; es
decir, los primeros planes eran ms generales y tendan a tener un mayor nmero de
acciones que, por trmino general, se han ido reduciendo como demuestra la tabla 3.6.
45
A finales del ao 1998 se aprueba el III plan gallego (1998-2001) y en el ao 1999 el III castellanomanchego (1999-2003). Estos dos planes no estn incluidos en el total de 38 analizados.
_______________________________________________________________________________________
182
_______________________________________________________________________________________
Tabla 3.6
NUMERO DE AREAS, OBJETIVOS Y ACCIONES
PLANES DE IGUALDAD CENTRALES Y AUTONOMICOS
PLANES
NACIONALES
ANDALUCIA
ARAGON
ASTURIAS
BALEARES
CANARIAS
CANTABRIA
CASTILLA-LA
MANCHA
CASTILLA y LEON
CATALUA
EXTREMADURA
GALICIA
MADRID
MURCIA
NAVARRA
PAIS VASCO
LA RIOJA
C.VALENCIANA
Medias
Autonmicas
I PLANES
6-30-122
(88-90)
7-28-200
(90-92)
8-34-239
(94-96)
6-26-87
(89-91)
ND
(91-93)
7(26)-51-168
(95-96)
7-22-172
(91-93)
ND
(90-94)
8(19)-42-227
(94-96)
6-34
(89-92)
7-7-126
(91-sin plazo)
5-56
(92-94)
7-26-160
(89-91)
6-29-142
(93-95)
10-23-76
(98-2000)
7(34)-86-320
(91-94)
5-28-158
(91-95)
7-32-125
(89-91)
II PLANES
10-46-170
(93-95)
4-21-66
(95-97)
9-25-154
(97-2000)
6-16-62
(93-95)
7-7-68
(96-99)
7(34)-71-225
(97-2000)
10-15-99
(98-2000)
5-14-65
(95-99)
5-7-64
(97-2000)
7(26)-56-157
(94-96)
(en elaboracin)
= 2290/15
Media act.= 153
= 1893/15
Media act.= 126
III PLANES
10-25-192
(97-2000)
(ND)
(97-2000 )
8-28-98
(98-2000)
5(8)-16-84
(95-97)
3-13-83
(93-95)
6-28-82
(97-2000)
4-14-127
(97-2000)
9(32)-92-397
(96-2000)
7-45-110
(96-99)
11-69-177
(97-2000)
= 225/2
Media act.= 113
Media de actuaciones de los planes autonmicos en 1998 (en itlica) = 1700/15= 126
(Quitando el caso extremo del Pas Vasco= 107)
_______________________________________________________________________________________
183
_______________________________________________________________________________________
Esta tendencia hacia planes ms especficos tiene que ver, en cierto modo, con las
necesidades de seguimiento y evaluacin, ya que es muy difcil, si no imposible, seguir y
evaluar objetivos y acciones que estn formulados de forma vaga y general.
Por otro lado, existe una segunda tendencia a formular mayores compromisos
explcitos de los poderes pblicos. Estos pueden consistir en sealar los Ministerios,
Consejeras o Departamentos que son responsables de cada una de las acciones, en un
compromiso formal de seguir y evaluar el plan o por una intencin formal de dar a conocer
el Plan al correspondiente Parlamento autonmico. Un ejemplo ilustrativo es cmo el I Plan
de Igualdad de Oportunidades para las Mujeres (1988-90) en el nivel central, no fue
aprobado por el Consejo de Ministros, sino que ste "tom conocimiento" de dicho Plan, es
decir, "anunci pblicamente que saba de su existencia, pero que no lo consideraba una
tarea de Gobierno" (Valiente, 1994:25). Esto no slo ya no ocurre con el II Plan central
(1993-95) que s es aprobado formalmente por el Consejo de Ministros, ni tampoco con
ninguno de los planes autonmicos que son todos aprobados por acuerdo de los respectivos
Consejos de Gobierno.
Adems de las tendencias evolutivas respecto al perodo de aplicacin y duracin de
los planes y respecto al formato de los mismos, los planes de igualdad han evolucionado
respecto a las influencias externas, teniendo una importancia creciente la influencia
internacional, expresada actualmente a travs de la Plataforma de Accin de Pekn y el IV
Programa Europeo. Esta tendencia se aprecia especialmente si se analiza el conjunto de los
planes autonmicos de igualdad. En estos ltimos planes se pueden encontrar, adems, dos
tendencias opuestas: una creciente influencia internacional y una decreciente influencia
nacional. Prcticamente todos los planes de igualdad autonmicos actuales mencionan en
su presentacin, y al enmarcar y fundamentar los planes, tanto la IV Conferencia de Pekn
y su Plataforma de Accin y el IV Programa de Accin Europeo. Slo hay tres planes que
no lo hacen y son los que fueron aprobados antes de Septiembre de 1995, fecha en la que se
celebra la IV Conferencia Mundial: los II Planes de Andaluca, aprobado en enero de 1995,
el de Castilla-La Mancha aprobado en febrero y el de y Galicia aprobado en marzo del
mismo ao. El II plan andaluz, sin embargo, hace una referencia general al impulso tanto
de las Naciones Unidas como de la Unin Europea en lo que respecta a la promocin de la
mujer. Sin embargo, no todos los planes autonmicos actuales mencionan los planes
nacionales o el IM. Ms all, slo se pueden encontrar referencias generales a los planes
nacionales en tres de los planes autonmicos (Andaluca, Aragn y La Rioja).
_______________________________________________________________________________________
184
_______________________________________________________________________________________
3.3. La estructura y contenidos de los planes de igualdad en Espaa
En el anlisis de los planes de igualdad de gnero en Espaa, tanto en el nivel central

como en el autonmico, conviene detenerse en su estructura y sus contenidos a grandes
rasgos, aunque queda pendiente un anlisis ms pormenorizado de cada uno de los planes y
que excede el objeto de este trabajo de investigacin.
Los contenidos de los planes de igualdad son relativamente homogneos en lo que se
refiere a las grandes reas que organizan las diferentes acciones. Como ya se ha
comentado anteriormente, los primeros planes autonmicos estuvieron especialmente
influenciados por los planes nacionales. Posteriormente, la influencia nacional pierde
fuerza y sirven como modelos los programas y la legislacin europea e internacional. Los
planes no son, sin embargo, tan similares entre s respecto al nmero de acciones, la
concrecin de dichas acciones o la importancia relativa de cada conjunto de acciones.
En general, las grandes reas de los planes de igualdad son: legislacin
(adaptacin, informacin y publicidad), educacin (programas de co-educacin, formacin
del profesorado, contenido de los currcula, estmulo y vigilancia de libros de texto no
discriminatorios, ), salud (planificacin familiar, programas de prevencin de cncer y
de menopausia, humanizacin del embarazo y parto, ), servicios sociales (programas
para mujeres en situaciones de exclusin social, madres solteras, prostitucin, ), empleo
(estudios del mercado laboral, formacin ocupacional, asesoramiento y apoyo a
emprendedoras, ), participacin (apoyo a grupos de mujeres, ), y cooperacin
(algunos se refieren a la cooperacin nacional especialmente con administraciones locales y
otros a la cooperacin internacional46). Existen otras reas que se estructuran normalmente
dentro de otras como son investigacin (apoyo a seminarios universitarios de mujer, becas
y ayudas, ), cultura (apoyo a mujeres artistas, actividades culturales, ), imagen
pblica de la mujer (promover una imagen ms ajustada a la realidad, control de
publicidad, ). Finalmente, hay algunos temas de moda que han aparecido o han
cobrado importancia especfica en los ltimos planes como son medioambiente,
urbanismo, mujer rural o violencia (este ltimo siempre ha estado presente pero en los
ltimos planes suele aparecer como un rea diferenciada).
Respecto al tipo de acciones, tanto las catalanas como las vascas en sus respectivos
institutos, han elaborado diferentes categorizaciones de acciones. Adems de los grupos
destinatarios y las ya mencionadas reas, han desarrollado otras interesantes categoras para
clasificar las acciones.
46
De los quine planes autonmicos actuales, dos se refieren a la cooperacin internacional (Aragn y
Castilla-La Mancha), cuatro a la cooperacin nacional y la relacionada con la Unin Europea (Castilla-Len,
Madrid, Murcia y La Rioja), otros cuatro tanto a cooperacin nacional como internacional (Canarias,
Navarra, Pas Vasco y Comunidad Valenciana) y las cinco restantes mencionan el trmino "cooperacin"
relacionado con la promocin y apoyo a grupos de mujeres (Andaluca, Baleares, Cantabria, Catalua y
Galicia).
_______________________________________________________________________________________
185
_______________________________________________________________________________________
En Emakunde (Instituto Vasco de la Mujer) se han establecido siete categoras segn

tipos de accin, segn sean de 1. sensibilizacin, informacin, divulgacin; 2. orientacin,
asesoramiento, apoyo; 3. formacin; 4. realizacin de estudios, investigaciones, evaluacin;
5. adaptacin y ampliacin de recursos; 6. coordinacin, colaboracin, intercambio y 7.
intervencin sobre las normas jurdicas y sociales (estas ltimas acciones tratan de
modificar las situaciones de base que generan discriminacin). De acuerdo con la memoria
de Emakunde de 1996, el 65% de las acciones realizadas pertenecan a las categoras 1. 3. y
5. y slo el 5% de la ltima categora. En la memoria de 1997, el porcentaje para la suma
de las categoras 1, 3 y 5 segua siendo prcticamente idntico, subiendo algo el de la
ltima categora (8, 4%).
Las catalanas han desarrollado tres categoras basadas en el tipo de poltica que
subyace a cada accin, y que clasifican de la siguiente manera: a) promocin (servicios
dirigidos a la mujer), b) igualdad (acciones dirigidas a establecer las condiciones necesarias
para que hombres y mujeres tengan las mismas oportunidades) y c) paridad (dirigidas a
modificar las relaciones sociales que hagan que hombres y mujeres compartan
responsabilidades en el mbito pblico y el privado). En el anlisis realizado en el Instituto
Cataln de la Mujer, la mayora de las acciones son de promocin y de igualdad; por lo
tanto, las acciones de paridad deben ser reforzadas.
Ambos anlisis sugieren que las acciones dirigidas a una transformacin social
verdadera tienen todava una importancia relativa en los planes. Como se ver ms adelante
en el anlisis de las evaluaciones, este interesante tipo de anlisis se ha hecho,
exclusivamente, en el Pas Vasco y Catalua, precisamente en dos de las comunidades
autnomas donde tanto los organismos como las polticas de igualdad estn relativamente
ms consolidados.
3.4. Fortalezas y debilidades de los planes como principales instrumentos de las

polticas de igualdad de oportunidades
En el punto anterior de este captulo se han mencionado algunas caractersticas de los

planes de igualdad que pueden ser consideradas como fortalezas potenciales de dicho
instrumento y que pueden ser transformadas en oportunidades para su utilizacin efectiva
como instrumento al servicio de la poltica. Como ya se ha visto, los planes de igualdad
facilitan una mayor conciencia por parte de los poderes pblicos, una visin global y
estratgica, mayores cotas de compromiso pblico, la horizontalidad de la poltica, una
mayor coordinacin interdepartamental, oportunidades estructuradas para la participacin y
una mayor preocupacin por el seguimiento y la evaluacin de las acciones emprendidas.
Otros dos factores no intrnsecos a los propios planes pueden ser aadidos al listado de
fortalezas. El primero de ellos es que este tipo de instrumento est apoyado
_______________________________________________________________________________________
186
_______________________________________________________________________________________
internacionalmente, tanto por la Plataforma de Accin de la IV Conferencia Mundial de la

Mujer de Pekn (Naciones Unidas) como por el IV Programa de Accin Comunitario de la
Unin Europea. El segundo factor es que los planes de igualdad de gnero, como
instrumento, representan un marco de referencia para ser emulado por otros poderes
pblicos (especialmente por los gobiernos locales).
Sin embargo, los planes de igualdad tambin tienen una serie de debilidades, tambin
potenciales, y que pueden convertirse en amenazas de este instrumento de la poltica.
En primer lugar, no slo las polticas pblicas de igualdad de gnero en Espaa son
todava muy pequeas si las comparamos (tanto en trminos presupuestarios como en
trminos de atencin de los poderes pblicos) con otras polticas pblicas, sino que su
principal instrumento, los planes de igualdad, dependen en cierto modo de la persuasin.
Es decir, los agentes promotores de dichos planes que son los organismos de igualdad,
tienen como objetivo impulsar, ms que ejecutar directamente las polticas de igualdad de
gnero. De manera que las femcratas a la cabeza de dichos organismos de igualdad deben
convencer o persuadir a otros departamentos y poderes pblicos para que asuman y
ejecuten unos objetivos que inicialmente no son suyos. Esta tarea no es fcil y es el gran
caballo de batalla, tanto a niveles polticos como tcnicos de las femcratas y los
organismos de igualdad. Es ms, los organismos de igualdad no tienen poder para
sancionar el incumplimiento de los objetivos y acciones propuestas en un plan. Esto
significa que, en definitiva, los planes de igualdad necesitan ser reforzados con estrategias
de persuasin y convencimiento por parte de las femcratas y sobre las que no se ha
teorizado en la literatura sobre polticas pblicas.
En este caso, es interesante hacer un breve anlisis sobre las estrategias utilizadas por
las femcratas para persuadir al resto de las instancias gubernamentales de que incorporen
la perspectiva de gnero y hagan suyos los objetivos propuestos. Entre las estrategias que
mencionan las responsables de los organismos de igualdad entrevistadas para esta
investigacin, estn las de ir con los datos por delante, tener mucha paciencia para
explicar y repetir las cosas muchas veces y no enfrentarse nunca directamente47.
Efectivamente, adems de la obtencin de datos que avalen la necesidad de actuacin para
conseguir una mayor igualdad, las otras estrategias mencionadas dependen ms de la
posicin de liderazgo de la responsable y de su capacidad personal de persuasin y
persistencia, y esto, lgicamente, se convierte en un punto especialmente dbil si se dan
cambios en las responsables. Aunque excede claramente los objetivos de este trabajo,
quedara pendiente investigar a fondo sobre las estrategias empleadas. Esto permitira,
adems de evaluar su efectividad, establecer y protocolizar las estrategias ms adecuadas
para la introduccin de la transversalidad de gnero en todas las polticas y programas.
Otra posible debilidad de los planes de igualdad es que pueden llevar al mimetismo.
En los primeros pasos de elaboracin de los planes, una de las primeras tareas de las
tcnicas de los organismos de igualdad es mirar y tener en cuenta otros planes de igualdad
47
En el captulo ocho se analiza pormenorizadamente el discurso extrado de las entrevistas realizadas. Para
conocer las entrevistas realizadas, vase el anexo correspondiente.
_______________________________________________________________________________________
187
_______________________________________________________________________________________
(sobre todo del mismo nivel gubernamental). Los planes se construyen, por lo tanto, con
una primera base de lo ya formulado en planes similares; aunque se hagan adaptaciones
posteriores y se tengan en cuenta las caractersticas propias de la poblacin diana, esa
primera base es importante. Probablemente esta sea una de las razones por las que los
planes se parezcan bastante entre s, al menos desde el punto de vista formal. Esto, que no
tiene por qu ser una debilidad en s misma, puede sin embargo llevar a reproducir rutinas
y, sobre todo, tender hacia una falta de innovacin. Ms all, los planes estereotipados
pueden hacer ms difcil la reaccin ante nuevas contingencias no contempladas en planes
formulados de una forma rgida.
La tercera debilidad tiene relacin con la participacin de actores en los planes de
igualdad de gnero. Aunque en los procesos de elaboracin de los planes, algunos
organismos de igualdad han tratado de implicar a diferentes grupos de inters, incluidos
grupos de mujeres (entre otras cosas, para conseguir legitimacin de dicho plan), los planes
de igualdad de gnero en Espaa estn claramente orientados hacia los poderes pblicos y
escorados hacia lo gubernamental. En otras palabras, aunque el modelo terico est basado
en la participacin de la sociedad civil, el modelo en la prctica no lo est. Y unas polticas
que estn avaladas y apoyadas activamente por los movimientos no gubernamentales estn
siempre ms fortalecidas. Esta tendencia hacia lo gubernamental es, hasta cierto punto
inevitable, ya que los organismos de igualdad han tenido que dedicarle especiales esfuerzos
a una nueva estrategia de horizontalidad que ha requerido y est requiriendo muchas
energas en dicho nivel gubernamental. Por ahora, las femcratas parecen tener una
tendencia a estar especialmente concentradas en obtener la participacin y colaboracin de
sus propios colegas en los diferentes departamentos pblicos, y no tanto en la participacin
de otros grupos no gubernamentales.
Por ltimo, como ya se ha mencionado antes, otro peligro de los planes es quedarse
en el terreno simblico. Las polticas de igualdad de gnero tienen el peligro de ser
polticas simblicas, debido a la incorporacin de la retrica sobre la igualdad de gnero en
los discursos polticos (Meehan y Devenhuijsen, 1991) y debido a que lo polticamente
correcto incluye el respeto por dicha igualdad. An reconociendo la importancia de las
polticas simblicas (Valiente, 1998) y una cierta evolucin de unas polticas de igualdad
de gnero simblicas iniciales a ciertas polticas sustantivas a partir de los aos 60
(Martnez, 1997: 212), existe sin embargo una tendencia hacia lo simblico y lo retrico en
el discurso de la igualdad de gnero. Los planes de igualdad pueden quedarse en un plano
meramente formal y, precisamente, servir como "cortina de humo" y como instrumento
para legitimar polticas pblicas de puro carcter simblico. No es raro que se justifique
como parte de las actuaciones de un plan de igualdad, por ejemplo, la contabilizacin de las
mujeres beneficiarias de unos cursos de bsqueda de empleo de otro departamento,
ministerio o consejera, cuando ni esas actividades formativas se han planificado con
perspectiva de gnero, ni el anlisis de la realidad previo se ha hecho teniendo en cuenta
realmente a las mujeres y cuando dichas actuaciones se hubieran hecho en cualquier caso,
existiendo o no el Plan de Igualdad. Esta es una de las razones por las que la evaluacin de
las polticas y los planes de igualdad, una evaluacin consciente y desde diferentes puntos
de vista, resulta crucial en estos momentos en los que se cumple una dcada de utilizacin
_______________________________________________________________________________________
188
_______________________________________________________________________________________
de los planes de igualdad como instrumento principal de las polticas pblicas de igualdad
de gnero.
_______________________________________________________________________________________
189
PARTE III: LA PRCTICA DE LA EVALUACIN DE LAS POLTICAS DE IGUALDAD DE GNERO EN ESPAA
______________________________________________________________________
CAPTULO 4
LA EVALUACIN DE LAS POLTICAS PBLICAS DE
IGUALDAD DE GNERO EN ESPAA.
MARCO PARA EL ANLISIS Y LA VALORACIN
INTRODUCCIN
En este cuarto captulo se ofrece una primera visin general de las experiencias de
evaluacin en torno a las polticas de igualdad de gnero en Espaa en los niveles de
gobierno autonmico y central. Tambin se fundamenta y se expone el marco para su
anlisis y valoracin, la metaevaluacin, que permitir la exposicin estructurada de los
datos en los captulos siguientes (captulos cinco, seis y siete).
En primer lugar, se fundamenta la metaevaluacin como el enfoque metodolgico
en el que se basa el anlisis y la valoracin de los procesos de evaluacin que se realiza
en este trabajo y que se expone en esta parte III de la tesis doctoral. En la literatura al
uso no se distingue claramente el concepto de metaevaluacin del de sntesis de
evaluaciones y el de meta-anlisis; en este apartado se realiza una distincin de dichos
trminos, adems de sealar las diferentes funciones atribuibles a la metaevaluacin,
destacando las de descripcin y anlisis de procesos de evaluacin y la de control de
calidad de los mismos. Al ser una evaluacin de evaluaciones, se pueden tambin
distinguir diferentes tipos de metaevaluacin y se deben definir, asimismo, criterios de
metaevaluacin. Una vez discutidos estos extremos, se establecen los parmetros
concretos bajo los que se realiz la metaevaluacin presentada en esta tesis doctoral.
Finalmente, en el primer apartado de este captulo se seala y desarrolla la necesidad y
conveniencia de analizar y valorar los procesos de evaluacin de las polticas pblicas
de igualdad de gnero en Espaa en los niveles autonmico y central.
En segundo lugar, se ofrece un panorama general de las evaluaciones realizadas
en torno a las polticas de igualdad de gnero en Espaa en los niveles autonmico y
central. Atenindose al contexto temporal, todas las experiencias de evaluacin
existentes en torno a los planes de igualdad de gnero se clasifican en una primera, una
segunda y una tercera generacin. El objeto de la metaevaluacin de este trabajo es la
segunda generacin, que queda delimitada en este apartado del captulo como el
conjunto de evaluaciones realizadas entre los aos 1995 y 1999. Las primeras
experiencias de evaluacin fueron pocas, limitadas y estn ya lejanas en el tiempo. Por
el contrario, la tercera generacin de evaluaciones est, en su mayora, sin desarrollar y
concluir en el momento de elaboracin de este trabajo, por lo que se descarta
necesariamente como objeto de esta tesis doctoral. Sin embargo, en el panorama general
que se presenta en este captulo, se ha querido exponer de forma somera, lo que
represent la primera generacin de evaluaciones y lo que significan los proyectos de
evaluacin de la tercera. De esta forma, la segunda generacin de evaluaciones
____________________________________________________________________________________
Captulo 4. La evaluacin de las polticas de igualdad de gnero. Marco para el anlisis y la valoracin
191
______________________________________________________________________
consistente en diez experiencias de mbito autonmico y una de mbito central- queda
adecuadamente enmarcada en el contexto histrico en el que se produce.
En tercer y ltimo lugar, se expone el marco para el anlisis y valoracin de la
segunda generacin de evaluaciones. As, se exponen y fundamentan los criterios
utilizados en esta metaevaluacin. Estos criterios, que son definidos en el tercer
apartado de este captulo, se dividen en tres grandes apartados:
1) El planteamiento de las evaluaciones, teniendo en cuenta el contexto, la
claridad de los propsitos y objetivos de las evaluaciones, la existencia de estructuras
institucionales y de recursos para la evaluacin, adems de la utilizacin de diferentes
tipos de evaluacin.
2) Los elementos clave de la evaluacin, siendo stos los agentes y participantes
en la misma, los momentos y el calendario, los criterios de evaluacin establecidos y la
metodologa o procedimientos utilizados.
3) La utilizacin de los procesos de evaluacin, teniendo en cuenta la pertinencia
y utilidad de la informacin producida, la comunicacin y difusin de los resultados y
los propios procesos, as como el impacto y la utilizacin de los mismos en las polticas
y los organismos de igualdad de gnero.
____________________________________________________________________________________
192
______________________________________________________________________
1. FUNDAMENTACIN
1.1. La metaevaluacin
El concepto de metaevaluacin y su diferenciacin con el concepto de

sntesis de evaluaciones
La metaevaluacin, entendida sta como evaluacin de evaluaciones, es la base en

la que se sustenta el trabajo emprico de esta tesis doctoral. A continuacin, se discute
su definicin, y se diferencia de otros conceptos como son la sntesis de evaluaciones y
el meta-anlisis. Uno de los primeros autores que desarrolla el concepto de
metaevaluacin es Michael Scriven, cuyo trmino aparece definido en su Thesaurus de
Evaluacin como
la evaluacin de evaluaciones -indirectamente, la evaluacin de los
evaluadores- representa una obligacin tanto tica como cientfica cuando el
bienestar de otros est en juego (Scriven, 1991: 228).
El Joint Committee on Standards for Educational Evaluation1 (a partir de ahora
Joint Committee) desarrolla la metaevaluacin como una de las normas de precisin que
deben cumplir las evaluaciones. La norma A12 Metaevaluacin dice:
La evaluacin en s misma debe ser formativa y sumativamente evaluada segn
stas y otras normas pertinentes, de manera que su realizacin se oriente de
forma apropiada y, en cuanto se termine, los agentes crticos (stakeholders)
puedan examinar de cerca sus fortalezas y debilidades (Joint Committee, 1994:
185).
Para Patton (1997: 143) la metaevaluacin es una evaluacin de la evaluacin
basada en una serie de normas y principios profesionales.
Sin embargo, para algunos autores, el concepto de metaevaluacin puede incluir la
sntesis de evaluaciones, e incluso ser la acepcin principal, como es el caso de la
clasificacin realizada por la Evaluation Research Society (Evaluation Research Society
1
Como se seal en el captulo 1, el Joint Committee on Standards for Educational Evaluation comenz
a reunirse al inicio de los aos ochenta publicando la primera edicin de sus normas en el ao 1981.
Dicho Comit est integrado por ms de doscientos profesionales en el campo de evaluacin quienes se
renen peridicamente para revisar las normas. Aunque este Comit se inicia con el mbito educativo de
fondo se convierte rpidamente en referencia en las restantes disciplinas que se ocupan de la evaluacin
de programas y polticas (Bustelo, 1998).
____________________________________________________________________________________
193
______________________________________________________________________
Standards Committee, 1982), y en la que uno de los 6 tipos de evaluacin descritos es la
metaevaluacin. En esta clasificacin, a la metaevaluacin se le otorga el significado de
sntesis de evaluaciones, es decir, una forma de evaluacin que reanaliza los resultados
de una o varias evaluaciones para determinar qu es lo que se ha aprendido sobre una
poltica o programa (Chelimsky, 1989). Para Ballart, la metaevaluacin consiste en el
anlisis de los resultados de varias evaluaciones, aunque tambin habla de la revisin
de tipo ms amplio de la investigacin evaluativa desarrollada en un determinado
perodo (Ballart, 1992: 81-82). En la primera acepcin -anlisis de los resultados
arrojados por distintas evaluaciones-, ms estricta, el autor es consciente de que su
desarrollo tiene grandes complicaciones debido a la heterogeneidad que normalmente se
encuentra en los estudios de evaluacin a sintetizar. Para Vedung (1997), la
metaevaluacin significa la evaluacin de metaprocesos de evaluacin y
retroinformacin, aunque tambin considera metaevaluacin al resumen de los hallazgos
de diferentes estudios de evaluacin. Weiss (1998: 236) comenta que, cuando los
estudios analizados son evaluaciones, el meta-anlisis se llama a veces metaevaluacin.
Sin embargo, reconoce que dicho trmino, metaevaluacin, se debe reservar para otro
concepto diferente: la evaluacin de evaluaciones, tal y como se ha definido en este
trabajo.
En este trabajo se propone la distincin del concepto de metaevaluacin y los de
sntesis de evaluaciones y meta-anlisis (como un tipo especfico de sntesis de
evaluaciones o investigaciones) ya que, en nuestra opinin, son procesos de naturaleza
muy distinta.
La sntesis de resultados sirve para aunar, resumir e incluso potenciar los
resultados de varios estudios de evaluacin de programas o polticas similares. En
realidad es un procedimiento para revisar estudios similares anteriores. El nfasis aqu
se pone en hacer comparables los resultados de varios estudios: el foco est en dichos
resultados, en los datos que han arrojado los estudios de evaluacin. Se interesar en la
metodologa seguida, pero simplemente como camino por el que se ha llegado a dichos
resultados. La funcin ltima no ser juzgar los procesos de evaluacin sino tener una
base emprica para juzgar los resultados generales de los programas o polticas
evaluadas.
Un tipo especial de sntesis es el meta-anlisis que consiste especficamente en un
procedimiento estadstico que permite la comparacin entre resultados de diferentes
estudios; es decir, es un procedimiento particular para sintetizar estudios cuantitativos2
que tengan un mismo objeto de estudio, en el que se calcula un parmetro especial
(llamado el tamao del efecto) para cada estudio. Para Weiss, el meta-anlisis,
aplicado a la evaluacin, puede ser definido como el anlisis sistemtico de los
resultados de un conjunto de evaluaciones de programas similares para producir una
estimacin del efecto general de los programas (Weiss, 1998: 333). La tcnica del
meta-anlisis no se ha utilizado slo en el campo de la evaluacin de programas, sino
para sintetizar diferentes investigaciones en un mismo campo. En Espaa se han
realizado estudios de meta-anlisis en el campo de la psicologa, sobre efectos de
2
No existe una metodologa o procedimiento especial para metanalizar o sintetizar estudios de tipo
cualitativo. Dado que una gran cantidad de estudios de evaluacin combina metodologas cualitativas y
cuantitativas, la utilizacin concreta del metanlisis en el campo concreto de la evaluacin de programas
es, de alguna forma, limitada.
____________________________________________________________________________________
194
______________________________________________________________________
diferentes terapias y de estudios que relacionaban memoria y estado de nimo (Navarro,
1990; Matt, Vzquez y Campbell, 1992). Es ms, los estudios de meta-anlisis, por sus
propias caractersticas, podran ser clasificados ms en el campo de la investigacin que
en el de la evaluacin de programas propiamente dicha. El meta-anlisis en Espaa en el
campo de la evaluacin de polticas pblicas parece estar lejos de ser posible, debido a
la falta de estudios sistemticos que pudieran ser meta-analizados en la mayora de los
sectores de las polticas pblicas.
Sin embargo, la metaevaluacin consiste en hacer evaluacin de los procesos de
evaluacin. El foco aqu se encuentra en los procesos de evaluacin, no en los
resultados arrojados por los mismos. Por ejemplo, los procesos de metaevaluacin se
interesarn ms en los resultados de la evaluacin no en s mismos, sino en si son
buenos (es decir si se ha recopilado la informacin y datos suficientes, y si las
conclusiones interpretaciones y valoraciones estn bien fundamentadas), si han
resultado tiles o si han sido realmente utilizados para la mejora de las polticas, el
control de responsabilidades y/o la iluminacin de acciones futuras. Es decir, el foco de
las metaevaluaciones es en el cmo se han realizado las evaluaciones y en la valoracin
de dichos procesos, y no en los resultados que han arrojado.
De esta manera, en este trabajo se distinguen estos tres conceptos. La
metaevaluacin, que se define como evaluacin de evaluaciones; la sntesis de
evaluaciones, que son anlisis comparados de los resultados de varias evaluaciones y el
meta-anlisis, que se reservara para las sntesis de evaluaciones que utilizan
especficamente la tcnica cuantitativa de dicho tipo de estudios.
En los ltimos tiempos se ha insistido mucho en la necesidad de aprovechar los
estudios ya realizados a travs de la sntesis de evaluaciones y el meta-anlisis
(Chelimsky, 1997; Cook, 1997). Esto se ha propuesto, sobre todo, desde los pases en
los que la funcin y la cultura de evaluacin estn muy desarrolladas (especialmente
Estados Unidos y Canad y, en menor medida, Australia y algunos pases europeos
como Gran Bretaa y Suecia). Para los pases, como Espaa, en los que la funcin de
evaluacin est todava por desarrollar, parece an lejana la posibilidad de sintetizar
estudios de evaluacin. Primero tiene que darse el hecho de que existan suficientes
evaluaciones, es decir, las energas deben concentrarse en que se realicen estudios de
evaluacin que, posteriormente, podran ser metaevaluados.
Mientras el meta-anlisis y la sntesis de evaluaciones estn ms ligadas al
concepto de revisin del estado de la cuestin y a la necesidad de un mayor
aprovechamiento del saber acumulado, es decir, estn ms vinculadas a finalidades de la
investigacin, la metaevaluacin se vincula a las finalidades de asegurar y evaluar la
calidad de los procesos de evaluacin y a la comprensin de la funcin de evaluacin en
el proceso de las polticas publicas.
____________________________________________________________________________________
195
______________________________________________________________________
El significado y las funciones de la metaevaluacin
La metaevaluacin tiene un primer significado como descripcin, anlisis y

valoracin de los procesos de evaluacin. En este sentido, se inscribira en el
componente descriptivo del anlisis de polticas pblicas, en el knowledge of acuado
por Lasswell, quien establece la distincin entre dicho conocimiento del proceso de la
poltica (knowledge of) y el conocimiento en o para el proceso de la poltica (knowledge
in). En el primero (conocimiento del o anlisis de la poltica) se pretende conocer el
proceso de decisin de la poltica as como de hecho sucede. Si tomamos como
referencia las polticas pblicas en su ciclo completo, se tratara de describir por qu
determinados problemas son calificados como pblicos, entran en agenda, se definen,
cmo y por qu se eligen ciertos cursos de accin y ejecucin y se evalan a travs de
ciertos criterios y metodologas de evaluacin. La parte que se propone como
descripcin de los procesos de evaluacin de las polticas pblicas correspondera a uno
de los significados y funciones de la metaevaluacin. El autor que se acerca ms a esta
concepcin, en el campo de la evaluacin de programas y polticas pblicas, es Vedung,
quien considera que una posiblidad de la metaevaluacin es la de auditar la funcin de
evaluacin de un determinado organismo gubernamental (Vedung, 1997). Aunque este
componente descriptivo se ha desarrollado en el campo del anlisis de polticas pblicas
en general, no ha ocurrido lo mismo en el aspecto o fase concreta de la evaluacin de
dichas polticas. Es decir, no existen muchos estudios sobre los procesos de evaluacin
de las polticas pblicas, en los cules se estudie el desarrollo de la funcin de
evaluacin en torno a una determinada poltica y que describan, analicen y valoren las
evaluaciones que se llevan a cabo.
El segundo significado de la metaevaluacin es su funcin como control de
calidad de las evaluaciones. Para Schwandt y Halpern (1988: 14), la metaevaluacin se
inscribira en una serie de aproximaciones sistemticas para el seguimiento, fomento y
comprobacin de la calidad de un servicio profesional como es, en este caso, la
evaluacin. El inters por la metaevaluacin surge, en cierto modo, cuando se da una
preocupacin por la calidad de las evaluaciones y la necesidad de control de las mismas.
En realidad tiene que ver con lo que Scriven define como la caracterstica
autoreferenciada o reflexiva que debe tener la evaluacin, es decir, con la idea de la
evaluacin empieza en casa y con la de quin evala al evaluador? (Scriven, 1993:
51-52).
Como ya se ha comentado anteriormente, en el campo de la evaluacin de
programas el concepto de metaevaluacin se ha desarrollado, sobre todo, en este
segundo sentido. Se trata de un concepto principalmente tcnico de la evaluacin, del
control tcnico de las mismas. Incluso teniendo en cuenta que el concepto de calidad
general de una evaluacin incluye normalmente una serie de criterios no tan
estrictamente tcnicos (como son su utilizacin), el nfasis se pone en la utilizacin de
los procesos de metaevaluacin como una forma de control de calidad de las
evaluaciones y no tanto como una forma de estudio de dichos procesos. Para Patton, la
metaevaluacin se pregunta sobre si se hizo bien la evaluacin, si ha merecido la pena y
se bas en normas y principios profesionales (Patton, 1997: 193). De hecho, en esta
funcin de metaevaluacin como control de calidad de las evaluaciones, existe un cierto
____________________________________________________________________________________
196
______________________________________________________________________
sesgo hacia metaevaluar una nica evaluacin. Es decir, se metaevala cada estudio de
evaluacin por separado; por lo tanto, cada evaluacin, individualmente, debe ser a su
vez evaluada. De esta manera, la idea de metaevaluar varios procesos de evaluacin
simultneamente, y que esto ofrezca una base para la comparacin (es decir, la idea de
sntesis de evaluaciones, pero no de sus resultados sino de los procesos de evaluacin)
no se deja entrever en la literatura que ha desarrollado el concepto de metaevaluacin
como control de calidad de las evaluaciones. En realidad, este desarrollo del concepto
de metaevaluacin en su acepcin ms aplicada (para controlar la calidad de los
procesos y no tanto para estudiar dichos procesos) resulta acorde con la propia
definicin de evaluacin, diferencindose de otros procesos de anlisis e investigacin:
las evaluaciones se dan siempre en escenarios de accin, en los que el programa o
poltica a evaluar es lo prioritario. Por lo tanto, la mejora y conocimiento concreto de
dichos programas y el control de responsabilidades en torno a los mismos ser siempre
prioritario sobre la construccin de conocimiento -aunque ste verse sobre los propios
procesos de evaluacin-.
La metaevaluacin es, por lo tanto, algo aadido a los procesos de evaluacin,
aunque para muchos autores algo absolutamente necesario. Patton seala la necesidad
de metaevaluacin aunque, desde una perspectiva prctica, sin embargo, no todo
esfuerzo de evaluacin merece los recursos necesarios para una metaevaluacin
completa (Patton, 1997: 352). Es decir, al igual que la evaluacin, la metaevaluacin
debe tener su sentido y su medida. Sin embargo Scriven, quien es uno de los primeros
autores que acua y desarrolla el concepto de metaevaluacin, es ms contundente, y
una de las 31 tesis de su obra Lecciones duramente aprendidas en evaluacin de
programas es la que dice que los diseos de evaluacin sin provisin de evaluacin de
la evaluacin son poco claros en concepto (Scriven, 1993: 51). Para Scriven, la
evaluacin debe ser reflexiva y, por lo tanto, debe ser evaluada; es decir, los evaluadores
deben desarrollar los dispositivos necesarios para, a su vez, ser evaluados y esto deben
hacerlo desde un principio, desde el mismo diseo de la evaluacin. En realidad, en el
concepto de metaevaluacin de Scriven hay un especial nfasis en la idea de ser una
forma de control del sesgo del evaluador (Shadish et al, 1991: 81-82).
Esta concepcin de la metaevaluacin como una forma de control de calidad no
slo pretende dicho control sino que tambin puede ser una forma de asegurar la
credibilidad de una evaluacin, especialmente si se dan procesos de metaevaluacin
externa. Las auditoras de evaluacin y las metaevaluaciones aseguran la credibilidad de
la evaluacin para sus usarios, del mismo modo en el que las auditoras financieras
independientes aseguran la credibilidad de los informes de beneficios a los inversores
(Patton, 1997: 352). Precisamente, este paralelismo entre el concepto de auditora y el
de metaevaluacin se trata ampliamente en la obra de Schwandt y Halpern Linking
Auditing and Metaevaluation del ao 1988. Esta necesidad de credibilidad de la
evaluacin anteriormente mencionada, es mayor cuanto ms politizado sea el contexto
en el que se producen los procesos de evaluacin (Chelimsky, 1987), por lo que a
mayor politizacin del contexto en el que se realiza una evaluacin y a mayor
visibilidad de la evaluacin, mayor importancia de una valoracin independiente sobre
la calidad de la evaluacin para su credibilidad (Patton, 1997: 352). Este concepto de la
metaevaluacin como forma de aumentar la credibilidad de las evaluaciones est de
alguna manera relacionada con la idea de Scriven de control del sesgo del evaluador. De
hecho, reconocer que el evaluador puede tener un cierto sesgo, pero que hay un forma
____________________________________________________________________________________
197
______________________________________________________________________
de controlarlo a travs de mecanismos de metaevaluacin, significa tambin asegurar la
credibilidad de los estudios de evaluacin.
Efectivamente, con esta idea de control de calidad de fondo, Schwandt y Halpern
(1988) desarrollan la metaevaluacin como metfora de la auditora fiscal. As, la
metaevaluacin tiene que ver con la acreditacin y la comprobacin de la calidad. Los
autores creen que el desarrollo de este tipo de metfora fuerza, adems, a la
autodisciplina de los evaluadores. Es decir, el hecho de que existan metaevaluaciones y
se auditen los procesos de evaluacin fomenta, en cierto modo, la calidad de las mismas
aunque, por supuesto, no la crea o genera. Dichos autores sealan que en los ltimos
aos los profesionales y acadmicos de la evaluacin se han preocupado crecientemente
de la calidad de los planes, los procedimientos y los hallazgos de las evaluaciones. Esta
preocupacin se refleja en disear evaluaciones sensibles a las necesidades de los
crticos, en incorporar a los planes de evaluacin procedimientos que faciliten el uso de
los resultados, en establecer normas que sirvan como guas y baremos para la prctica
profesional de la evaluacin, y en la comprobacin de la calidad de las evaluaciones a
travs de la metaevaluacin (Schwandt y Halpern, 1988: 17).
En cualquier caso, la metaevaluacin se convierte en una norma del Joint
Committee a partir de su segunda edicin (Joint Committee, 1994). Esto significa que en
la revisin de las normas que se deben cumplir a la hora de hacer evaluaciones, la
metaevaluacin aparece como una obligacin de todo proceso evaluativo. Su
reconocimiento terico, sin embargo, no se corresponde totalmente con la prctica
evaluativa o, al menos, existen pocas referencias bibliogrficas sobre metaevaluaciones
realizadas.
Tipos de metaevaluacin
La metaevaluacin es, en realidad, una evaluacin que tiene por objeto de estudio,
en lugar de un programa o poltica pblica, la evaluacin de un programa o poltica.
Esto quiere decir que puede ser tratada y, por lo tanto, clasificada, como cualquier otra
evaluacin.
Atendiendo, pues, a las cuatro clasificaciones bsicas ya mencionadas en el
captulo 2 de este trabajo, la primera distincin que podra realizarse es segn el papel
que cumple la (meta)evaluacin. En este caso la evaluacin puede ser formativa, de
manera que la metaevaluacin se realiza sobre la marcha y con la intencin de mejorar
el diseo y ejecucin de la evaluacin, o sumativa haciendo recapitulacin de cmo se
ha realizado un proceso de evaluacin para ofrecer una valoracin global sobre el
mismo. De hecho, la norma de metaevaluacin elaborada por el Joint Committee
menciona explcitamente que las evaluaciones deben ser formativa y sumativamente
metaevaluadas, lo que ofrece un reconocimiento de ambos tipos de metaevaluacin.
Scriven en su Thesaurus tambin seala que la metaevaluacin se puede hacer
formativa, sumativamente o de ambas maneras; el autor hace especial hincapi en la
____________________________________________________________________________________
198
______________________________________________________________________
metaevaluacin sumativa ya que ofrece al cliente informacin sobre la competencia
tcnica del evaluador primario; incluso si no es pedida por el cliente, Scriven cree que el
evaluador primario debe considerar la metaevaluacin sumativa como otro servicio ms
al cliente y que siempre mejora su evaluacin (Scriven, 1991: 230).
En relacin con esta primera clasificacin, se puede tambin establecer otra
clasificacin bsica, la que se hace respecto al momento en el que se realiza la
(meta)evaluacin. De esta manera se pueden realizar metaevaluaciones ex-ante (antes
de que el proceso de evaluacin se ejecute) o post-facto (durante el proceso de
evaluacin o una vez finalizado). Schwandt y Halpern (1988: 8) distinguen,
precisamente entre provaluation (si la metaevaluacin se lleva a cabo antes de que se
realice la evaluacin), retrovaluation (si se hace una vez que ya se ha realizado) y, por
ltimo, el seguimiento o monitorizacin del proceso de evaluacin (durante dicho
proceso).
La tercera clasificacin tiene que ver con el agente que realiza la evaluacin (en
este caso metaevaluacin). As, pueden existir las metaevaluaciones internas, que son
las que se llevan a cabo por parte de los mismos evaluadores; es decir, quienes realizan
la evaluacin y tambin la metaevalan, o las metaevaluaciones externas que son las
que se realizan por alguien ajeno al proceso de evaluacin metaevaluado. En realidad
estos dos tipos de metaevaluacin son bastante diferentes ya que la interna significa que
alguien interno al equipo de evaluacin lleva el control de calidad de la misma (existen
varias listas de comprobacin que se proponen para este control y que se vern en el
punto siguiente). Sin embargo, la metaevaluacin externa significa un reconocimiento y,
en cierto modo, la institucionalizacin de esta actividad, ya que implica recursos
adicionales a los procesos de evaluacin regulares. De todas formas, pueden existir
diversas combinaciones y Patton (1997) pone precisamente como ejemplo la utilizacin
de la metaevaluacin como forma de combinar evaluacin interna y externa: se tratara
de hacer una evaluacin interna y tener a alguien que, externamente, revisa y comprueba
el proceso de evaluacin. Esto resultara en una evaluacin que, an siendo interna,
goza de la credibilidad de las evaluaciones externas.
Por ltimo, se aplica la clasificacin segn el contenido o fase del proceso de
evaluacin que se metaevala. Segn esta clasificacin, se puede hablar de (meta)
evaluacin del diseo, del proceso y de los resultados. En este caso consiste en la
evaluacin del diseo, el proceso y los resultados de la evaluacin y no del programa
evaluado.
As la metaevaluacin de diseo se ocupara de estudiar y valorar el diseo del
estudio y del proceso de evaluacin, es decir, si est bien fundamentado, se ha planteado
y responde a las preguntas de PARA QUE (qu pretende la evaluacin) y PARA
QUIENES (quines son los destinatarios) de la evaluacin. Aqu se incluira el estudio y
anlisis del contexto evaluativo y si el estudio de evaluacin ha respondido a dicho
contexto; es decir, si se han contemplado las diferentes variables de la situacin
evaluativa y se han tenido en cuenta en el diseo de la evaluacin. Tambin si es realista
y tiene medida respecto a lo que significa el programa que evala y los resultados que se
esperan obtener (su utilidad potencial y su posible contribucin a la mejora del
programa, el control de responsabilidades y la iluminacin de acciones futuras); si es
realista respecto al calendario planteado y los costes el estudio, si est prevista la
____________________________________________________________________________________
199
______________________________________________________________________
participacin de los agentes crticos y procedimientos para fomentar la utilidad potencial
del estudio, si las tcnicas escogidas son suficientes y adecuadas para la recopilacin del
anlisis, si los instrumentos de recopilacin y anlisis y los sistemas de informacin son
vlidos y si se cuenta con la documentacin necesaria, si se ha previsto un anlisis
adecuado y con suficiente tiempo y si se ha diseado un plan de informes y difusin de
la informacin.
La metaevaluacin de proceso analiza el proceso de puesta en prctica de la
evaluacin. Este tipo de metaevaluacin tiene que ver con si se ejecuta la evaluacin
como se pretenda, qu dificultades se encuentran sobre la marcha, fortalezas y
debilidades del proceso, el ajuste al calendario previsto, si se consigue la participacin
de los agentes crticos y si se llega a los informantes y si es fiable la informacin que se
recopila en el proceso. Tambin tiene que ver con el hecho de si se aplica la
metodologa y las tcnicas previstas de forma adecuada y si se utilizan los recursos para
el estudio de forma eficiente. Finalmente, con este tipo de evaluacin cabe tambin
preguntarse sobre el equipo de evaluadores y sobre si ste funciona de forma adecuada y
tica.
Por ltimo una metaevaluacin de resultados debe preguntarse por los ouputs
(productos) y outcomes (efectos) de la evaluacin o evaluaciones meta-evaluadas. En
este caso, el producto por excelencia de un proceso de evaluacin son los resultados e
informacin (datos, interpretaciones, valoraciones y recomendaciones), que tpicamente
se reflejan en informes de evaluacin, pero que tambin pueden expresarse en otro tipo
de soporte (sesiones orales, presentaciones, etc.) . Por lo tanto, una metaevaluacin de
outputs analizar la calidad de los resultados e informacin que produce y cmo stos se
reflejan en los informes u otros soportes, si el informe final se entreg a tiempo y si se
difundi a todas las partes responsables de la evaluacin y si incluye una descripcin
del evaluando, su contexto, el propsito de la evaluacin, los procedimientos
empleados, los resultados, etc. La metaevaluacin de outcomes, sin embargo, tiene que
ver con los efectos que la evaluacin consigue: aprendizaje sobre el programa e
intervencin evaluado, modificaciones en dicho programa como consecuencia de la
evaluacin, control de responsabilidades y aprendizaje organizativo en general, as
como contribucin a la comunidad de programa o poltica evaluada. En definitiva, los
efectos de una evaluacin tienen que ver con su utilidad y utilizacin.
En la tabla 4.1 se expone un resumen de las cuatro tipologas bsicas de
evaluacin aplicadas a los diferentes tipos de metaevaluacin.
____________________________________________________________________________________
200
______________________________________________________________________
Tabla 4.1. TIPOS DE METAEVALUACION

Clasificacin segn las cuatro tipologas bsicas
SEGUN EL PAPEL DE LA METAEVALUACION
Formativa: Se hace sobre la marcha con la intencin de mejorar el diseo y la ejecucin del
Sumativa: Se hace una recapitulacin del proceso de evaluacin para ofrecer una valoracin
global y final del mismo.
SEGUN EL MOMENTO DE LA METAEVALUACION
Ex-ante (provaluation): Se realiza antes de que el proceso de evaluacin se ejecute.
Ex-postfacto (retrovaluation): Se realiza durante o una vez el proceso de evaluacin ya se
ha ejecutado.
SEGUN EL AGENTE METAEVALUADOR
Interna: Se llevan a cabo por parte de los mismos evaluadores, siendo en realidad una
(auto)metaevaluacin. Los propios evaluadores se metaevalan, tratndose de un control
interno.
Externa: Se realizan por parte de alguien ajeno al proceso de evaluacin. Se trata de un
control externo.
SEGUN EL CONTENIDO O FASE DEL PROCESO DE EVALUACION
Metaevaluacin de Diseo: Analiza y valora el diseo y conceptualizacin del estudio de
evaluacin.
Metaevaluacin de Proceso: Analiza y valora el proceso de puesta en prctica de la
evaluacin, es decir, cmo se ejecuta proceso.
Metaevaluacin de Resultados:
De outputs o productos: Analiza y valora la calidad de los resultados y la informacin
arrojada por la evaluacin y su reflejo en el informe.
De outcomes o efectos: Analiza y valora los efectos de la evaluacin, incluyendo su
utilizacin para la toma de decisiones y el aprendizaje organizativo.
____________________________________________________________________________________
201
______________________________________________________________________
Criterios para la metaevaluacin
Schwandt y Halpern (1988) proponen la metaevaluacin como metfora de la

auditora fiscal y como forma de fomentar la calidad de la evaluacin. Estos autores
sealan dos objetos generales de dicha metaevaluacin: analizar y valorar, por un lado,
si la metodologa utilizada es la adecuada y, por otro, si los resultados a los que se llega
son buenos. Es decir, para los autores los criterios de calidad de una evaluacin y que
seran, por lo tanto, criterios para la metaevaluacin seran metodologa adecuada y
buenos resultados. Avanzando en el anlisis, resulta interesante preguntarse entonces
sobre el significado de cada uno de estos extremos.
La utilizacin de una metodologa adecuada tiene que ver con los procedimientos
empleados para conocer el objeto de estudio. En primer lugar, debe existir una cierta
coherencia entre los niveles epistemolgico, metodolgico y tecnolgico y, sobre todo,
debe responder ante un determinado contexto y resultar adecuada para el estudio del
objeto a evaluar (programa o poltica), es decir la metodologa escogida debe permitir e
ir dirigida a conseguir una evaluacin que sea relevante al contexto y programa a
evaluar. Una cuestin clave es que se hayan establecido previamente los criterios de
evaluacin, habindose descrito la base lgica sobre al que se harn los juicios
sistemticos posteriores. Tambin debe existir una coherencia tcnica entre el diseo
para el establecimiento de criterios de evaluacin, el diseo para la recopilacin y
anlisis de la informacin y las tcnicas concretas empleadas para dicha recopilacin y
anlisis. Y adems esto debe hacerse con una adecuada relacin coste-beneficio (es
decir, la evaluacin debe tener su medida y debe merecer la pena el esfuerzo y recursos
empleados en relacin a la informacin y resultados que se obtienen) y teniendo en
cuenta el tiempo y el calendario, factor clave en los procesos evaluativos. Las tcnicas
deben ser vlidas y permitir una recopilacin fiable de informacin. Tambin, la
metodologa empleada debe permitir la participacin de los diferentes agentes crticos
en el programa, especialmente si se sigue un enfoque participativo.
Tambin se puede analizar en qu consisten unos buenos resultados en los
procesos de evaluacin. Esencialmente en evaluacin, y tomando como referencia los
cuatro niveles del anlisis valorativo establecidos por Patton, se tratara de conseguir
una coherencia lgica y una clara separacin de esos cuatro niveles: hallazgos o
resultados (datos, informacin), interpretaciones, valoraciones y recomendaciones. Las
interpretaciones o explicaciones deben realizarse basndose en unos datos fiables y
recopilados sistemticamente. Dichas interpretaciones son diferentes a las valoraciones
y les sirven precisamente como base. Por ltimo, las recomendaciones deben basarse en
las valoraciones que, a su vez, se basarn en las interpretaciones que, a su vez, estarn
basadas en los hallazgos. Profundizando algo ms, qu criterios se pueden establecer
para saber si unos hallazgos (los datos, la informacin, la evidencia que se recopila) son
buenos? Schwandt y Halpern3 establecen una serie de atributos deseables:
3
Schwandt y Halpern exponen una tabla sobre los atributos que debe tener la evidencia (informacin,
datos) que se recoge en una auditora. Estos atributos pueden servir como referencia general sobre
caractersticas deseables o criterios de bondad para la informacin o datos que se recopilen en cualquier
estudio de evaluacin. (Schwandt y Halpern, 1988: 34, tabla 1.3, adaptada de Edds, J.A. 1980.
Management auditing: Concepts and practices. Dubuque, IA: Kendall Hunt).
____________________________________________________________________________________
202
______________________________________________________________________
Relevancia: la informacin y datos recopilados deben estar directamente
relacionados con los objetivos de la evaluacin.
Fiabilidad: que la informacin y los datos sean fiables significa que sean
verdaderos y confiables.
Suficiencia: tiene que haber suficiente informacin para que se puedan establecer
conclusiones dentro de unos lmites razonables de riesgo.
Representatividad: La informacin y los datos deben ser razonablemente
representativos de la totalidad de la informacin bajo examen.
Temporalidad: se deben sopesar los factores de costes y tiempo y la necesidad de
entregar una evaluacin vlida en un tiempo determinado.
Si la informacin y los datos son buenos (relevantes, fiables, suficientes,
representativos y estn conseguidos a tiempo), las interpretaciones y explicaciones de
esos datos sern tambin adecuadas, si el anlisis es correcto y suficiente. Los criterios y
normas para el anlisis estn normalmente asociados a cada una de las tcnicas
empleadas. Las valoraciones deben hacerse de acuerdo con los criterios de evaluacin
previamente establecidos, definidos y consensuados con los diferentes agentes crticos,
habindose establecido la base lgica sobre la que se van a emitir los juicios. En los
criterios de evaluacin deben tambin reflejarse las normas absolutas (que hacen
referencia a lo que se considera bueno en trminos absolutos) y las normas relativas
(que hacen referencia a lo que es bueno en comparacin con otras realidades similares
concretas) que guiarn la emisin de juicios. Normalmente las valoraciones que se
realizan en los procesos de evaluacin se hacen teniendo en cuenta una mezcla de estos
dos tipos de normas; sin embargo, conviene clarificarlo, exponerlo previamente y hacer
el proceso visible por parte de los evaluadores.
Unas buenas recomendaciones adems de basarse lgicamente en los tres niveles
anteriores, deben tener muy presentes la realidad del evaluando y su contexto. Deben ser
realistas y claras y el equipo evaluador tiene que permitirse el suficiente tiempo para
establecerlas. Tambin es deseable que las recomendaciones vayan acompaadas de una
estimacin de los costes que supondran su cumplimiento, ya que est demostrado que
las recomendaciones que van acompaadas de una valoracin de los costes de su
implementacin tienen mayores probabilidades de ser utilizadas (Chelimsky, 1998).
Sin embargo, desde aqu postulamos la idea de que la metaevaluacin puede
tambin atender a otros criterios que vayan ms all de una metodologa adecuada y
unos buenos resultados. En general, la metaevaluacin puede utilizarse para comprender
los procesos de evaluacin, ver qu papel han cumplido dichos procesos en la poltica
pblica evaluada y analizar y valorar cmo se ejecuta la funcin de evaluacin en un
determinado sector, poltica, organismo o institucin. En definitiva, se tratara de
entender los procesos polticos que dan lugar, intervienen en las evaluaciones y se
generan en la recepcin y utilizacin de las mismas. Mientras que en la concepcin de la
metaevaluacin como forma de control de calidad de las evaluaciones se puede e
incluso conviene concentrarse en metaevaluar un nico estudio de evaluacin, para esta
segunda funcin de comprensin de los procesos de evaluacin en el contexto de las
____________________________________________________________________________________
203
______________________________________________________________________
polticas pblicas suele ser ms conveniente la descripcin, anlisis y valoracin de ms
de un proceso o estudio de evaluacin.
A continuacin, en la tabla 4.2 se hace un resumen de los criterios para la
metaevaluacin expuestos.
Tabla 4.2.
CRITERIOS PARA LA METAEVALUACION
Funcin de CONTROL DE CALIDAD
Utilizacin de una METODOLOGIA ADECUADA
- Coherencia entre los niveles epistemolgico, metodolgico y tecnolgico
- Adecuacin al contexto y al objeto a evaluar (relevancia del estudio)
- Establecimiento previo de los criterios de evaluacin
- Coherencia tcnica entre el diseo de criterios, la recopilacin y el anlisis de la
informacin, as como en el enjuiciamiento posterior a la luz de los criterios
- Adecuada relacin coste-beneficio del estudio de evaluacin
- Adecuacin al calendario disponible
- Validez y fiabilidad de las tcnicas de recopilacin y anlisis de la informacin
- Participacin de los agentes crticos en el proceso
Obtencin de unos BUENOS RESULTADOS
- Coherencia entre hallazgos, interpretaciones, valoraciones y recomendaciones
- Buenos hallazgos, datos e informacin recopilada:
relevancia
fiabilidad
suficiencia
representatividad
temporalidad
- Buenas interpretaciones: anlisis correcto y suficiente
- Buenas valoraciones: de acuerdo con los criterios de evaluacin y normas relativas y
absolutas, se deben extraer de la base emprica y de su interpretacin
- Buenas recomendaciones: basadas en los hallazgos, interpretaciones y valoraciones
previas, deben ser realistas y adecuadas al evaluando y a su contexto
Funcin de COMPRENSION DE LOS PROCESOS DE EVALUACION (mejor
comprensin y conocimiento de las polticas pblicas)
- Papel que los procesos de evaluacin han cumplido en la poltica pblica
- Valoracin de la funcin de evaluacin: integracin de dicha funcin en las polticas
pblicas, sectores, organismos e instituciones
- Utilidad de la evaluacin para la mejora de las polticas y el control de responsabilidades
____________________________________________________________________________________
204
______________________________________________________________________
Otros autores mencionan criterios muy generales para la metaevaluacin. Por
ejemplo, para Vedung el objetivo (de la metaevaluacin) es averiguar la calidad,
legibilidad, fidelidad a los hechos y otras propiedades (Vedung, 1997: 41). Otros,
como Michael Scriven, pionero en la definicin del concepto, afina algo ms y propone
la aplicacin de su famosa KEC (Key evaluation checklist) a los procesos de evaluacin,
insistiendo, al igual que en su teora de evaluacin (Shadish, Cook y Levinton, 1991),
en la importancia a la explicitacin previa de los criterios de valor utilizados por el
metaevaluador para el enjuiciamiento de las evaluaciones. De esta manera se aplicara la
KEC (especificada a continuacin en la tabla 4.3.) como instrumento de metaevaluacin
(Scriven, 1991: 230-231):
____________________________________________________________________________________
205
______________________________________________________________________
Tabla 4.3. Key Evaluation Checklist (KEC) de Michael Scriven
1. DESCRIPCION. El diseo de la evaluacin, el equipo evaluador, el calendario del estudio.. las fuentes de
informacin utilizadas para la metaevaluacin y la eleccin del metaevaluador.
2. ANTECEDENTES Y CONTEXTO. Quin ha demandado/pedido/se ha opuesto a esta evaluacin? Ha habido
evaluaciones previas? Por qu se hace otra? Se debe determinar los antecedentes de credibilidad de los enfoques
de evaluacin propuestos.
3. CONSUMIDOR. Identificar los clientes y los destinatarios de la evaluacin, de anteriores evaluaciones. Hay
destinatarios potenciales que podran haber sido reales?
4. RECURSOS. Recursos para la evaluacin. Fuentes de las limitaciones en el diseo y, por lo tanto, en la
evaluacin del diseo y la ejecucin.
5. VALORES. Criterios de mrito para la evaluacin, dadas las necesidades del cliente y las normas profesionales
relevantes: temporalidad, relevancia, coste-efectividad, justicia, validez, cobertura de las necesidades apropiadas y
relevantes del cliente, etc. Deben ser validados y no slo sealados. Existe alguna premisa evaluativa del
evaluador evidente en la evaluacin, o es lo suficientemente transparente al respecto?
6. PROCESO. Se diseo y ejecut bien la evaluacin, por ejemplo, se hizo de manera que se facilitara su propia
evaluacin? Para comunicar y diseminar bien los resultados? Respet el evaluador la confidencialidad? Foment
la credibilidad? Se han valorado los resultados de errores falsos negativos vs. falsos positivos? Se mostr
consideracin hacia aquellos a los que ha afectado la evaluacin? Se dispuso para un equilibrio de poder?
7. RESULTADOS. Incluye los informes y sus efectos buenos y malos, pero slo hasta el extremo de lo previsible
por el evaluador. Tambin incluye los efectos del proceso de evaluacin; ha producido productividad, una moral
minada o debilitada, el uso de la informacin en decisiones?
8. COSTES. Cunto cost la evaluacin (especialmente costes no monetarios)? Cules hubieran sido las
alternativas al coste (incluida no hacerla)?
9. COMPARACIONES. Los competidores crticos de la evaluacin pueden incluir no molestar de ninguna
manera, utilizar juicios validados, tirar una moneda al aire y utilizar otros modelos de evaluacin.
10. POSIBILIDADES DE GENERALIZACION. Otros usos para el diseo, en momentos futuros, para programas
diferentes, en otros lugares, etc.
11. RELEVANCIA. Una sntesis de todo lo anterior, para llegar a valorar el valor y el mrito de la evaluacin.
12. RECOMENDACIONES. Puede haberlas o no, pero pueden incluir: rechazar, repetir (para confirmar), aceptar,
ejecutar.
13. INFORME. Del metaevaluador.
De esta manera, y siguiendo la lista de Scriven, se podran ir estableciendo

criterios de evaluacin segn cada una de las 13 dimensiones mencionadas: si se
describieron el diseo de la evaluacin, el equipo evaluador y el calendario, etc., si se
contemplaron los antecedentes y el contexto, si se han identificado a los consumidores,
si hubo los suficientes recursos, si fueron explicitados los criterios de valor, cmo se ha
llevado a cabo el proceso, etc.
____________________________________________________________________________________
206
______________________________________________________________________
Otros criterios para la metaevaluacin son las propias normas del Joint Committe.
Estas son las normas ms utilizadas como referencia para metaevaluar la calidad de las
de evaluaciones, probablemente debido a su especificacin, claridad, orden y
estructuracin. Como ya se ha mencionado anteriormente, en su segunda edicin,
publicada en el ao 1994, aparece precisamente la metaevaluacin como una norma
especfica, aunque ya en su primera edicin se dejaba entrever la idea de utilizar el
listado de normas como una gua para la metaevaluacin, y se propona su utilizacin
como lista de comprobacin. Estas normas aparecen en la tabla 4.4.4 que se expone a
continuacin. Cada una de las normas es, en realidad, un criterio o pregunta de la
metaevaluacin.
Las normas se presentan en cuatro bloques: (U) utilidad, (F) factibilidad/viabilidad, (C) correccin/
legitimidad y (P) precisin
____________________________________________________________________________________
207
______________________________________________________________________
Tabla 4.4: NORMAS PARA LA EVALUACION DE PROGRAMAS
The Joint Committee on Standards for Educational Evaluation. 2 Edicin. 19945
NORMAS DE UTILIDAD
Las normas de utilidad pretenden asegurar que una evaluacin servir a las necesidades de
informacin de los usuarios pretendidos.
U1 Identificacin de los agentes crticos (stakeholders) Se deben identificar las personas
implicadas o afectadas por la evaluacin, de manera que sus necesidades puedan ser
cubiertas.
U2 Credibilidad del evaluador Las personas que dirijan una evaluacin deben ser
merecedoras de confianza y competentes para realizar una evaluacin, de manera que los
hallazgos de la evaluacin consigan la mxima credibilidad y aceptacin.
U3 Seleccin y alcance de la informacin La informacin recopilada debe ser
seleccionada ampliamente para contestar preguntas pertinentes sobre el programa y debe
responder a las necesidades e intereses de clientes y otros agentes crticos.
U4 Identificacin de valores Las perspectivas, los procedimientos y la fundamentacin
que se utilicen al interpretar los resultados deben describirse con cuidado, de manera que
los fundamentos de los juicios de valor sean claros.
U5 Claridad del informe Los informes de evaluacin deben describir claramente el
programa que est siendo evaluado, incluyendo su contexto, y los propsitos,
procedimientos y resultados de la evaluacin, de manera que se ofrezca informacin
esencial y fcilmente comprensible.
U6 Oportunidad y difusin del informe Los hallazgos intermedios significativos y los
informes de evaluacin se deben difundir a los usuarios deseados, de manera que puedan
ser utilizados de manera oportuna.
U7 Impacto de la evaluacin Las evaluaciones se deben planificar, dirigir y comunicar de
forma que animen a los agentes crticos a su cumplimiento, de manera que aumente la
probabilidad de que se use la evaluacin.
NORMAS DE FACTIBILIDAD/VIABILIDAD
Las normas de factibilidad tienen el propsito de asegurar que una evaluacin sea realista,
prudente, diplomtica y frugal.
F1 Procedimientos prcticos Los procedimientos de la evaluacin deben ser prcticos, de
manera que las interrupciones sean mnimas mientras se obtiene la informacin necesaria.
F2 Viabilidad poltica La evaluacin se debe planificar y dirigir anticipando las diferentes
posturas de diversos grupos de inters, de manera que se pueda obtener su colaboracin y
as se puedan advertir y contrarrestar posibles intentos de restringir las operaciones de
evaluacin o de sesgar o abusar de los resultados por parte de estos grupos.
F3 Coste Efectividad La evaluacin debe ser eficiente y producir una informacin de
valor suficiente, de manera que se justifiquen los recursos empleados.
Adaptacin y traduccin por parte de Mara Bustelo.

____________________________________________________________________________________
208
______________________________________________________________________
6
NORMAS DE CORRECCION /LEGITIMIDAD

Son las normas dirigidas a asegurar que la evaluacin se dirija legal y ticamente y con la
debida atencin al bienestar de aquellos implicados en la evaluacin, as como a aquellos
afectados por sus resultados.
C1 Orientacin de Servicio Las evaluaciones se deben disear para asistir a las
organizaciones a tratar y cubrir efectivamente las necesidades de todo el espectro de
destinatarios.
C2 Acuerdos formales Las obligaciones de las partes formales de la evaluacin (qu se
har, cmo, por quin y cundo) se deben acordar por escrito, de formal que dichas partes
estn obligadas a seguir todas las condiciones del acuerdo o, por el contrario, renegociarlo
formalmente.
C3 Derechos de los sujetos Las evaluaciones se deben disear y dirigir de tal forma que
se respeten y protejan los derechos y el bienestar de los sujetos.
C4 Interacciones humanas Los evaluadores deben respetar la dignidad y el valor humano
en sus interacciones con otras personas asociadas a la evaluacin, de manera que no se
amenace o dae a los participantes.
C5 Valoracin completa y justa La evaluacin debe ser completa y justa en su anlisis y
en su registro de fortalezas y debilidades del programa evaluado, de tal modo que las
fortalezas sean reforzadas y las reas problemticas tratadas.
C6 Revelacin de los resultados Las partes formales de la evaluacin deben asegurar que
el conjunto completo de resultados de la evaluacin junto con sus pertinentes limitaciones
son accesibles para las personas afectadas por la evaluacin y para cualquier otra persona
con derechos legales expresados a recibir los resultados.
C7 Conflicto de intereses Los conflictos de intereses deben manejarse abierta y
honestamente de tal forma que no comprometan el procesos ni los resultados de la
evaluacin.
C8 Responsabilidad fiscal La distribucin y los gastos de recursos asignados por el
evaluador deben reflejar procedimientos solventes de informacin y responsabilidad y si
no el evaluador debe ser prudente y ticamente responsable de manera que los gastos se
justifiquen y sean apropiados.
El trmino original en ingls es "propriety standards". Aunque nos parece ms adecuada la traduccin
con el trmino de "normas de correccin", mantenemos tambin el trmino de "legitimidad" que es el que
aparece en la traduccin al espaol de la 1 edicin de las normas (Joint Committee: 1988: 3).
____________________________________________________________________________________
209
______________________________________________________________________
NORMAS DE PRECISION
Estas normas tienen el propsito de asegurar que una evaluacin revele y proporcione
informacin tcnicamente apropiada sobre las caractersticas que determinan el valor o
mrito del programa evaluado.
P1 Documentacin del programa El programa evaluado debe ser descrito y
documentado de forma apropiada y clara, de tal manera que el programa se identifique
claramente.
P2 Anlisis del contexto El contexto en el cual el programa existe se debe examinar con
suficiente detalle de manera que se puedan identificar sus posibles influencias sobre dicho
programa.
P3 Descripcin de propsitos y procedimientos Los propsitos y procedimientos de la
evaluacin deben ser seguidos y descritos con el suficiente detalle de manera que se
puedan identificar y valorar.
P4 Fuentes de informacin defendibles Las fuentes de informacin que se utilicen en
una evaluacin de programa se deben describir con suficiente detalle de forma que se
pueda estimar la adecuacin de la informacin.
P5 Informacin vlida Los procedimientos de recopilacin de informacin se deben
elegir y desarrollar y entonces poner en prctica de manera que se asegure que la
interpretacin a la que se ha llegado es vlida para el uso que se le pretende dar.
P6 Informacin fiable Los procedimientos de recopilacin de informacin se deben elegir
y desarrollar y entonces poner en prctica de manera que se asegure que la informacin
obtenida es suficientemente fiable para el uso que se le pretende dar.
P7 Informacin sistemtica La informacin recopilada, procesada y trasmitida en una
evaluacin debe ser revisada sistemticamente y cualquier error encontrado debe ser
corregido.
P8 Anlisis de la informacin cuantitativa La informacin cuantitativa de una
evaluacin se debe analizar apropiada y sistemticamente de manera que las preguntas de
evaluacin se contesten de forma efectiva.
P9 Anlisis de la informacin cualitativa La informacin cualitativa de una evaluacin
se debe analizar apropiada y sistemticamente de manera que las preguntas de evaluacin
se contesten de forma efectiva.
P10 Conclusiones justificadas Las conclusiones a las que se llega en una evaluacin
deben estar justificadas explcitamente de manera que los agentes crticos de la evaluacin
puedan ponderarlas.
P11 Informe imparcial Los procedimientos para informar deben asegurar que no haya
distorsin causada por sesgos y sentimientos personales de cualquiera de las partes de la
evaluacin, de manera que los informes reflejen de forma justa los resultados de la
evaluacin.
P12 Metaevaluacin La evaluacin en s misma se debe evaluar formativa y
sumativamente a travs de stas y otras normas pertinentes, de manera que se gue de
forma apropiada su realizacin y, en cuanto se termine, los agentes crticos puedan
examinar de cerca sus fortalezas y debilidades.
____________________________________________________________________________________
210
______________________________________________________________________
La metaevaluacin de evaluaciones de polticas pblicas de igualdad de

gnero
En este apartado se describe el tipo de metaevaluacin que se ha realizado en esta

tesis doctoral. En general, se le ha dado prioridad a la metaevaluacin como
procedimiento para describir, analizar y valorar los procesos de evaluacin que se han
producido en relacin a las polticas de igualdad de gnero en Espaa, en los niveles
autonmico y central. Es decir, no se plantea la metaevaluacin como una forma de
controlar la calidad de las evaluaciones realizadas, sino como una forma de estudio de
las polticas pblicas, en su fase concreta de evaluacin. Ms que la valoracin de la
calidad de las evaluaciones estudiadas, se realiza una valoracin de su adecuacin y
oportunidad al contexto evaluativo y de la poltica, y de su contribucin al
cumplimiento de las funciones de la evaluacin. Se pretende, adems, dar una visin
global sobre cmo se desarrolla la funcin de evaluacin en el sector de las polticas de
igualdad de gnero en Espaa, y en el nivel autonmico, tomando tambin como
contraste lo realizado en evaluacin en este sector en el nivel central. Esto no obsta para
que hayamos tenido tambin como referencia la perspectiva de la metaevaluacin como
control de calidad para elaborar los criterios concretos que hemos utilizado en nuestro
estudio.
Por esta razn se ha optado por tener por objeto de la metaevaluacin un conjunto
de varias evaluaciones en lugar de centrarse en uno o dos procesos de evaluacin. Como
se ha comentado anteriormente, en este trabajo no se pretende juzgar los procesos
concretos sino la funcin de evaluacin en las polticas pblicas de igualdad de gnero.
Por lo tanto, se ha favorecido la descripcin general comparativa entre varias
evaluaciones por encima de la descripcin pormenorizada y en profundidad de cada
Respecto al tipo de metaevaluacin realizada en este trabajo, se seala lo
siguiente:
Es una metaevaluacin sumativa, ya que hace recapitulacin de los procesos de
evaluacin habidos y completados en un tiempo determinado. La intencin es
realizar un anlisis global y sumativo de dichos procesos.
Es una metaevaluacin post-facto ya que los procesos de evaluacin que se metaevalan ya han ocurrido y se describen y valoran a posteriori.
Es una metaevaluacin externa ya que se realiza por alguien ajeno tanto a los
equipos de evaluacin que realizan las diversas evaluaciones como a los
organismos de igualdad que las encargan.
Finalmente, pretende ser una metaevaluacin de diseo, de proceso y de
resultados.
Respecto al diseo de los procesos de evaluacin, se plantean cuestiones
relacionadas con el planteamiento general de los mismos, teniendo en cuenta el contexto
evaluativo en el que se producen, la claridad en los propsitos y funciones de la
____________________________________________________________________________________
211
______________________________________________________________________
evaluacin, las estructuras institucionales que apoyan las evaluaciones, los tipos de
evaluacin realizadas y los recursos empleados en las mismas. Tambin se estudian
variables como la inclusin o no de diferentes agentes crticos en los diseos de
evaluacin, la adecuacin del calendario diseado y, por supuesto, los criterios e
indicadores de evaluacin utilizados, adems de los procedimientos, metodologa y
tcnicas empleadas en la recopilacin, anlisis y valoracin de la informacin.
Del proceso de las evaluaciones, se tienen en cuenta, sobre todo, cuestiones
relacionadas con los actores participantes en los mismas y los tiempos y calendarios de
los estudios de evaluacin. Tambin se sealan las incidencias y dificultades
significativas a lo largo del proceso de las evaluaciones.
Finalmente, en la metaevaluacin de resultados, se pretende analizar tanto los
productos -los informes y el formato en la comunicacin y difusin de resultados- como
los efectos -tanto en lo que se refiere a la utilidad y pertinencia de la informacin
producida como a la utilizacin de dicha informacin evaluativa producida para
modificar los planes y polticas, controlar responsabilidades o iluminar acciones futuras.
Tambin se hace especial hincapi en los efectos que han tenido los procesos de
evaluacin sobre el aprendizaje organizativo en los organismos de igualdad y sobre una
mayor conciencia sobre la situacin de los planes y las polticas de igualdad.
Sin embargo, las limitaciones en cuanto a la informacin disponible (por
dificultad en su acceso en algunos casos y por lo reciente de los procesos, en otros)
sobre dichos procesos de evaluacin hacen que, en algunos casos, slo se apunten
algunas conclusiones de forma tentativa, especialmente en lo que se refiere a los efectos
de los procesos de evaluacin.
Igualmente se descarta la idea de realizar una sntesis de evaluaciones, en el
sentido de sintetizar los resultados hallados a travs de las evaluaciones meta-evaluadas,
para poder llegar a conclusiones sobre las polticas de igualdad de gnero en Espaa en
los niveles autonmico y central. Esta idea se rechaza desde un principio cuando se
detecta, en la primera recopilacin de informacin tentativa que, en general, los
procesos de evaluacin de los planes de igualdad han sido pocos y muy heterogneos
entre s, existiendo en realidad muy poca base para la comparacin de resultados.
Adems, se ha preferido dar prioridad al estudio de los procesos de evaluacin y no a
los resultados que stos producen; en definitiva, recalcamos la idea de que el objeto de
estudio de esta tesis no son las polticas de igualdad de gnero, sino los procesos de
evaluacin habidos en torno a las mismas.
____________________________________________________________________________________
212
______________________________________________________________________
1.2. El anlisis de los procesos de evaluacin de las polticas pblicas de

igualdad de gnero en Espaa
Ya se ha comentado anteriormente que la fase de evaluacin es la menos

estudiada desde el anlisis de polticas pblicas. Especialmente esta fase ha sido muy
poco tratada desde el componente descriptivo de dicho anlisis, es decir en el estudio de
los procesos de evaluacin. An as, existen algunas excepciones en el anlisis de la
funcin de evaluacin en las diferentes naciones (Rist, 1990; Ballart, 1993). En su
componente prescriptivo, desde el anlisis de polticas pblicas, s existen algunas
publicaciones especializadas y algunos manuales que desarrollan el concepto de
evaluacin y de polticas pblicas y, principalmente, sobre cmo aplicarlo en dichas
polticas y, especialmente, en el mbito gubernamental (algunos ejemplos son Ballart,
1992: Vedung, 1997; Monnier, 1997; Weiss, 1998).
Por otro lado, los poderes pblicos necesitan evaluar para obtener signos
explcitos que permitan ajustar sus acciones. Cuentan tambin con otras fuentes de
informacin como sondeos y encuestas, investigaciones, servicios de informacin, etc.,
pero la evaluacin puede ser una herramienta valiosa para facilitar el aprendizaje
organizativo y la toma de decisiones para la mejora, el futuro y el control de
responsabilidades de una determinada poltica. Sin embargo, aunque el concepto y la
fase de evaluacin de las polticas pblicas se haya desarrollado de forma ms o menos
contundente y vertiginosa en los ltimos aos en la teora, la prctica real de la
evaluacin est todava muy lejos de lo que se propugna en los manuales. Esto ocurre
de forma especial en algunos pases, como Espaa, en los que el desarrollo institucional
de la evaluacin ha sido muy bajo y la consiguiente cultura evaluativa prcticamente
inexistente, sobre todo en las administraciones pblicas. Hace falta, por lo tanto, que las
instituciones pblicas sean conscientes de su bajo grado de desarrollo terico-prctico
respecto a la evaluacin de sus acciones e intervenciones. Es necesario, pues, que se
comience a crear una cierta cultura de evaluacin que puede generarse no slo con la
propia prctica evaluativa, sino tambin con el hecho de hacer de los procesos de
evaluacin objeto de estudio y con el aprendizaje extrado de los anlisis realizados de
las primeras experiencias de evaluacin.
Si nos centramos en concreto en las polticas de igualdad de gnero, vemos que,
en su anlisis sobre el feminismo de Estado y las polticas de igualdad en Espaa, Celia
Valiente (1997) concluye que dicho feminismo de Estado ha sido eficaz en la definicin
de problemas y en la introduccin de los mismos en la agenda poltica, pero no lo ha
sido tanto ni en la fase de formulacin y ejecucin de dichas polticas ni, sobre todo, en
la funcin de control de dicha ejecucin. Aqu es donde la evaluacin de dichos planes
adquiere su importancia. Las femcratas o feministas de Estado7, conscientes de la
importancia de dicha funcin de control y el papel que los organismos de igualdad
pueden cumplir respecto a la misma, comienzan a dirigir e impulsar, de forma creciente,
procesos de evaluacin de los planes de igualdad. Por lo tanto, resulta interesante un
7
Termino acuado para mencionar a las responsables de los organismos especficos de igualdad (vase
captulo tres).
____________________________________________________________________________________
213
______________________________________________________________________
anlisis de dichos procesos de evaluacin, profundizando en la respuesta que se est
dando por parte del feminismo de Estado para el cumplimiento de la funcin de control
de las polticas pblicas de igualdad.
Las evaluaciones que se llevan a cabo en torno a las polticas de igualdad de
gnero son intentos de evaluacin de los planes de igualdad, que como se ha visto en el
captulo tres de este trabajo, se generalizan en todas las comunidades autnomas en los
primeros aos de la dcada de los aos noventa. Como tambin se ha visto
anteriormente, los planes de igualdad son un conjunto de objetivos y medidas tomadas y
aprobadas por un gobierno y que deben llevar a cabo los diferentes departamentos
gubernamentales, en un perodo concreto de tiempo (de dos a cinco aos). Los objetivos
y medidas suelen incluir todos los aspectos o reas que afectan a la mujer (educacin,
cultura, sanidad, legislacin, medio ambiente, medio rural, etc.); por lo tanto, los planes
de igualdad estn diseados para ser un paraguas comn bajo el que se explicitan todas
las acciones pblicas referidas a la igualdad de gnero de un determinado gobierno. Con
esto insistimos en el carcter integral e inclusivo de los planes. Los planes tambin
suelen implicar, al menos formalmente, otros niveles gubernamentales y organizaciones
no gubernamentales. Esto hace que los planes de igualdad sean la principal herramienta
que articula las polticas de igualdad de gnero, y que sea rara la actuacin que se
realice en ese rea por parte de los poderes pblicos y que no est contemplada en los
planes. Por lo tanto, la evaluacin de los planes es esencial para entender y evaluar las
polticas de igualdad. Adems, y como se ha visto en el captulo tercero de este trabajo,
en Espaa y tanto en el nivel central como en el autonmico, los planes no slo han sido
aceptados como el instrumento principal sino que, en cierto sentido, como el nico. De
esta forma, el anlisis de la idoneidad, eficacia y eficiencia de estos planes aparece
como crucial no slo para el estudio de la funcin de evaluacin en un determinado
sector, sino tambin para el estudio de las propias polticas de igualdad de gnero. Por
lo tanto, el objeto de anlisis y valoracin en este trabajo se centra en la evaluacin de
los planes, como mxima y principal expresin de las polticas de igualdad de gnero.
Respecto a la delimitacin territorial, este trabajo se centra en estudiar cmo se
han evaluado los planes de igualdad en las diferentes comunidades autnomas y en el
nivel central. El nivel central es el primero en desarrollarse en Espaa, respecto a las
polticas de igualdad de gnero, tal y como se entienden en la actualidad8, y el nivel
autonmico se va desarrollando a lo largo de los ltimos 15 aos, a la luz de la
experiencia central y, sobre todo, por el propio desarrollo institucional y organizativo
del Estado de las Autonomas en Espaa. El nivel autonmico, por lo tanto, no slo es
el nivel gubernamental que ms ha crecido y se ha desarrollado en los ltimos aos en
Espaa, sino que tambin, y debido a las competencias que las comunidades autnomas
han adquirido, aparece como un nivel clave en la formulacin de las polticas sociales
en general. Por lo tanto, parece necesario contar con este nivel autonmico en el
anlisis, incluidos los procesos de evaluacin, de las polticas pblicas de igualdad de
gnero en Espaa.
El marco temporal del anlisis est determinado por la propia realidad de los
planes de igualdad y sus evaluaciones. Aqu se consignan los primeros intentos de
8
Vase el captulo 3. Se toma como punto de partida de las polticas de igualdad de gnero en Espaa la
creacin del IM, a finales del ao 1983.
____________________________________________________________________________________
214
______________________________________________________________________
evaluacin, coincidentes con algunos primeros planes9, pero los procesos de evaluacin
que se estudian en profundidad y que se seleccionan para la metaevaluacin son los que
se llevan a cabo a partir del ao 1995 y se completan antes de terminar el ao 1999, y
que denominaremos de segunda generacin10. Salvo en los casos de Aragn, Canarias y
Castilla y Len, en donde se evalan los primeros planes, pero que por criterios
cronolgicos son incluidos en esta segunda generacin, el resto de las evaluaciones son
de los segundos planes.
Los primeros intentos de evaluacin se realizan del I Plan a nivel central (1988-1990), del I Plan
Cataln (1989-1992), el I Plan Andaluz (1990-1992), y el I PAPME Vasco (1991-1994).
10
Se incluye tambin la evaluacin del II PAPME vasco (1996-2000), ya que la evaluacin de dicho plan
se plantea desde un principio y de forma continua, con resultados anuales. Al ser, adems, una de las
experiencias de evaluacin ms afianzadas y que cuenta con el precedente de la evaluacin del PAPME
anterior, se cree especialmente interesante incluirlo en el anlisis. Tambin se incluye el caso de la
evaluacin del II Plan riojano (1996-1999), que se plantea como una evaluacin interna desde el inicio,
aunque la fase final de la evaluacin no se concluye hasta el ao 2000 (esta fase final que consiste en una
evaluacin externa no entra, por lo tanto, en nuestro anlisis).
____________________________________________________________________________________
215
______________________________________________________________________
2.
UN
PANORAMA
GENERAL:
EXPERIENCIAS
DE
EVALUACIN EN POLTICAS DE IGUALDAD EN LOS NIVELES
CENTRAL Y AUTONMICO
En Espaa se han dado algunas experiencias de evaluacin de planes de igualdad

centrales y autonmicos en los ltimos aos. Estas experiencias son heterogneas entre
s y limitadas, sobre todo, en cuanto a su alcance (se suelen evaluar slo algunos
aspectos del plan) y en cuanto al calendario (la mayora de las evaluaciones se
planificaron una vez el plan ya estaba diseado y haba comenzado). Sin embargo, todas
estas experiencias tienen el valor de su propia existencia y de haber roto el fuego en el
terreno de la evaluacin y, en general, han cumplido un papel importante en las polticas
de igualdad de gnero en Espaa, tal y como se ver ms adelante.
En primer lugar, se debe sealar que las experiencias de evaluacin en torno a las
polticas de igualdad de gnero se circunscriben a evaluaciones de los planes de
igualdad y, en algunos casos, a la evaluacin de algunas actuaciones o programas
concretos11. Es decir, en ningn caso se ha hecho ni se ha formulado en trminos de
evaluacin de la poltica global.
Se pueden clasificar las experiencias de evaluacin en tres fases o momentos: los
primeros intentos de evaluacin que se dan de forma muy limitada en cuanto a nmero y
alcance, y que se producen en los primeros aos de la dcada de los noventa; lo que se
podra llamar la segunda generacin de evaluaciones, que es el objeto de esta
investigacin, y que coincide en casi todos los casos con las evaluaciones de los
segundos planes (en alguna Comunidad Autnoma, como Aragn, Canarias y Castilla y
Len, se tratara de los primeros planes) y que se dan a partir del ao 1995; por ltimo,
estaran los proyectos de evaluacin para los terceros (en algunos casos segundos o
incluso primeros, como es el caso de Navarra) y que se supone deberan estar
completados hacia el 2000-2001 en algunos casos y, en otros, ms adelante. A
continuacin, se exponen algo ms pormenorizadamente estas tres fases o momentos.
11
Aqu consignamos de las que tenemos constancia: en Asturias, la evaluacin de los talleres itinerantes
socioculturales (1996), y los programas NOW (que en el caso de esta Comunidad Autnoma se realizan
por parte del mismo que los gestiona). Ms reciente es la evaluacin del programa ELIGE en Andaluca.
En general, los programas que cuentan con dinero europeo -como los NOW- suelen requerir la existencia
de una evaluacin, que en muchos casos se da como una mera formalidad para cubrir el expediente,
pero que en otros sirve para generar una informacin til e ir generando una cierta cultura evaluativa en
torno a los organismos de igualdad.
____________________________________________________________________________________
216
______________________________________________________________________
2.1. Las primeras experiencias de evaluacin
Existe una primera generacin de evaluaciones que se da en la primera mitad de

la dcada de los noventa. Estos primeros intentos, como ya se ha mencionado, son muy
reducidos en nmero (slo se dan en el nivel central y en tres comunidades autnomas)
y, en general, limitados en cuanto a su alcance, aunque existen diferencias entre los
mismos en esfuerzos y recursos empleados, en la recopilacin sistemtica de
informacin y su valoracin y en su eficacia evaluativa.
Se dan procesos de evaluacin de los siguientes planes12:
I Plan de Igualdad de Oportunidades de las Mujeres 1988-1990, lanzado

por el Instituto de la Mujer (IM a partir de ahora) en el nivel central
I Plan de Actuacin del Gobierno de la Generalidad de Catalua para la

Igualdad de Oportunidades para las Mujeres 1989-1992 (Instituto
Cataln de la Mujer - Institut Catal de la Dona)
I Plan de Igualdad de Oportunidades de las Mujeres 1990-1992 (Instituto

Andaluz de la Mujer)
I Plan de Accin Positiva para las mujeres en la Comunidad Autnoma

de Euskadi. 1991-1994 (Instituto Vasco de la Mujer- Emakunde).
Salvo en el caso del Pas Vasco, en el que la apuesta y los esfuerzos empleados en
la evaluacin son muchos mayores (por lo que los resultados resultan ms completos y
tiles), y en el de Andaluca, en donde se contrata a una entidad consultora externa para
que colabore en la evaluacin el ltimo ao, y que hace que la evaluacin finalmente
tenga mayor alcance y amplitud, estas primeras evaluaciones mencionadas son muy
dbiles y se limitan casi exclusivamente a una comprobacin del cumplimiento de las
acciones que se haban aprobado en los respectivos planes. Esta debilidad est ms que
justificada en estas primeras experiencias de evaluacin, no slo por la carencia de
precedentes, competencia y cultura evaluativa, sino tambin porque la calidad tcnica de
12
Se puede mencionar tambin la evaluacin realizada del primer Plan extremeo (1991), que se realiza y
da lugar a un documento en 1994. Los dos tcnicos que elaboran esta evaluacin no se encontraban
trabajando en la Direccin General de la Mujer en el periodo de ejecucin del plan, y la realizan
recopilando informacin interna en esa misma Direccin. La evaluacin consiste en la realizacin de una
ficha por cada objetivo de actuacin del Plan en la que se contemplan tres tipos de informacin: 1) fecha
de inicio y fin prevista y fecha de inicio y fin real, 2) grado de cumplimiento, con 4 categoras (accin
finalizada, se concluir en breve, iniciada recientemente y accin sin iniciarse) y 3) Acciones/programas.
Finalmente se hace una valoracin del grado de cumplimiento por cada rea en forma de porcentaje.
Aunque esta evaluacin supone un esfuerzo de ordenacin de la informacin por parte de la Direccin
General, no puede ser considerado como un verdadero proceso de evaluacin sistemtica. Entre otras
cosas, dicha evaluacin no parece que llegue a ninguna conclusin, ya que en Extremadura no se ha
elaborado, por el momento, un II Plan. En este momento la Direccin General de la Mujer de
Extremadura es, adems, bastante diferente a sus organismos homlogos autonmicos, ya que tiene un
fuerte carcter de ejecucin de acciones y actuaciones, ms que de impulso de las mismas. Precisamente,
sta es la nica Comunidad Autnoma en la que el primer Plan no ha tenido continuidad real en un
segundo Plan.
____________________________________________________________________________________
217
______________________________________________________________________
los primeros planes era menor que la de los posteriores, sobre todo en el sentido de que
contaban con objetivos y medidas muy generales o vagos y, en ocasiones, excesivos; en
definitiva, los primeros planes eran difcilmente evaluables. Precisamente, estas
primeras experiencias de evaluacin contribuyen al aprendizaje y rodaje de las
femcratas y, por lo tanto, a mejorar la calidad tcnica de los planes subsiguientes.
Si se observa su procedencia, vemos que las primeras experiencias de evaluacin
se dan en los organismos de igualdad ms antiguos y con una estructura institucional
ms fuerte (organismos autnomos)13. Esta circunstancia es coincidente con el hecho de
que, adems del propio IM, son tres comunidades autnomas que acceden a la
autonoma por la llamada va rpida o artculo 151 de la Constitucin Espaola. En
algunas comunidades autnomas en las que se aprueban los primeros planes tambin en
fases tempranas, no se dan, sin embargo, experiencias de evaluacin, o al menos no se
tiene constancia ni documentacin de las mismas (Asturias, Madrid14 y Comunidad
Valenciana -cuyos primeros planes van de 1989 a 1991-, Castilla-La Mancha -cuyo I
Plan es de 1990 a 1994- y Baleares y Cantabria -cuyos primeros planes son de 19911993). A continuacin se ofrece alguna informacin especfica sobre cada uno de los
casos.
Evaluacin del I Plan de Igualdad de Oportunidades de las Mujeres 1988-1990

La primera evaluacin que se realiza es la que se hace del I Plan central. Esta
evaluacin se hace de forma interna y consiste exclusivamente en comprobar y
consignar si las 120 medidas contempladas en el Plan se haban cumplido o no (es decir,
si se haban realizado). En el propio documento de evaluacin15 (una publicacin del
Plan, que aade una segunda parte sobre la evaluacin del mismo) se menciona que lo
que se hace es un balance de cumplimiento del mismo (pg. 105 del documento)16. La
conclusin es que el I Plan tiene un grado de cumplimiento del 96-97% porque se
consigna que se han ejecutado 116 medidas. Las cuatro restantes (tres referentes a
reformas en el Cdigo Civil y Cdigo Penal y la otra un Convenio con RTVE para
contribuir al cambio de actitudes a travs de los medios), quedan pendientes una vez
finalizado el perodo de vigencia del Plan.
13
Vase el punto 2.4. del captulo 2.
14
En el caso de Madrid, existe una pequea publicacin llamada evaluacin y en cuya introduccin se
dice textualmente: Esta publicacin recoge la Evaluacin del Plan, detallando todas las actuaciones
desarrolladas, en los 3 aos de vigencia. Efectivamente, el documento slo recoge un listado ordenado
de las actuaciones realizadas. No se recoge ninguna otra informacin, ni valoracin ni tampoco ninguna
referencia a un posible proceso de evaluacin. En la Direccin General de la Mujer no existe ninguna
constancia de la existencia de dicho proceso. (Direccin General de la Mujer. Comunidad de Madrid.
Plan de Igualdad para las Mujeres. 1989-1991. Evaluacin 9 pp. Sin ISBN ni fecha).
15
INSTITUTO DE LA MUJER (Ministerio de Asuntos Sociales). 1990. Plan de Igualdad de

Oportunidades de las Mujeres 1988-1990. Evaluacin. 155 pp.
16
Todas las citas mencionadas en este apartado se refieren al documento INSTITUTO DE LA MUJER
(Ministerio de Asuntos Sociales). 1990. Plan de Igualdad de Oportunidades de las Mujeres 1988-1990.
Evaluacin. 155 pp.
____________________________________________________________________________________
218
______________________________________________________________________
En este documento sobre la evaluacin del primer Plan central, se realiza una
valoracin general de lo que ha supuesto el Plan. Posteriormente, se trata cada una de
las 6 reas del plan (ordenamiento jurdico, educacin y cultura, empleo y relaciones
laborales, salud, cooperacin internacional y asociacionismo). En cada rea se hace una
introduccin sobre el significado e importancia de la misma y una valoracin general
sobre lo que se ha realizado. Luego se ve medida por medida, explicando las
actuaciones realizadas y su significado, simplemente describiendo lo que se ha hecho,
sin realizar juicios ni valoraciones sobre el cumplimiento de las mismas. Al final del
documento se exponen dos listados: uno sobre los Departamentos Ministeriales
implicados en la ejecucin del Plan para la Igualdad de Oportunidades, en el cual se
listan los Ministerios implicados y su forma de implicacin concreta (comisiones
mixtas, convenios, acuerdos y grupos de trabajo) y otro sobre las Campaas de
Informacin y Sensibilizacin realizadas, en el que se detallan las publicaciones
editadas y las campaas en los medios de comunicacin, con sus correspondientes
fechas.
Sin embargo, y a pesar de las limitaciones que presenta esta primera evaluacin,
en las valoraciones generales que sobre el Plan se realizan en este documento se insiste
en la importancia del Plan como forma de articular todas las actuaciones del Gobierno
en materia de igualdad, reflejando el espritu de lo que luego se conocer como
mainstreaming promovido por la Plataforma de Accin de la IV Conferencia de las
Naciones Unidas en Pekn:
Se puede afirmar que la virtualidad del Plan ha residido en ser un instrumento
para articular e impulsar polticas destinadas a corregir desigualdades entre los
sexos, para desarrollar una poltica integral para las mujeres por un lado, y por
otro para, desde el diseo de coordinacin horizontal, en el que se basaba el
Plan, poder incluir la solucin a las demandas especficas de las mujeres en los
objetivos de poltica general del gobierno, sean stas de empleo, educacin o
salud, huyendo del riesgo de algunas estrategias para la igualdad de
oportunidades: la excesiva sectorializacin, la poltica de gueto (p. 105).
Y ms adelante se seala que:
El conjunto de medidas del Plan significa, por tanto, ms all de la importancia
concreta de cada una de las actuaciones, que por primera vez se ha puesto en
marcha en Espaa, una poltica integral y coordinada para avanzar en la
igualdad de oportunidades entre hombres y mujeres, y por lo tanto, en la
consecucin de una sociedad ms justa (p. 109).
Es decir, en la valoracin que se realiza del Plan se ofrece una visin que va ms
all de la valoracin del cumplimiento de cada una de las actuaciones contempladas en
el mismo. Tambin se realizan otras valoraciones generales. Por ejemplo, se resaltan dos
logros importantes como que a lo largo del desarrollo del Plan
se han ido creando mecanismos de coordinacin con los diferentes
Departamentos ministeriales, consolidndose as canales de colaboracin
institucional con los Ministerios Implicados (p. 106).
En segundo lugar, la influencia y el efecto rebote en las comunidades autnomas:
____________________________________________________________________________________
219
______________________________________________________________________
y aunque el Plan slo implicaba a la Administracin Central del Estado, se ha
producido durante este perodo un fenmeno de sinergia de forma que muchas
Comunidades Autnomas han constituido en sus gobiernos Organismos para
impulsar polticas especficas dirigidas a la mujer; dichos Organismos han
elaborado programas para la igualdad que, en la mayor parte de los casos, son
adaptaciones del Plan del Gobierno Central a las condiciones y necesidades
especficas de las mujeres en las respectivas Autonomas (p. 106).
Efectivamente, en 1990 haba ya siete comunidades autnomas (Andaluca,
Asturias, Catalua, Castilla-La Mancha, Madrid, Valencia y el Pas Vasco) que haban
aprobado sus primeros Planes, todas ellas gobernadas por el PSOE -el mismo que
gobernaba en el nivel central y haba impulsado las polticas de igualdad de
oportunidades- o por partidos de base autonmica.
Tambin se aportan otros datos, como que en la encuesta realizada por el Instituto
en 1990 para conocer las demandas de las mujeres espaolas, se haba constatado que el
65% de las mujeres encuestadas tena conocimiento del Plan (esto se expresa de un
modo ms triunfalista el grado de conocimiento que haba alcanzado el Plan de Accin
entre la poblacin era de un 65% p. 107). Otra informacin que se aporta en forma de
logro (aunque no resaltndola especialmente como el establecimiento de los
mecanismos de coordinacin interministeriales y la influencia en las comunidades
autnomas) es la constitucin de una plataforma de asociaciones de mujeres de toda
Espaa, que, con la denominacin de Comisin Consultiva para el seguimiento del Plan
para la Igualdad, ha designado representantes para el Consejo Rector del IM, al igual
que los sindicatos mayoritarios CC.OO. y U.G.T., lo que ha permitido que las
organizaciones no gubernamentales de mujeres puedan hacer or su voz en el rgano
desde el que se coordinan e impulsan las polticas para la igualdad (p. 107). Sabemos,
por el estudio realizado por Celia Valiente, que la experiencia de dicha Comisin
Consultiva fue muy desesperanzadora17 y que la representacin de los colectivos de
mujeres en un Consejo Rector, que apenas se reuni durante aquellos aos, fue
prcticamente simblica (Valiente, 1995, 1996 y 1997).
Finalmente, en el documento de evaluacin de este primer plan central se deja
entrever la idea de que la evaluacin del I Plan se utilizar para la redaccin del II, que
ser continuidad del I y del que se aportan ya una serie de lneas de accin, aunque el II
Plan no ser aprobado hasta 1993.
Esta evaluacin del I Plan central ha tenido ciertas crticas. Para Valiente (1996:
185) las afirmaciones de la evaluacin han de tomarse con extrema cautela por dos
razones: una, porque los objetivos no eran claros y concretos y, por lo tanto, resultaba
17
Dicha Comisin Consultiva se estableci en 1988 y su propsito era, precisamente, evaluar el

cumplimiento del I Plan y elaborar recomendaciones y propuestas al respecto que seran tenidas en
cuenta por el IM. Este intento de acercamiento, sin embargo termin siendo lo que Valiente califica como
una crucial oportunidad perdida. Las feministas criticaron haber sido llamadas para hacer el
seguimiento de un Plan en el que no haban participado en su formulacin y lo interpretaron como un
mero gesto simblico de las femcratas. Numerosas participantes se negaron a participar desde un
principio y entre las que lo hicieron enseguida surgieron desavenencias y luchas por la competencia entre
asociaciones por ser las ms representativas de los problemas y las opiniones del conjunto de las mujeres.
Result prcticamente imposible la aprobacin de las recomendaciones ms bsicas. (Valiente, 1996:188190).
____________________________________________________________________________________
220
______________________________________________________________________
muy difcil llegar a conclusiones sobre su verdadero grado de consecucin; la segunda
razn es que la base de la informacin sobre la que se realiz la evaluacin era la
informacin proporcionada por los propios departamentos ministeriales que
probablemente tuvieran una tendencia a enfatizar en exceso lo conseguido y a minimizar
lo que no lleg a hacerse. Efectivamente, la evaluacin tiene un cierto carcter
triunfalista y, adems, carece de una metodologa explcita, aunque denota una cierta
recopilacin sistemtica y una cierta reflexin sobre sus actuaciones. Adems, hasta
cierto punto, es comprensible que se diera cierto triunfalismo, ya que el slo hecho de
haber conseguido la creacin del Instituto y la elaboracin y aprobacin del primer Plan
era ya, en s mismo, un xito. Haba medidas cuyo cumplimiento era evidente (como
eran todas las relacionadas con los cambios legislativos) y otras, por el mismo hecho de
plantearse y de llevarse a cabo por primera vez eran ya de por s, un triunfo. En muy
pocos aos, y a pesar de haber empezado con una dcada de retraso respecto a otros
pases occidentales, se haba establecido un organismo especfico con una estructura y
un presupuesto homlogos a sus equivalentes europeos (Valiente, 1995, 1996 y 1997) y
en menos de cinco aos de existencia, la poltica de igualdad de oportunidades se
articulaba en un instrumento innovador que implicaba a otros sectores del Gobierno y
que era reconocido internacionalmente como la mejor estrategia.
Evaluacin del I Plan de Actuacin del Gobierno de la Generalidad de Catalua

para la Igualdad de Oportunidades para las Mujeres 1989-1992
No se ha podido obtener ningn documento referente a la evaluacin del primer
plan cataln, a pesar de que las responsables del Instituto Cataln de la Mujer dicen
que la hubo aunque con limitaciones. En cualquier caso, en la introduccin que hace
Joaquima Alemany, Vicepresidenta del Institut Catal de la Dona , se hace referencia a
que el II Plan ha sido elaborado tomando como base el III Plan de Accin Comunitario a
medio plazo para la igualdad de oportunidades entre hombres y mujeres (1991-1995),
lanzado por la Comisin Europea y tambin las conclusiones del II Congreso de la
Mujer en Catalua y las demandas del tejido asociativo de mujeres de nuestro pas
(Instituto Cataln de la Mujer, 1994: 13). Se habla de que este segundo plan es una
continuacin y ampliacin del primero, pero en ningn momento se menciona la
evaluacin del I Plan como base o como reflexin para el II.
Evaluacin del I Plan de Igualdad de Oportunidades de las Mujeres 1990-1992

(Instituto Andaluz de la Mujer)
El primer plan andaluz (1990-1992), cuya vigencia estaba prevista hasta 1992,
se prolonga hasta 1994, ao en el que se presentan los resultados de su evaluacin al
Parlamento de Andaluca, que haba creado una Comisin de Seguimiento y Vigilancia
del Plan. Esta evaluacin se supone que da pie a la elaboracin del II Plan que va de
1995 a 1997. El primer Plan andaluz se evala por parte del propio IAM, aunque se
cuenta con la ayuda de una consultora externa (Fondo de Formacin de Sevilla) que
____________________________________________________________________________________
221
______________________________________________________________________
colabora con el IAM para realizar la evaluacin durante el ao 199318. Tambin como
parte del proceso de evaluacin, en el ao 1992 se realiz un primer informe de
evaluacin sobre el grado de cumplimiento de cada una de las acciones, que se realiz
internamente.
En el Informe de Evaluacin del primer Plan Andaluz se dedican slo 5 pginas de
las 141 que tiene el informe a hablar de la evaluacin, sus objetivos, metodologa,
aspectos que se han evaluado y explicacin de la exposicin de los resultados. Respecto
a los objetivos se plantean tanto la mejora de la gestin y la eficacia de las acciones
programadas como el rendimiento de cuentas tanto al Parlamento como a los rganos de
control del Consejo de Gobierno. La metodologa parte de varias reuniones entre las
responsables del Instituto Andaluz de la Mujer y equipo evaluador para definir los
cometidos y alcance de la evaluacin. Los instrumentos mencionados para la
recopilacin de informacin son, textualmente, cuestionarios para cada una de las
actuaciones del Plan, entrevistas en profundidad a responsables polticos y tcnicos del
mismo, anlisis de los documentos existentes en relacin con cada una de las
actuaciones, estudio de factores contextuales, etc. (p.41). Respecto a los aspectos que
se han evaluado se mencionan: a) El grado del cumplimiento del Plan, b) El impacto del
Plan, c) Los programas y acciones que han tenido mayor incidencia, d) La relacin entre
los recursos implementados y los resultados conseguidos y e) Las necesidades y
demandas en torno a la igualdad de oportunidades de las mujeres que se han derivado
con ocasin del Plan, pero que no fueron previstas en el mismo. En un anlisis de los
aspectos pretendidos, se puede observar que las intenciones son bastante ambiciosas
pero que no pueden cumplirse con el proceso de evaluacin que se llev a cabo. Si
adems, se analizan los resultados, se ve que la recopilacin y anlisis sistemtico de la
informacin se han hecho sobre todo para cubrir el primer aspecto mencionado (grado
de cumplimiento de las acciones), consignando el costo econmico de las acciones de
cada rea y teniendo en cuenta, en algunos casos, las opiniones de algunos agentes
crticos, pero no de forma sistemtica. Por ejemplo, evaluar el impacto del Plan en las
personas beneficiarias y destinatarias directas y en los cambios que se han producido y
que puedan estar relacionados con el mismo (aunque se suavice con la coletilla en
aquellos aspectos en que se poda contar con datos significativos resulta casi imposible
con los instrumentos de recopilacin de informacin utilizados que se mencionan ms
arriba. Respecto a los programas y acciones que han tenido mayor incidencia,
depende de cmo se defina este extremo, pero se podran contemplar cuestiones
relacionadas con el diseo y el proceso de puesta en prctica del Plan; sin embargo, por
la lectura de resultados, creemos que se trata sobre todo de saber en qu reas se han
empleado ms recursos. Finalmente, se menciona que la presentacin de resultados se
realiza por los objetivos del plan, contribuyendo as a una evaluacin que carga las
tintas en el grado de cumplimiento de cada una de las acciones. Este sesgo hacia el
grado de cumplimiento y las dificultades de cubrir otros aspectos, pueden considerarse
hasta cierto punto normales si tenemos en cuenta que las 200 medidas que planteaba el I
18
El estatus interna o externa de la evaluacin de este primer plan no est del todo claro. Se habla
siempre de colaboracin de una consultora externa. En el Informe de Evaluacin, que aparece con la
autora del propio Instituto se lee textualmente: A lo largo del presente ao 1993 se ha llevado a cabo,
con la colaboracin de una empresa consultora, una evaluacin externa del Plan para la Igualdad, cuyos
resultados se ofrecen en el presente informe Informe de Evaluacin del Plan para la Igualdad de
Oportunidades. 1990-1993 p. 40). En el informe no existe ninguna referencia concreta a dicha empresa
consultora aunque se les denomina el equipo evaluador.
____________________________________________________________________________________
222
______________________________________________________________________
Plan eran muy vagas, muy blandas y muy pobres en relacin a los objetivos propuestos
(...) baratas, indirectas y de resultados inciertos, debido precisamente a la necesidad de
obtener la colaboracin voluntaria de otros departamentos (Granados, 1999: 802). Ante
tal panorama, es comprensible que slo el hecho de seguir la pista a cada una de las
medidas y comprobar su ejecucin y la colaboracin departamental no slo sea una
ardua labor, sino que baste y sea til para una primera evaluacin de un primer plan.
Aun as, y como era previsible dada la presentacin de resultados, esta evaluacin
del primer plan andaluz ha tenido algunas crticas. Elena Granados, en su estudio sobre
el Instituto Andaluz de la Mujer, concluye que a pesar de la colaboracin de una
consultora externa, los resultados del I Plan se presentaron de una forma
extremadamente optimista, si tenemos en cuenta que muchas de las actuaciones
previstas perseguan objetivos muy difciles de lograr en un perodo de tiempo tan
corto (Granados, 1997: 30). Para la autora, los indicadores utilizados son los que con
mayor probabilidad van a arrojar resultados positivos, poniendo el ejemplo que para
evaluar los programas de fomento del empleo en lugar de utilizar el indicador del n de
mujeres que logran acceder a un puesto de trabajo, se utilizan los indicadores de n de
cursos realizados, n de asistentes a los cursos, coste de los cursos, etc. Y seala que es
curioso que slo se mencione un fracaso en todo el Plan19. Ciertamente, los resultados
del Plan resultan casi siempre positivos y si nos fijamos en la valoracin global del Plan
que se realiza en las pginas 44 y 45 del informe, previamente a la presentacin de
resultados por cada una de las reas, se observa un aire triunfalista y excepcionalmente
optimista20. Por ejemplo, el primer resultado mencionado Ha alcanzado una elevada
notoriedad, y sus principales programas han sido conocidos por un alto porcentaje de la
poblacin (p. 44), no slo adolece de concrecin (qu porcentaje, qu programas, qu
poblacin?), sino que resulta muy difcil saber a travs de qu instrumento de
recopilacin sistemtica de informacin han llegado a esa conclusin (no desde luego
con ninguno de los utilizados en el proceso de evaluacin). Efectivamente, no se
encuentra el necesario tono (auto)crtico que debe tener cualquier evaluacin.
Sin embargo, y al igual que se valoraba la evaluacin del I Plan central, creemos
comprensible que la evaluacin de un primer plan tenga un cierto tono triunfalista, ya
que a travs de estos primeros planes se realizan por vez primera una serie de acciones y
porque supone un avance cualitativo y sustancial sobre la situacin anterior. Adems,
insistimos en lo positivo de estas primeras evaluaciones, por el simple hecho de
planterselas. De hecho, el IAM hizo una apuesta fuerte por la recopilacin sistemtica
de informacin y por la evaluacin. La complejidad de la evaluacin del primer plan,
19
El fracaso mencionado se refiere a unos asentamientos de cooperativas de mujeres, que haban previsto
el IAM y el Instituto Andaluz de Reforma Agraria para explotaciones agrarias de Huelva y Sevilla, y que
no llegaron a producirse (sealado en Granados, 1997: 30, en nota a pie de pgina).
20
El listado es el siguiente: 1 Ha alcanzado una elevada notoriedad, y sus principales programas han
sido conocidos por un alto porcentaje de la poblacin. 2 Ha alcanzado un alto grado de cumplimiento en
general, habiendo generado incluso actuaciones importantes no previstas inicialmente. 3 Ha supuesto un
gran esfuerzo de colaboracin interinstitucional, lo que constituye un modelo positivo de actuacin para
distintos programas sociales. 4 Ha movilizado importantes recursos en varios de los programas. 5 La
relacin costo econmico-resultados es muy favorable a causa de la implicacin voluntaria de numerosos
agentes y el aprovechamiento de medios ya existentes. 6 Ha generado un mayor conocimiento de la
situacin social de la mujer en todas las reas, lo que puede servir para planificar polticas ajustadas en el
futuro y 7 El IAM ha resultado un buen instrumento de coordinacin y dinamizacin del Plan.
____________________________________________________________________________________
223
______________________________________________________________________
que supuso adems un enorme esfuerzo interno en el IAM, les hizo conscientes de la
necesidad de concretar los objetivos y actuaciones y de ser algo ms realistas. As, la
obsesin en el II Plan era, por un lado, hacer un II Plan ms sencillo y realista que el I
(con menos medidas y ms concretas) y, en segundo lugar, realizar una evaluacin
totalmente externa del II Plan y que no supusiera tanto esfuerzo interno para el Instituto.
En cualquier caso, el II Plan incorpor las recomendaciones que en la evaluacin del I
Plan se hacan, por lo que dicha evaluacin cumpli una de sus funciones ms
importantes.
Evaluacin del I Plan de Accin Positiva para las mujeres en la Comunidad

Autnoma de Euskadi. 1991-1994
Finalmente, la evaluacin del primer Plan de Accin Positiva para las Mujeres
de Euskadi (PAPME) es el primer esfuerzo de evaluacin ms continuo y completo,
que se define como una prioridad del Instituto Vasco de la Mujer (Emakunde) y en el
que se emplean bastantes esfuerzos y recursos. Aunque la evaluacin del I PAPME es el
primer intento o experiencia en Emakunde, es, en realidad, el comienzo de una
verdadera poltica de evaluacin, planteada de forma consciente y rigurosa desde un
principio. El planteamiento de una metodologa de evaluacin ya para el I PAPME fue
una de las preocupaciones prioritarias de Emakunde ya que atribua gran importancia a
la evaluacin, pues slo a partir de ella se poda tener lneas futuras de actuacin
eficaces para la consecucin de una igualdad de oportunidades real, objetivo estratgico
del PAPME21. Adems del rigor y de la dedicacin de Emakunde a la funcin de
evaluacin, los procesos evaluativos estn muy bien documentados en memorias e
informes, en los que se reflejan no slo los resultados de la evaluacin, sino tambin el
planteamiento y el proceso de evaluacin, incluidas las dificultades encontradas a lo
largo del mismo. Ms all, como se ver en el anlisis de las segundas evaluaciones,
existe una continuidad entre la evaluacin del I y el II PAPME, habindose ido puliendo
los procesos de evaluacin. Aqu apuntamos pues, de forma general, lo que supuso la
evaluacin del I PAPME y se analizar en mayor profundidad los procesos de
evaluacin con la evaluacin del II.
Para realizar la evaluacin se recurri al trabajo conjunto de Emakunde y de
personas expertas externas de la Universidad Autnoma de Barcelona (Profesora Judith
Astelarra) y de la Universidad del Pas Vasco (Profesora Pilar Prez Fuentes). Por lo
tanto, aunque se debe considerar como un proceso de evaluacin esencialmente interno,
cont con colaboracin externa. El formato de esta colaboracin fue a travs de
seminarios en los que que se diseo y planific el proceso de evaluacin.
A lo largo del I PAPME, se fueron elaborando memorias de actividad (Emakunde
presenta al Parlamento Vasco una memoria anual de evaluacin de la actuacin de los
poderes pblicos) que se realizaron siguiendo una metodologa de evaluacin que
pudiera ser utilizada posteriormente en la evaluacin de la ejecucin de todo el Plan. Y
al final del perodo de vigencia del mismo se present un informe final de 138 pginas.
En este informe se refleja, en un primer captulo, la filosofa y los aspectos
21
Informe de Evaluacin del I PAPME Emakunde, pg. 8.

____________________________________________________________________________________
224
______________________________________________________________________
metodolgicos de la evaluacin, y en un segundo captulo, los resultados, organizados
en los tres ejes fundamentales que cuenta la evaluacin: 1) Actividades realizadas, 2)
Colectivos destinatarios y 3) Participacin institucional. Finalmente, se realiza un
captulo de conclusiones, en las que se realiza un balance de los resultados y se sealan
unas consideraciones finales.
En el planteamiento metodolgico que se hace de la evaluacin del I PAPME, se
renuncia explcitamente a hacer una evaluacin del impacto de la poltica, tanto por la
complejidad tcnica debida a la multiplicidad de mbitos, agentes, reas temticas,
objetivos y formas de intervencin, como por el impacto presupuestario que eso poda
suponer. Por lo tanto, proponen una evaluacin de la propia poltica pblica, es decir de
las ventajas y desventajas que tiene la estrategia seguida, de las caractersticas
especficas de las acciones desarrolladas y de las instituciones encargadas de la
ejecucin de las polticas y acciones en cuanto a su capacidad de implementacin. Esto
significa que haban profundizado y exista una reflexin seria ya desde un principio
sobre el papel, los fines y la funcin de la evaluacin. Tambin demuestran en el
documento un empeo en distinguir entre la realizacin de una memoria de actividades
(que es lo que consideran que se ha hecho en otras evaluaciones de Planes de Igualdad,
cuando se analiza el grado de cumplimiento del plan, en el sentido de comprobar si las
acciones propuestas haban sido realizadas o no) y una evaluacin de las polticas y
acciones de los planes.
Las responsables de Emakunde son tambin conscientes de la generalidad de la
formulacin del PAPME (ya que en l no se determina cules son los resultados que se
espera conseguir), caracterstica que comparten con el resto de los primeros planes de
igualdad. Entre otras razones, por eso en esta primera evaluacin se trataba no slo de
saber qu acciones haban sido desarrolladas y cules no, sino de tener otra informacin
sobre el contenido y naturaleza de las actuaciones.
Uno de los trabajos ms a fondo realizados en este proceso de evaluacin por
parte de Emakunde es la categorizacin de actividades que establecen. Construyen una
tipologa de actividades, tomando en cuenta dos criterios: 1) La forma de actuacin de
que se trata, es decir, qu se pretende y a quin se dirige, y 2) el contenido concreto de
la actividad en cuanto al rea social o la temtica que aborda. El primer criterio permiti
el establecimiento de nueve tipos de actividad y el segundo, los subtipos de actividades
dentro de cada uno de estos nueve tipos generales. Los nueve tipos eran22:
1. Cultura/ocio (con 4 subtipos)
2. Informacin/asesoramiento general (5 subtipos)
3. Sensibilizacin (8 subtipos)
4. Creacin de conocimiento de gnero (3 subtipos)
5. Formacin dirigida a los profesionales (3 subtipos)
6. Accin directa ante la discriminacin (4 subtipos)
7. Fortalecimiento de asociaciones de mujeres (5 subtipos)
22
Para una mayor especificacin vase Informe de Evaluacin del I PAPME

____________________________________________________________________________________
225
______________________________________________________________________
8. Introduccin temtica de gnero en administracin pblica (7 subtipos)
9. Cooperacin Internacional (2 subtipos)
A su vez, estos nueve tipos han sido reagrupados en tres niveles en funcin de su
estrategia general de actuacin:
1) Actuar sobre el conocimiento, informando, sensibilizando y formando a
las personas.
2) Actuar directamente en contra de la discriminacin y en favor de la
igualdad real entre mujeres y hombres.
3) Crear organizaciones y estructuras para abordar las polticas
antidiscriminatorias: instituciones pblicas y organizaciones privadas.
Los instrumentos de recopilacin de informacin utilizados fueron: 1) Un
cuestionario sobre actividades anuales, dirigido a toda la Administracin Pblica Vasca.
Esta informacin se codificaba en fichas y se trataba informticamente para su anlisis
posterior. Los informes presentados anualmente durante la vigencia dle I PAPME se
realizaron basndose en dicha informacin. Tuvieron dificultades en la recopilacin de
informacin (no se obtenan respuestas a muchas preguntas y se producan retrasos que
hacan difcil su posterior tratamiento). A lo largo de la vigencia del I PAPME se va
perfeccionando el sistema de codificacin y tratamiento estadstico de la informacin,
as como la forma de deteccin y correccin de posibles errores. La segunda
herramienta fue 2) Una encuesta especfica enviada a toda la Administracin Vasca en
1993, para obtener informacin sobre la forma en la que se perciba su compromiso con
las polticas de igualdad de oportunidades entre mujeres y hombres y sobre el grado en
que stas haban sido incorporadas al quehacer habitual de cada una de las instituciones,
con el fin de conocer si se haba creado, o no, una dinmica de accin propia en cada
una de ellas capaz de desarrollar una accin sostenida en el futuro23. Tambin con este
instrumento tuvieron dificultades, ya que tuvieron una menor respuesta por parte de los
organismos que la referida al correspondiente cuestionario sobre realizacin de
actividades. Sin embargo consideran que la informacin es til y se incorpora al anlisis
de la participacin institucional.
La presentacin de resultados es exhaustiva y se organiza en los tres ejes bsicos
de la evaluacin: actividades, destinatarios y participacin institucional. El tratamiento
de estos tres ejes fue sistemticamente cruzado a fin de conocer su interrelacin con las
categoras analticas creadas, de modo que se da un perfil del tipo de intervencin
pblica en polticas de igualdad de gnero que se ha llevado a cabo y de las tendencias
establecidas al respecto en el Pas Vasco. El total de actividades de las que se recibe
informacin y que son analizadas asciende a 1237.
23
Como se argumentar en el captulo 5, y aunque en Emakunde se considere que esto no tiene que vase
con una evaluacin de impacto, esta informacin permitira en parte, a nuestro parecer, una verdadera
evaluacin del impacto de las polticas de igualdad entre los gneros. Si el objetivo ltimo de dichas
polticas es la perspectiva de gnero en otras polticas pblicas, la bsqueda de los efectos de las polticas
de igualdad debe hacerse en las otras polticas pblicas y su incorporacin de la perspectiva de gnero,
adems de analizar el impacto de cada una de las acciones concretas.
____________________________________________________________________________________
226
______________________________________________________________________
Finalmente, queremos sealar no slo el espritu autocrtico que impregna los
documentos que reflejan el proceso de evaluacin, apuntando los avances pero tambin
los lmites y las dificultades de dicho proceso, sino la caracterstica de proceso continuo
del mismo, caracterstica que le hace adquirir una mucha mayor potencia que los
correspondientes procesos de evaluacin en los niveles central y autonmico. Respecto
a la utilidad y utilizacin, adems, no slo parece que el proceso de evaluacin arroj
unos resultados tiles sino que tambin el propio proceso fue til para generar y
desarrollar la funcin de evaluacin en las polticas vascas de igualdad de gnero.
____________________________________________________________________________________
227
______________________________________________________________________
2.2. La segunda generacin de evaluaciones

Como ya se ha comentado al principio de este punto, esta segunda generacin de
evaluaciones, es el objeto pormenorizado de la metaevaluacin que se realiza en este
trabajo. A partir del ao 1991 se generalizan los planes de igualdad en las comunidades
autnomas (de seis planes que haba aprobados en el ao 1990, se pasa a once en el ao
1991 y va aumentando gradualmente hasta el ao 1995, en el que todas menos una de
las comunidades autnomas haban ya aprobado planes). Esto provoca un efecto
rebote de evaluaciones de dichos planes a partir del ao 1995.
Los procesos de evaluacin de planes de igualdad de gnero que aqu se analizan
son los que han tenido lugar a partir de 1995 y hasta 1999, en los niveles autonmico y
central. Los criterios de seleccin, adems del criterio temporal, han sido amplios,
recogindose cualquier experiencia de evaluacin de los planes, independientemente del
tipo de evaluacin realizado, su alcance o el tiempo y los recursos empleados. Se
consignan la experiencia de evaluacin del II Plan central y las experiencias de
evaluacin de 7 segundos y 3 primeros planes autonmicos24, que son las evaluaciones
siguientes:
II Plan de Igualdad de Oportunidades de las Mujeres 1993-95. IM. Realizada

en 1995-1997. Evaluacin mixta. (evaluacin interna con alguna colaboracin
externa).
II Plan Andaluz para la Igualdad de las Mujeres 1995-97. Las Mujeres en

Andaluca: Estrategias para avanzar Instituto Andaluz de la Mujer. Realizada
en 1997-99. Evaluacin externa.
(I) Plan de Accin Positiva para las Mujeres en Aragn 1994-96. Instituto
Aragons de la Mujer. Realizada 1996-97. Evaluacin interna.
I Plan de Igualdad de Oportunidades 1995-96. Instituto Canario de la Mujer.

Realizada en 1996. Evaluacin externa.
II Plan de Igualdad de Oportunidades: Las Mujeres de Castilla-La Mancha

hacia el siglo XXI 1995-1999. Direccin General de la Mujer. Realizada en
1999. Evaluacin externa.
(I) Plan Integral de Igualdad de Oportunidades para la Mujer en Castilla y

Len 1994-96. Secretara Regional de la Mujer. Realizada en 1996-97.
Evaluacin externa.
24
No se incluye la evaluacin realizada en Asturias del II Plan de Igualdad, ya que sta es una evaluacin
descriptiva de constatacin de las acciones nica y exclusivamente a travs del gasto presupuestario. La
razn de la evaluacin es, adems, saber dnde se estaba por parte del nuevo equipo que llega a la
Secretara Regional de la Mujer, con el cambio de gobierno (y de partido en el gobierno) en 1995. Las
razones para haber incluido, por ejemplo, la evaluacin del I Plan aragons y no haber incluido la del II
Plan asturiano en esta segunda tanda y la del I Plan extremeo en la primera, son claras: las evaluaciones
extremea y asturiana son dos acciones puntuales que no son inicio de una mnima poltica de
evaluacin. En el caso aragons, la evaluacin del I Plan, en la que se emplean ya bastantes esfuerzos,
sirve como acicate para plantearse la evaluacin del II Plan que es, adems, inmediatamente aprobado.
____________________________________________________________________________________
228
______________________________________________________________________
II Plan de Actuacin del Gobierno de la Generalidad de Catalua para la

Igualdad de Oportunidades de las Mujeres 1994-96. Institut Catal de la
Dona. Realizada en 1996-97. Evaluacin mixta (evaluacin interna con alguna
colaboracin externa).
II Plan para la Igualdad de Oportunidades de las Mujeres de la Comunidad de

Madrid 1993-95. Direccin General de la Mujer. Realizada en 1995-1996.
Evaluacin externa.
II Plan para la Igualdad de Oportunidades de las Mujeres Gallegas 1995-97.

Servicio Galego de Promocin da Igualdade do Home e da Muller. Realizada
1996-1998. Evaluacin externa.
(II) Plan Integral de la Mujer 1996-99. Direccin General de Bienestar

Social del Gobierno de La Rioja. Realizada 1997-99. Evaluacin interna.
II Plan de Accin Positiva para las Mujeres en la Comunidad Autnoma de

Euskadi (1995-99). Emakunde. Realizada anualmente de forma continua.
Evaluacin mixta (evaluacin interna con alguna colaboracin externa).
Como ya se ha comentado anteriormente, estas experiencias de evaluacin son

muy heterogneas entre s en cuanto a tipos de evaluacin realizadas, recursos
invertidos, tiempo de duracin, alcance y eficacia evaluativa. En realidad, para la
mayora de las comunidades autnomas estas evaluaciones representan sus primeras
experiencias al respecto (salvo en el caso de Andaluca, Catalua y el Pas Vasco,
adems del IM en el nivel central, que ya tenan experiencia previa). En el listado previo
se han consignado slo dos caractersticas: ao de realizacin y tipo de evaluacin
segn el agente evaluador, es decir si son internas, externas o mixtas. La intencin es
dar un panorama general previo antes de comenzar el anlisis que se reflejar en el
captulo siguiente; por lo tanto, se ha considerado que estas dos caractersticas pueden
ser las ms ilustrativas para aprehender una visin global anterior al anlisis
pormenorizado. Precisamente, la distincin segn el agente evaluador (evaluaciones
externas, mixtas o internas) es la clasificacin que se sigue ms adelante para la
exposicin de los datos.
Las comunidades autnomas que no entran en esta segunda generacin son:
Asturias, Baleares, Cantabria, Extremadura, Murcia, Navarra y Comunidad Valenciana.
O bien no se ha hecho ningn tipo de evaluacin o se han llevado a cabo anlisis muy
dbiles y someros (Asturias, Baleares, Murcia), o no se cuenta en ese momento con un
plan evaluable, por ya lejano (Cantabria, Extremadura, Comunidad Valenciana) o
porque no se haba aprobado todava ninguno (Navarra).
____________________________________________________________________________________
229
______________________________________________________________________
2.3. La tercera generacin: Los proyectos de evaluacin de los terceros

planes o equivalentes
En la mayora de los terceros (segundos en algunos casos y primero, en el caso de

Navarra) se hacen menciones explcitas al seguimiento y la evaluacin de los mismos.
Esto ya marca una diferencia con respecto a la generacin anterior de planes, en los que,
como se ha visto en el captulo 3 de este trabajo, estas menciones explcitas eran mucho
menos frecuentes. A continuacin, exponemos, de forma breve, cules son dichas
menciones explcitas y cmo se plantean las evaluaciones al inicio y aprobacin de los
planes.
El III Plan central (1997-2000) se plantea la evaluacin en trminos

prcticamente idnticos a los de la evaluacin del II. Consistir en un anlisis de la
implementacin que permitir su seguimiento anual y que se realizar a travs del
diseo de una ficha de recogida de informacin para cada actuacin. En estas fichas se
dejar constancia de las actividades llevadas a cabo para ejecutar las actuaciones, en qu
fechas se han realizado y los motivos, si hubiera lugar a ello, por los que no se ha puesto
en marcha la actuacin en cuestin. Y la evaluacin, propiamente dicha, tendr dos
vertientes: 1) Una evaluacin cuantitativa que consistir en estudiar la evolucin de la
poblacin femenina desde 1997 hasta el 2000, y que se llevar a cabo con datos
secundarios y a travs de unos indicadores objetivos referidos a demografa, vida
familiar, educacin, trabajo, salud, participacin poltica y social, marginacin y malos
tratos y servicios sociales. 2) Una evaluacin cualitativa, cuyo objetivo ser conocer la
valoracin que hagan de la ejecucin del II PIOM representantes de la Administracin
Pblica Central y colectivos de mujeres destinatarios de algunas actuaciones del Plan.
Se har a travs de entrevistas en profundidad con los representantes y de grupos de
discusin con los colectivos, una vez haya acabado el perodo de vigencia del PIOM.
Quiz una cuestin importante es que, por vez primera, en el III Plan se hace una
compromiso formal respecto a la evaluacin, y que se formula del siguiente modo:
Antes del 31 de diciembre del 2001, el Ministerio de Trabajo y Asuntos
Sociales presentar al Consejo de Ministros un informe final sobre el
seguimiento y evaluacin del Plan, en el que se expondr el grado de
cumplimiento alcanzado, las actuaciones puestas en prctica y las causas
que hubieran motivado la no realizacin de algunas de las actuaciones
previstas.
Curiosamente, si se analiza el contenido del compromiso, se comprueba que se
refiere al seguimiento y anlisis de la implementacin, no al resto de la evaluacin
planteada, es decir, para cumplir con lo que se dice bastara con el anlisis de la
implementacin y una valoracin sobre el grado de cumplimiento y ejecucin del Plan.
Si se tiene en cuenta lo planteado para la evaluacin del III Plan, se puede
aventurar la idea que el IM no ha extrado muchas enseanzas de su experiencia
evaluativa. Lo normal en los procesos de evaluacin es ir ajustndolos gradualmente a
____________________________________________________________________________________
230
______________________________________________________________________
la realidad concreta y cambiante de los programas que evalan de forma que se van
modificando para resultar ms tiles y con mayor calidad tcnica. Sobre todo cuando, en
este caso, el proceso de evaluacin del II Plan tiene algunos elementos criticables y
manifiestamente mejorables.
En el segundo Plan aragons (1997-2000), tambin se plantea un sistema de

evaluacin. En primer lugar se presenta un sistema de recopilacin de informacin que
est incluido en un sistema de seguimiento a travs de grupos de trabajo y reuniones con
los diferentes Departamentos e instituciones. El Instituto Aragons de la Mujer plantea
la realizacin de una evaluacin interna continua, basada en la informacin recopilada a
travs del sistema de seguimiento. El Instituto se compromete a: 1) Realizar un informe
anual de seguimiento del Plan que incluir: un anlisis de los resultados obtenidos
respecto a los objetivos planteados, fichas de cada accin realizada o iniciada, una
relacin de las acciones pendientes, indicando motivos de la falta de realizacin, anlisis
de necesidades detectadas que no hayan sido recogidas en el Plan, posibilidades de
realizacin de actuaciones no previstas y posibles frmulas de reorientacin o
reprogramacin, si se precisan. 2) Realizar unos informes finales en los aos 2000-2001
en los que se recopile y analice la informacin recogida en los informes anuales de los
cuatro aos de vigencia del Plan, incluyendo entre otros: grado de consecucin de
objetivos y cumplimiento de las acciones, tipos de actividades realizadas, organismos e
instituciones implicados en su ejecucin, mbitos territoriales de realizacin,
temporalizacin, colectivos destinatarios, recursos humanos y materiales, presupuestos
destinados, tanto desde el IAM como desde otras instituciones, impacto social e
indicadores especficos. En el planteamiento del contenido de estos informes se puede
percibir una cierta influencia del tipo de evaluacin realizada por Emakunde. Por ltimo
se contempla la posibilidad de una evaluacin externa a iniciar en el ao 2000, si se ve
factible y necesario y que ser una evaluacin complementaria para profundizar y
conocer el grado de asuncin y la repercusin de la inclusin de las perspectivas de
gnero en las polticas de los Departamentos de la Diputacin General de Aragn,
instituciones y entidades; as como para ahondar en el conocimiento y valoracin de
ejecucin del Plan (II Plan aragons. p. 64). Por ltimo, se seala tambin en este
apartado el compromiso de conocer el avance en la situacin social de las mujeres en
Aragn, actualizando parcial y permanentemente los datos del estudio Mujer
aragonesa en cifras en la medida que el acceso a los datos lo haga posible y
elaborando de nuevo la investigacin en el ao 2000. Es importante resaltar como se
separa este estudio de la situacin social de las mujeres de la evaluacin propiamente
dicha (cuestin que todava no se diferencia en la evaluacin de otros planes), aunque
aparece como parte del sistema de seguimiento y evaluacin, ya que estudios de este
tipo pueden ser una fuente crucial de informacin para las evaluaciones, adems de
resultar objetivo prioritario de los organismos especficos de igualdad y ser otra base
ms para la planificacin y formulacin de polticas futuras.
____________________________________________________________________________________
231
______________________________________________________________________
Uno de los cinco objetivos del III Plan asturiano (1996-2000)25 es el de
establecer medidas de seguimiento y evaluacin de las acciones emprendidas para
alcanzar los objetivos propuestos y uno de sus principios bsicos es la evaluacin
permanente de las actuaciones realizadas, con el objeto de medir el progreso y
reflexionar sobre los procedimientos para corregir o reforzar los planteamientos (pg.
52). La estructura responsable para ello es la Comisin de Coordinacin y Seguimiento
del Plan, cuya presidencia la ocupara la Consejera de Cultura, la Vicepresidencia la
Secretaria Regional de la Mujer y en la que estn representadas once Direcciones
Regionales del Gobierno del Principado de Asturias. Tambin al final de documento
aparece un poco irregular y poco estructurado listado de indicadores de evaluacin
(pp. 73-74), aunque se seala que no se pretende exponer con detalle todos los
indicadores susceptibles se ser considerados en la evaluacin, que tendrn que
concretarse en los programas que desarrollen cada medida (pg. 73). Sin embargo, este
compromiso explcito con la evaluacin del III Plan, reflejado a travs de un objetivo
especfico y unas menciones en el propio Plan no parece haberse llevado a la prctica26.
En el II Plan de las Islas Baleares (1996-99) no existe una mencin explcita a

cmo se va a realizar la evaluacin. Sabemos que no se ha realizado ningn tipo de
evaluacin de este segundo plan27, aunque en l si aparecen dos cuestiones relacionadas
entre las 12 propuestas de resolucin al II Plan de Igualdad de Oportunidades para las
mujeres aprobadas por el Pleno del Parlamento de las Islas Baleares el 29 de noviembre
de 1996:
El Parlamento de las Islas Baleares insta al Gobierno a dar cuenta cada
ao en el si de la Comisin de Asuntos Institucionales y generales del
Parlamento, sobre el grado de cumplimiento del II Plan de igualdad de
oportunidades para las mujeres 1996-9. ( II Plan balear: p. 23. subrayado
mo).
El Parlamento de las Islas Baleares insta al Gobierno de la Comunidad
Autnoma a presentar una memoria valorando los resultados del I Plan de
la mujer .( II Plan balear: p. 23. subrayado mo).
25
La publicacin de este plan es del ao 1998 y en ella no se hace referencia ninguna a la aprobacin de
este Plan en Consejo de Gobierno ni aparece ninguna fecha de acuerdo sobre el mismo. Simplemente se
menciona que en el seno de la Comisin de Seguimiento para la Igualdad de Oportunidades de las
Mujeres, constituida en Enero de 1996, se ha desarrollado este III Plan... (pag. 7).
26
Al igual que en Baleares, en esta C.A. se ha dado un cambio de partido en el Gobierno en la ltima
legislatura y tambin se ha creado una nueva estructura en 1999, el Instituto Asturiano de la Mujer,
aunque en este caso no es un organismo autnomo, sino un rgano desconcentrado, creado por decreto
y dependiente de la Consejera de Presidencia.
27
La informacin que obtuvimos de la Comisin Interdepartamental en Febrero de 2000 es que no se

haba realizado ninguna evaluacin del II Plan y se estaba a la espera de la creacin del Instituto Balear
de la Mujer. En ese momento ya exista un proyecto de ley aprobado por el Parlamento.
____________________________________________________________________________________
232
______________________________________________________________________
Los mecanismos para el seguimiento y la evaluacin que aparecen en el II Plan
Canario (1997-2000), aunque se relacionan los criterios para el seguimiento de la
implantacin del Plan, estos son poco concretos. Los criterios no estn muy
especificados, los instrumentos de evaluacin que se mencionan son diferentes
estructuras (Consejo asesor del Instituto Canario, Comisin de Igualdad, comisiones
asesoras de rea y movimiento asociativo de mujeres), sin especificar realmente
mecanismos, ni formato ni periodicidad. No se adquiere, adems, ningn compromiso al
respecto.
Se dice que el seguimiento de la implantacin del Plan tiene dos vertientes:
orgnica y factual 1) Desde la orgnica se debe evaluar:
el grado de compromiso de los responsables pblicos y la participacin

de la iniciativa privada y asociativa
la funcionalidad de los acuerdos y convenios alcanzados y su
plasmacin en colaboraciones concretas
la creacin de redes de coordinacin con los recursos ya existentes
la sensibilizacin de los responsables pblicos y la sociedad con las
polticas de igualdad
2) Y en lo que respecta a las realizaciones objetivas se deber evaluar en

trminos de:
participacin y alcance poblacional

colaboracin con otros organismos y entidades en acciones comunes`
conocimiento y diagnstico del medio, los problemas que afectan a las
mujeres y los perfiles que corresponden a cada situacin
grado de integracin en la vida comunitaria y de utilizacin de los
servicios que pueda ofrecer el organismo
utilizacin de la red de recursos por las mujeres y de la demanda de
nuevas acciones o servicios
En el borrador del II Plan Cntabro, no aparece ninguna referencia a la

evaluacin.
En el III Plan de Castilla-La Mancha (1999-2003), se especifica la

coordinacin, seguimiento y evaluacin del plan de forma pormenorizada. En primer
lugar se seala que todo plan exige la existencia de un diseo evaluativo desde la
puesta en marcha y hasta su finalizacin. La evaluacin que se propone combina dos
modalidades: interna y externa que se incorporar en la fase final. Se sealan objetivos
de la evaluacin, caractersticas, qu evaluar, la estructura organizativa y contenido del
Respecto a las caractersticas de la evaluacin, se contemplan tres fases de la
misma: inicial, proceso y final. La evaluacin inicial se identifica con una evaluacin
del contexto y que se plantea est realizada con la evaluacin del Plan anterior. La
evaluacin del proceso se identifica con el seguimiento y la final con una evaluacin de
____________________________________________________________________________________
233
______________________________________________________________________
resultados. Es decir, no parece que se contemple una evaluacin sumativa que tenga por
objeto, adems de los resultados, el propio diseo del plan y su proceso de puesta en
prctica. Ni tampoco que se vayan evaluando resultados de forma peridica y continua.
Respecto a qu evaluar, distinguen entre resultados, que hacen referencia a la
ejecucin de cada actividad (ms en el sentido de productos o outputs) y que son
fundamentalmente de tipo cuantitativo, e impacto en la sociedad, y que se define
como los cambios experimentados globalmente y por grupos destinatarios (ms en el
sentido de efectos o outcomes) y suponen obtener y analizar informaciones de carcter
cualitativo. No encontramos mucho sentido a asignar un carcter cuantitativo a unos y
cualitativo a otros, ya que, tanto uno como otro podran (y deberan) ser contestados con
los dos tipos de informacin. Tambin se menciona el desarrollo, de tipo organizativo y
que incluye la coordinacin, la colaboracin entre entidades, las dificultades
encontradas, la eficacia y la eficiencia resultante. Y por ltimo, la cobertura, que la
entienden de forma amplia ya que se trata, adems de si las actuaciones previstas han
llegado a la poblacin a la que se dirigan, tambin si se han cubierto las necesidades y
demandas a las que se trataba de dar respuesta (este ltimo extremo necesita de
informacin que va mucho ms all de la propia cobertura).
El II Plan castellano manchego tambin propone una estructura organizativa que
se encargue del diseo, puesta en marcha y desarrollo de la evaluacin. Este es uno de
los pocos planes que especifica este aspecto tan importante. Dicha estructura
organizativa ha de coordinar alas actuaciones previstas y la recogida de informacin
sobre sus resultados e implementacin, y organizarse en grupos de trabajo o comisiones
de seguimiento con responsabilidad en las materias propias de cada grupo. Se realiza
una tabla en la que se especifica cada una de las estructuras, con sus objetivos y el
contenido de trabajo de cada uno de ellos. As a la Comisin de Igualdad de
Oportunidades le corresponde, entre otras cosas, el diseo del proyecto de evaluacin, y
se apoya en el Consejo Regional de la Mujer, cuya misin consiste en realizar el
seguimiento y evaluacin de las actuaciones del Plan (a la Comisin de Igualdad le
corresponde el seguimiento y evaluacin de forma global) y que se apoya en la
Comisin Tcnica de Seguimiento, que realiza un asesoramiento ms tcnico y que se
apoya en los grupos de trabajo que son los que hacen una tarea ms ejecutiva,
recogiendo informacin y emitiendo informes.
En el contenido del proceso de evaluacin se propone una tipologa de 12 grandes
tipos de actuacin:
1. Creacin de organismos y centros
2. Estudios/anlisis
3. Elaboracin de materiales
4. Ayudas econmicas
5. Formacin
6. Convenios
7. Campaas -difusin, sensibilizacin, informacin, prevencin,..
8. Actuaciones
9. Redes
10. Programas
11. Infraestructura
12. Equipos
____________________________________________________________________________________
234
______________________________________________________________________
Sobre cada uno de estos tipos se fijan una serie de indicadores mnimos, aunque se
explicita que la fijacin de los mismos est en funcin del objeto de la evaluacin. Para
definirlos se proponen puntos de referencia como los colectivos destinatarios, el tipo de
programa o actuacin, la cooperacin con otras entidades o asociaciones, las estrategias
de desarrollo y el presupuesto.
En el III Plan cataln (1998-2000) se menciona un apartado sobre la evaluacin.

En l, se menciona un seguimiento de su ejecucin o implementacin y una evaluacin
de impacto. El seguimiento se realizar a travs de memorias anuales que recojan el
grado de ejecucin de las acciones, estableciendo las acciones realizadas a trmino, las
fechas de realizacin y el presupuesto de las mismas. Se seala tambin que la
evaluacin del impacto se realizar tanto de forma cuantitativa como cualitativa,
reservndose la cuantitativa para conocer la evolucin positiva o negativa en todos los
campos en los que incide el Plan (pg. 28) y la cualitativa para todo aquello que tiene
que ver con las actitudes, los valores y los estereotipos. A esta evaluacin cualitativa se
le da especial importancia ya que el III Plan est dirigido especialmente a la
sensibilizacin y al establecimiento de un nuevo contrato social entre hombres y
mujeres aunque tambin mencionan que hay que ser conscientes que las medidas
encaminadas a modificar actitudes, conductas, valores y el substrato cultural, tienen
siempre resultados a medio o largo plazo (pg. 29). Se seala que esta evaluacin se
realizara antes de acabar el ao 20001, una vez haya finalizado el perodo de
implementacin y que la metodologa que se emplear ser bsicamente de entrevistas
en profundidad, encuestas de opinin y estudios comparativos.
Aunque en el III Plan madrileo (1997-2000) no se hace ninguna mencin

explcita a su evaluacin, fuentes de la Direccin General de la Mujer de la Comunidad
de Madrid sealan que la evaluacin de este tercer plan se plantea de igual modo a la
evaluacin del II y que es objeto de la metaevaluacin que se plantea en este trabajo.
Curiosamente, aunque la evaluacin del II Plan ha recibido muchas crticas (como
veremos ms adelante, tambin nosotros mantenemos la tesis de que no se trata de una
evaluacin del II Plan, sino de un estudio de la situacin social de la mujer madrilea
durante los aos de vigencia del Plan), la Direccin General de la Mujer no parece
haberse planteado grandes modificaciones al respecto.
En el II Plan de la Regin de Murcia (1997-2000) se contempla un apartado

especfico sobre la evaluacin del Plan (pp. 77-78). En l se explicita que habr una
evaluacin anual y una a la finalizacin del mismo y se establecen algunas condiciones
para un sistema de recogida de informacin que sirva para conocer en cualquier
momento: a) el estado de ejecucin de cada una de las acciones, b) las actuaciones
concretas desarrolladas y c) el modo concreto de ejecucin. Tambin se seala que la
recogida de informacin se har a partir de modelos especficos diseado para cada una
de las acciones, aunque en cualquier caso debern recoger los aspectos de:
identificacin de rea y accin, descripcin de las actuaciones, tiempos empleados,
____________________________________________________________________________________
235
______________________________________________________________________
entidades participantes y sus funciones, presupuesto, colectivo al que va dirigida la
accin y colectivo que realmente ha participado o se ha beneficiado de la misma.
Tambin en el I Plan de actuacin navarro (1998-2000) existe un apartado, por

un lado, de aplicacin y seguimiento del Plan (pp. 68-69), y de evaluacin (p. 70) por
otro. En el apartado de seguimiento y aplicacin se especifica que se har un sistema de
recogida de informacin a travs de una ficha, en la que se dejar constancia, para cada
actuacin, de las actividades ejecutadas, fecha de realizacin y los motivos por los que,
en su caso, no se haya puesto en marcha la actuacin en cuestin. Se seala que la
aplicacin, seguimiento y control del Plan se efectuar a travs de una Comisin de
Seguimiento, en el que estarn representadas los diferentes departamentos
gubernamentales implicados en el Plan, adems de una persona representante del
Consejo Navarro de la Mujer. Tambin se menciona que en el primer trimestre de cada
ao se realizar un informe sobre dicho seguimiento. En el apartado sobre evaluacin,
se dice que el plan se evaluar atendiendo los siguientes puntos de vista: 1)
Evaluacin de objetivos y acciones, analizando el grado de cumplimiento del Plan (se
har mediante el seguimiento antes explicado); 2) Evaluacin de la participacin
institucional, para conocer el grado de participacin de los diferentes organismos
implicados en la ejecucin de las acciones y 3) Opinin de la poblacin destinataria,
mencionando que al finalizar el plan se recogern opiniones de las representantes de la
poblacin destinataria y de los agentes implicados en el mismo, mediante grupos de
discusin y entrevistas. Finalmente, se seala que en el primer trimestre del ao 2001 el
INAM presentar al Gobierno un informe final sobre el seguimiento y evaluacin del
Plan.
Por ltimo, en el II Plan valenciano (1997-2000) no existe ninguna mencin

explcita a su evaluacin, aunque en Junio de 1997 se est pendiente de la firma de un
convenio con la Universidad de Valencia para llevar a cabo un proyecto de evaluacin
del II Plan, convenio del que no hemos recibido informacin posterior28.
Sin entrar en un anlisis profundo de esta tercera generacin de evaluaciones, ya
que no es el objeto de este trabajo, s se puede hacer una valoracin global, y extraer
unas conclusiones de carcter general, que se presentan a continuacin.
Es evidente que una primera conclusin positiva es que en esta tercera generacin
de planes, la evaluacin est mucho ms presente de lo que estaba en las generaciones
anteriores. Salvo en alguna excepcin, prcticamente todos los planes hacen alguna
mencin explcita a su seguimiento y evaluacin. Esta preocupacin por la evaluacin,
adems, acarrea tambin la realizacin de planes ms especficos y realistas, es decir,
ms evaluables; en definitiva, slo el hecho de pensar en trminos de evaluacin, hace
no slo que los objetivos y actuaciones sean ms concretos y realistas, sino tambin que,
28
Informacin extrada de una carta de 25 de Junio de 1997, firmada por la entonces Directora General
de la Mujer de la Generalidad Valenciana (Ester Fonfra), en la que se seala que todava no est firmado
dicho convenio y que nos ser enviado tan pronto est debidamente formalizado.
____________________________________________________________________________________
236
______________________________________________________________________
en general, los planes sean ms tcnicamente ajustados en trminos de presupuestos,
asignacin de responsabilidades y resultados esperados.
Sin embargo, tambin detectamos que muchos de los problemas o debilidades
encontradas en la segunda generacin de evaluaciones (y que se discuten con mayor
profundidad en los captulos siguientes de este trabajo), persisten an en esta tercera
generacin. En general, destacaramos tres:
1) El hecho de que exista un compromiso explcito de evaluacin no asegura que
de hecho se d dicha evaluacin. Este es el caso, por ejemplo, de Asturias y Baleares.
2) Cuando se plantean evaluaciones externas sumativas, se les da un claro carcter
finalista. Es normal que estas se planteen temporalmente al final de los aos de vigencia
del plan a evaluar, pero el hecho que se espere al final para parte de la recopilacin, as
como para el anlisis y la valoracin, no debera implicar que el diseo de esa
evaluacin tambin se deje para el final, como de hecho ocurre en la mayora de los
casos. Este empezar a pensar en la evaluacin al final hace, inevitablemente, que la
potencia y las posibilidades de la evaluacin sea mucho menor, incluso a efectos de
tener pensado un esquema de recopilacin de informacin a lo largo del perodo de
vigencia del plan, lo cual permitira una evaluacin sumativa final de mucha mayor
calidad. Esto puede ser debido, en parte, al hecho de considerar estas evaluaciones
finales con carcter externo; sin embargo, esto no debera ser una razn, ya que se
podra contratar un primer asesoramiento externo al principio del Plan para disear el
estudio de evaluacin que se realizara al final, incluso un pequeo asesoramiento en la
propia recopilacin de informacin, adems de contratar el propio estudio al finalizar el
Plan.
3) Se siguen reflejando problemas de fondo en la concepcin de la evaluacin, y
que vienen dadas por la manera en la que se han concebido y realizado las primeras
experiencias de evaluacin. De la misma manera que se ha comentado la importancia de
estas primeras experiencias por romper el fuego en evaluacin y porque la mejor
manera de avanzar es aprender haciendo, sin embargo, tambin es necesario sealar
que estas primeras experiencias han creado un cierto mimetismo a la hora de plantearse
los procesos de evaluacin. Por ejemplo, se sigue definiendo la evaluacin de los
procesos (o de la implementacin como se denomina en algunos casos) como la simple
evaluacin de los productos (es decir, la comprobacin de que se hace lo que se
pretende hacer), dejando de lado una verdadera evaluacin de procesos en la que se
estudie, por ejemplo, el funcionamiento de la transversalidad y la implicacin de los
diferentes responsables. Otro ejemplo sera cmo se sigue hablando de evaluacin
cuantitativa y de evaluacin cualitativa, distinguiendo falsamente dos tipos de
evaluacin dependiendo de las tcnicas de recopilacin de informacin a utilizar;
cuando, en todo caso, habra que distinguir sobre qu cosas se evalan y no sobre las
tcnicas a evaluar y cuando precisamente la utilizacin dialctica de diferentes
tcnicas es lo que permite enriquecer los procesos de evaluacin. Como veremos ms
adelante, creemos que poner el acento en las tcnicas de recopilacin y anlisis de la
informacin significa que, en cierto modo, falla el paso previo de definir claramente qu
se quiere evaluar y dar entonces y slo entonces, una respuesta tcnica adecuada para
ello. Creemos, por lo tanto, que, a pesar de los indudables avances, algunas de estas
deficiencias o debilidades siguen persistiendo en esta tercera generacin de
evaluaciones.
____________________________________________________________________________________
237
______________________________________________________________________
____________________________________________________________________________________
238
______________________________________________________________________
3. EL MARCO PARA LA METAEVALUACIN: LOS CRITERIOS

PARA EL ANLISIS VALORATIVO DE LAS ONCE
EXPERIENCIAS DE EVALUACIN
Ya se han comentado anteriormente los criterios de seleccin de los casos que

incluimos en esta metaevaluacin: principalmente se trata de un criterio temporal
(evaluaciones realizadas entre 1995 y junio de 1999 y completadas antes de dicha
fecha). Tambin se utiliza un criterio tcnico muy laxo sobre el concepto de evaluacin,
es decir, a no ser que haya sido una experiencia muy puntual y aislada en el tiempo
(como es el caso de la evaluacin del II Plan asturiano), se han incluido como objeto de
la metaevaluacin todas las experiencias que han sido autodenominadas como
evaluacin por parte de sus respectivos organismos responsables.
Esto significa que las experiencias de evaluacin que estudiamos en esta segunda
generacin son muy heterogneas entre s y, esta circunstancia, va a hacer difcil la
comparacin en algunos casos. An as, al ser una metaevaluacin de once procesos de
evaluacin, se da prioridad precisamente a la comparacin entre los casos sobre el
anlisis en profundidad de cada uno de ellos.
Como en toda evaluacin, se pretende especificar para esta metaevaluacin, el
propsito y objetivos de la misma, los criterios de (meta)evaluacin y los instrumentos
para la recopilacin y anlisis de la informacin que se han utilizado. El propsito de la
metaevaluacin es contribuir al estudio de la evaluacin de las polticas pblicas de
igualdad de gnero y los objetivos de la misma son, por un lado, analizar la funcin de
evaluacin en torno a dichas polticas en los niveles autonmico y central en Espaa y,
por otro, proponer alternativas para la mejora de dicha funcin. El objeto de la
metaevaluacin son los procesos de evaluacin en s mismos, no los resultados que
arrojan. Por lo tanto se plantean tres grandes criterios de (meta)evaluacin: 1) Cmo
se han planteado las evaluaciones y cules han sido las estrategias evaluativas
planteadas? Para esto analizamos el contexto evaluativo, la claridad o ambigedad en
los propsitos y las funciones de las evaluaciones, las estructuras institucionales de la
evaluacin, los tipos de evaluacin realizados y los recursos empleados en los procesos
de evaluacin. 2) Cul ha sido el papel de algunos elementos clave en la evaluacin?,
centrndose el estudio en los agentes y los participantes, los momentos y los tiempos,
los criterios e indicadores, as como los procedimientos e instrumentos de recopilacin
y anlisis de la informacin utilizados. Por ltimo, 3) Cul ha sido la utilizacin de las
evaluaciones?, analizando la pertinencia y utilidad de la informacin producida, la
comunicacin de los resultados y el impacto de los resultados de la evaluacin en la
poltica.
A continuacin, se especifican los criterios utilizados en la metaevaluacin. Estos
se organizan en un esquema para el anlisis y la valoracin que, como ya se ha
comentado, se divide en tres grandes partes o dimensiones: el planteamiento de las
evaluaciones, los elementos clave y la utilizacin e impacto de las mismas.
____________________________________________________________________________________
239
______________________________________________________________________
3.1. El planteamiento de la evaluacin y las estrategias planteadas
En el anlisis del planteamiento de una evaluacin, resulta crucial analizar el

contexto evaluativo en el que se generan, ya que sta es una dimensin que ayuda a
entender las respuestas evaluativas. En segundo lugar, se analizan, como parte de dicho
planteamiento, los propsitos de cada uno de los procesos de evaluacin, su claridad y
coherencia con respecto a cmo se plantean dichos procesos. Adems, se estudian el
tipo de estructuras a las que se asigna la funcin de evaluacin. Por ltimo, y en lo que
se refiere a la estrategia general de los procesos de evaluacin, se sealan los tipos de
evaluacin realizados y los recursos empleados en las mismas.
El contexto evaluativo
Existen dos factores clave para entender el contexto en el que se genera esta segunda
generacin de evaluaciones: la generalizacin de los planes de igualdad, reforzados
entre otros factores, por el panorama internacional. Y, en segundo lugar, los cambios
de gobierno en algunas de las comunidades autnomas.29
En el anlisis del contexto evaluativo se tienen en cuenta las siguientes variables:
organismo responsable, tipo y antigedad del mismo; departamento al que est
inscrito dicho organismo; partido en el gobierno en el momento de la evaluacin y
cambios producidos en dicho perodo; si han existido cambios en las responsables de
los organismos de igualdad que han hecho y/o encargado la evaluacin. Por ltimo se
ha tenido en cuenta la historia respecto a los planes y respecto a la evaluacin de los
mismos (es decir, si exista experiencia evaluadora previa).
La claridad en los propsitos y funciones de las evaluaciones

Uno de los factores ms importantes a analizar en cualquier evaluacin es la claridad
o ambigedad del planteamiento de dicha evaluacin a travs de sus propsitos y de
las funciones que se espera cumplan dicha evaluacin. Normalmente estos propsitos
suelen quedar explicitados o bien en pliegos de condiciones tcnicas, si el estudio de
evaluacin sale a concurso pblico, o bien en los proyectos de evaluacin si es por
convenio o adjudicacin directa; tambin suelen explicitarse, o al menos debera
hacerse, en los propios informes de evaluacin.
Las estructuras institucionales de la evaluacin

29
Curiosamente, una vez asumidas las polticas de igualdad de gnero por todos los gobiernos
autonmicos (incluidos los de signo ms conservador, a partir de 1995) como un terreno propio, el
cambio de gobierno en algunas CC.AA. ha resultado, en cierto modo, un factor facilitador de la
evaluacin, ya que las nuevas responsables necesitaban saber y aprehender que es lo que se haba hecho
hasta entonces.
____________________________________________________________________________________
240
______________________________________________________________________
En general, la existencia de un cierto marco institucional facilita la evaluacin. El
marco institucional para la evaluacin de planes de igualdad en Espaa es todava
incipiente, aunque los procesos de evaluacin de dichos planes estn hacindose
crecientemente ms explcitos. En este apartado se analiza cul ha sido el marco
institucional en la segunda generacin de evaluaciones de planes de igualdad. Para
este anlisis del marco institucional se toman en cuenta los siguientes factores: por
un lado, si se menciona y se hace un compromiso explcito de evaluacin en el plan
evaluado y, por otro, el tipo de estructuras creadas alrededor de los organismos o los
planes de igualdad y que tienen alguna responsabilidad en el seguimiento y la
evaluacin de los planes. En tercer lugar, tambin se tiene en cuenta en este anlisis
la estructura funcionarial y tcnica de los organismos especficos de igualdad, ya que
sobre ellos recae el peso ejecutivo de los procesos de evaluacin. Conocer las
dimensiones de la estructura de recursos humanos de estos organismos en el
momento en el que se realizan las evaluaciones analizadas, ofrece una visin ms
completa de las estructuras institucionales que soportan los procesos de evaluacin,
bien sean internos o externos.
Tipos de evaluaciones realizadas

Otro de los posibles anlisis a realizar en cuanto al planteamiento de los procesos
evaluativos es el tipo de evaluacin realizada en cada caso. Aqu se van a utilizar las
cuatro clasificaciones bsicas desarrolladas en el captulo 2 de este trabajo: segn el
papel que se quiere que cumpla la evaluacin (evaluacin formativa vs. sumativa),
segn el contenido o fase de la poltica que se evala (evaluacin de diseo, proceso
y/o resultados), segn el momento en el que se evala (evaluacin ex-ante o postfacto) y segn el agente evaluador (evaluacin interna o externa).
Este criterio de metaevaluacin va a ser el que utilicemos en primer lugar, con el fin
de clasificar las once experiencias metaevaluadas. Por lo tanto, la informacin
recopilada y analizada sobre el mismo, aparece en este captulo nmero cuatro,
previamente a la clasificacin de evaluaciones externas, mixtas e internas.
Recursos empleados en las evaluaciones

Otro factor importante para valorar el planteamiento que se hace de una evaluacin,
es sin duda, los recursos que en ella se invierten, ya sean econmicos o humanos. En
el caso de las evaluaciones externas, resulta fcil la ponderacin de los gastos
directos. Ms difcil es la medicin de los gastos indirectos, sobre todo en los
procesos de evaluacin interna. Tambin en los procesos de evaluacin externa es
interesante medir los gastos indirectos, es decir, el esfuerzo invertido por el
correspondiente organismo de igualdad en la coordinacin con el equipo externo,
ms el tiempo interno empleado en aportar y recoger informacin, as como en
recibir, revisar, ponderar, analizar y procesar los resultados de una evaluacin.
La medicin de estos gastos indirectos es, sin embargo, muy difcil hacerla de
manera fiable si no se ha establecido previamente unos criterios y un sistema para la
____________________________________________________________________________________
241
______________________________________________________________________
recogida de informacin (tiempo empleado por cada trabajador/a en el proceso de
evaluacin) que permita consignar los datos de forma peridica y de una forma
frecuente (como mximo semanalmente), ya que la estimacin del tiempo dedicado a
una tarea a toro pasado es muy subjetiva y depende de muchos factores. Si
existiera personal tcnico dedicado a tiempo completo y exclusivo a la evaluacin es
ms fcil, pero ste no suele ser el caso, ya que la mayora del personal tcnico con
responsabilidades en las tareas de evaluacin en los organismos de igualdad se
dedican, adems, a otras tareas distintas de la evaluacin. Estas son las razones por
las que se ha tenido que renunciar, en este trabajo, a una medicin, que resulte
objetiva y fiable, de los gastos indirectos de las evaluaciones. Simplemente, y segn
cada caso, se harn algunas puntualizaciones de carcter cualitativo a dichos gastos
indirectos.
Con el fin de realizar una ponderacin de los recursos empleados en trminos
relativos, se ha tratado de obtener informacin no slo de los recursos empleados en
los procesos de evaluacin, sino tambin de los recursos empleados en el plan
evaluado as como los presupuestos del organismo de igualdad durante el perodo de
vigencia del plan correspondiente. Esto ofrece una idea relativa del esfuerzo
invertido en los procesos de evaluacin de los planes de igualdad. En este caso
tampoco ha sido posible conseguir la informacin en todos los casos, ya que en
algunos de ellos, ni siquiera haba un presupuesto general del plan evaluado. Sin
embargo, en los casos en los que se han podido obtener dichos datos, los resultados
son de lo ms ilustrativos.
3.2. Los elementos clave de los procesos evaluativos
En este apartado se analizan cuatro elementos clave de los procesos evaluativos.

En primer lugar, se estudian los agentes y participantes en la evaluacin, distinguiendo a
los responsables y agentes de la misma (ya sean internos o externos) y a los diferentes
participantes en las diversas fases del proceso evaluativo. En segundo lugar, se hace un
anlisis de los momentos en los que se plantea y realiza la evaluacin, as como su
duracin y calendario. En tercer lugar, se analizan los criterios de evaluacin utilizados,
as como los indicadores establecidos, sus fuentes y el proceso de establecimiento.
Finalmente, se describen los procedimientos e instrumentos utilizados para la
recopilacin y anlisis de la informacin.
Agentes y participantes en el proceso de evaluacin

En primer lugar, se realiza un anlisis de los equipos tcnicos que han diseado y
ejecutado las evaluaciones. Cuando las evaluaciones son externas, el peso de la
responsabilidad tcnica de las mismas recae sobre equipos externos de evaluacin.
En otros casos, aunque son evaluaciones principalmente internas, en ellas intervienen
tambin otros agentes externos.
____________________________________________________________________________________
242
______________________________________________________________________
Adems de los equipos tcnicos responsables de las evaluaciones, es conveniente
hacer un anlisis de quines han participado, de una forma u otra, en los procesos de
evaluacin. Por participacin en los procesos de evaluacin, entendemos la
participacin activa en alguna de sus fases (diseo del estudio y estrategia evaluativa,
establecimiento de criterios, diseo de instrumentos, recopilacin de informacin,
anlisis de informacin y valoracin y establecimiento de recomendaciones). Es
decir, que por el hecho de preguntar la opinin de determinados colectivos a travs
de una encuesta, una entrevista o un grupo de discusin, no significa participar en el
proceso de evaluacin, sino ofrecer informacin o, mejor, convertirse en informacin
que ser utilizada en dicho proceso sistemtico de evaluacin. Ni siquiera el hecho
de que se pregunte a los agentes que recomendaran ellos/as hacer significa
necesariamente la participacin: que alguien participara realmente en la fase de
valoracin y establecimiento de recomendaciones de una evaluacin implicara que
se le ofreciera toda la informacin sistematizada y analizada y se le pidiera no su
opinin sino una valoracin de dicha informacin y sugerencias a raz de la misma.
Momentos de los procesos de evaluacin

Como se ha visto en el captulo uno de este trabajo, otro de los elementos clave de
cualquier proceso evaluativo es el de los tiempos en los que se produce dicho
proceso. Todas las cuestiones relacionadas con el ajuste temporal de los procesos de
evaluacin al contexto y a los tiempos del programa o poltica evaluada, son
cruciales en la determinacin de la capacidad de respuesta y utilidad de dichos
procesos. Relacionado con este elemento temporal, se analizan cuatro aspectos en
cada una de las evaluaciones estudiadas. En primer lugar, se relaciona el momento
en el que se plantea la evaluacin; para esto, se consigna en qu momento del
perodo de vigencia del plan evaluado se plantea y comienza la evaluacin del
mismo. En segundo lugar, se analiza la duracin de los procesos de evaluacin
desde su inicio hasta la entrega del informe final. En tercer lugar, se consigna cunto
tiempo pasa entre la finalizacin del perodo de vigencia del plan y la entrega
del informe final y, por ltimo, se analizan los retrasos sobre el calendario inicial
de los procesos de evaluacin.
Criterios e indicadores de evaluacin: fuentes y proceso de

establecimiento
El contenido de las evaluaciones, es decir, el QUE se evala, se concreta a travs de
los criterios e indicadores de evaluacin que representan las variables estudiadas y la
base lgica en la que se fundamentan los juicios de valor que se establecen
posteriormente en el proceso de evaluacin. Como se ver ms adelante, en la
prctica totalidad de las experiencias de evaluacin analizadas, es muy dbil la
fundamentacin de la concreta eleccin y definicin de los criterios e indicadores
utilizados. Aunque lo adecuado sera analizar cuestiones tales como cul es el sentido
de elegir los criterios, su explicacin y definicin y la justificacin de por qu se
eligen esos y no otros, este tipo de informacin no suelen aparecer en los informes de
____________________________________________________________________________________
243
______________________________________________________________________
evaluacin, y nos ha resultado difcil conseguirla. En muchos casos, se obtiene la
informacin sobre los criterios de evaluacin, a travs de las especificaciones
tcnicas de las tcnicas de recopilacin y anlisis utilizadas o a travs de los propios
resultados de evaluacin.
Procedimientos y metodologa empleada respecto a instrumentos y

tcnicas de recopilacin y anlisis de la informacin
En este apartado, hacemos un anlisis de los procedimientos utilizados para la
recopilacin y anlisis de la informacin. De forma similar a lo que ocurre con los
criterios de evaluacin, los procedimientos utilizados no suelen estar profusamente
fundamentados; es decir, difcilmente encontramos una justificacin de por qu se
elige dicho instrumento y no otro. S encontramos, en algunos casos,
especificaciones detalladas sobre los instrumentos en s: estas especificaciones, sin
embargo, son siempre de carcter tcnico y versan sobre las caractersticas
intrnsecas de dichos instrumentos, no tanto sobre su vala o adecuacin para la
situacin concreta en la que se aplica.
3.3. La utilizacin de los procesos evaluativos
La verdadera utilizacin de los procesos evaluativos requerira de una

investigacin propia, de corte longitudinal, y que estudiara los factores de utilizacin a
largo plazo, es decir, desde que se entrega el informe de evaluacin y al menos durante
los cinco aos siguientes, algo que excede de la investigacin aqu planteada. Como ya
se comentaba en el captulo 1 de esta tesis doctoral, el concepto de uso y utilizacin de
la evaluacin se ha ido ampliando en los ltimos aos: no siempre la utilizacin de los
resultados es tan inmediata y directa -nada ms entregar el informe de evaluacin-. Por
lo tanto, se puede concebir la utilizacin de la evaluacin no slo para una concreta
toma de decisiones, sino tambin para un aprendizaje organizativo ms difuso. Adems
de la utilizacin de los resultados de una evaluacin, pueden tambin utilizarse los
propios procesos de evaluacin, haciendo que las organizaciones desarrollen su funcin
de evaluacin, una cultura evaluativa y un know how en evaluacin, incluyendo la
capacidad de respuesta ante diferentes situaciones evaluativas, la metodologa y los
procedimientos de evaluacin, as como la propia utilizacin de resultados y el
aprendizaje para situaciones futuras. El propio hecho de estar evaluando, haciendo a las
organizaciones protagonistas y conscientes de su propio quehacer, parece tener efectos
positivos en s mismos.
A pesar de las limitaciones de abordar esta dimensin de la utilizacin en el marco
de esta investigacin, se introducen como aspectos a estudiar en la metaevaluacin
realizada, la pertinencia y utilidad de la informacin producida por las experiencias de
evaluacin, la comunicacin de los resultados y los destinatarios de la misma y,
finalmente, el propio impacto de los resultados y los procesos de evaluacin. Es decir,
____________________________________________________________________________________
244
______________________________________________________________________
con la visin amplia sobre el uso y la utilizacin de la evaluacin anteriormente
mencionada, se pretende extraer la informacin existente -en algunos casos, muy
limitada- en primer lugar, sobre el contenido de los estudios de evaluacin y su
pertinencia y utilidad, haciendo una valoracin general por nuestra parte y recurriendo a
las propias opiniones de las responsables polticas de los organismos de igualdad; en
segundo lugar, sobre la forma en la que el estudio de evaluacin y sus resultados se han
comunicado y difundido posteriormente y, en tercero, sobre el impacto que han causado,
especialmente si se han modificado cosas en el siguiente plan como consecuencia de la
evaluacin o se ha generado una cierta cultura evaluativa por la realizacin del estudio.
Pertinencia y utilidad de la informacin producida

En este apartado se realizan dos tipos de anlisis: en primer lugar, se hace una
valoracin general sobre la pertinencia de los contenidos del estudio para el plan
evaluado, para el organismo de igualdad protagonista y para la situacin evaluativa
concreta. Esta valoracin sobre la pertinencia de la informacin (y que es el primer
aspecto a tener en cuenta de la potencial utilidad de la evaluacin) se hace teniendo
en cuenta, sobre todo, dos factores: el alcance de la informacin (es decir, si se ha
recopilado, tratado y analizado la informacin suficiente) y la globalidad de la misma
(es decir, si permite hacer una valoracin global del plan o slo de aspectos concretos
sobre el mismo). Tambin se tienen en cuenta las opiniones vertidas por las
responsables polticas entrevistadas sobre este aspecto.
En segundo lugar, se estudia el grado de anlisis y elaboracin de conclusiones y
la existencia y la calidad de recomendaciones en los informes de evaluacin,
como resultado de la misma: en definitiva, se analiza el grado de traduccin
prctica y aplicabilidad de los procesos de evaluacin, como condicin
facilitadora (y casi nos atreveramos a decir que necesaria) para su utilidad. Ya se
coment en el captulo 1 de esta tesis doctoral la importancia de las recomendaciones
en los procesos de evaluacin, no slo como cuarto nivel de anlisis (despus de los
resultados, sus interpretaciones y las valoraciones) sino tambin como vinculacin
formal entre la evaluacin y su uso. Las recomendaciones, en una evaluacin
sistemtica, nacen de los tres niveles anteriores y representan la verdadera
orientacin a la accin de los estudios de evaluacin. Resulta evidente, pues, que un
estudio de evaluacin que resulta en una serie de recomendaciones cuidadosamente
seleccionadas y rigurosamente extradas del proceso sistemtico de evaluacin, tiene
mayores probabilidades de ser una evaluacin til y utilizada.
Comunicacin de los resultados y destinatarios de los mismos

En este apartado se pretende analizar el proceso de comunicacin de la evaluacin,
como otro elemento clave para la utilidad y utilizacin de la misma. Uno de los
primeros elementos a analizar es el informe(s) de evaluacin, en qu consisten, lo
que reflejan del proceso de estudio llevado a cabo y cun completos son. Se parte de
____________________________________________________________________________________
245
______________________________________________________________________
la base de que un buen informe30 de evaluacin debe explicitar los propsitos del
estudio, describir el contexto del plan evaluado y la situacin evaluativa concreta,
relatar la metodologa de evaluacin (en la que se incluyan, adems de las
especificaciones tcnicas de los instrumentos y tcnicas utilizadas para la
recopilacin y el anlisis de la informacin, una explicacin de la estrategia
evaluativa general, el modo en el que se han establecido los criterios de evaluacin,
los propios criterios de evaluacin, las estructuras y foros que se han utilizado para la
recopilacin y cmo se han establecido las valoraciones y recomendaciones).
Otros aspectos a tener en cuenta en este apartado son la difusin que se ha hecho de
los informes de evaluacin, quines han sido los destinatarios de dicha difusin y su
calendario. Adems de la calidad del producto final del proceso de evaluacin -el
informe- hay que valorar la difusin que se le da, como otra condicin para su uso y
utilidad. Es necesario saber si se han difundido dichos informes, a travs de qu
instrumentos (reuniones, jornadas, publicacin) y quines han sido sus destinatarios
principales. En algunos casos, el simple hecho del calendario de la evaluacin puede
dificultar enormemente la utilizacin de la evaluacin, al menos su uso instrumental
para la mejora del plan siguiente.
El impacto de los resultados y los procesos de evaluacin en la poltica y

en los organismos de igualdad
El ltimo criterio a tener en cuenta para valorar las experiencias de evaluacin
analizadas es el impacto que han tenido dichas experiencias, tanto en los propios
planes y polticas de igualdad de gnero, como en los organismos de igualdad
impulsores de dichas polticas. Para valorar su impacto debemos tener en cuenta las
consecuencias que las experiencias de evaluacin tienen para las polticas y para los
organismos de igualdad que las propician. Sin embargo, compartimos la idea de
Scriven de creer que las evaluaciones no deben ser evaluadas en trminos de sus
consecuencias reales (excepto por un historiador), sino slo en trminos de sus
consecuencias previsibles si se usan apropiadamente (Scriven, 1988: 230). Entre
otras cosas, para valorar las consecuencias reales de una evaluacin habra que dejar
pasar el suficiente tiempo para consignar las posibles consecuencias de dicha
evaluacin tambin a medio y largo plazo. Por lo tanto, el concepto de impacto de las
evaluaciones est inextricablemente unido al de uso; el impacto de las evaluaciones
depende del uso que se haga de ellas.
Adoptando una visin amplia de la utilizacin de la evaluacin, recordamos los
cuatro tipos de uso de los que habla Carol Weiss (Weiss, 1998b: 23-24): uso
instrumental (utilizando la evaluacin para tomar decisiones), conceptual (utilizando
la evaluacin para cambiar la comprensin de lo que el programa o plan es, hace o
pretende), persuasivo (sirviendo para movilizar apoyos para conseguir cambios
necesitados en el programa), y por ltimo, un uso que influye en otras instituciones,
30
La norma U5 (Claridad del informe) del Joint Committee dice que Los informes de evaluacin deben
describir claramente el programa que est siendo evaluado, incluyendo su contexto, y los propsitos,
procedimientos y resultados de la evaluacin, de manera que se ofrezca informacin esencial y fcilmente
comprensible (Joint Committee 94: 49).
____________________________________________________________________________________
246
______________________________________________________________________
ms all del programa o poltica evaluada (influyendo en las redes de poltica o
policy networks de programas similares, en los profesionales relacionados con el
problema que se aborde e incluso en los paradigmas de polticas y las agendas
polticas). As, aplicando estos cuatro usos al caso de las polticas de igualdad de
gnero, deberamos buscar el impacto de la evaluacin no slo en su uso
instrumental, para la propia toma de decisiones sobre los planes evaluados, sino
tambin en el uso conceptual, analizando si las evaluaciones realizadas han tenido
algn tipo de impacto en lo que se refiere a una mayor comprensin sobre los planes
y las polticas de igualdad. Adems, se debera ver si la evaluacin ha servido para
movilizar apoyos para el plan (uso persuasivo) y si sta influye en otras instituciones,
en las redes de poltica (policy networks) o en la propia agenda de gobierno.
Pero, adems de en los usos de los resultados de la evaluacin, aqu se pretende
analizar especialmente los usos de los procesos de evaluacin, sirviendo stos para
introducir una cultura y una metodologa de evaluacin y para generar una mayor
comprensin de la intervencin pblica en general, adems de una mayor consciencia
sobre cmo se abordan los problemas pblicos31.
En este sentido, seguimos a Torres, Preskill y Piontek (1996: 2) cuando definen el
uso de la evaluacin como cualquier consecuencia o resultados de una evaluacin y
que incluye, al menos:
1) Los efectos de los mismos procesos de evaluacin, incluida una mayor
comprensin y apreciacin de la evaluacin. Tambin podran incluirse, entre
estos efectos, el fortalecimiento o institucionalizacin de la funcin de evaluacin,
tanto en los propios planes, como en las instituciones que los impulsan -los
organismos de igualdad-; asimismo, el aprendizaje sobre dicha funcin de
evaluacin, es decir, que por efecto de la evaluacin, se hayan aprendido a evaluar
mejor los planes de igualdad.
2) Una mayor comprensin o nuevas perspectivas en una situacin, programa
u organizacin. Es evidente que la reflexin sobre los planes que, en algunos
casos, proporcionan las evaluaciones ayudan a tener una visin ms global,
consciente y profunda de lo que se est haciendo y cules son las principales
dificultades y fortalezas de las polticas de igualdad.
3) Las acciones que se llevan a cabo como resultado de la evaluacin. Adems
de buscar informacin sobre si se han modificado contenidos o estrategias, tanto
globalmente (por ejemplo, dar ms peso a un tipo de acciones que a otras) como
en el nivel concreto de cada actuacin (modificando cualquier aspecto de cada
actuacin o actividad a realizar), debido a los resultados de la evaluacin, se
deben buscar, adems, otro tipo de acciones. Por ejemplo, aquellas que tienen ms
que ver con la propia estructuracin del plan (concretar ms las acciones,
asignarles una delimitacin temporal y unos responsables concretos para su
31
Nuestra insistencia tiene que ver con que, en general, la utilidad de los procesos de evaluacin
analizados en nuestra metaevaluacin (aunque en muchos de los casos tampoco sta ha sido muy alta) se
encuentra ms en este segundo aspecto que en el uso instrumental y directo de los resultados concretos de
los estudios de evaluacin que, en realidad, ha sido muy bajo en la mayor parte de los casos, como se
ver en el anlisis de cada una de las experiencias.
____________________________________________________________________________________
247
______________________________________________________________________
ejecucin) o con su posterior evaluacin (adquirir compromisos, aunque stos
siendo muy generales, respecto a la misma en los subsiguientes planes),
En definitiva, se trata de consignar algn indicio o rastro de utilizacin en estos
tres sentidos para poder dar algo de luz sobre este aspecto, aunque se debe reconocer
que el estudio del impacto de las experiencias de evaluacin requerira de una
investigacin especfica que va ms all de los objetivos y posibilidades de este
trabajo que aqu se presenta.
Una vez expuestos los criterios para el anlisis y valoracin de las once
experiencias de evaluacin, recordamos aqu que las tcnicas que se utilizaron para la
recopilacin y el anlisis de la informacin son la recopilacin y anlisis documental
(esencialmente los propios planes, informes de evaluacin, as como otra
documentacin relacionada -proyectos, pliegos de condiciones tcnicas, fichas y
registros, etc.-, y las entrevistas abiertas semiestructuradas realizadas a las responsables
de los organismos de igualdad. Mucha de la informacin fue completada y contrastadas
a travs de las entrevistas estructuradas personales y telefnicas realizadas a los y las
responsables tcnicos/as de la evaluacin en los correspondientes organismos de
igualdad.
La exposicin de la informacin de las once experiencias de evaluacin se hace a
lo largo de los prximos tres captulos (cinco, seis y siete), utilizando las tres grandes
dimensiones a travs de las que se han organizado los criterios de metaevaluacin
(planteamiento de las evaluaciones, elementos clave y utilizacin de los procesos de
evaluacin).
____________________________________________________________________________________
248
______________________________________________________________________
CAPITULO 5
EL PLANTEAMIENTO GENERAL DE LOS PROCESOS DE
EVALUACIN: TIPOS, CONTEXTO, PROPSITOS,
ESTRUCTURAS Y RECURSOS
INTRODUCCIN
A lo largo de ste y de los dos siguientes captulos se desarrolla una descripcin

pormenorizada de los procesos de evaluacin llevados a cabo para valorar la segunda
generacin de planes de igualdad autonmicos y estatales en Espaa. Este captulo
cinco se centra en el planteamiento general de dichas evaluaciones, destacando cinco
dimensiones de dicho planteamiento: los tipos de evaluacin realizados, el contexto que
rodea la situacin y el proceso de evaluacin, los propsitos y objetivos de dichos
procesos, las estructuras institucionales existentes y utilizadas para la evaluacin, as
como los recursos invertidos en la misma.
Con el fin de ordenar la exposicin de la informacin de las once experiencias
metaevaluadas se utiliz, adems del esquema propuesto de criterios de evaluacin expuesto en el captulo anterior-, la clasificacin o tipologa segn el agente evaluador.
La eleccin de esta tipologa es debida a que creemos que es la que marca mayores
diferencias entre las experiencias de evaluacin estudiadas. De esta manera, se
clasificaron las once experiencias en evaluaciones externas, evaluaciones mixtas y
evaluaciones internas.
Para fundamentar la eleccin de este criterio de clasificacin, el primer punto que
se desarrolla en el presente captulo es la descripcin de los diferentes tipos de
evaluacin utilizados en las once experiencias metaevaluadas. Se describen los tipos de
evaluacin utilizados segn las cuatro tipologas bsicas de evaluacin sealadas en el
captulo dos: segn el papel que cumple la evaluacin -evaluacin formativa o
sumativa-, segn el contenido o fase del programa o poltica -diseo, proceso y/o
resultados-, segn el momento en el que se evala -evaluacin ex-ante o ex-postfacto-, y
segn el agente evaluador -evaluaciones internas o externas-.
Una vez definido y fundamentado el criterio de clasificacin escogido, se plantea
la informacin en las restantes dimensiones relacionadas con el planteamiento de las
evaluaciones: contexto, propsitos, estructuras institucionales y, finalmente, recursos
invertidos en las mismas. Para cada una de estas dimensiones, adems de ofrecer un
primer panorama general, se describen ms pormenorizadamente cada una de las
experiencias metaevaluadas, utilizando siempre el criterio de clasificacin segn el
agente evaluador -evaluaciones externas, evaluaciones mixtas y evaluaciones internas-.
____________________________________________________________________________________
Captulo 5. El planteamiento general de los procesos de evaluacin
249
______________________________________________________________________
El anlisis de los contextos en los que se generan los procesos de evaluacin
puede ofrecer claves sobre el tipo de respuesta evaluativa seleccionada en cada
administracin pblica. Dentro de la dimensin del contexto evaluativo se
contemplaron la antigedad y la fortaleza del organismo de igualdad responsable, as
como su adscripcin a determinadas reas gubernamentales, el partido poltico
gobernante en el momento en el que se encarg, realiz y entreg la evaluacin, la
estabilidad y continuidad de las responsables de los organismos de igualdad, adems de
la existencia de experiencias previas en evaluacin.
En segundo lugar, se analizan los propsitos de las evaluaciones y su claridad
explcita o ausencia de la misma. As, el estudio de las razones de la evaluacin (tanto
explcitas como implcitas) ayudar a entender el papel que la funcin de evaluacin
cumple en cada una de las instituciones que propician y ejecutan la evaluacin y, en
general, en las polticas pblicas de igualdad de gnero. Las dos cuestiones que se
tuvieron en cuenta en el anlisis de estos propsitos u objetivos de los estudios de
evaluacin fueron su grado de claridad y explicitacin, as como el grado de ambicin
en su planteamiento.
En tercer lugar, se describen las estructuras institucionales que permitieron,
fomentaron y apoyaron la evaluacin, es decir, cmo la evaluacin se organiz
institucionalmente. Una primera dimensin que se analiza al respecto es si exista o no
previamente la mencin explcita a su evaluacin en el Plan aprobado; as vemos que,
en esta segunda generacin de evaluaciones, las menciones explcitas eran todava
pocas. Tambin se analizan los tipos de estructuras que, en torno a los organismos
especficos de igualdad, tenan alguna responsabilidad en el seguimiento y evaluacin
de los planes, bien sean los propios Consejos Rectores de los Institutos, estructuras adhoc para el seguimiento y evaluacin de los planes u otras estructuras no especficas.
Tambin se seala, en este apartado, si los Consejos Regionales u otras estructuras de
participacin social tuvieron alguna implicacin en los procesos de evaluacin, as
como si exista alguna vinculacin u obligacin formal con el poder legislativo,
relacionada con la evaluacin de los planes o los organismos de igualdad.
Por ltimo, se expone un panorama general de los recursos econmicos, tcnicos
y humanos empleados en las evaluaciones objeto de estudio; esto ltimo puede resultar
un indicador especialmente interesante del papel que la evaluacin cumple en el
proceso general de las polticas pblicas de igualdad de gnero. Aunque result
prcticamente imposible obtener datos fiables de las dimensiones que se habamos
establecido previamente (costes indirectos de la evaluacin, presupuestos de los planes
y de los organismos de igualdad), se realizaron estimaciones y descripciones generales
de cada una de las experiencias metaevaluadas.
____________________________________________________________________________________
250
______________________________________________________________________
1. TIPOS DE EVALUACION REALIZADOS
Uno de los aspectos ms importantes del planteamiento de una evaluacin es el

tipo de evaluacin que se escoge para responder ante una determinada situacin
evaluativa. La situacin evaluativa, en sus aspectos del contexto que rodea la situacin,
las estructuras y los recursos existentes para la evaluacin, as como los propsitos que
se plantean con dicha evaluacin, se analiza en el punto siguiente de este captulo.
La idea de comenzar analizando los tipos de evaluacin realizados responde a una
necesidad de clasificacin de las once experiencias a metaevaluar. Esta clasificacin,
adems de ser uno de los puntos clave de anlisis, nos permite un segundo criterio para
la exposicin de la informacin de las once experiencias. Es decir, adems de exponer
la informacin segn las tres grandes dimensiones previamente expuestas planteamiento (captulo cinco), elementos clave (captulo seis) y utilizacin (captulo
siete)-, se utiliza tambin un criterio de clasificacin -evaluaciones externas o internassegn el agente que realiza la evaluacin. A continuacin se fundamenta tal eleccin.
1.1. Un primer anlisis de las once experiencias segn los tipos de

evaluacin realizados
Uno de los criterios para la metaevaluacin, mencionados en el punto anterior

(punto A.c.), es el tipo de evaluacin realizado. Este criterio se utiliza en este apartado y
en este captulo para establecer una primera diferenciacin que nos permita clasificar
las experiencias de evaluacin, con el fin de exponer los resultados de una forma
coherente y ordenada.
Como ya se ha comentado, aqu se van a utilizar cuatro clasificaciones bsicas:
segn el papel que se quiere que cumpla la evaluacin (evaluacin formativa vs.
sumativa), segn el contenido o fase de la poltica que se evala (evaluacin de diseo,
proceso y/o resultados), segn el momento en el que se evala (evaluacin ex-ante o
post-facto) y segn el agente evaluador (evaluacin interna o externa). En la tabla 5.0 se
ofrece una visin general, aunque resulta conveniente realizar algunas matizaciones.
____________________________________________________________________________________
251
______________________________________________________________________
TABLA 5.0: TIPOS DE EVALUACION

SEGUNDA GENERACION DE EVALUACIONES
Segn el papel
que cumple la
evaluacin
Segn el
contenido o
fase
Segn el
momento
Segn el
agente
evaluador
Instituto Mujer
II (93-95)
Sumativa
Proceso y
Resultados
Post-facto
Mixta
Diseo interno,
parte ejecucin
externa
Andaluca
II (95-97)
Sumativa
Diseo,
Proceso y
Resultados
Post-facto
Externa
Aragn
I (94-96)
Formativa/
Sumativa
Proceso y
Resultados
Post-facto
Interna
Canarias
I (95-96)
Sumativa
Proceso y
Resultados
Post-facto
Externa
Castilla-La
Mancha
II (95-99)
Sumativa
Diseo,
Proceso y
Resultados
Post-facto
Externa
Castilla y Len
I (94-96)
Sumativa
Resultados
Post-facto
Externa
Catalua
II (94-96)
Sumativa
Diseo,
Proceso y
Resultados
Post-facto
Mixta
Diseo con
asesora externa,
ejecucin interna
Galicia
II (95-97)
Sumativa
Diseo,
Proceso y
Resultados
Post-facto
Externa
Madrid
II (93-95)
Sumativa
Proceso y
Resultados
Post-facto
Externa
La Rioja
II (96-99)
Formativa/
Sumativa
Proceso y
Resultados
Post-facto
Interna
Pas Vasco
II (96-2000)
Formativa/
Sumativa
Diseo,
Proceso y
Resultados
Post-facto
Mixta
Diseo con
asesora externa,
ejecucin interna
____________________________________________________________________________________
252
______________________________________________________________________
En primer lugar, y referente a la clasificacin segn el papel que se quiere que

cumpla la evaluacin, todas las evaluaciones realizadas tienen carcter sumativo, salvo
la evaluacin del I Plan aragons y las del II PAPME vasco y II Plan riojano, cuyo
carcter, en cierto modo, podra ser considerado como formativo. En el caso aragons,
el carcter formativo lo da la intencin de realizar la evaluacin para, sobre la misma
marcha, establecer las prioridades del Plan para el ao 1996. En el caso vasco (y de
forma similar a lo que ocurre en La Rioja), el carcter formativo viene dado por el
hecho de que la Comisin Interdepartamental debe realizar un primer informe de
seguimiento al finalizar el primer trimestre de cada ao, junto con una valoracin en
torno a la consecucin de los objetivos previstos en el Plan. En buena lgica, dicha
valoracin se hace para rectificar lo que todava sea posible para dicho ao. Tambin las
memorias que cada ao Emakunde presenta al Parlamento tienen un cierto carcter
formativo respecto al Plan, ya que permite modificar cosas ao a ao, aunque creemos
que en realidad su origen es ms sumativo ya que hace hincapi en la funcin de
rendimiento de cuentas y en hacer recapitulacin de cada ao.
Efectivamente, el hecho de recopilar informacin desde un principio y con
carcter continuado no tiene por qu implicar necesariamente una evaluacin formativa.
En La Rioja, en la que tambin se plantean memorias anuales y en la que la evaluacin
tiene un carcter continuo, y desde el inicio del Plan, sta tiene un carcter tambin ms
sumativo que formativo. Respecto a la evaluacin de objetivos y acciones, se dice en el
(II) Plan Integral de las Mujeres de La Rioja que el objetivo de este tipo de evaluacin
es el anlisis del grado de cumplimiento del Plan, es decir, en qu medida se han llevado
a cabo o no las acciones propuestas. Y sigue, se efectuar un seguimiento del Plan
mediante la recogida de informacin continuada, a modo de memoria, de las medidas o
acciones realizadas (subrayado mo). El tiempo pasado del verbo y la idea de ir
guardando los datos recogidos a modo de memoria para su posterior evaluacin, nos
indica una intencin ms sumativa que formativa. Con la evaluacin de la participacin
institucional se seala que se ir recogiendo la informacin, analizando la evolucin de
su grado de implicacin en el Plan durante su perodo de vigencia. El anlisis de la
evolucin requiere haber recogido informacin durante todo el perodo de vigencia para
tener datos suficientes para valorar dicha evolucin. La evaluacin tendra carcter
formativo si se insistiera en la intencin de ir recogiendo informacin para ir evaluando
y, por lo tanto, ajustando el Plan sobre la marcha, durante el mismo proceso de
ejecucin. Se tratara de utilizar la evaluacin como un instrumento de conformacin y
ajuste del propio Plan, no como recapitulacin para obtener informacin til para el
rendimiento de cuentas y para mejorar los planes futuros.
Respecto a la clasificacin segn el contenido o la fase de la poltica que se

evala, es conveniente hacer una serie de puntualizaciones para cada categora y cada
proceso evaluador realizado.
En general, si se observa la tabla 5.0, se ve que se ha hecho muy poca evaluacin
de diseo. Hacer este tipo de evaluacin implica valorar el Plan en su conjunto,
incluyendo una valoracin de su fundamentacin, objetivos, coherencia interna, nivel de
concrecin, estrategias y metodologas empleadas para su formulacin e implantacin,
____________________________________________________________________________________
253
______________________________________________________________________
etc. Slo en dos comunidades autnomas se plantean este tipo de evaluacin de
forma explcita: Andaluca y Castilla-La Mancha. De estas dos evaluaciones la ms
completa, es decir la que se plantea ms parmetros del diseo, es la de Andaluca, ya
que adems de plantearse la coherencia y concrecin de cada uno de los objetivos
(como se hace en Castilla-La Mancha), se analiza y valora el diseo del Plan en su
conjunto, incluyendo el concepto de igualdad al que se est respondiendo. Aunque no
sea de forma tan explcita ni completa, tanto Catalua como Galicia y el Pas Vasco
hacen tambin parte de este tipo de evaluacin, ya que analizan el Plan en su globalidad
y recogen informacin y valoran los tipos de actividad finalmente realizados y
ejecutados. Esto arroja una informacin que permite la reflexin y valoracin sobre a
qu tipo de actividades se les est dando mayor peso, incluso a qu personas
destinatarias llega mejor o peor la actuacin de los poderes pblicos. Y parte de esta
reflexin puede ser sobre el propio diseo de los planes.
Respecto a la evaluacin de proceso vemos que todas las evaluaciones, con la
excepcin de Castilla y Len, han incluido algn tipo de evaluacin de proceso y esto es
debido, sobre todo, al anlisis del grado de cumplimiento de las acciones que se
realiza en casi todas las evaluaciones. En algunos casos (como en la evaluacin del II
plan nacional -a partir de ahora denominada del Instituto de la Mujer -IM-, y como la
de Andaluca), es denominada evaluacin de la implementacin, que viene a ser la
evaluacin de la ejecucin del Plan. Efectivamente, la evaluacin de proceso es la que
valora el proceso de puesta en prctica del plan, incluido el proceso de progresin en la
ejecucin de las acciones, el ajuste al calendario, si se llega a las personas destinatarias
previstas, las dificultades que se presentan en dicho proceso (problemas de informacin,
tiempo o desplazamientos, Ballart, 1992: 110-111) y todo lo referente al funcionamiento
de dicha puesta en prctica incluyendo, sobre todo, los procesos de coordinacin con
otros departamentos y entidades. Todo lo referente al funcionamiento de los diferentes
foros y comisiones tiene especial inters en una evaluacin de proceso de los planes de
igualdad. En la mayora de las evaluaciones analizadas, el grado de cumplimiento de las
acciones se refiere a la comprobacin de que las acciones propuestas se han ejecutado.
Si esto se queda slo en eso, sera ms bien una muy simple evaluacin de producto
(resultados); pero si tambin se recoge qu acciones se han ido ejecutando en qu
momentos del perodo de vigencia del Plan, entonces eso permite una cierta evaluacin
de proceso. Lo mismo ocurre con la participacin de las diferentes instituciones a lo
largo del proceso o con los colectivos destinatarios: estudiando el grado de cobertura, el
sesgo en la poblacin servida y la tasa de abandonos (Ballart, 1992: 108-109). En algn
caso, como en la evaluacin de la implementacin del IM, adems del grado de
cumplimiento, recogen informacin sobre cmo se ha ejecutado el Plan refirindose
exclusivamente a una descripcin detallada de las diferentes actividades puestas en
marcha en su ejecucin. Las evaluaciones de proceso ms completas, como se ver en
ms detalle cuando analicemos los criterios de evaluacin utilizados, son las realizadas
en Andaluca, Castilla-La Mancha, La Rioja y Pas Vasco; tambin, en cierto modo,
Galicia, ya que ofrece explcitamente datos de la evolucin de las actividades realizadas
por ao. An as, han existido algunas limitaciones para estas evaluaciones de proceso;
en general, hay muchas ms probabilidades de obtener buena informacin de proceso si
se recoge la informacin de forma continuada y desde un principio y esto, como se ver
en la prxima clasificacin, es algo en lo que han fallado la mayora de las evaluaciones
analizadas.
____________________________________________________________________________________
254
______________________________________________________________________
La evaluacin de resultados puede dividirse en la evaluacin de outputs o
productos y de outcomes o efectos. Parece especialmente conveniente hacer esta
distincin para estudiar la evaluacin de resultados que se ha realizado en las
evaluaciones objeto de nuestro anlisis.
Una cierta evaluacin de outputs o productos se realiza en todos los procesos
evaluativos estudiados, aunque en el caso de Castilla y Len esta evaluacin es
prcticamente simblica respecto a otros datos de resultados que se ofrecen. En cierto
modo, y como se ha mencionado anteriormente, el anlisis del grado de cumplimiento
del Plan, podra ser considerado ms bien como una evaluacin de outputs, de lo que se
ha hecho o generado por la puesta en marcha del Plan, es decir, de lo que ha producido.
Saber que se han hecho tales actividades, de las que finalmente se ha beneficiado tal
gente, que se han hecho tales materiales o campaas, etc. es, en realidad, una evaluacin
de los productos del Plan. En este sentido, todas las evaluaciones han contemplado los
resultados de los planes. Otra cosa es que en algunos casos se limite simplemente a
constatar que dichas actividades han ocurrido o se han ejecutado. Insistimos en que, en
realidad, muchas de las evaluaciones denominadas de proceso o de implementacin son
ms evaluaciones de productos finales (qu se ha hecho finalmente, quines han
colaborado o participado) que del proceso de puesta en prctica y funcionamiento del
Plan en general y de las medidas en particular (cul ha sido el proceso por el cual se han
transformado los inputs en los resultados previstos). La nica experiencia de evaluacin
en la que se reconoce este tipo de evaluacin como evaluacin de productos
(resultados) es la de Castilla-La Mancha, en la que se habla de memoria o mapa de
resultados.
La evaluacin de la calidad de dichos productos es mucho menos comn, entre
otras cosas, porque como se ver ms adelante, no estn definidos los criterios de
calidad de las actuaciones. Por ejemplo, en un curso de formacin, adems de saber
cuntas mujeres han pasado y de cuntas horas ha constado, habra que aplicar criterios
de calidad del producto formativo en s mismo: por ejemplo diseo coherente y
adecuado a las destinatarias, objetivos realistas, buena organizacin, buen profesorado y
metodologa didctica (y de cada uno de stos habra que definir que es una buena
organizacin y un buen profesor y metodologa), material suficiente y de calidad, grado
de satisfaccin del alumnado, etc. El proyecto de evaluacin de la implementacin de
Andaluca contemplaba la evaluacin de calidad, definindola como el grado en el que
se han cumplido los atributos que definen la calidad de la actividad en relacin con unos
estndares de calidad establecidos. Tambin las evaluaciones de Catalua, Galicia y
Pas Vasco son algo ms completas respecto a la evaluacin de outputs.
Por ltimo, y como parte de la evaluacin de resultados, estara la evaluacin de
outcomes, es decir de los efectos o impacto1 del plan. En todas las evaluaciones se
entiende como efectos sobre la poblacin destinataria, aunque sta es, por lo general,
muy variada y amplia (a veces y para determinadas actuaciones de los Planes la
poblacin destinataria es la poblacin en general, como por ejemplo, de una campaa de
1
Algunos autores, como Alvira (1991) distinguen entre evaluacin de resultados, que seran los efectos
sobre la poblacin destinataria, y evaluacin de impacto, que seran los efectos de un programa sobre la
sociedad en general. Aqu, se prefiere hablar de efectos (o impactos, indistintamente) directos (poblacin
destinataria) e indirectos (sobre la poblacin en general). Si el programa va dirigido a la poblacin en
general, el impacto sobre la misma seran efectos directos.
____________________________________________________________________________________
255
______________________________________________________________________
sensibilizacin sobre el reparto de las responsabilidades domsticas). La mayora de las
evaluaciones analizadas no pretenden la evaluacin de impacto o efecto (Aragn,
Canarias, Castilla-La Mancha, Catalua, Galicia y Pas Vasco) y otras, aunque lo
pretenden, no lo consiguen. Es el caso del IM, Castilla y Len y Madrid, en las que se
realizan excelentes estudios de la situacin social de la mujer, pero que no son
evaluaciones de los efectos del Plan. Una de las grandes dificultades de la evaluacin de
programas es, precisamente, la evaluacin del llamado efecto neto del programa, que
son los efectos atribuibles al programa y no a otros factores. Es decir, el efecto neto de
un Plan consiste en los efectos producidos por el mismo, es decir, lo que no hubiera
ocurrido si el Plan no se hubiera ejecutado. La evaluacin de efectos o impactos de un
Plan debe, por lo tanto, procurar la identificacin de dichos efectos netos. En los tres
casos que se han sealado, se han medido diferentes variables relacionadas con la
situacin diferencial de las mujeres, respecto a los hombres (y que, lgicamente, tienen
que ver con lo que pretenden los planes, como por ejemplo, si ha aumentado el nmero
de mujeres universitarias o si han variado los usos del tiempo), y se han medido en el
momento en el que comenz el Plan y en el momento en el que finaliza. Se han
comparado esas dos medidas y se ha identificado su evolucin y si ha habido algn
avance al respecto. Pero los estudios no dicen nada sobre si los Planes han tenido alguna
influencia sobre dicho cambio, ya que los cambios pueden deberse a muchos otros
factores, entre ellos la propia evolucin de la sociedad. Es cierto que este tipo de
estudios puede ser una muy buena base para las evaluaciones de efectos, pero no son
evaluaciones de los Planes de Igualdad, sino de la situacin de la mujer y su evolucin
en un determinado perodo de tiempo. La nica experiencia analizada que pretende una
evaluacin de los efectos y que establece un diseo de evaluacin que la permite es
Andaluca, que hace cuatro diferentes encuestas, combinando diferentes criterios
(preguntas) momentos y destinatarias (poblacin general o usuarias/beneficiarias),
adems de utilizar tambin el estudio que sobre la situacin social de la mujer andaluza
se realiz en el ao 1988.
Otra de las formas de hacer evaluacin de efectos o impactos que se plantea en las
evaluaciones analizadas es la evaluacin de la percepcin y opinin de los colectivos
destinatarios o de las personas implicadas en la ejecucin del Plan (normalmente,
trabajadores o responsables de otros departamentos gubernamentales). Por lo general, la
fundamentacin de este tipo de evaluacin es recoger la opinin o percepcin de agentes
clave sobre el Plan, sin especificar si se trata de opiniones o percepciones sobre el
diseo, el proceso de ejecucin o sus resultados. En el caso del IM, la evaluacin
cualitativa se concibe como parte de la evaluacin de resultados, aunque los criterios
sobre los que se recoge informacin no tienen nada que ver con los de la evaluacin
cuantitativa, que tambin forma parte de dicha evaluacin de resultados. Con dicha
evaluacin cualitativa lo que se pretende es conocer la percepcin personal que del
desarrollo y los efectos de las actuaciones han tenido los responsables de la
coordinacin desde los distintos ministerios, y la percepcin social que, de los efectos
de las actuaciones, han tenido sus destinatarias (Alvaro et al. 1998: 38). Es decir,
adems del desarrollo, se pretende obtener la percepcin sobre los efectos. En otros
casos, como en Castilla-La Mancha, se plantea inicialmente recoger la percepcin de los
colectivos destinatarios y personas implicadas respecto al desarrollo del Plan. En la
exposicin de los resultados de la evaluacin, sin embargo, se refleja cmo en el anlisis
se discierne bien entre las opiniones y percepciones sobre el diseo del plan, el
desarrollo del mismo (cuestiones de organizacin, implicacin de entidades y dotacin
____________________________________________________________________________________
256
______________________________________________________________________
de recursos), los resultados y el impacto y nivel de conocimiento del Plan en la
sociedad. En La Rioja, slo se especifica que al finalizar el Plan, se recogern
opiniones de la poblacin destinataria respecto a las medidas establecidas por el Plan y
que se har mediante grupos de discusin y entrevistas a la poblacin destinataria y a
agentes implicados en el Plan2.
En tercer lugar, se analiza la clasificacin segn el momento en el que se evala.

Desde este punto de vista, todas las evaluaciones son post-facto ya que todas se plantean
una vez comienza (o ya ha comenzado) el Plan. Es decir, ninguna de las evaluaciones se
plantea ex-ante, proponiendo, por ejemplo una evaluacin del diseo del Plan, previa a
su puesta en marcha, o un estudio piloto de una o varias medidas, antes de
generalizarlas. Es ms, y como ya se ha comentado anteriormente, uno de los grandes
problemas de la evaluacin, no es ya que se hagan post-facto sino que se comiencen a
disear y ejecutar cuando ya el plan est muy avanzado. Esta circunstancia hace que el
instrumento de evaluacin pierda muchsima potencia, en primer lugar, por no estar
diseado paralelamente al plan y segundo, porque se pierde la oportunidad de recoger
informacin muy valiosa al inicio y durante el proceso de ejecucin de los planes. Las
nicas evaluaciones que se plantean desde un principio son la evaluacin del II PAPME
vasco y la del (II) Plan Integral de La Rioja. El resto se plantean, por lo general, en un
perodo no superior a un ao de vencimiento del perodo de vigencia del
correspondiente plan.
Finalmente, analizamos las evaluaciones con la clasificacin segn el agente

evaluador. Segn esta clasificacin las evaluaciones pueden ser internas, o externas, si
se realizan por parte de alguien que no tenga que ver ni con la financiacin, ni con la
formulacin ni con la ejecucin del plan evaluado. Tambin cabe la posibilidad de
procesos de evaluacin mixtos, que recurran a un equipo externo slo para una parte del
proceso de evaluacin; en realidad, todos estos procesos mixtos son, en realidad,
evaluaciones internas en las que, aunque se recurre a una colaboracin externa, el
proceso global de evaluacin es responsabilidad interna. Este es el caso del IM,
Catalua y Pas Vasco, aunque las caractersticas de estos procesos mixtos son distintos.
En el caso del IM, el diseo de la evaluacin es interno y slo recurren a una empresa
externa para la recopilacin y anlisis de la informacin de la evaluacin de resultados
(la evaluacin de la implementacin es totalmente interna). Incluso, y como se refleja en
el pliego de condiciones tcnicas, incluso el diseo de la evaluacin cuantitativa y de
la evaluacin cualitativa (sobre todo el primero), incluyendo los criterios y las
variables a estudiar, estaba ya realizado internamente y en realidad, lo que hace la
empresa externa es ejecutarlo. En el caso de Catalua y el Pas Vasco es al contrario, ya
que para lo que los respectivos Institutos recurren a asesoramiento externo es para el
diseo de la evaluacin, hacindose la ejecucin internamente. En el caso de Catalua,
la dimensin e importancia del asesoramiento externo es mayor que en el caso del Pas
Vasco.
(II) Plan Integral de la Mujer de La Rioja, p.66

____________________________________________________________________________________
257
______________________________________________________________________
Las evaluaciones del I Plan aragons y del II riojano son procesos netamente
internos. El resto de las evaluaciones (Andaluca, Canarias, Castilla-La Mancha, Castilla
y Len, Galicia y Madrid) se realizan por parte de equipos externos en coordinacin con
los respectivos organismos de igualdad. Como ya se ha expuesto, en la tabla 5.0 se
exponen la totalidad de los once procesos evaluativos estudiados de esta segunda
generacin de evaluaciones de planes de igualdad, segn las cuatro clasificaciones
bsicas explicadas.
1.2. Los criterios para la clasificacin
Una de las clasificaciones ms claras y factibles de las experiencias de evaluacin

a analizar, es la de los tipos de evaluacin realizados. Las cuatro tipologas bsicas
expuestas en el punto anterior no son mutuamente excluyentes. Es decir, cualquier
experiencia de evaluacin puede ser clasificada por todas y cada una de estas cuatro
tipologas. Este hecho hace difcil el establecimiento de una nica clasificacin que
contemple las cuatro tipologas. Esta es la razn por la que se propone la tipologa segn
el agente evaluador para clasificar las once experiencias de evaluacin de la segunda
generacin.
Las razones para escoger la tipologa segn el agente evaluador, son las
siguientes:
1) Esta tipologa es, junto con la tipologa segn el contenido, la ms clara, es
decir, la que ms discrimina y distingue entre unas experiencias y otras, ya que las otras
dos tipologas-segn el momento y segn el papel- prcticamente no discriminan: casi
todas las experiencias son de carcter sumativo y post facto.
2) La tipologa de contenido, que sera la otra clasificacin ms adecuada y
factible, por un lado, contiene categoras que no son mutuamente excluyentes. Es decir,
una misma experiencia de evaluacin puede ser de diseo, proceso y resultados, lo que
hace que no sea una tipologa tan adecuada a efectos de clasificacin. Por otro lado, lo
que en algunas experiencias se autodenomina como evaluacin de proceso, por ejemplo,
nosotros lo clasificaramos con otro tipo de evaluacin. Por lo tanto, la tipologa segn
el agente sigue siendo la ms clara.
3) Finalmente, la tipologa segn el agente evaluador es la que refleja las opciones
ms conscientes, y desde un inicio, por parte de los organismos de igualdad
responsables de las evaluaciones, sobre cmo se quieren llevar a cabo los procesos de
evaluacin. El resto de las opciones contempladas respecto a las restantes tipologas no
no parecen haber sido tomadas de forma tan consciente.
Por lo tanto, la clasificacin queda hecha de la siguiente manera:
- Evaluaciones externas
____________________________________________________________________________________
258
______________________________________________________________________
- Evaluaciones mixtas
- Evaluaciones internas
EVALUACIONES EXTERNAS
Son las evaluaciones en las que se encarga a un equipo externo -es decir, que no
tiene que ver ni con la financiacin, ni con la planificacin ni con la ejecucin del plan
evaluado- el estudio de evaluacin en su totalidad: diseo, ejecucin e informes.
Estas son:
Evaluacin del II Plan Andaluz (1995-1997)
Evaluacin del I Plan Canario (1995-1996)
Evaluacin del II Plan Castellano-Manchego (1995-1999)
Evaluacin del I Plan Castellano Leons (1994-1996)
Evaluacin del II Plan Gallego (1995-1997)
Evaluacin del II Plan Madrileo (1993-1995)
Aunque estas seis experiencias comparten la caracterstica de ser externas, son

muy heterogneas entre s, como se podr observar a lo largo de la exposicin concreta
de los datos. Adems de las diferencias temporales, tanto del momento en el que se
plantean (van desde la evaluacin del I Plan canario que se realiza a finales del ao
1996 a la del II castellano-manchego que se hace en la primera mitad del ao 1999),
como a la duracin de los procesos (de los tres meses de la evaluacin canaria a los dos
aos y medio de la andaluza), hay evidentes diferencias en las propias dimensiones de
los estudios, costando algunos menos de dos millones de pesetas (estudio canario y
castellano leons) y, otros, como el andaluz, ms de cincuenta.
Sin embargo, todos estos estudios de evaluacin son definidos como externos por
parte de los correspondientes organismos de igualdad, y se hace hincapi, precisamente,
en este carcter externo y, por lo tanto, supuestamente ms objetivo. Aunque, en la
mayora de los casos, la decisin de encargar una evaluacin externa tiene ms que ver
con la incapacidad tcnica de llevarla a cabo internamente (no slo por falta de
formacin o especializacin profesional sino, sobre todo, por falta real de recursos
humanos que pudieran encargarse y dedicarle el tiempo necesario a ello), que por
necesidad de una mayor objetividad.
____________________________________________________________________________________
259
______________________________________________________________________
En la tabla 5.0.a se exponen de nuevo las seis evaluaciones externas segn los
otros tres tipos de evaluacin:
TABLA 5.0.a: TIPOS DE EVALUACION
Evaluaciones externas
Segn el papel
que cumple la
evaluacin
Segn el
contenido o
fase
Segn el
momento
Segn el
agente
evaluador
Andaluca
II (95-97)
Sumativa
Diseo,
Proceso y
Resultados
Post-facto
Externa
Canarias
I (95-96)
Sumativa
Proceso y
Resultados
Post-facto
Externa
Castilla-La
Mancha
II (95-99)
Sumativa
Diseo,
Proceso y
Resultados
Post-facto
Externa
Castilla y Len
I (94-96)
Sumativa
Resultados
Post-facto
Externa
Galicia
II (95-97)
Sumativa
Diseo,
Proceso y
Resultados
Post-facto
Externa
Madrid
II (93-95)
Sumativa
Proceso y
Resultados
Post-facto
Externa
EVALUACIONES MIXTAS
Son evaluaciones en las que se recurre a equipos externos en slo una parte del
proceso de evaluacin. Puede ser que el diseo sea interno y parte de la ejecucin
externa (como es el caso del IM) o, por el contrario se pida asesoramiento externo en el
diseo de la evaluacin, aunque la ejecucin se haga internamente (Pas Vasco y
Catalua).
____________________________________________________________________________________
260
______________________________________________________________________
Estas son:
Evaluacin del II Plan del IM -nacional- (1993-1995)
Evaluacin del II Plan Cataln (1994-1996)
Evaluacin del II PAPME -Pas Vasco- (1996-2000)
Estas tres experiencias de evaluacin comparten la caracterstica de ser procesos

mixtos en lo que a los agentes de la evaluacin, es decir, que en algn momento del
proceso de evaluacin recurren a equipos externos. Sin embargo, aqu se sostiene la
tesis de que, en realidad, son procesos internos de evaluacin en los que requiere de
colaboraciones externas en determinados momentos del proceso. En este sentido, estas
tres experiencias tambin son diferentes entre s ya que mientras el diseo del estudio de
evaluacin del II Plan central (IM) es interno y slo se externaliza para el trabajo de
campo y el anlisis de determinada parte del estudio, en Catalua y el Pas Vasco, sin
embargo, recurren a los equipos externos para un asesoramiento desde el propio diseo
del estudio aunque una buena parte de la ejecucin de dicho estudio sea interna.
Tambin las experiencias de Catalua y el Pas Vasco difieren entre s: mientras en
Catalua, la colaboracin del equipo externo -ESADE- resulta crucial para la definicin
del proceso de evaluacin, en el Pas Vasco la colaboracin del equipo externo Universidad del Pas Vasco- se subsume ms en un proceso interno ya iniciado con la
evaluacin del I PAPME y en una organizacin -Emakunde- con una funcin y una
cultura de evaluacin ms o menos desarrollada.
En la tabla 5.0.b. se exponen estas tres experiencias segn los otros tres tipos de
evaluacin.
____________________________________________________________________________________
261
______________________________________________________________________
TABLA 5.0. b.: TIPOS DE EVALUACION
Evaluaciones mixtas
Segn el papel
que cumple la
evaluacin
Instituto Mujer
II (93-95)
Sumativa
Segn el
contenido o
fase
Proceso y
Resultados
Segn el
momento
Post-facto
Catalua
II (94-96)
Sumativa
Diseo,
Proceso y
Resultados
Post-facto
Pas Vasco
II (95-98)
Formativa/
Sumativa
Diseo,
Proceso y
Resultados
Post-facto
Segn el
agente
evaluador
Mixta
Diseo interno,
parte ejecucin
externa
Mixta
Diseo con
asesora externa,
ejecucin interna
con colaboracin
externa
Mixta
Diseo con
asesora externa,
ejecucin interna
con colaboracin
externa
EVALUACIONES INTERNAS
Son las evaluaciones que se realizan a travs de procesos internos de evaluacin,

es decir, llevados a cabo y dirigidos, en su totalidad, por el personal tcnico del
organismos de igualdad correspondiente. Esto significa que todo el esfuerzo evaluativo
se realiza por parte del propio organismo de igualdad.
Estas son:
Evaluacin del I Plan Aragons (1994-1996)
Evaluacin del (II) Plan Integral Riojano (1996-1999)3
La experiencia de evaluacin aqu analizada es el proceso interno de evaluacin que se lleva a cabo en
los primeros aos de vigencia del Plan. Tambin como parte de la evaluacin del II Plan estaba
contemplada una evaluacin final, sta de carcter externo (que, de hecho, se contrata en el ao 2000).
Todo el diseo y la recopilacin y anlisis de la informacin, as como la redaccin de las memorias
anuales se realiza de forma interna, salvo, y de forma excepcional, la redaccin de la memoria anual de
1999, para la que se pide ayuda externa. En cualquier caso, nosotros mantenemos la experiencia de
evaluacin riojana como evaluacin interna, ya que son los datos e informacin que hemos podido
manejar (las aportaciones externas no estaban todava disponibles cuando se cierra el trabajo de campo
para esta investigacin).
____________________________________________________________________________________
262
______________________________________________________________________
Slo dos de las once experiencias analizadas pueden ser consideradas como
evaluaciones internas puras y, en uno de los casos, La Rioja, se recurre a una
colaboracin externa al final del proceso.
En el caso de la evaluacin aragonesa, sta se realiza durante el ltimo ao de
vigencia del Plan y la misma corresponde a un esfuerzo de conocer el estado de la
cuestin del Plan por parte del nuevo equipo que llega ese ao al organismo de
igualdad. En el caso de La Rioja, la evaluacin se concibe como una evaluacin
continua interna, desde el mismo inicio del Plan. Desde el inicio del Plan, tambin
estaba contemplada la realizacin de una evaluacin al finalizar el Plan (ao 2000), para
la que era previsible que se requiriera algn tipo de colaboracin externa, como de
hecho finalmente ocurre4. Sin embargo, dado que al inicio de este trabajo dicha
colaboracin externa no se haba dado, y dado que el proceso de evaluacin continua se
ha mantenido de forma interna hasta el penltimo ao, se ha decidido mantener esta
clasificacin como evaluacin interna.
Las dos evaluaciones internas aparecen en la tabla 5.0.c, en la que tambin se
refleja su clasificacin segn las otras tres tipologas de evaluacin.
TABLA 5.0. c.: TIPOS DE EVALUACION
Evaluaciones internas
Segn el papel
que cumple la
evaluacin
Segn el
contenido o
fase
Segn el
momento
Segn el
agente
evaluador
Aragn
I (94-96)
Formativa/
Sumativa
Proceso y
Resultados
Post-facto
Interna
La Rioja
II (96-2000)
Formativa/
Sumativa
Proceso y
Resultados
Post-facto
Interna
A partir de ahora se exponen los datos obtenidos por cada experiencia segn los
criterios de meta-evaluacin establecidos, y tambin se utilizar esta clasificacin,
basada en la tipologa de evaluaciones segn el agente evaluador.
Adems de la evaluacin final tambin se pide a una empresa externa que realice la memoria anual del
ao 1999, ya que se considera que es mucho trabajo para asumir internamente y dado que la tcnica que
hasta entonces se haba ocupado de las mismas estaba de baja maternal.
____________________________________________________________________________________
263
______________________________________________________________________
2. EL PLANTEAMIENTO DE LAS EVALUACIONES Y LAS

ESTRATEGIAS EMPLEADAS: CONTEXTO, PROPOSITOS,
ESTRUCTURAS Y RECURSOS
En los puntos que se desarrollan a continuacin se presentan, en primer lugar, los

datos de forma generalizada -panorama general- ya que los aspectos estudiados
pertenecen al contexto en el que se generan los estudios y procesos de evaluacin. De
esta manera, el anlisis de dichos aspectos puede precisamente ofrecer luz sobre el tipo
de evaluacin elegida, factor que sirve para su clasificacin posterior en evaluaciones
externas, mixtas e internas. En una segunda parte de cada uno de los puntos tratados se
exponen datos de cada tipo de evaluacin.
2.1. Los contextos evaluativos
Panorama general
En el ao 1995, los planes de igualdad como herramienta bsica y principal de las

polticas de igualdad de gnero se haban generalizado en todas las comunidades
autnomas. Salvo en Navarra (en donde precisamente en ese mismo ao se crea el
Instituto Navarro de la Mujer), en las restantes comunidades autnomas se haban ya
aprobado planes de igualdad. Tambin en todas las comunidades autnomas (salvo en
La Rioja, cuya poltica de igualdad se enmarca en la Direccin General de Bienestar
Social) existen organismos especficos de igualdad5. En las elecciones autonmicas del
ao 1995, algunos gobiernos de las comunidades autnomas cambian de signo poltico,
dando lugar a un panorama autonmico mayoritariamente conservador. Este mismo
cambio ocurrir en las elecciones generales de marzo de 1996. Hasta entonces, las
polticas de igualdad de gnero estaban identificadas con el PSOE y con los partidos
nacionalistas en el Gobierno de Catalua y el Pas Vasco. Incluso exista la creencia de
que dichas polticas iban a ser drsticamente abortadas por el partido conservador (PP);
al menos, el discurso poltico era contrario a la existencia de organismos especficos de
igualdad (Valiente, 1995). Sin embargo, estas polticas son asumidas en todas las
5
En 1995, la Comunidad Autnoma de la Regin de Murcia cambia su anterior Direccin General de la

Mujer en una nueva y significativamente diferente Direccin General de Poltica Social y Familia; en
1997 se reconvierte en Direccin General de Juventud, Mujer y Familia y se adscribe a la Consejera de
Presidencia.
____________________________________________________________________________________
264
______________________________________________________________________
comunidades autnomas, entre otros factores, por la influencia europea e internacional6
.
Es decir, existen dos factores clave para entender el contexto en el que se genera
esta segunda generacin de evaluaciones. En primer lugar, la generalizacin de los
planes de igualdad en las comunidades autnomas, reforzados entre otros factores, por
el panorama internacional. Y, en segundo lugar, los cambios de gobierno en algunas de
las comunidades autnomas Precisamente, una vez asumidas las polticas de igualdad
de gnero por todos los gobiernos autonmicos (incluidos los de signo ms
conservador) como un terreno propio, el cambio de gobierno en algunas comunidades
autnomas ha resultado, en algunos casos, un cierto factor facilitador de la evaluacin,
ya que las nuevas responsables necesitaban saber y aprehender que es lo que se haba
hecho hasta entonces.
En el anlisis del contexto evaluativo se han tenido en cuenta las siguientes
variables: organismo responsable, tipo y antigedad del mismo; departamento al que
est inscrito dicho organismo; partido en el gobierno en el momento de la evaluacin y
cambios producidos en dicho perodo; si han existido cambios en las responsables de
los organismos de igualdad que han hecho y/o encargado la evaluacin. Por ltimo se ha
tenido en cuenta la historia respecto a los planes y respecto a la evaluacin de los
mismos (es decir, si exista experiencia evaluadora previa). Estas son las variables que
se contemplan de forma conjunta y resumida en la tabla 5.1. que se expone a
continuacin.
La IV Conferencia de Pekn se celebra en septiembre de 1995 y su Plataforma de Accin fomenta y

avala la intervencin de los poderes pblicos a travs de organismos especficos y planes de igualdad.
Para un anlisis en mayor detalle, vase el captulo 3.
____________________________________________________________________________________
265
______________________________________________________________________
TABLA 5.1.
EL CONTEXTO EVALUATIVO
Organismo
responsable y
ao creacin
INSTITUTO
DE LA
MUJER
ANDALUCIA
Instituto de la
Mujer (1983)
Instituto
Andaluz de la
Mujer (1988)
Cambios de
Planes de
Experien
Partido en Adscripcin a
responsable
igualdad
cia
gobierno Departamento
anterior
de (2)
(1)
C. Bustelo
Cultura
I (88-90)
C. Mez.-Ten (88)
PSOE
Asuntos
SI
PP (3/96)
II (93-95)
Sociales (88) P. Gutirrez (91)
M. Subirats (93) III (97-2000)
Trabajo y
C. Dancausa (96)
Asuntos
Sociales (3/96) P. Dvila (2000)
PSOE/PA
Presidencia
Presidencia
I (90-92)
II (95-97)
SI
I (94-96)
II (97-2000)
NO
P. Monzn
E. Nuez (95)
R. Dvila (99)
I (95-96)
II (97-2000)
NO
C. Olmedo (88)
T. Jimnez (2000)
C. Corral
C. Sanromn
(2/96)
A.de Salas (2000)
ARAGON
Instituto
Aragons de la
Mujer (1993)
PP/PAR
CANARIAS
Instituto
Canario de la
Mujer (1994)
CC/PP
CASTILLALA MANCHA
Direccin
General de la
Mujer (1989)
PSOE
Bienestar
Social
M.C. G Hidalgo
A. Sanroma (97)
A. Navarro (2000)
I (90-94)
II (95-99)
III (99-2003)
NO
CASTILLA Y
LEON
Secretara (3)
Regional de la
Mujer (1994)
PP
Sanidad y
Bienestar
Social
A. Parra (95)
I (94-96)
II (97-2000)
NO
CATALUA
Institut Catal
de la Dona (89)
Servicio
Galego de
Promocin da
Igualdade do
home e da
muller (1991)
(CiU)
Presidencia
N. Llorach (89)
T. Fandos (2000)
Direccin
General de la
Mujer (1989)
PP
GALICIA
MADRID
LA RIOJA
PAIS VASCO
Direccin
General de
Bienestar
Social (1988)
Emakunde
(1988)
PP
PP
PNV-EAJ/
PSOE/ EA
Sanidad y
Asuntos Sociales
Empleo y
Asuntos
Sociales (95)
Trabajo y
Servicios
Sociales
Familia,
Mujer y
Juventud (95)
C. Bianchi (95)
A. Gallego (97)
Aurora Montes
(98)
Presidencia
Sanidad y
Servicios
Sociales (95)
I. Alberdi
Carmen Sez
H. Corbi
M.L.
Avez.Durante
A. Miura (95)
Salud,
Consumo y
Bienestar
Social
Presidencia
S. Loza (95)
T. Arteaga (88)
I (89-92)
II (94-96)
III (98-2000)
SI
I (92-94)
II (95-97)
III (98-2000)
NO
I (89-91)
II (93-95)
III (97-2000)
NO
I (91-95)
II (96-99)
NO
I (91-94)
II (95-98)
III (99-2002)
En el momento de la evaluacin.
En esta y las siguientes columnas, aparece en negrita la situacin en el momento de la evaluacin.
3
En el ao 2000 se convierte en Direccin General de la Mujer e Igualdad de Oportunidades.
2
____________________________________________________________________________________
266
SI
______________________________________________________________________
Es evidente que las estructuras institucionales ms fuertes del panorama
autonmico, en lo que se refiere a las polticas pblicas de igualdad de gnero, son
Andaluca, Catalua y el Pas Vasco: son los institutos creados con mayor antelacin,
son organismos autnomos bien colocados en el respectivo organigrama gubernamental
(adscritos a presidencia) y que, adems, han gozado de una mayor estabilidad,
incluyendo las responsables, ya que tienen como directoras a las mismas personas desde
su creacin (en los tres casos, hace ya ms de una dcada)7. Esto, lgicamente se refleja
tambin en la capacidad evaluativa: slo en estos tres casos, adems de en el del IM, se
tena experiencia evaluativa previa. Estos tres casos son, adems, los que presentan unos
segundos procesos de evaluacin ms completos, y con mayor alcance y eficacia
evaluativa, como se ir comprobando en las siguientes pginas.
El IM (IM) es una estructura institucional fuerte por ser el primer organismo de
igualdad que se crea por ley en Espaa, por ser el antecedente claro de los organismos
autonmicos (sentando el precedente de crear organismos especficos y hacerlo a travs
de la figura del organismo autnomo), por el propio nivel gubernamental al que
representa (que le coloca como impulsor y coordinador de las polticas de igualdad en el
territorio nacional, y que le otorga una funcin de liderazgo ejercida a travs del
mecanismo de las Conferencias Sectoriales8) y porque ha sido la correa de transmisin
de las influencias internacionales en los primeros aos, adems de ser el representante
de las polticas de igualdad de gnero en dicho mbito internacional. Su posicin en el
organigrama gubernamental, sin embargo, es ms dbil que la de algunos de sus
homlogos autonmicos y, a medida que se desarrolla el Estado de las Autonomas en
Espaa y las comunidades autnomas desarrollan sus propias polticas de igualdad, el
IM debe ir redefiniendo su espacio y su papel. El IM sufre, adems, un cambio
gubernamental sustancial en el ao 1996, que hace que se renueve el equipo directivo, y
un cambio de sede al poco tiempo. Estas circunstancias hacen que parte del equipo
tcnico y funcionarial tambin se renueve9.
Como se puede observar en la tabla 5.1, los organismos responsables de los
procesos de evaluacin, es decir, los que los realizan o encargan, son los organismos de
igualdad que formulan e impulsan los planes de igualdad evaluados. En el ao 1998,
siete de esos once organismos de igualdad que llevan a cabo procesos de evaluacin en
En el caso de Andaluca, la directora del Instituto Andaluz de la Mujer desde su creacin, Carmen
Olmedo, abandona su cargo a principios del ao 2000, para presentarse y posteriormente ser elegida
como diputada al Parlamento por el PSOE, en las elecciones generales de Marzo de dicho ao. Tambin
cambia la directora del Instituto Cataln de la Mujer en dicho ao.
8 Este mecanismo intergubernamental es siempre unidireccional, en el sentido de que es siempre el
Ministerio correspondiente el que convoca a las comunidades autnomas, y no al contrario.
9 Este cambio de equipo es importante ya que uno de los factores que definen los primeros aos del IM es
un equipo tcnico y funcionarial muy sensibilizado y comprometido con la causa feminista y la misin
del IM. Su primera directora, Carlota Bustelo, puso especial empeo en formar un equipo con estas
caractersticas persuadiendo a funcionarias de carrera con sensibilidad feminista para que se incorporaran
al IM. Este nivel de implicacin personal resulta sin embargo difcil de mantener a lo largo del tiempo a
medida que las instituciones crecen y se consolidan y, sobre todo, cuando cambian los equipos
responsables.
____________________________________________________________________________________
267
______________________________________________________________________
esta segunda generacin eran organismos autnomos10. Sobre el total del nivel
autonmico (17 comunidades autnomas con sus correspondientes organismos) y
central (IM), el nmero de estos organismos autnomos es de ocho, es decir, el nico
organismo de igualdad, que siendo organismo autnomo, no realiza proceso de
evaluacin de un plan de igualdad es el Instituto Navarro de la Mujer, cuestin lgica ya
que dicho Instituto se crea en el ao 1995 y hasta 1998 no aprueba su I Plan de
Igualdad, por lo que el planteamiento de su evaluacin deber ser necesariamente
posterior. Con esto se constata, que aunque tambin se han dado procesos de evaluacin
en organismos con otro formato distinto al de organismo autnomo, el hecho de tener
una estructura institucional fuerte parece que facilita la existencia de procesos de
evaluacin.
No es el caso en lo referente a la adscripcin a Presidencia, aunque este factor s
resulta importante a efectos de la posicin de los organismos de igualdad en el
organigrama gubernamental y a su autoridad y su capacidad de persuasin.
Paradjicamente, parecera que la adscripcin al rea de Bienestar Social podra
provocar una relativa mayor tendencia a la evaluacin. De hecho, se podra aventurar
una posible explicacin, ya que hay sectores de poltica que, en general, tienen una
mayor cultura evaluativa; ste es el caso del rea de los Servicios Sociales, en los que se
pueden encontrar mayores experiencias sistemticas de seguimiento y evaluacin (sobre
todo referidas a la definicin de indicadores) que en otros sectores. Sin embargo,
adems de la simple presencia o ausencia de procesos evaluativos, se puede sostener
que la adscripcin al rea de presidencia s puede facilitar una visin y aplicacin ms
global de dichos procesos de evaluacin, como se ver ms adelante.
Los cambios de responsable en los organismos de igualdad tambin son una
variable interesante a examinar del contexto evaluativo. La ausencia de cambios, ya se
ha visto, es un factor que da estabilidad al organismo y, por lo tanto, hay mayores
probabilidades de continuidad en sus acciones, incluida una poltica de evaluacin. En
algn caso, como es el del Instituto Aragons de la Mujer, un vaco temporal de casi
ocho meses entre el cese de una directora y el nombramiento de la siguiente, afect al
hecho de tener que plantearse la evaluacin muy avanzado el Plan y con poco tiempo
para su ejecucin. Va a ser importante, adems, la sensibilidad que cada responsable
tenga personalmente hacia los temas de evaluacin11. En el caso del IM, aunque se
pueden observar varios cambios de responsable durante la poca PSOE, en realidad
existe una continuidad; incluso, el IM se ve reforzado en 1988 con la creacin del
Ministerio de Asuntos Sociales, al que se adscribe el IM, ya que Carlota Bustelo,
primera directora del mismo, pasa a ser la Subsecretaria de dicho Ministerio y tanto
Matilde Fernndez como Cristina Alberdi (primera y segunda ministra de dicho nuevo
Ministerio) tienen un fuerte compromiso feminista (Valiente, 1996). Es decir, en la
poca del PSOE hay una cierta continuidad. An as, es muy probable que una mayor
estabilidad en las responsables, hubiera permitido una poltica de evaluacin ms
decidida que hubiera jugado un papel ms importante del que ha tenido en el fomento,
10
En agosto de 1999 se crea el Instituto Asturiano de la Mujer, que no llega a ser un organismo
autnomo, sino un rgano desconcentrado adscrito a la Consejera de Presidencia, creado por decreto y
no por ley. En el ao 2000 se crea el Instituto Balear de la Mujer, ste s como organismo autnomo.
11Para
un anlisis pormenorizado del discurso que las responsables tienen sobre la evaluacin, vase
captulo 6.
____________________________________________________________________________________
268
______________________________________________________________________
apoyo y coordinacin de las evaluaciones de los diferentes planes autonmicos12. En
cualquier caso, el proceso de evaluacin del II Plan nacional se produce a lo largo del
cambio poltico de gobierno, ya que comienza antes del cambio y finaliza despus del
mismo; la continuidad de dicho proceso, en este caso, responde en parte a la continuidad
del Consejero Tcnico de Estudios del IM, que es quin impulsa y da continuidad al
Efectivamente, el papel de los responsables tcnicos en los procesos de evaluacin
suele ser importante y puede suplir, en algunos casos, la ausencia o cambio de liderazgo
poltico. En Madrid, por ejemplo, en el que se dan importantes cambios con las
elecciones autonmicas de 199513, y se da un cambio de responsable, Consejera y sede,
el diseo de la evaluacin del II Plan ya estaba formulado por el equipo anterior.
Aunque el pliego de condiciones tcnicas establecido para el concurso pblico sobre el
estudio de evaluacin sale en el mes de noviembre de 1995, ste estaba realizado por el
equipo de funcionarios previamente al cambio y se puede observar que dicho pliego
establece unas condiciones tcnicas muy concretas14.
El contexto evaluativo de las evaluaciones externas
Los contextos evaluativos en los que se realizan las seis experiencias externas de
evaluacin son muy heterogneos entre s y no especialmente favorables segn los
criterios de autonoma y posicin gubernamental del organismo de igualdad
correspondiente. De los seis organismos de igualdad que impulsan estos procesos de
evaluacin, slo tres son organismos autnomos. De estos tres institutos, slo Andaluca
goza de una historia larga (desde 1988, ya que el Servicio Gallego es de 1991 y el
12
Lo nico que hace el IM al respecto es ya en Junio del ao 1998, despus de que varias comunidades
autnomas reclamaran apoyo tcnico en los temas de evaluacin, en el que se organiza un seminario de
dos das y medio de duracin en la Universidad Internacional Menndez Pelayo en Santander, sobre
Evaluacin de Polticas de Igualdad de Oportunidades entre mujeres y hombres y que dirigen la
profesora Roco Fernndez Ballesteros (Universidad Autnoma de Madrid) y Mariano Alvaro (Consejero
Tcnico de Estudios del IM). Aunque este curso denota inters en el tema, esta accin es concreta, tarda
y aislada en el tiempo y posteriormente no tiene continuidad en ningn seminario permanente o grupo de
trabajo.
13
En Madrid, gana las elecciones autonmicas de 1995 el Partido Popular, hay una reestructuracin
importante de la Administracin Autonmica y la Direccin General de la Mujer pasa de la Consejera de
Presidencia a la recin creada Consejera de Sanidad y Servicios Sociales (que resultaba de la fusin de
las anteriores Consejeras de Salud y de Integracin Social).
14
Memoria explicativa para la contratacin de un estudio para elaborar un sistema de indicadores para
evaluar el II Plan de Igualdad (Direccin General de la Mujer. Noviembre 1995). En el caso de Madrid
el estudio de evaluacin se divide en dos fases que se sacan a dos concursos pblicos, uno en noviembre
de 1995 y el otro en junio de 1996. Las condiciones del concurso de junio de 1996 son, lgicamente, una
continuacin del primero (Pliego de Prescripciones Tcnicas que regula la contratacin de Consultora y
asistencia para la evaluacin del II Plan de Igualdad de Oportunidades para las Mujeres de la Comunidad
de Madrid).
____________________________________________________________________________________
269
______________________________________________________________________
Instituto Canario de 1994), de estabilidad en su equipo responsable y de una buena
posicin en el organigrama gubernamental (el Instituto Andaluz de la Mujer est
adscrito a la Consejera de Presidencia, el Servicio Gallego de Igualdad a la Consejera
de Familia, Mujer y Juventud, y el Instituto Canario a la Consejera de Empleo y
Bienestar Social).
Las otras tres experiencias se encargan por parte de las Direcciones Generales de
la Mujer de Castilla- La Mancha y de Madrid y por parte de la Secretara Regional de la
Mujer de Castilla y Len, todas ellas en el rea de Bienestar Social.
Parece, por lo tanto, que recurrir a procesos de evaluacin totalmente externos,
podra ser una forma de introducir la evaluacin en contextos no especialmente
favorables. Por un lado, es una forma de otorgar credibilidad a los procesos y, por otro,
es tambin una forma de externalizar el trabajo de evaluacin cuando no existe
capacidad o recursos humanos internos disponibles para ellos (ste es claramente el caso
de Canarias y, en cierto modo, el de Andaluca, ya que la primera experiencia andaluza
de evaluacin haba costado mucho esfuerzo interno sin haber dado frutos
especialmente gratificantes).
El contexto evaluativo de las evaluaciones mixtas
Los tres organismos que realizan procesos internos mixtos de evaluacin -IM,
Instituto Cataln de la Mujer e Insituto Vasco de la Mujer -Emakunde- son organismos
autnomos, creados por ley. Son, adems, de los organismos ms antiguos, por lo que,
en este sentido, nos encontramos ante un contexto evaluativo fuerte y estable.
Salvo el IM, que est adscrito al rea de Asuntos Sociales, los otros dos tienen,
adems, una posicin privilegiada en el organigrama gubernamental ya que se sitan en
el rea de Presidencia. Como ya se ha visto antes, el IM, a pesar de no estar en el rea de
presidencia tiene un contexto institucional fuerte por su propia condicin nacional y por
haberse fortalecido de una forma excepcional en sus primeros diez aos de vida.
Respecto a la estabilidad, tanto el Instituto cataln como el vasco han tenido,
adems, la misma responsable desde su creacin, en el ao 1989 y en el ao 1988
respectivamente. Por otro lado, tanto en una Comunidad Autnoma como en la otra
tambin se ha dado una estabilidad en el nivel poltico. Aunque dicha estabilidad es
menor en el caso del IM, vemos que esta cuestin no afecta sustancialmente a la
evaluacin. De hecho, durante el proceso de evaluacin del segundo plan se da un
cambio en el partido de gobierno en el nivel central (marzo de 1996), pero ste no
parece afectar sustancialmente al proceso de evaluacin salvo en algn pequeo retraso.
Esto es debido a que la evaluacin se concibe, en este caso, con un carcter casi
exclusivamente tcnico (y como se analizar ms adelante, sta es precisamente, una de
sus grandes debilidades); al mantenerse pues estable el responsable tcnico encargado
del estudio, el cambio poltico no afecta tanto.
____________________________________________________________________________________
270
______________________________________________________________________
Adems, en los tres casos, exista una experiencia de evaluacin previa. En el caso
del IM y de Catalua dichas primeras experiencias tuvieron muchas limitaciones (ver el
captulo 4); en el caso del Pas Vasco, la experiencia previa en evaluacin haba tenido
mayores dimensiones y haba sido mucho ms contundente y continuada que en los
otros dos casos.
En general, nos encontramos, en los casos de las evaluaciones mixtas, con los
contextos evaluativos ms propicios para la evaluacin. Tanto en el caso de Catalua
como, y especialmente, del Pas Vasco, la apuesta de evaluacin es fuerte. En cierto
modo, se podra decir que la eleccin de realizar procesos internos en los que se
involucra de forma especial el organismo de igualdad pero que, adems, recurren a
ayuda externa, es una forma de apostar por el desarrollo de la funcin de evaluacin y
de una cultura evaluativa en torno a las polticas de igualdad de gnero. Este quiz no
sea tanto el caso del IM, en el que, como se ha comentado antes, la funcin de
evaluacin se relega ms a una funcin tcnica de estudio o investigacin. Sin embargo,
se podra decir que, incluso con sus limitaciones, el estudio de evaluacin del II Plan
nacional, cuenta con un contexto evaluativo favorable para ello.
El contexto evaluativo de las evaluaciones internas
Los dos casos de evaluaciones internas cuentan con un contexto evaluativo

radicalmente distinto. En un caso, como es el aragons, se cuenta con un organismo de
igualdad que, an siendo muy joven -se crea en 1993- y no muy estable en lo referente a
la situacin poltica autonmica y a sus responsables, es sin embargo potente, desde el
punto de vista de su estructura -es un organismo autnomo- y de su posicin en el
organigrama gubernamental, ya que est adscrito al rea de Presidencia. Son
precisamente, y en este caso, los cambios polticos los que generan la realizacin de la
experiencia de evaluacin del I Plan aragons que aqu se analiza, ya que como ya se ha
dicho con anterioridad, esta evaluacin responde a la necesidad de las nuevas
responsables de saber qu se estaba haciendo.
En el caso de La Rioja, sin embargo, se trata de la estructura institucional ms
dbil para un organismo de igualdad, ya que se trata de una unidad administrativa no
especfica -la Direccin General de Bienestar Social- y los temas de igualdad -ms
concebidos como temas de promocin de la mujer- se encuentran inmersos en una
estrategia general de servicios sociales. Sin embargo, el hecho de que en dicha
Direccin General ya se hubieran realizado y evaluado otros planes integrales -de
minusvalas, por ejemplo- facilita el planteamiento de evalucin realizado para el II Plan
integral de la Mujer analizado en este trabajo.
____________________________________________________________________________________
271
______________________________________________________________________
2.2. La claridad en los propsitos y las funciones de las evaluaciones
Panorama general
Uno de los factores ms importantes a analizar en cualquier evaluacin es la

claridad o ambigedad del planteamiento de dicha evaluacin a travs de sus propsitos
y de las funciones que se espera cumplan dicha evaluacin. Normalmente estos
propsitos se formulan de manera explcita o bien en los pliegos de condiciones
tcnicas, si el estudio de evaluacin sale a concurso pblico, o bien en los proyectos de
evaluacin si es por convenio o adjudicacin directa; pero esto es en los casos de
evaluacin externa (este tipo de documentos no existen en casos de evaluacin interna).
Lgicamente, los propsitos y objetivos de un proceso de evaluacin deberan hacerse
explcitos en los propios informes que se generan a raz de dichos procesos; pero esto no
siempre es as, como veremos en el punto referido a los informes. En algunos casos nos
ha resultado difcil encontrar de forma explcita los propsitos u objetivos de la
evaluacin. Slo suelen aparecen reflejados claramente cuando se tiene que justificar,
fundamentar o explicar el estudio de evaluacin. Este es el caso de alguna
comparecencia ante el poder legislativo correspondiente o de la presentacin de
ponencias sobre los estudios de evaluaciones en foros especializados (por ejemplo, el
seminario sobre evaluacin de polticas de igualdad organizado por el IM en la UIMP
en el ao 1998).
A pesar de la falta de claridad en los propsitos, prcticamente todas las
experiencias de evaluacin metaevaluadas mencionan, de una manera u otra, alguna o
todas las funciones bsicas de la evaluacin: mejora, rendimiento de cuentas o
responsabilidad y conocimiento o iluminacin para acciones futuras. Algunas
experiencias parecen hacer ms hincapi en la funcin de rendimiento de cuentas (IM,
Catalua, y Pas Vasco), otras en la de ser una base para elaborar el siguiente plan
(Canarias, Castilla- La Mancha, tambin Catalua) y otras simplemente en conocer qu
es lo que ha ocurrido (Aragn, La Rioja y tambin Canarias). Respecto a los objetivos,
hay algunas experiencias que los presentan algo ms integrados o interdependientes
entre s (Andaluca, Galicia y Pas Vasco) y otras en las que los objetivos se definen por
separado, segn las diferentes partes de las que se compone el estudio de evaluacin.
Hay evaluaciones mucho ms ambiciosas en sus propsitos (IM, Andaluca y Madrid) y
otras mucho ms modestas (Aragn, Canarias, Castilla-La Mancha, La Rioja). Es
interesante tambin destacar cmo algunas de la experiencias exponen, a la vez de sus
propsitos, sus limitaciones (Castilla-La Mancha, Catalua y, en cierto modo, Pas
Vasco) siendo ms realistas, e incluso generando una mayor credibilidad que el resto.
Por ltimo tambin interesa sealar cmo nicamente el Pas Vasco15, tiene entre sus
15
En cierto modo, tambin Madrid y Castilla y Len plantean la idea de construir una metodologa
permanente de indicadores, que permita la evaluacin de planes futuros. Aunque, en realidad, ms que a
la evaluacin de planes, se refieren a la construccin de un sistema de indicadores para medir de forma
____________________________________________________________________________________
272
______________________________________________________________________
propsitos cuestiones relacionadas con la evaluacin en s misma, es decir, que les
interesa y pretenden desarrollar la funcin de evaluacin a la que dan, adems,
prioridad, entre otras funciones como organismo de igualdad.
Por ltimo, se quiere sealar que, como ya se ha visto en el captulo 1 de este
trabajo, en los procesos de evaluacin son importantes no slo los propsitos explcitos,
sino que tambin resulta interesante analizar la existencia de posibles propsitos
implcitos o encubiertos. Este tipo de propsitos son muy difciles de analizar y hacer
explcitos y requeriran de unos estudios de cada uno de los casos hechos mucho ms en
profundidad de lo que este trabajo puede abarcar. Sin embargo, nos parece percibir una
intencin, en el caso del IM y en los casos de Andaluca, Madrid, y Castilla y Len, de
aprovechar la situacin de evaluacin para hacer investigaciones sobre la situacin
social de la Mujer, cuestin indudablemente necesaria y til para la formulacin de
polticas de igualdad de gnero, pero que no pueden ser calificadas como evaluaciones
de los planes de igualdad propiamente dichas. En el caso de Andaluca, el estudio sobre
la situacin social de la mujer se combina con la evaluacin del II Plan. En los restantes
casos mencionados los estudios de evaluacin se convierten, en s mismos, en estudios
sobre la situacin social de la mujer, minimizando la parte de evaluacin de los planes
supuestamente evaluados (en algn caso siendo prcticamente inexistente).
Los propsitos y objetivos de las evaluaciones externas
Si los propsitos de los estudios de evaluacin son heterogneos entre s, tanto en

lo que respecta a su grado de ambicin como a su grado de claridad y explicitacin, esta
heterogeneidad es especialmente alta si se observan los propsitos y objetivos de las
seis evaluaciones externas.
Respecto al diferente grado de ambicin, hay que tener en cuenta que entre estas
seis experiencias se encuentran estudios que cuestan menos de dos millones de pesetas
(Canarias y Castilla y Len) y alguno de ms de cincuenta (Andaluca). Por lo tanto es
lgico que haya diferencias a este respecto. En general, parece que cuando los estudios
son especialmente pequeos, los equipos externos se curan en salud y sealan unos
propsitos acordes con las dimensiones de su estudio. En algunos casos, como en
Galicia, los objetivos iniciales son ms ambiciosos de lo que la dimensin real del
estudio luego resulta y en otros, como en Castilla- La Mancha, los objetivos son ms
realistas y ajustados a la dimensin del estudio y al proceso que realmente se lleva a
cabo.
En algunos casos, los objetivos y propsitos se hacen explcitos ms claramente,
especialmente si existe un convenio (Andaluca) o unos pliegos de condiciones tcnicas
continuada la situacin de la mujer y las desigualdades de gnero, ms al estilo de observatorios de
igualdad. En cualquier caso, no es comparable con la preocupacin y apuesta decidida por la funcin de
evaluacin del Pas Vasco.
____________________________________________________________________________________
273
______________________________________________________________________
(Madrid) para la realizacin del estudio. En casi todas las experiencias analizadas, los
objetivos se explicitan por parte del equipo externo Andaluca, Canarias, Castilla- La
Mancha, Castilla y Len y Galicia, pero en otras, como Madrid, estn previamente
establecidos ya que se abre un concurso pblico para la evaluacin. Mientras en
Andaluca, Castilla y Len y Madrid se hace hincapi en propsitos relacionados con la
investigacin, en otras se hace en el control y rendimiento de cuentas o la
sistematizacin (Canarias y Castilla- La Mancha) y en otras en el anlisis de los planes
para la mejora de los mismos (Galicia y, en cierto modo tambin Canarias y Castilla- La
Mancha).
Analizando los propsitos y objetivos de cada experiencia ms en detalle:
La evaluacin del II Plan andaluz (1995-1997) es muy ambiciosa respecto a sus

objetivos. En el proyecto de evaluacin que hace el IESA (Instituto de Estudios Sociales
Avanzados de Andaluca, un centro mixto de la Junta de Andaluca y del CSIC) se
seala que se pretende realizar una evaluacin global del Plan (evaluar todas y cada
una de las fases del Plan, con el fin de que los responsables del mismo tengan un
conocimiento fidedigno tanto de su correcta ejecucin y futuro impacto, como de la
adecuacin del diseo p. 17). Realmente es el nico proyecto de evaluacin (junto con
el que se realiza para evaluar el II Plan castellano-manchego) que se plantea
explcitamente realizar, adems de una evaluacin de la implementacin o ejecucin y
de los resultados e impacto, una evaluacin del diseo y de los objetivos del Plan. Esta
evaluacin se plantea de forma global, dejando claro que, aunque las distintas fases de
la evaluacin se traten por separado, todas estn ntimamente relacionadas entre s. En el
propio proyecto de evaluacin se contempla tambin la realizacin de un estudio sobre
la situacin social de la mujer en Andaluca en 1998, para comparar con otro estudio
realizado en 1988. Con este estudio, realizado a travs de una encuesta, se pretende
analizar los cambios producidos en la situacin social de las mujeres andaluzas en dicho
perodo de tiempo; aunque forma parte del diseo de evaluacin (entre otras encuestas y
recopilacin variada de informacin), se deja claro que es un apoyo ms, y no pretende
ser la evaluacin de resultados. Textualmente, el objetivo de este estudio, adems de
servir de soporte para la recogida de indicadores para la evaluacin del II Plan Andaluz
para la Igualdad de las Mujeres, es conocer la opinin de las mujeres andaluzas sobre
sus vidas en relacin con la sociedad en la que estn inmersas, sus problemas, sus
actitudes y sus necesidades (IESA, Avance del Informe de Evaluacin, julio 1997, p.
63, subrayado mo).
Adems de este planteamiento, la entidad que realiza la evaluacin externa
(IESA), pretende proporcionar al estudio el mximo rigor cientfico en un doble
sentido: aplicando los conocimientos sociolgicos ms avanzados y abordando la
evaluacin como un proyecto cientfico de investigacin (p. 18). Es decir, adems de
ser una evaluacin que sirva como apoyo a las decisiones polticas, pretende ser una
evaluacin que genere conocimiento cientfico. Desde nuestro punto de vista, hacer una
evaluacin con el mximo rigor no tiene por qu implicar necesariamente abordarla
como un proyecto cientfico de investigacin, ya que los propsitos de la investigacin
____________________________________________________________________________________
274
______________________________________________________________________
son distintos (o, al menos, las prioridades son distintas) a los de la evaluacin16. Como
se ver ms adelante, creemos que este propsito de investigacin puede haber sido
precisamente uno de los factores por los que la evaluacin del II Plan andaluz ha
generado problemas de coordinacin interna-externa y se ha retrasado en su entrega,
haciendo claramente peligrar su objetivo ltimo de utilidad para el proceso de toma de
decisiones.
El Instituto Canario de la Mujer encarga un estudio externo del I Plan canario

(1995-1996), al que se denomina auditora, y en ningn momento aparece el trmino
de evaluacin. Es posible que la utilizacin del trmino auditora tenga que ver con la
intencin de realizar un estudio que haga hincapi en la comprobacin de lo que se ha
hecho hasta el momento, ms que una verdadera valoracin del Plan. En el informe de
auditora, el equipo tcnico que la realiza (Asesores en Imagen Corporativa) se plantea
el anlisis de las actuaciones desarrolladas por el ICM como por el resto de los
organismos, departamentos y Consejeras, pretendiendo: 1) Conocer el alcance de las
acciones realizadas (no explicitan a qu se refieren con el concepto de alcance, si es
referido a las personas o grupos destinatarios, impacto, etc.), as como 2) El grado de
cumplimiento de los objetivos previstos. Como propsito explcito el informe de
auditora ha sido elaborado con la pretensin de convertirse en manual de referencia
para los debates (sobre el II Plan de Igualdad) (p.6).
Ya se ha visto que la evaluacin del II Plan Castellano-Manchego (1995-1999)

se realiza poco tiempo antes de que se elabore y apruebe del III Plan y que el mismo
equipo externo que realiza el estudio de evaluacin es tambin el equipo que asesora y
coordina el proceso de elaboracin de dicho III Plan. Es decir, la intencin inicial es
utilizar la evaluacin como base para elaborar el siguiente Plan, aunque como se ver
posteriormente, la premura del calendario no va a permitir que esto ocurra en su
plenitud. El equipo que propone la evaluacin es consciente de las limitaciones con que
se encuentran (adems de un plazo de realizacin muy corto, la ausencia de procesos de
seguimiento y evaluacin intermedia del Plan y la falta de una estructura de
coordinacin de los distintos organismos implicados en su desarrollo), y, en
consecuencia, pretende ser realista en los propsitos y objetivos planteados. Para el
equipo externo que la realiza (Fundacin Mujeres) la propuesta de evaluacin que se
realiza aportar como valor primordial la sistematizacin de toda la informacin
existente sobre los niveles de ejecucin de las actuaciones del Plan (...) y, como valor
aadido, un anlisis del diseo del Plan y una valoracin de su desarrollo hasta este
momento. La propuesta se establece en 3 ejes: 1) Anlisis del diseo del Plan, 2)
Memoria/mapa de resultados y 3) Valoracin del desarrollo del Plan. El objetivo general
que proponen es el de conocer el grado de consecucin de las acciones y, como
especficos, 1) Detectar las bondades y dificultades que hayan podido surgir como
consecuencia del propio diseo del Plan, 2) Conocer el grado de implantacin del Plan:
nivel de consecucin y resultados obtenidos y 3) Posibilitar el diseo de las estrategias
de intervencin para facilitar el diseo de un nuevo Plan, sucesor del actual. Como se
16
Vase el punto 1.3.1. del primer captulo.

____________________________________________________________________________________
275
______________________________________________________________________
puede observar, resulta curioso que el objetivo general no incluya el primer objetivo
especfico, ya que hacer una evaluacin de diseo (que tiene que ver ms con la
evaluacin de la idoneidad) va ms all y es claramente diferente a analizar si los
objetivos de dicho plan se han cumplido (evaluacin de la eficacia)17.
La evaluacin del I Plan Castellano Leons (1994-1996) se plantea abiertamente

como un anlisis comparativo de la situacin de las mujeres en Castilla y Len. Este
anlisis comparativo se realiza entre el estado de las mujeres antes de y despus del
periodo de vigencia del Plan, entre la situacin de Castilla y Len respecto al conjunto
nacional y entre los hombres y las mujeres. Claramente no est planteada como una
evaluacin, desde sus objetivos, pero es denominada y expuesta como evaluacin del I
Plan18. El enganche con el I Plan aparece en la pg. 5 del resumen de la evaluacin.
Textualmente dice que en este marco de referencia, se puede valorar la incidencia que
han tenido las acciones llevadas a cabo por la Junta de Castilla y Len a lo largo de los
aos incluidos en el Plan19. No dice cmo se va a valorar dicha incidencia y a lo largo
del estudio no aparece ninguna informacin que seale algn tipo de relacin entre los
cambios acaecidos en las mujeres en el periodo de vigencia del Plan y el propio Plan. Es
decir, cmo se puede llegar a la conclusin de que dichos cambios son debidos al Plan
y no a otros factores? No se recoge ninguna informacin al respecto. Curiosamente el
anteproyecto de evaluacin que realiza Eurodoxa (empresa externa que realiza la
evaluacin), aunque se planteaba un estudio mucho ms amplio y de mayor alcance,
tambin presentaba unos objetivos en los mismos trminos. Se deca que con el proyecto
de evaluacin se pretenda medir: el cambio social, la mejora de las condiciones de las
mujeres, la insercin laboral y la mejora educacional, la atencin a los colectivos de
mujeres ms necesitados y la mejora del conocimiento y la informacin. Es definitiva,
todos los aspectos estaban relacionados con el estudio de la situacin de las mujeres y
no con la evaluacin del Plan. Esto era contradictorio con lo que luego se planteaba en
el mismo proyecto, ya que se propona, adems de la evaluacin con fuentes
administrativas y secundarias (que es lo que finalmente se hace), y de una evaluacin
cuantitativa para estudiar al situacin social de la mujer a travs de una encuesta, una
evaluacin cualitativa a travs de entrevistas y grupos de discusin (con un diseo muy
similar al del IM) y cuyo objetivo era evaluar las acciones realizadas, es decir, la
17
La informacin y las citas estn extradas del documento Proyecto de evaluacin del II Plan de
Igualdad de Oportunidades. Las Mujeres de castilla-La Mancha hacia el siglo XXI (Fundacin
Mujeres. Octubre 1998).
18
En la publicacin del I Plan, aparece un apartado en el que, bajo el ttulo de La responsabilidad sobre
la evaluacin del Plan, se expone que la Secretara Regional de la Mujer, se responsabilizar de la
elaboracin de un Informe de Seguimiento del Plan, que cubrir las iniciativas lanzadas, los recursos
aplicados, la colaboracin con otros organismos, los cambios generados por el Plan en los programas en
los que ha hecho referencia a estudios de situacin sociolgica, y las reas e iniciativas de xito o de
fracaso en el desarrollo del Plan. Es decir, los objetivos iniciales s eran algo ms ambiciosos.
19
Documento: Secretara Regional de la Mujer (Junta de Castilla y len), Resumen de la Evaluacin del
Plan Integral de Igualdad de Oportunidades para la Mujer en Castilla y Len 1994-1996. 78 pp. Sin
fecha.
____________________________________________________________________________________
276
______________________________________________________________________
evaluacin del Plan y no de la situacin de las mujeres castellano leonesas.20 Es decir,
previamente existan dos objetivos: el estudio de la situacin de las mujeres en la regin
y, aunque no planteado de forma clara, la valoracin de las actuaciones del II Plan. En el
estudio que finalmente se realiza se pretende nicamente el primero de los objetivos.
Con la evaluacin del II Plan gallego (1995-1997) se pretenda:

1) Dar respuesta, por parte de la administracin, a las exigencias internas de
mejora de la calidad de los servicios prestados.
2) Proporcionar elementos de juicio para la toma de decisiones en el mbito de las
polticas de igualdad de la Consejera.
3) Dar cuenta a la sociedad gallega del rendimiento de recursos dedicados a la
promocin de la igualdad.
4) Mejorar y corregir las deficiencias de los planes de igualdad anteriores (los
subrayados son mos)21
Como objetivos concretos de la evaluacin gallega, se plantean conocer la
cantidad y calidad de las actividades desarrolladas, detectar sus puntos dbiles y sus
ventajas para mejorar, detectar nuevas necesidades, utilizar los resultados de la
evaluacin para redefinir, en su caso, los planes estratgicos de actuacin, con el fin de
mejorar las prestaciones y proporcionar tanto a las usuarias de los servicios como a
las entidades que los financian una informacin objetiva y fiable de la calidad de las
prestaciones. En definitiva, estn presentes las tres funciones de la evaluacin: mejora,
rendimiento de cuentas e iluminacin de acciones futuras.
El II Plan madrileo (1993-1995) se evala por parte de una empresa externa en

dos fases diferentes, que dan lugar a dos concursos pblicos entre los que median ocho
meses. Al igual que en Castilla y Len (se realiza por parte de la misma empresa externa
Eurodoxa-), se asemeja ms a un estudio de la situacin social de la mujer madrilea
que a una evaluacin del II Plan, aunque las intenciones iniciales y, que se reflejan tanto
en los pliegos de condiciones tcnicas como en los proyectos e introducciones de los
informes de evaluacin, son claramente evaluativas. El primer consurso pblico
responde al ttulo de Asistencia tcnica para la elaboracin de un sistema de
indicadores para evaluar los resultados obtenidos con el II Plan de Igualdad de
Oportunidades para las mujeres de la Comunidad de Madrid (noviembre 1995) y el
segundo al de Consultora y asistencia para la evaluacin del II Plan de Igualdad de
Oportunidades para las mujeres de la Comunidad de Madrid (julio 1996). Ya en el
primer pliego de condiciones tcnicas se seala la necesidad de valorar y evaluar las
acciones contempladas en el II Plan, para poder medir su efecto. Incluso se llega a decir
20 Documento: EURODOXA, S.A., Anteproyecto para la Evaluacin del Plan Integral de Igualdad de
Oportunidades para la Mujer en Castilla y Len 1994-1996. 14 pp. Sin fecha.
21
Trptico: Evaluacin del II Plan de Igualdad de Oportunidades para las Mujeres Gallegas.
Informacin
____________________________________________________________________________________
277
______________________________________________________________________
que los indicadores debern servir para medir el resultado obtenido con el esfuerzo
inversor y ayudar a mejorar y, si fuera necesario, a modificar las acciones contempladas
hasta la fecha. El objeto del contrato es la elaboracin de un sistema objetivo y fiable
de evaluacin de los resultados obtenidos por la aplicacin de las polticas de accin
positiva integradas en el II Plan (subrayados mos). El segundo contrato tiene por
objeto la implementacin de dicho sistema de indicadores el cul, textualmente,
permitir verificar en qu grado se han desarrollado medidas pertinentes para el logro
de los objetivos propuestos en dicho Plan al tiempo que facilitar el conocimiento de
medidas alternativas acordes con aquellas actividades mediante cuya aplicacin no se
hayan logrado los resultados previstos y proporcionar un modelo analtico para seguir
y evaluar anualmente las actividades a desarrollar por la Direccin General de la
Mujer22. Es decir, lo que se peda en los pliegos de condiciones tcnicas era claro: el
propsito inicial era la evaluacin del II Plan y no el estudio de la situacin de la mujer
madrilea durante el periodo de vigencia de dicho Plan, que fue lo que posteriormente
se realiz. Con esa evaluacin se pretenda, adems, no slo verificar el cumplimiento
del Plan, sino obtener alternativas para mejorar. Ms adelante veremos como en el
informe de evaluacin no se ofrecen ni valoraciones sobre los datos recogidos ni
recomendaciones, sugerencias o alternativas. Sin embargo, la ambigedad en los
propsitos de la evaluacin queda patente cuando los responsables polticos y tcnicos
declaran que, adems de la evaluacin, el objetivo ltimo era obtener datos sobre la
situacin de la mujer madrilea. En la publicacin de los resultados de la evaluacin, en
su presentacin, se mencionan varios propsitos: evaluar los resultados e incidencia del
II Plan, elaborar las herramientas necesarias para evaluar sucesivos planes de
igualdad, conocer el grado de cumplimiento, comparar la situacin actual de las
mujeres madrileas con la que exista en el ao 1992 y cotejar los datos referidos a
nuestra Comunidad con los correspondientes al conjunto de Espaa. Como se puede
observar, se entremezclan propsitos referidos a una evaluacin -que no se realiza- y a
una investigacin sobre la situacin social de la mujer, hecha en forma de
observatorio peridico -que es lo que, en parte se realiza-. De hecho, la
fundamentacin que encontramos en dicha presentacin es que el diseo de las
polticas de igualdad resultar ms eficiente si se identifican cules son los problemas
que van superndose a medida que la sociedad se transforma y cules son los que
ofrecen resistencia o incluso se agravan (DGM. Las mujeres en la Comunidad de
Madrid. p.3-4). Es decir, tiene ms que ver con una fundamentacin referida a la
necesidad de conocer la realidad sobre la que se acta y la evolucin del problema
pblico sobre el que se pretende actuar, y no tanto con la necesidad de conocer los
efectos de la actuacin de los poderes pblicos sobre dicho problema, ni con la
necesidad de mejorar dicha actuacin, ni con el rendimiento de cuentas. A pesar de la
legitimidad, necesidad y clara conveniencia de esta funcin de investigacin continua
sobre el problema de la (des)igualdad de gnero, creemos que el hecho de que la DGM
se haga responsable del estudio de la situacin de las mujeres madrileas no le debera
eximir de la responsabilidad de evaluar sus actuaciones.
22
Documentos: Memorias explicativas y Pliegos de Condiciones Tcnicas que regirn la contratacin de

Asistencia Tcnica para la elaboracin de un sistema de indicadores para evaluar los resultados
obtenidos con el II Plan de Igualdad de Oportunidades para las Mujeres de la Comunidad de Madrid y
Consultora y asistencia para la evaluacin del II Plan de Igualdad de Oportunidades para las Mujeres de
la Comunidad de Madrid. Direccin General de la Mujer. 6 y 8 pginas respectivamente. Septiembre de
1995 y Mayo de 1996 respectivamente.
____________________________________________________________________________________
278
______________________________________________________________________
Los propsitos y objetivos de las evaluaciones mixtas
El IM se plantea la evaluacin como una forma de dar cumplimiento a dos

preceptos: el primero, referido a las competencias atribuidas al IM en la ley de creacin
del mismo (16/1983, de 24 de Octubre), por la que corresponde a este organismo el
seguimiento de los Planes de Igualdad de Oportunidades de las Mujeres, a travs del
Consejo Rector; el segundo, referido al compromiso que se haca en el propio II Plan,
por el que se deca que al trmino de su perodo de vigencia deba elevarse un informe
de evaluacin al Consejo de Ministros (II Plan: p.139). Tambin se menciona la funcin
de facilitar la toma de decisiones en los planes subsiguientes. Los objetivos de la
evaluacin se concretan de la siguiente forma, en una ponencia presentada por el equipo
tcnico de evaluacin en un seminario en la UIMP: 1) Conocer cmo se pone en
marcha el Plan correspondiente, qu tipo de actividades se han emprendido para dar
cumplimiento al Plan, 2) Estudiar qu resultados se han conseguido con la ejecucin de
los planes, o mejor23, qu variaciones se han producido a lo largo de los aos de
vigencia de los planes, en aspectos considerados bsicos e importantes, 3) Analizar
cmo perciben la puesta en marcha de los planes personas o grupos que han estado
relacionadas o relacionados muy directamente con la realizacin de las actividades
llevadas a cabo y 4) Averiguar cules han sido los puntos dbiles de la ejecucin de los
planes, as como los fuertes, con el fin de elaborar una serie de consideraciones o
recomendaciones a tener en cuenta a la hora de elaborar el siguiente plan, por las
personas responsables de las polticas de igualdad (...) (Alvaro, De la Fuente y Aranda,
1998: 2). Este ltimo objetivo demuestra la intencin tambin de que la evaluacin
cumpla la funcin de mejora, adems de la del rendimiento de cuentas y la iluminacin
para los planes futuros que ya se ha mencionado. Sin embargo, y como se ver a lo largo
del anlisis, no se realizan demasiadas acciones que puedan cumplir dicho objetivo: ni
en los informes de evaluacin ni en la sntesis de resultados de la Evaluacin del II Plan,
publicada por el IM, aparece ningn apartado de conclusiones ni recomendaciones.
La finalidad primaria de la evaluacin del II Plan cataln fue proporcionar al

Gobierno de la Generalidad y al Parlamento de Catalua una visin global y
sistematizada sobre los resultados conseguidos con el II Plan. Adems, esto sirve
tambin como punto de partida para la elaboracin del III Plan. Es decir, sobre todo
rendimiento de cuentas y, secundariamente, iluminacin de acciones futuras. En
concreto se quera dar respuesta a cuatro cuestiones bsicas: Qu se ha hecho en los
tres aos de vigencia del Plan (grado de cumplimiento del Plan)?, Quin ha participado
en la ejecucin de las diferentes acciones?, A qu colectivos se han dirigido las
acciones del Plan? y Qu recursos se han destinado?. En este estudio de evaluacin se
23
En la formulacin de este objetivo se ve claramente la justificacin que se intenta hacer de convertir un

estudio de la situacin social de la mujer en evaluacin de resultados del II Plan. Claramente las dos
partes del objetivo no son iguales: no es lo mismo estudiar qu resultados se ha conseguido con la
ejecucin del Plan que estudiar qu variaciones se han producido a lo largo de los aos de vigencia del
Plan. Esta contradiccin se analizar con mayor profundidad ms adelante.
____________________________________________________________________________________
279
______________________________________________________________________
reconocen las limitaciones y se insiste en que el nfasis de la evaluacin ha sido ms
descriptivo que valorativo. Adems, respecto a la cuestin de cul ha sido el impacto
social del Plan, en pocas ocasiones se ha dispuesto de la evidencia emprica suficiente
para pronunciarse claramente en trminos de efectividad de las acciones y del grado de
cobertura de la demanda social. A pesar de este carcter modesto, se considera que la
evaluacin ofrece elementos de aprendizaje y reflexin (funcin de mejora y
aprendizaje) a los diferentes actores institucionales y sociales implicados en la poltica
de igualdad de gnero en Catalua24.
Finalmente, y en lo referente a la evaluacin del II PAPME vasco, la principal

finalidad a la que se hace referencia es la del cumplimiento de la encomienda que en
dicho Plan se realiza al Instituto Vasco de la Mujer (Emakunde) de impulso,
seguimiento y evaluacin del Plan. De hecho, Emakunde se plantea dos objetivos
primordiales en relacin a dichas funciones: 1) Impulsar la participacin activa de la
Administracin Pblica, tanto en la ejecucin como en la evaluacin del II PAPME y,
2) Profundizar y mejorar la metodologa de evaluacin. En definitiva, es el nico
organismo especfico de igualdad que tiene la evaluacin de los planes como verdadera
prioridad y, entre sus propsitos, se encuentran objetivos que tienen que ver con la
evaluacin en s misma. Como objetivos de evaluacin, se plantean: dar a conocer las
actuaciones que se realizan desde los tres niveles de la Administracin Pblica Vasca en
relacin al Plan, analizar en qu medida estn siendo o no ejecutadas las acciones
propuestas en el II PAPME, analizar desde una perspectiva cualitativa las actividades
realizadas por los diversos organismos implicados en la ejecucin del Plan y realizar
una valoracin del conjunto de las actuaciones con objeto de orientar la ejecucin del II
PAPME en toda su integridad durante su perodo de vigencia. Es decir, tienen presentes
tanto funciones de rendimiento de cuentas y de mejora, adems con la idea de orientar
sobre la marcha el propio Plan evaluado25. En este caso, los propsitos de la evaluacin
estn ms claros que en el resto de las experiencias. De hecho, se plantean la
evaluacin de la propia poltica pblica (ventajas y desventajas de la estrategia
seguida y caractersticas especficas de las acciones desarrolladas) y renuncian
explcitamente a la evaluacin del impacto de la poltica (de los resultados que esta
poltica ha tenido en funcin de los objetivos que se haba propuesto conseguir) ya que
existan limitaciones que se estim impedan hacer una evaluacin del impacto
rigurosa cuestin que (...) ocurre tambin en el conjunto de los pases de nuestro
entorno. En la evaluacin del II PAPME se incorpora, adems, un nuevo objetivo, que
tambin se hace explcito claramente y que es aumentar el nivel de compromiso de la
Administracin Pblica Vasca en la evaluacin, aumentando su participacin y
mejorando e incrementando la informacin aportada por la misma. Tambin son claras
al diferenciar la evaluacin de otro tipo de investigacin, que tambin realizan: No
24
Documento: Institut Catal de la Dona, Informe davaluaci del II Pla dactuaci del Govern per a la
igualtat doportunitats per a les dones Versi revisada 25/4/1997. 242 pp.
25
Todas las referencias de Emakunde, Memoria de Actuacin de los poderes pblicos en 1997 en
ejecucin del II Plan de Accin Positiva para las Mujeres en la Comunidad Autnoma de Euskadi 159
pp. ms anexo.
____________________________________________________________________________________
280
______________________________________________________________________
obstante Emakunde realiza anualmente, aunque no como parte integrante de la
evaluacin, un informe sobre la situacin de las mujeres en Euskadi y su evolucin26.
En definitiva, parece que los objetivos de Catalua y el Pas Vasco tienen que ver
con el desarrollo de la propia funcin de evaluacin y no slo con los objetivos del
estudio en s y parecen, adems, algo ms ajustados y realistas a las dimensiones de los
estudios que en el caso del IM.
Los propsitos y objetivos de las evaluaciones internas
En el Instituto Aragons de la Mujer, el estudio sobre el grado de cumplimiento

que se realiza sobre el I Plan se enmarca dentro del proceso de seguimiento de dicho
Plan, y se realiza poco antes de que el periodo de vigencia del Plan finalizara (en abril
de 1996). Es decir, no tiene grandes pretensiones y, por lo tanto, tiene dos propsitos:
por un lado establecer prioridades para lo que restaba de ao, y por otro, saber qu
acciones se haban realizado, ya que durante el ao 1995 se da un cambio de
responsable y un vaco de varios meses hasta que es nombrada la nueva directora.
La evaluacin del (II) Plan Integral de la Mujer de La Rioja se enmarca en el
proceso interno de seguimiento y evaluacin de dicho Plan. Con ello se quiere obtener
una informacin de manera continuada sobre los objetivos y las acciones (grado de
cumplimiento del plan a travs de recopilacin sistemtica y continuada de la
informacin), los organismos implicados y la participacin institucional (recopilacin a
travs de fichas), as como la opinin de la poblacin destinataria (al final del Plan, se
harn entrevistas en profundidad y grupos de discusin). En La Rioja s parecen tener
clara la diferencia entre evaluacin del plan e investigacin sobre la situacin de la
mujer, ya que se proponen, adems de las evaluaciones, la creacin de un Observatorio
sobre la situacin de las Mujeres en La Rioja que consistir en la elaboracin de un
sistema de indicadores que acte de observatorio permanente y que permita conocer la
evolucin de la poblacin destinataria en el tiempo de vigencia del Plan27.
Es decir, los propsitos en estos dos casos son muy distintos: mientras en el caso
aragons el caso es cubrir unas necesidades concretas de informacin y que responden a
una situacin y contexto determinado, en el caso de La Rioja, se concibe la evaluacin
como algo inherente a la propia intervencin, es decir, como una fase ms de los planes,
pretendiendo adems normalizarse en la dinmica propia de dichos planes.
26
Documento sobre evaluacin, presentado por Emakunde al Seminario sobre Evaluacin de Polticas de
Igualdad en la UIMP, Santander, Junio 1998. p.6-7.
27
Gobierno de LR, Plan Integral de la Mujer 1996-1999. p. 66-67.

____________________________________________________________________________________
281
______________________________________________________________________
2.3. Las estructuras institucionales de la evaluacin
Panorama general
El marco institucional para la evaluacin de planes de igualdad en Espaa es

todava incipiente, aunque los procesos de evaluacin de dichos planes estn hacindose
crecientemente ms explcitos. En este apartado analizamos cul ha sido el marco
institucional en la segunda generacin de evaluaciones de planes de igualdad. Para este
anlisis del marco institucional se toman en cuenta dos factores: por un lado, si se
menciona y se hace un compromiso explcito de evaluacin en el plan evaluado y, por
otro, el tipo de estructuras creadas alrededor de los organismos o los planes de igualdad
y que tienen alguna responsabilidad en el seguimiento y la evaluacin de los planes.
Tambin se tiene en cuenta la estructura funcionarial y tcnica de los organismos
especficos de igualdad, ya que sobre el personal tcnico recae el peso ejecutivo de los
procesos de evaluacin. Conocer las dimensiones de la plantilla de estos organismos en
el momento en el que se realizan las evaluaciones analizadas, ofrece una visin ms
completa de las estructuras institucionales que soportan los procesos de evaluacin,
bien sean internos o externos.
La mencin explcita sobre evaluacin es todava incipiente en esta segunda

generacin de planes evaluados, a excepcin del II PAPME vasco. Ya se ha visto que
los compromisos explcitos sobre evaluacin aumentan sustancialmente en la tercera
generacin de planes. Aunque tampoco la existencia de una mencin explcita asegura
necesariamente que exista un compromiso real ni que se cumpla dicho compromiso.
De los once planes evaluados de esta segunda generacin que es objeto de nuestra
meta-evaluacin, slo se hace referencia explcita a la evaluacin en cinco de ellos. Esta
referencia, adems, suele ser una simple mencin (salvo en el caso del Pas Vasco, en la
que la mencin es extensa y especfica), a diferencia de la tercera generacin de planes
en los que se suele dedicar un apartado especfico al sistema de evaluacin. Las
menciones a la evaluacin que aparecen en cinco de los once planes metaevaluados
son28:
El IM, en su cuarto apartado del Acuerdo del Consejo de Ministros, dice: Antes de finalizar el
perodo de vigencia previsto para el Plan, la Ministra de Asuntos Sociales elevar un informe de
evaluacin al Consejo de ministros en el que expondr el grado de cumplimiento alcanzado, las
actuaciones puestas en prctica y las causas que hubieran motivado la no realizacin de algunas
de las actuaciones previstas. Este informe incluir un anlisis de la incidencia social del Plan.
28
Todas las referencias y citas en este apartado aparecen en los correspondientes planes evaluados.
____________________________________________________________________________________
282
______________________________________________________________________
En el tercer apartado del Acuerdo del Consejo Rector del Instituto Canario de la Mujer, sobre el I
Plan 95-96) se dice que dicho Consejo acuerda: Encomendar a la Direccin del Instituto
Canario de la Mujer las funciones de impulso, seguimiento, coordinacin, y junto con el Consejo
Rector, la evaluacin de las medidas contenidas en el Anexo del Acuerdo.
En el I Plan de Castilla y Len, s existe un apartado especfico sobre Evaluacin y seguimiento
del Plan, en el que se especifica que ser responsabilidad de la Secretara Regional de la Mujer la
elaboracin de un Informe de Seguimiento del Plan. Posteriormente menciona el Informe de
Evaluacin, refirindose al mismo informe de seguimiento y dice que ser sometido a la Junta
de Castilla y Len (contemplndose, adems su difusin en el mbito de la Direccin General de
Servicios Sociales), y ser informado a la opinin pblica en el marco de las iniciativas de
comunicacin antes descritas. Tambin se menciona que dicha evaluacin deber ser realizada
anualmente.
Tambin en el II Plan de La Rioja29, existe un apartado especfico para la evaluacin, en el que se
especifican tres tipos de evaluacin: de los objetivos y acciones, de la participacin institucional y
de la opinin de la poblacin destinataria, es expresa cul va a ser la metodologa general y los
rganos de seguimiento y control del Plan (Consejo de Bienestar Social, Consejo Sectorial de la
Mujer y Comisin Interinstitucional de Bienestar Social).
Finalmente, en el Acuerdo del Consejo de Gobierno Vasco por el que se aprueba el II PAPME, en
su tercer artculo se acuerda: Encomendar a la Direccin del Instituto Vasco de la Mujer
(EMAKUNDE) las funciones de impulso, seguimiento y evaluacin generales del II Plan de
Accin Positiva para las mujeres en la Comunidad Autnoma de Euskadi (a continuacin se
especifica el modo de efectuar dichas funciones)30
En lo que respecta a las estructuras responsables del seguimiento y la

evaluacin, se pueden establecer seis tipos diferentes: 1) Consejos Rectores, 2)
Estructuras creadas ad-hoc, 3) Estructuras no especficas de evaluacin, 4) Consejos
de la Mujer y 5) Organismos que deben informar a los correspondientes poderes
legislativos. Se analizan a continuacin cada uno de estos tipos:
1) Algunos Consejos Rectores de los Institutos de la Mujer (IM, Aragn,
Canarias y Pas Vasco) son los principales responsables de la coordinacin, impulso,
seguimiento y evaluacin de los planes, aunque en el caso de Canarias existe tambin la
Comisin de Igualdad con responsabilidades en evaluacin, y en el Pas Vasco, una
Comisin Interdepartamental.
2) Estructuras creadas ad-hoc para la coordinacin, impulso, seguimiento y/o
evaluacin de los planes de igualdad. Esto ocurre en Andaluca, Galicia, Madrid y el
Pas Vasco. Slo en Galicia se menciona explcitamente la palabra evaluacin, es
decir es una estructura especfica de evaluacin; las otras mencionan coordinacin,
29
El (II) Plan Integral de la Mujer de LR (1996-1999) no es un Plan aprobado por Consejo de Gobierno
sino por el Consejo de Bienestar Social.
30
En la Propuesta de Acuerdo por el que se aprueba el II Plan de Accin Positiva para las Mujeres en la
Comunidad Autnoma de Euskadi, cuyo acuerdo adopto el Consejo de Gobierno, en su Sesin
celebrada el 29 de Diciembre de 1995, se especifican de forma muy amplia tres apartados respecto a este
srtculo tercero: uno referido al Ejercicio de las funciones de coordinacin, seguimiento y evaluacin del
Plan, otro sobre Mtodos de coordinacin, evaluacin y seguimiento del Plan y finalmente
Disposiciones comunes al ejercicio de las funciones de coordinacin, seguimiento y eevaluacin, en el
que se incluyen hasta los aspectos que deben recoger los informes de evaluacin.
____________________________________________________________________________________
283
______________________________________________________________________
impulso, seguimiento y control. Con la excepcin de Madrid, en donde la comisin
incluye una representacin de grupos de mujeres y de los gobiernos locales, estas
estructuras estn integradas exclusivamente por representantes de los departamentos
gubernamentales implicados en el plan.
Estas estructuras son distintas en su naturaleza. Algunas de ellas estn ms
formalizadas, como son los casos de Andaluca, Madrid o el Pas Vasco (en dnde
adems se especifican claramente sus funciones), en los que dichas estructuras aparecen
mencionadas y estructuradas en los propios acuerdos de gobierno que aprueban los
planes correspondientes. En Galicia, sin embargo, la estructura es ms interna, habiendo
sido creada a raz del comienzo del proceso de evaluacin y por recomendacin del
equipo externo que lo llev a cabo. Tambin es distinto el rango de los miembros
gubernamentales de dichas comisiones, siendo en Andaluca necesariamente
viceconsejeros y quedando en las otras sin especificar, por lo que la representacin
suele quedarse en un nivel ms tcnico que poltico.
3) Estructuras no especficas de coordinacin y seguimiento de los planes: en
esta categora se encuentran Canarias, Castilla y Len y Catalua. Con la excepcin de
la Comisin para la Igualdad de la Mujer en Canarias, en la que tambin hay
representacin de sindicatos y grupos de mujeres, el resto son estructuras
gubernamentales. Aunque estas estructuras no son especficas de la funcin de
evaluacin, su existencia es importante para la misma, ya que son estructuras generales
de coordinacin intergubernamentales y son normalmente estructuras de apoyo de los
organismos de igualdad, en todas sus funciones, incluida la evaluacin.
4) Consejos de la Mujer: aunque normalmente no se suelen mencionar
explcitamente responsabilidades en la evaluacin de los planes por parte de estas
estructuras (salvo en el caso de La Rioja), suelen cumplir tambin un papel simblico
respecto a las mismas. Por ejemplo, en el caso del Consejo Regional de Castilla y Len,
aunque no hay ninguna funcin explcita en su orden de creacin, en su seno hay un
grupo de seguimiento y control del II Plan, aunque no lo hubo para el I Plan. En el caso
de Catalua y La Rioja, los correspondientes Consejos tienen reconocida la funcin de
seguimiento (en el caso de Catalua, indirectamente, a travs del Instituto Cataln de la
Mujer). Pero el hecho de que exista un Consejo Regional de la Mujer o similar no
implica que tenga funciones de seguimiento y evaluacin de los planes (como es el caso
de Castilla- La Mancha).
5) En algunas comunidades autnomas existen vnculos con el parlamento o
asamblea legislativa correspondiente. En el caso de Catalua, existe en el Parlamento
cataln una Comisin de Seguimiento del Proceso de Equiparacin Hombre-Mujer
que es bastante activa pidiendo comparecencias a la presidenta del ICD. La existencia
de comisiones relacionadas con el tema de la igualdad o la mujer tambin se dan en
otros parlamentos o asambleas autonmicos, y en algunos casos se han producido
tambin comparecencias relacionadas con los estudios de evaluacin (por ejemplo,
Andaluca31 o Madrid), aunque su actividad es ms irregular. En Catalua existe una
comparecencia el 6 de mayo de 1997, en la que la presidenta del ICD explicaba la
31
Comisin Permanente para la Promocin de la Igualdad de Oportunidades y Proteccin de los

Derechos de las Mujeres, creada en la 4 legislatura, el da 4.9.1994 (B.O.P.A. n 16 de 1994).
____________________________________________________________________________________
284
______________________________________________________________________
evaluacin del II Plan32. En ella hablaba tanto de los resultados de la evaluacin como
de la metodologa que se haba utilizado para la misma. La existencia de una estructura
que fomenta este esfuerzo de explicacin y rendimiento de cuentas es sin duda un
acicate ms para los procesos de evaluacin y refuerza la funcin de evaluacin.
En el caso del Pas Vasco, el vnculo es ms directo ya que en la propia estructura
del organismo de igualdad (Emakunde) existe una vinculacin y un compromiso
explcito con el legislativo dado que en la propia ley de creacin de Emakunde (Ley
2/88, de 5 de febrero) se seala que se debe presentar una memoria anual al Parlamento
sobre las actuaciones de los poderes pblicos en materia de mujer. Esta circunstancia ha
obligado al organismo, desde un principio, a recopilar informacin sistemtica sobre sus
actuaciones.
Curiosamente, tambin existe una Comunidad Autnoma, Baleares, en la que
existen ciertos vnculos formales con el poder legislativo con respecto al II Plan pero en
la que, sin embargo, ste no ha sido evaluado. El Parlamento de las Islas Baleares
aprueba unas propuestas de resolucin respecto al II Plan, entre las que figuran que
insta al Gobierno a darle cuenta del grado de cumplimiento del mismo y a presentar una
memoria valorando los resultados del Plan. Parece, por lo tanto, que los vnculos
formales con los organismos de igualdad, como es el caso del Pas Vasco, son ms
efectivos que los que se establecen a travs de los propios planes.
6) Finalmente, existen estructuras no especficas de igualdad a las que el
organismo de igualdad debe informar sobre el plan, como es el caso del Consejo de
Bienestar Social en La Rioja, que es el que aprueba el Plan (a diferencia de las
comunidades autnomas en las que se aprueba por Acuerdo de Consejo de Gobierno).
Tambin existe en este caso la Comisin Interinstitucional de Bienestar social, que
tambin cumple un papel en el seguimiento y evaluacin del (II) Plan Integral de la
Mujer de La Rioja. Este caso es muy distinto y refleja cmo la poltica de igualdad
forma parte de la poltica de Bienestar Social y, por lo tanto, utiliza sus estructuras33.
Como se puede observar, entre los casos estudiados, existe una Comunidad
Autnoma, Castilla- La Mancha, en la que no existe ningn tipo de estructura para la
coordinacin, seguimiento y evaluacin del Plan.
Tambin resulta interesante analizar como, en algunos de los casos de los planes
que no han sido evaluados (y por lo tanto, no son objeto de nuestra meta-evaluacin), s
exista una mencin a la evaluacin y una mnima estructura institucional para la
misma. Este es el caso del II Plan asturiano (1993-1995), en el que, bajo el apartado de
coordinacin y seguimiento, adems de proponer la creacin de una Comisin
Interinstitucional de elaboracin, coordinacin y seguimiento del II Plan (es decir, una
32
ICD. Compareixena de la Presidenta de lInstitut Catal de la Dona davant la Comissi de

Seguiment del Procs dEquiparaci Home-Dona. (Parlament de Catalunya, 6 de Maig de 1997).
Documento interno. 24 pp.
33
Aunque no sea una Comunidad Autnoma que se est analizando en esta segunda generacin de
evaluaciones, conviene sealar aqu que este es tambin el caso de lo que ocurre en Murcia, con el
Consejo Regional de Servicios Sociales.
____________________________________________________________________________________
285
______________________________________________________________________
estructura ad-hoc), se menciona la creacin de un sistema de evaluacin, la
evaluacin peridica de las acciones emprendidas, una evaluacin del Plan a mitad de
su ejecucin y una evaluacin final. Ninguna de estas cuestiones llega a realizarse,
probablemente debido, en parte, a los cambios polticos y de estructura institucional del
Principado de Asturias. En los primeros aos de desarrollo de las polticas de igualdad,
Asturias fue una de las comunidades autnomas ms activas al respecto; sin embargo, la
estructura institucional con la que cont nunca fue lo suficientemente fuerte como para
subsistir a los cambios polticos. Algo muy similar ha ocurrido en la Comunidad
Autnoma Valenciana, en la que los avatares polticos e institucionales, no han
permitido la estabilidad suficiente para llevar una poltica de igualdad coherente y
continuada durante unos aos34.
Estas estructuras son incipientes y todava dbiles en la mayora de los casos. No

se puede concluir una relacin causa-efecto de un tipo de estructura con un mayor grado
de evaluacin. Otro problema aadido al establecimiento de conclusiones es que,
adems de la existencia de un tipo u otro de estructura institucional formal, hay que
estudiar su funcionamiento real. Un ejemplo de esto es el estudio de Valiente sobre el
IM, en el que destaca que la Comisin de Igualdad tuvo serios problemas y que el
Consejo Rector apenas se reuna (Valiente, 1996). Los lmites de este trabajo no
permiten profundizar en cada uno de los once casos estudiados y, por lo tanto,
insistimos en la necesidad de que existan estudios de caso sobre las polticas de
igualdad autonmicas, como es el caso del trabajo de Granados (1999). Sin embargo, s
parece haber estructuras ms adecuadas que otras para asegurar una evaluacin. Sin
nimo de establecer unas conclusiones definitivas, creemos que se pueden observar las
siguientes tendencias:
1) Los fundamentales garantes de los procesos de evaluacin son los propios
organismos de igualdad. En el caso de los organismos que son autnomos, los Consejos
Rectores o de Direccin tienen un papel clave respecto a la funcin de evaluacin.
Cuanto ms fuerte sea la estructura de dichos organismos, mayores posibilidades de que
la estructura institucional para la evaluacin sea tambin ms fuerte.
2) Las estructuras creadas ad-hoc para coordinar, impulsar, seguir y evaluar los
planes son ventajosas porque implican formalmente al resto de los departamentos en
una tarea en la que su aportacin de informacin va a ser clave. Pero se corre el peligro
de que se queden en una mera estructura formal y son menos estables
institucionalmente.
3) Las estructuras no especficas para los planes tienen, a veces, una fortaleza
institucional mayor que las estructuras ad-hoc (son incluso, ms permanentes), pero
tambin tienen otras funciones que cumplir, lo que puede hacer que la funcin de
evaluacin de los planes se diluya. En general, pueden cumplir un papel muy
34
El organismo de igualdad creado en 1988 no tena rango de Organismo autnomo, rango que adquiere
con la Ley 5/1992, de 30 de Junio, aunque es suprimido un ao y medio ms tarde en la Ley 6/1993, de
31 de Diciembre, de Presupuestos de la Generalidad Valenciana para el ejercicio 1994. Para ms detalles,
vase el captulo 2 de este trabajo.
____________________________________________________________________________________
286
______________________________________________________________________
importante en la coordinacin, seguimiento y evaluacin de las polticas de igualdad en
general.
4) Por ahora, la presencia de la sociedad civil y el movimiento de mujeres (a
travs de los Consejos de la Mujer u otras estructuras) en los procesos de seguimiento y
evaluacin de los Planes es meramente simblica.
5) Los vnculos con el poder legislativo en los procesos de seguimiento y
evaluacin son siempre impulsores de los mismos. Si el grado de compromiso es
importante y est vinculado directamente al organismo de igualdad, como es en el caso
del Pas Vasco, se convierte en un factor crucial para impulsar, desarrollar y mantener
procesos de evaluacin.
Finalmente, la estructura del personal de los organismos de igualdad a grandes

rasgos puede completar la visin de la relativa fortaleza de la estructura institucional de
la evaluacin, aunque el personal en concreto que se dedica a las tareas de evaluacin
en cada organismo es analizado ms adelante en el punto referido a los agentes de las
evaluaciones. Lgicamente, existe una gran diferencia entre el staff del IM y el de sus
homlogos autonmicos y, entre stos, tambin existen diferencias sustanciales. El staff
del IM en 1993 era de 178 personas, incluyendo todo tipo de personal, organizadas en
tres subdirecciones generales (Cooperacin, Estudios y Documentacin y Programas) y
una secretara general, adems de un gabinete de relaciones internacionales y otro de
medios de comunicacin35. Las plantillas de los organismos autonmicos van desde las
49 personas del Instituto Andaluz de la Mujer en 1993 a las 4 personas dedicadas al
programa de mujer en la Direccin General de Bienestar Social de La Rioja o a las
tambin 4 que afrontan la evaluacin del I Plan canario (que luego se convertirn en 17
a partir de noviembre de 1996). Estos datos se reflejan a continuacin en la tabla 5.2.
35
Informacin extrada de IM. 1994. 10 aos del Instituto de la Mujer. Madrid: Instituto de la Mujer.
pp.169-172.
____________________________________________________________________________________
287
______________________________________________________________________
TABLA 5.2.: ESTRUCTURA INSTITUCIONAL

Plantilla en
organismos
de igualdad
Mencin
expresa de
evaluacin en
el Plan
Estructuras responsables del seguimiento y la

evaluacin de los Planes
Instituto Mujer
II (93-95)
Consejo Rector
178
(en 1993)
Andaluca
II (95-97)
No
Comisin del Plan para coordinar e

impulsar (viceconsejeros)
49
(en 1994) *
Aragn
I (94-96)
No
Consejo Rector
19 (en 1996)
Canarias
I (95-96)
Consejo Rector
4 (hasta 9/ 96)
y 17 a partir
11/96)
Castilla-La
Mancha
II (95-99)
No
No existe ninguna estructura

Direccin General de la Mujer
10 (en 1998)
Castilla y Len
I (94-96)
Comisin Interconsejeras para temas de

igualdad de la mujer
Sin datos
Comisin para la Igualdad de la Mujer
Comissi Interdepatamental per a la Igualtat

dOportunitats per a las Dones
Comisin Parlamentaria de Seguimiento del
Proceso de Equiparacin Hombre-Mujer
Consell Nacional de Dones
Catalua
II (94-96)
No
Galicia
II (95-97)
No
Comisin de Seguimiento para la

evaluacin del II Plan
Sin datos
Madrid
II (93-95)
No
Comisin para el impulso y seguimiento

del Plan
Sin datos
4 (Mujer)
45 (D.G.
Bienestar
Social)
La Rioja
II (96-99)
Consejo de Bienestar Social

Consejo Sectorial de la Mujer
Comisin Interinstitucional de Bienestar Social
Pas Vasco
II (1995-1998)
Consejo de Direccin
Comisin Interdepartamental
Parlamento Vasco
Sin datos
22 (en 1997)
* Dato extrado de Granados, E. El Instituto Andaluz de la Mujer: organizacin, presupuesto y

actuaciones. Ponencia presentada en el II Congreso de la AECPA. Salamanca 1997.
____________________________________________________________________________________
288
______________________________________________________________________
Las estructuras institucionales para las evaluaciones externas
En las evaluaciones externas existen algunas estructuras institucionales que

facilitan o al menos cumplen alguna funcin respecto a los procesos de evaluacin. En
el caso de Castilla- La Mancha no existe ninguna estructura institucional y en el de
Galicia, la creacin de una Comisin de evaluacin interna resulta uno de los pilares
para la recopilacin de informacin necesaria para la realizacin del estudio. En el resto
de los casos, las estructuras de coordinacin existentes cumplen un papel tangencial
respecto a los procesos de evaluacin.
En el caso de Canarias, en la ley de creacin del ICM (Ley 1/1994, de 13 de

Enero) no se establece para el Consejo Rector ninguna funcin relacionada con la
evaluacin, ni de las polticas ni de los planes de igualdad. Sin embargo, el acuerdo de
aprobacin del I Plan atribuye al Consejo Rector, juntamente con la direccin del ICM,
la evaluacin de las medidas del Plan.
De las seis experiencias externas, se crean estructuras ad-hoc en tres de ellas.

En el caso de Andaluca, se crea la Comisin del Plan en el artculo dos del
Acuerdo del Consejo de Gobierno que aprueba el II Plan. Su misin explcita es la de
coordinar e impulsar el Plan, por lo que se supone que tambin tendr algn papel
respecto al seguimiento y la evaluacin. A esta Comisin, adems, se le pretende dar un
cierto carcter poltico, ya que sus componentes tienen rango de viceconsejeros. El
artculo 2 dice textualmente:
Al objeto de coordinar e impulsar las medidas previstas en el Plan, se crea una Comisin que
estar presidida por el Consejero de Presidencia y de la que formarn parte los Viceconsejeros
de Industria, Comercio y Turismo, Trabajo y Asuntos Sociales, Salud, Educacin y Ciencia,
Cultura, as como la Directora del Instituto Andaluz de la Mujer
En Galicia, la Comisin de evaluacin es una comisin interna, es decir, no

tiene una estructura avalada formalmente, por lo que se supone que su autoridad y
reconocimiento formal va a depender del liderazgo que ejerza el Servicio de Igualdad (y
que precisamente sufre dos cambios de directora durante el proceso evaluador). Por lo
tanto, en Galicia, la nica estructura realmente especfica sobre la evaluacin, es dbil
desde el punto de vista formal y surge a raz del inicio del proceso evaluador y por
necesidades de recopilacin de informacin. Esta Comisin est compuesta por
personas designadas por las distintas Consejeras y otros organismos autonmicos, y se
crea con el fin de iniciar un proceso de participacin de la Xunta de Galicia en la
____________________________________________________________________________________
289
______________________________________________________________________
evaluacin de los Planes (...), concienciar a la Administracin de la necesidad de dicha
evaluacin y de coordinar la recogida de la informacin necesaria36.
En Madrid, y de forma parecida a lo que ocurre en Andaluca, se crea una
Comisin ad-hoc para el Plan. Esta Comisin parece haber tenido un papel ms bien
simblico en el proceso de evaluacin, aunque s consta que se tiene una reunin con
dicha Comisin antes de la presentacin del informe. El artculo tercero del Acuerdo del
Consejo de Gobierno que aprueba el II Plan dice textualmente:
Crear, para el impulso y seguimiento de las medidas previstas en este Plan, una Comisin en la
que estarn representados, en la forma que se establezca por orden de la Consejera de
Presidencia, la administracin autonmica, el movimiento asociativo, los agentes sociales de
Madrid y la Federacin de Municipios de Madrid
Tambin encontramos algunas estructuras no especficas de evaluacin, pero

que cumplen un cierto papel en las mismas, tanto en Canarias como en Castilla y Len.
La Comisin para la Igualdad de la Mujer Canaria se crea, junto con el ICM,
como rgano consultivo de apoyo del mismo (Ley 1/1994, de 13 de Enero) y se
desarrollan su estructura y funciones en el Decreto 1/1995, de 13 de Enero. Esta
Comisin est integrada por la directora del ICM, en calidad de presidenta de la misma,
cinco representantes de la Administracin autonmica, tres representantes de sindicatos,
tres de organizaciones empresariales y siete propuestos por las entidades que trabajen
especficamente en programas a favor de la igualdad y promocin de la mujer. Entre sus
funciones no se encuentran ninguna especficamente relacionada con la evaluacin,
aunque una de ellas es la de Elaborar informes sobre las medidas relacionadas con la
igualdad de la mujer, a iniciativa propia o a peticin del Consejo Rector o del Gobierno
de Canarias, que podra interpretarse con una cierta relacin. Aunque en el I Plan
(cuya evaluacin estamos analizando) no se le otorga formalmente ninguna funcin de
evaluacin a dicha Comisin, esto s se hace en el II.
En Castilla y Len, la Comisin Interconsejeras para temas de igualdad de la
mujer, que se constituye por responsables de temas de la mujer en cada Consejera (1
o 2 por Consejera en funcin de sus atribuciones (no se especifica ms), tiene por
funciones adems de la coordinacin, el intercambio de informacin y la movilizacin
de programas, la movilizacin de la elaboracin del Informe anual sobre iniciativas
para la igualdad para la Mujer en Castilla y Len (informe de seguimiento de iniciativas
del Plan, que deber ser coordinado tcnicamente, a nivel de gestin de datos y
elaboracin, por la Secretara Regional de la Mujer37. Pero no se dice nada
especficamente sobre el tema de evaluacin.
36 Trptico Evaluacin del II Plan de Igualdad de Oportunidades para las Mujeres Gallegas.
Informacin.
37
Junta de Castilla y Len, Plan Integral de Igualdad de Oportunidades para la Mujer en Castilla y
Len. pp. 219-220.
____________________________________________________________________________________
290
______________________________________________________________________
Como se ha visto antes, aunque los Consejos Regionales de la Mujer, podran
cumplir una cierta funcin de seguimiento de los planes (como es en el caso de Castilla
y Len, en el que existe un grupo de seguimiento y control del II Plan, aunque no lo
hubo durante la evaluacin del I Plan que es la que se analiza en este trabajo), no
parecen cumplir ningn papel importante en los procesos de evaluacin externos de la
segunda generacin. El Consejo Regional de la Mujer de Castilla-La Mancha38 no
menciona entre sus funciones ningn aspecto referido al seguimiento o evaluacin de
los planes u otras actividades de la Direccin General de la Mujer (slo se refiere a
participar en los programas de la DGM). De hecho, esta estructura no parece haber
tenido un papel importante en el proceso de evaluacin del II Plan castellanomanchego.
Las estructuras institucionales para las evaluaciones mixtas
En el caso del IM, en el II Plan, slo se menciona que su Consejo Rector realizar
las funciones de impulso y coordinacin de las medidas previstas en el Plan. Es decir,
no se menciona explcitamente la funcin de evaluacin en ningn lugar y, como se ha
visto antes, la responsabilidad de la evaluacin recae sobre la Ministra de Asuntos
Sociales que es la que deber elevar el informe de evaluacin al Consejo de
Ministros. En el IM se cre en 1988 una Comisin Consultiva para el seguimiento del
Primer Plan de Igualdad, que como se ha visto en la exposicin de dicha primera
evaluacin, tuvo problemas en su funcionamiento. En la evaluacin del II Plan no se
crea una estructura semejante, y la responsabilidad de la evaluacin recae sobre el
propio Instituto y su Consejo Rector.
En el caso del Pas Vasco, s se atribuye directamente al Consejo de Direccin de

Emakunde las funciones de impulso, coordinacin, seguimiento y evaluacin. De hecho,
se especifica, en el Acuerdo del Consejo de Gobierno que aprueba el II PAPME, que
dicho Consejo de Direccin ser el que establecer los criterios y pautas que debern
seguir los mtodos de coordinacin, seguimiento y evaluacin de las acciones a
desarrollar por el conjunto de las Administraciones Pblicas Vascas.
En el Pas Vasco existe, adems, la Comisin Interdepartamental para la
coordinacin de la ejecucin del PAPME, que es una estructura creada ad-hoc para
el seguimiento y evaluacin del Plan. Esta Comisin que tiene formalmente acotadas
sus funciones debe, textualmente:
1) Aprobar al inicio de cada ejercicio un documento-programa en que se sealen las acciones
concretas del Plan a efectuar durante el mismo, los recursos disponibles y los medios utilizables.
(...)
38
Decreto 35/1990, de 13 de Marzo (D.O.C.M. n 18, 21/3/1990).

____________________________________________________________________________________
291
______________________________________________________________________
2) Realizar, al finalizar el primer trimestre, un primer informe de seguimiento de las acciones
desarrolladas y de los medios y recursos utilizados, junto con una valoracin en torno a la
consecucin de los objetivos previstos en el Plan.
3) Aprobar, al finalizar el ejercicio, el informe anual de seguimiento con las mismas
caractersticas que el anterior al que se sumarn tanto un informe de evaluacin realizado por la
Direccin del Instituto como las propuestas de adaptacin de los objetivos y acciones que se
estimen convenientes por parte de la Direccin del Instituto para su consideracin por el Consejo
de Direccin de Emakunde y, en su caso, el Consejo de Gobierno.39
En Catalua, coexiste la Comisin Interdepartamental para la Igualdad de

Oportunidades de las Mujeres con el Instituto Cataln de la Mujer. La Comisin es
un rgano de coordinacin e impulso de las acciones que promueven la no
discriminacin entre hombres y mujeres y la igualdad de derechos que sean
competencia de los departamentos de la Generalidad (decreto 209/1993 del 31 de
agosto). Es un rgano de mxima representacin gubernamental, ya que el presidente de
dicha Comisin es el presidente de la Generalidad y la componen un representante de
cada uno de los departamentos, nombrados por cada uno de los Consejeros. No tiene
una funcin explcita en evaluacin, pero tiene la de coordinar y fomentar las acciones,
por lo que tambin tiene un papel, aunque ste sea simblico respecto a dicha funcin.
Adems, el Consell Nacional de Dones de Catalunya es un rgano consultivo del
Instituto Cataln de la Mujer (ICD), y rene a representantes de las entidades y
colectivos que trabajan a favor de la igualdad. El Pleno del Consejo, entre otras, tiene
las funciones de debatir e informar sobre el plan anual de actividades del ICD y de
aprobar el informe anual sobre el estado y las perspectivas de la situacin de la igualdad
de oportunidades. Por lo que, lgicamente, va a estar interesado en la evaluacin de los
Planes de Actuacin.
Respecto a los vnculos con los parlamentos, el caso del Pas Vasco es el vnculo
ms estable ya que existe a travs del organismo de igualdad y no del Plan. Por la ley de
Emakunde el organismo es el que est obligado y toma la iniciativa de rendir cuentas al
Parlamento. En los otros casos, la iniciativa parte de las diferentes comisiones
legislativas relacionadas con los temas de igualdad o de mujer; por lo que la actividad
parlamentaria al respecto depende de lo activo o fuerte de dichas comisiones y siempre
es a peticin de las mismas, y no del organismo ejecutivo.
En general, las estructuras institucionales para la evaluacin en las experiencias
mixtas son fuertes en el caso de los organismos de igualdad autonmicos, destacando el
caso del Pas Vasco, y no tanto en el caso del IM en el nivel central.
39
Propuesta de Acuerdo por el que se aprueba el II Plan de Accin Positiva para las Mujeres en la
Comunidad Autnoma de Euskadi, cuyo acuerdo adopt el Consejo de Gobierno, en su Sesin
celebrada el 29 de Diciembre de 1995.
____________________________________________________________________________________
292
______________________________________________________________________
Las estructuras institucionales para las evaluaciones internas
En el caso aragons, no existe ninguna estructura ad-hoc para la evaluacin y

las funciones de seguimiento y evaluacin de los planes son directamente
encomendadas al Consejo Rector del Instituto Aragons de la Mujer.
En La Rioja, existe un Consejo Sectorial de la Mujer, que depende del Consejo de
Bienestar Social y que tiene por objeto, entre otras funciones, el seguimiento del Plan.
Como ya se ha sealado, la poltica de igualdad de gnero en La Rioja est limitada al
marco de las polticas de bienestar social, siendo el tema de mujer uno entre otros. Por
lo tanto, las estructuras institucionales existentes son muy diferentes a las del resto de
las comunidades autnomas.
____________________________________________________________________________________
293
______________________________________________________________________
2.4. Recursos empleados en las evaluaciones
Panorama general
Finalmente, otro factor importante para valorar el planteamiento que se hace de
una evaluacin, es sin duda, los recursos que en ella se invierten, ya sean econmicos o
humanos. En el caso de las evaluaciones externas, resulta fcil la ponderacin de los
gastos directos, ya que suelen quedar consignados como tal. Ms difcil es la medicin
de los gastos indirectos que provocan las situaciones de evaluacin, no slo en los
procesos de evaluacin interna sino tambin de evaluacin externa. En las evaluaciones
internas prcticamente todos los gastos que se generan son de carcter indirecto, pero
tambin en los procesos de evaluacin externa es interesante medir dichos gastos, es
decir, el esfuerzo invertido por el correspondiente organismo de igualdad en la
coordinacin con el equipo externo, ms el tiempo interno empleado en aportar y
recoger informacin, as como en recibir, revisar, ponderar, analizar y procesar los
resultados de una evaluacin.
La medicin de estos gastos indirectos es muy difcil hacerla de manera fiable si
no se han establecido previamente unos criterios y un sistema para la recogida de
informacin (tiempo empleado por cada trabajador/a en el proceso de evaluacin) que
permita consignar los datos de forma peridica y de una forma frecuente (como mximo
semanalmente), ya que la estimacin del tiempo dedicado a una tarea ya realizada es
muy subjetiva y depende de muchos factores. Si existe personal tcnico dedicado a
tiempo completo y exclusivo a la evaluacin es ms fcil, pero ste no es el caso en los
organismos de igualdad estudiados: prcticamente todo el personal tcnico con
responsabilidades en las tareas de evaluacin se dedican, adems, a otras tareas distintas
de la evaluacin. En el inicio de este trabajo se intent realizar una estimacin de estos
gastos indirectos en cada una de las once experiencias metaevaluadas, pero sta result
prcticamente imposible. Dadas las limitaciones de este trabajo, por lo tanto, se hace
slo una aproximacin a los gastos indirectos de los procesos de evaluacin.
Con el fin de realizar una ponderacin de los recursos empleados en trminos
relativos, se trat de obtener informacin no slo de los recursos empleados en los
procesos de evaluacin, sino tambin de los recursos empleados en el plan evaluado as
como los presupuestos del organismo de igualdad durante el perodo de vigencia del
plan correspondiente. Esto ofrecera una idea relativa del esfuerzo invertido en los
procesos de evaluacin de los planes de igualdad.
Los criterios que se quisieron utilizar fueron los siguientes:
Gastos directos: se contemplan sumadas las cantidades totales sumando los
diferentes contratos en casos de que haya ms de uno (por ejemplo, en IM, se suman los
7 millones del estudio realizado en 1993 con los 7,5 del estudio cuantitativo ms los 3,5
del estudio cualitativo de 1996).
____________________________________________________________________________________
294
______________________________________________________________________
Gastos indirectos: En este caso nos encontramos no slo con una falta real de
datos (en muchos casos los responsables tcnicos no eran capaces de hacer una
estimacin del tiempo dedicado a la evaluacin) sino de un problema de fiabilidad de
los mismos. Adems de la subjetividad y relatividad de las estimaciones cuando stas se
realizaban, para hacer un clculo vlido de los gastos indirectos reales de los procesos
de evaluacin, habra tambin que incluir el porcentaje de los gastos generales de cada
organismo de igualdad correspondiente a la funcin de evaluacin, as como tambin
del esfuerzo empleado en cada departamento gubernamental (distinto al organismo de
igualdad) en el proceso de evaluacin. Estas dificultades nos hicieron desistir de dar
cifras aproximadas, aunque s hemos querido dar una idea general sobre si el esfuerzo
empleado ha sido mucho o poco.
Presupuesto del plan: El criterio tomado ha sido el presupuesto calculado sobre el
monto invertido en el Plan no slo por el organismo de igualdad correspondiente, sino
por cada uno de los departamentos e instituciones gubernamentales que han participado
en l. Lgicamente, en la ejecucin de un plan de igualdad se invierte ms dinero de
otros departamentos gubernamentales distintos al organismo de igualdad. La cantidad
refleja la suma de los presupuestos anuales de los aos correspondientes al perodo de
vigencia del plan evaluado, cuando stos han sido calculados. El problema es que este
monto total no ha sido calculado en la mayora de los casos de esta segunda generacin
de evaluaciones.
Presupuesto de los organismos de igualdad durante los aos de vigencia del plan
evaluado. Esta cifra es ms fcil de obtener y es ms fiable que la del presupuesto de los
planes. Con este dato se puede calcular el porcentaje de lo que ha supuesto la evaluacin
(al menos en sus gastos directos) respecto al organismo de igualdad. Esta informacin
es importante ya que son los organismos de igualdad los que tienen la responsabilidad
de la evaluacin de los planes. El gasto relativo que se haga en evaluacin en cada
organismo da una idea aproximada del peso que se le da a dicha funcin. Para unificar
criterios, se propona comparar el gasto de la evaluacin con los presupuestos
correspondientes a los aos de vigencia del Plan, aunque en la mayora de los casos, la
evaluacin se hace en aos posteriores a dicha vigencia.
La obtencin de estos datos nos ha resultado muy difcil y, en la mayora de los
casos, no se han podido obtener de forma completa. Los gastos indirectos fueron, como
ya se ha comentado, imposibles de calcular. Los presupuestos de los planes no llegaron
a estr nunca calculados en la mayora de los planes de segunda generacin evaluados.
Por ltimo, los presupuestos de los organismos de igualdad han sido ms fciles si stos
eran autnomos, pero no as cuando se trataba de una direccin general o similar en la
que su presupuesto no aparece en una partida nica. Por lo tanto, se renuncia a
establecer los clculos pretendidos y slo se pretenden realizar estimaciones globales en
cada uno de los apartados siguientes referidos al conjunto de las once experiencias.
En general, los recursos invertidos en los procesos de evaluacin de segunda
generacin han sido relativamente muy bajos, con la excepcin en cierto modo del Pas
Vasco en donde la funcin de evaluacin en Emakunde est bastante desarrollada y en
donde se han invertido gran cantidad de esfuerzos internos en ella. En trminos
absolutos, los gastos relacionados con estudios de evaluacin son ms bien bajos (mirar
tabla en el apartado de evaluaciones externas), pero incluso cuando en algn caso el
gasto directo absoluto parece alto, como en el caso de Andaluca, ste resulta bajo en
____________________________________________________________________________________
295
______________________________________________________________________
trminos relativos (0,97% respecto al presupuesto del IAM y 0,07% respecto al
presupuesto del Plan).
Los recursos para las evaluaciones externas
Los seis estudios de evaluacin externa analizados tienen dimensiones muy

distintas, como se ve en la tabla 5.3, en la que se reflejan los costes directos de dichos
estudios (es decir, lo que los correspondientes organismos de igualdad han pagado por
ellos a los equipos externos que los han realizado). En esta misma tabla se refleja
tambin lo que supone dicho coste en trminos relativos: por un lado, el % respecto al
presupuesto total del Plan evaluado y, por otro, respecto a lo que han sido los
presupuestos del organismo de igualdad que ha encargado dicho estudio durante los
aos de vigencia del Plan.
TABLA 5.3 COSTES DIRECTOS40
DE LOS ESTUDIOS DE EVALUACION EXTERNA
ANDALUCIA
II (95-97)
55.980.000
CANARIAS
I (95-96)
Menos de
2.000.000
CASTILLA-LA
MANCHA41
II (95-99)
5.500.000
CASTILLA Y
LEON
I (94-96)
1.950.000
GALICIA
II (95-97)
3.000.000
MADRID
II (93-95)
19.500.000
40
Ni en el IM ni en Madrid se incluyen en los gastos directos la publicacin de los resultados de la

evaluacin.
41
Castilla- La Mancha: Este es un clculo aproximado, hecho por parte de las responsables de la
evaluacin, ya que se firma un mismo convenio con la Fundacin Mujeres por la evaluacin del II Plan y
la asesora y proceso de elaboracin del II Plan, por un total de 15.000.000 ptas.
____________________________________________________________________________________
296
______________________________________________________________________
Como se puede observar, en trminos absolutos hay mucha diferencia entre los
estudios analizados. Por un lado, estaran los dos estudios ms pequeos, los de
Canarias, Castilla y Len, tanto en dimensiones como en coste. En segundo lugar
estaran los estudios de Castilla-La Mancha y Galicia, con dimensiones parecidas,
aunque los costes sean algo diferentes. Despus estara el estudio madrileo que cuesta
un total de 19.500.000 ptas. y, por ltimo, diferenciado tanto en dimensiones como en
coste, se encontrara el estudio de evaluacin del II Plan andaluz.
ANDALUCIA
II (95-97)
Costes directos de
la evaluacin
Presupuesto del Plan

(miles de ptas.)
% gasto
Evaluacin /
Plan
Presupuesto del
organismo de igualdad
(miles de ptas.)
% gasto
Evaluacin /
organismo
55.980.000
80.401.000
0,07
5.765.006
0,97
Aunque en trminos absolutos algunos estudios de evaluacin puedan parecer de

alto coste, resulta interesante contemplar dichas cifras en trminos relativos.
Seleccionando el estudio ms caro (con grandes diferencias sobre el resto), es decir el
andaluz, se puede apreciar que, en trminos relativos, el coste de la evaluacin no es tan
alto: representa menos del 1% del gasto del IAM durante los tres aos de duracin del
Plan y slo el 0,07% respecto al presupuesto del Plan, cantidad que parece desde luego
muy pequea para su evaluacin.
Adems, en los clculos hechos habra que tener en cuenta los prespuestos de los
aos en los que se realiza la evaluacin que no siempre coinciden con los de vigencia
del Plan. Por ejemplo, en el caso de Andaluca, el gasto de la evaluacin se contrae para
los aos 1997, 1998 y 1999 (y sin embargo nosotros comparamos con los presupuestos
sumados de 1995, 1996 y 1997, aos de vigencia del Plan); esto quiere decir que en
realidad, el porcentaje de gasto dedicado a la evaluacin sera an menor (0,81% en
lugar de 0,97%), ya que la suma de los presupuestos 97-98-99 del IAM (6.907.727.000
ptas.)42 es bastante mayor que la de 95-96-97 (5.792.819.000 ptas.).
Tambin habra que tener en cuenta las prrrogas que en muchos casos han tenido
los planes evaluados. En el mismo caso de Andaluca, el Plan se extiende dos aos ms,
por lo que el porcentaje de lo que ha supuesto la evaluacin externa descendera si
aadiramos el presupuesto autonmico dedicado al Plan de Igualdad en los aos 1998
y 1999. Este caso tambin ocurre en Madrid, ya que el segundo plan se extiende durante
ms de un ao antes de la aprobacin del tercero.
42
No disponemos de los presupuestos de 1999, por lo que la suma la hacemos equiparndolos a los de
1998. Los datos los extraemos de Granados (1999).
____________________________________________________________________________________
297
______________________________________________________________________
Los recursos empleados en las evaluaciones mixtas
Al ser procesos mixtos de evaluacin, no slo se trata de calcular los costes

directos de las colaboraciones externas sino de traducir en costes indirectos el
esfuerzo y los recursos invertidos en los procesos internos. Como ya se ha comentado,
el clculo de estos costes indirectos resulta imposible hacerlos de forma ms o menos
fiable, por lo que se harn apreciaciones de forma global.
En el caso del IM, en el que la colaboracin externa en el estudio de evaluacin

asciende a 18 millones, habra que tener en cuenta la dedicacin de la Subdireccin de
Estudios al proceso de evaluacin. Una parte del estudio, la llamada evaluacin de la
implementacin, se realiz plenamente de forma interna y dicha subdireccin contaba
con un equipo, consistente en una becaria durante los aos de 1993 y 1994 (que en
estimacin del Consejero Tcnico de Estudios le dedic un 80% a la evaluacin) y dos
becarias durante los aos 1995 y 1996 (con una estimacin de una dedicacin del 30%
de su tiempo laboral cada una)43. A eso habra que aadirle la dedicacin del propio
consejero tcnico que comparte otras funciones, adems de la evaluacin (su estimacin
de dedicacin fue ms o menos de una semana al diseo del estudio, tres a los
indicadores ms el tiempo dedicado a la redaccin de los informes). Si tenemos en
cuenta que la plantilla del IM era de 178 personas en 1993, se puede decir que el
esfuerzo interno relativo dedicado al trabajo de evaluacin del II Plan fue bastante bajo.
Aunque sobre la evaluacin del II plan realizada en el Instituto Cataln de la
Mujer hemos obtenido pocos datos concretos al respecto, parece que la evaluacin del
II Plan supuso bastante esfuerzo interno por parte del equipo tcnico del Instituto, a
pesar de la colaboracin externa que tuvo ESADE -equipo externo- en la misma. Sin
embargo, esto es una apreciacin extrada de las entrevistas que realizamos a la
directora y a la responsable tcnica de la evaluacin, ya que no pudimos tener datos
referidos a la dimensin y coste de la ayuda externa brindada.
En cualquier caso, la diferencia es grande con los recursos internos empleados en
Instituto Vasco de la Mujer, en el que, a pesar de contar con una plantilla estable de
no ms de 25 personas, la dedicacin a los procesos de evaluacin ha sido grande y
continua durante los cuatro aos de vigencia del Plan. La colaboracin externa en el
Pas Vasco -realizada por el Departamento de Psicologa Social y Metodologa de las
Ciencias del Comportamiento de la UPV- se estableci en un convenio anual de unas
2.800.000 ptas. cada ao aproximadamente, lo que asciende a un monto de 11.200.000
ptas. en total en lo que a costes directos de la colaboracin externa se refiere. Sin
43
Hay que tener en cuenta que ese mismo equipo es el que elabora la publicacin peridica de Mujeres
en cifras, que requiere bastantes energas y recursos y que no puede ser considerado como trabajo de
evaluacin de los planes.
____________________________________________________________________________________
298
______________________________________________________________________
embargo, en estimacin de la tcnica dedicada al tema de evaluacin en Emakunde esta
cantidad es muy baja comparada con los esfuerzos internos dedicados a ello.
Los recursos empleados en las evaluaciones internas
Finalmente, en el caso de los procesos de evaluacin interna, resulta

especialmente difcil medir los costes de los mismos. Sin embargo, y haciendo una
apreciacin general, para la evaluacin del I Plan aragons, dadas sus dimensiones tan
pequeas y la premura de tiempo con la que se realiz, no se emplearon demasiados
esfuerzos ni se comprometieron muchos recursos.
Para el II Plan riojano, sin embargo, el esfuerzo ha sido ms continuado aunque
tampoco fue especialmente grande ya que las funciones de evaluacin se desarrollan en
el seno de una Direccin General no especfica en la que, de 45 personas, slo 4 estn
especficamente asignadas al rea de mujer. Las tareas de evaluacin recaen, sobre todo,
en la sociloga que cumple sus funciones de tcnica para toda la Direccin General y no
slo para el rea de mujer.
____________________________________________________________________________________
299
______________________________________________________________________
CAPTULO 6
LOS ELEMENTOS CLAVE DE LA EVALUACIN: AGENTES,
MOMENTOS, CRITERIOS Y METODOLOGA
INTRODUCCIN
En el captulo anterior se tratan cuestiones referidas al diseo y a la

conceptualizacin de los procesos de evaluacin, abordando el planteamiento de
dichos procesos y las estrategias evaluativas seguidas para la evaluacin de los planes.
En este captulo seis se discuten cuestiones relacionadas con el proceso de puesta en
prctica de la evaluacin, analizando el manejo que se realiza en las experiencias
metaevaluadas de algunos elementos clave de los procesos evaluativos, como son los
agentes que participan en la evaluacin, los momentos y el calendario de la misma, as
como los criterios utilizados y la metodologa y los procedimientos seguidos. Tambin
se hace referencia a si estos elementos clave estaban contemplados previamente en el
diseo de los procesos de evaluacin.
El primer elemento clave analizado en este captulo es el que hace referencia a los
agentes involucrados en los procesos de evaluacin analizados: quines participan en el
diseo y ejecucin de la evaluacin y cul es el grado de participacin de los actores
crticos de las polticas de igualdad en los procesos de evaluacin. La primera cuestin
tenida en cuenta fue la referida a los equipos tcnicos que disearon y dirigieron los
procesos de evaluacin. En el caso de las evaluaciones internas y las mixtas, se
analizaron los recursos humanos de los organismos de igualdad que se dedicaron y qu
medida a los procesos de evaluacin y se tuvo en cuenta, en las evaluaciones mixtas, el
tipo y la magnitud de la colaboracin externa en cada caso. Para las evaluaciones
externas, se describen el tipo y las caractersticas generales de los equipos externos que
realizaron las evaluaciones, as como los procedimientos de colaboracin y
coordinacin con los organismos de igualdad. Adems de a los equipos tcnicos, este
apartado hace referencia a otros posibles actores que hubieran podido participar
activamente en algunas de las fases de evaluacin, haciendo especial referencia a la
sociedad civil y al movimiento de mujeres, as como a tcnicos y profesionales de otras
unidades administrativas implicadas en la elaboracin y desarrollo de los planes
evaluados.
Seguidamente se trata el tema de los momentos y los tiempos en los que se
realiza la evaluacin; el calendario, la temporalidad y la oportunidad en el tiempo son
cruciales en las evaluaciones y, por lo tanto, el anlisis de este factor resulta siempre
especialmente esclarecedor. Se identificaron y analizaron cuatro elementos temporales
diferenciados: en primer lugar, en qu momento del perodo de vigencia del plan a
evaluar se plante y comenz el proceso de evaluacin; en segundo lugar, la duracin
de los procesos de evaluacin desde su inicio hasta la entrega del informe final; en
____________________________________________________________________________________
Captulo 6. Los elementos clave de la evaluacin: agentes, momentos, criterios y metodologa
301
______________________________________________________________________
tercer lugar, el tiempo transcurrido entre la finalizacin del perodo de vigencia del plan
y la entrega del informe final y, por ltimo, los retrasos que se produjeron sobre el
calendario inicial de los estudios de evaluacin.
En tercer lugar, se analiza el contenido de las evaluaciones, es decir, qu se
evala, o para decirlo ms propiamente, cules han sido los criterios e indicadores
empleados en cada evaluacin. Los criterios e indicadores de una evaluacin
representan dos cuestiones fundamentales: por un lado, las variables estudiadas y, por
otro, la base lgica en la que se fundamentan los juicios de valor que se establecen
posteriormente en el proceso de evaluacin. De ah la necesidad de que se hagan
convenientemente explcitos. Adems del anlisis global realizado de, en general, la
poca importancia y espacio concedidos a los criterios de evaluacin, en cada caso se
analiza la claridad con la que se explicitan en los informes finales, adems de relacionar
dichos criterios, una vez identificados, con la tipologa de evaluacin segn el
contenido, es decir, saber si son criterios o indicadores que hagan referencia al diseo, a
la ejecucin o a los resultados (tanto de productos o outputs como a efectos o
outcomes) del plan evaluado.
Por ltimo, se analizan los enfoques metodolgicos practicados en cada una de
las once experiencias de evaluacin, as como las tcnicas de recopilacin y tratamiento
de la informacin utilizadas. Al igual que ocurre con los criterios, tampoco se
encontraron en los informes, explicaciones profusas sobre la eleccin del tipo de
tcnicas o procedimientos metodolgicos empleados en las evaluaciones, aunque en
algunos casos se dan especificaciones tcnicas de algn instrumento concreto. En este
apartado se describen los instrumentos o tcnicas de recopilacin y anlisis de
informacin que se emplearon en cada evaluacin, destacando los registros o fichas
para recoger informacin producida por la propia gestin del plan. En menor medida se
utilizaron cuestionarios, entrevistas y grupos de discusin, as como la realizacin de
anlisis de fuentes secundarias en algn caso.
Para la exposicin de la informacin en este captulo se utiliza, al igual que en el
anterior, la clasificacin o tipologa de evaluaciones segn el agente que evala,
tratando de forma separada las evaluaciones externas (seis experiencias), las
evaluaciones mixtas (tres experiencias), y las evaluaciones internas (dos experiencias).
____________________________________________________________________________________
302
______________________________________________________________________
1. AGENTES Y PARTICIPANTES EN LOS PROCESOS DE

EVALUACIN
En este apartado, se analizan, por un lado, los equipos tcnicos que disean y
ejecutan las evaluaciones y, por otro, quines han participado en los procesos de
evaluacin.
Respecto a la primera cuestin, los equipos tcnicos que dirigen las evaluaciones,
se tratarn separadamente las evaluaciones externas y las evaluaciones internas,
diferenciando en estas las evaluaciones mixtas, las cuales han contado con la
colaboracin de un equipo externo y las evaluaciones internas. Lgicamente, ste es
precisamente el aspecto que ms vara de un tipo de evaluacin a otra.
La segunda cuestin, sin embargo, referida a los participantes en los procesos de
evaluacin puede ser analizada de una forma ms general, aunque tambin
describiremos los diferentes casos segn la clasificacin utilizada segn el agente
evaluador. En este punto queremos sealar que utilizar un determinado colectivo como
fuente para obtener la informacin necesaria para realizar la evaluacin no significa
necesariamente que dicho colectivo haya participado en el proceso de evaluacin. Con
esto queremos decir que no se puede afirmar la participacin en una evaluacin de un
colectivo al que, por ejemplo, se le ha preguntado su opinin sobre algo en un
cuestionario. Por participacin entendemos la implicacin activa en alguna o varias
partes del proceso de evaluacin: diseo del estudio de evaluacin, definicin o
seleccin de los criterios de evaluacin, seleccin y construccin de los instrumentos de
recopilacin de informacin, recopilacin de la informacin, anlisis y valoracin de la
misma, establecimiento de recomendaciones, redaccin del informe, difusin de los
resultados.
Respecto a quines han participado activamente en alguna de las fases de la
evaluacin, en general, se podra decir que los procesos de evaluacin analizados han
tenido un carcter bastante tcnico, dirigiendo los procesos de evaluacin los equipos
tcnicos, bien sean stos internos o externos, desde los organismos de igualdad. En un
segundo plano, y a mucha distancia respecto al grado de implicacin, habra que situar a
tcnicos de otros departamentos gubernamentales que han participado, en mayor o
menor medida en el diseo y ejecucin de la recopilacin de informacin en sus
respectivos departamentos. Cuando existe una estructura institucional ad-hoc para el
seguimiento del Plan, parece ms evidente la participacin interdepartamental en las
tareas de evaluacin, especialmente si ha sido una estructura creada especficamente
para el proceso de evaluacin. Si no existen este tipo de estructuras, la participacin
queda bastante ms desdibujada.
Debido al carcter tcnico de las evaluaciones, el gran ausente de los procesos
de evaluacin es el movimiento de mujeres. Su participacin, en el que caso que se haya
dado, ha sido meramente simblica, haciendo una presentacin de los resultados de la
evaluacin en la estructuras correspondientes. Las estructuras con representacin de la
____________________________________________________________________________________
303
______________________________________________________________________
sociedad civil (como los Consejos de la Mujer) no parecen haber tenido una importancia
crucial en las evaluaciones que se han metaevaluado.
En cualquier caso, y todava en esta segunda generacin de evaluaciones, resulta
difcil pensar en una participacin amplia de personas, grupos y colectivos que no
hubieran participado previamente en su planificacin y formulacin.
1.1. Agentes y participantes en los procesos de evaluacin externa
En el caso de las evaluaciones externas, se trata de equipos tcnicos externos los

que han diseado y ejecutado las evaluaciones. Por lo tanto, el peso de la
responsabilidad tcnica de las mismas recae sobre dichos equipos externos. En la tabla
6.1. a. se sealan los equipos externos y el procedimiento de colaboracin utilizado en
cada caso.
La mayora de los equipos externos (no es el caso del IM, de Canarias y de
Castilla- La Mancha), tienen origen o procedencia universitaria. En las evaluaciones de
Castilla y Len y de Madrid, que son realizadas por el mismo equipo, aunque es la
empresa EURODOXA S.A., se insiste en que es el equipo del Prof. Martn Serrano
(incluso en la presentacin de la publicacin sobre los resultados de la evaluacin del II
Plan madrileo), es decir, se apela a su condicin de profesor universitario. As, en la
bsqueda y seleccin de los equipos parece haberse tenido en cuenta, como es lgico en
cualquier proceso de evaluacin, el factor de credibilidad de dichos equipos.
Respecto a la especialidad principal de los equipos externos, salvo en el caso de
Castilla- La Mancha, en dnde se han seleccionado especialistas en igualdad y gnero,
en el resto de las evaluaciones se han seleccionado especialistas ms bien en
metodologa de evaluacin y/o investigacin. Precisamente, en las entrevistas
realizadas, alguna responsable se queja de la dificultad de encontrar equipos
especialistas en ambas dimensiones: por un lado, en evaluacin de programas y, por
otro, en cuestiones de gnero. Adems de esta dificultad para encontrar equipos
especializados en esta doble dimensin, creemos que existe un problema previo que es
la especializacin en evaluacin de programas: al no existir una formacin especfica y
especializada en este rea en Espaa, los equipos expertos tienden a estar ms
especializados en metodologa de investigacin social ms que en evaluacin de
programas y polticas pblicas.
Los procedimientos para la colaboracin externa son variados: concurso pblico,
convenios de colaboracin, o adjudicacin directa si la cantidad percibida por contrato
por parte del equipo externo es menor a 2.000.000 ptas. Los convenios se establecen con
entidades no empresariales, bien sean instituciones universitarias o Fundaciones. Los
convenios permiten, adems, un compromiso plurianual, cuestin ms difcil con los
concursos pblicos. En cualquier caso, parece conveniente que el compromiso
contractual tenga la posibilidad de una cierta perspectiva en el tiempo. Como se ver en
____________________________________________________________________________________
304
______________________________________________________________________
el siguiente epgrafe, uno de los grandes problemas de esta segunda generacin de
evaluaciones es que, en la mayora de los casos, se ha decidido muy tarde hacer la
evaluacin. Una evaluacin debe estar prevista desde el principio y esto probablemente
implique, mxime si se decide realizar una evaluacin externa, la presencia y
participacin de los equipos externos desde el inicio y hasta el final. Los procedimientos
de contratacin disponibles en las administraciones pblicas, sobre todo si se trata de
empresas con nimo de lucro, estn limitados a este respecto o, al menos, dejan mucho
ms en el aire la estabilidad de un mismo equipo durante todo el tiempo que puede durar
un proceso de evaluacin de un plan de igualdad.
TABLA 6.1. a: EQUIPOS EXTERNOS DE EVALUACION

Equipos externos responsables de la

evaluacin o que participan en ella
Procedimiento
para la
colaboracin
Andaluca
II (95-97)
Instituto de Estudios Sociales Avanzados

(IESA) de Andaluca
Convenio
Canarias
I (95-96)
Asesores en Imagen Corporativa S.A.
Adjudicacin
directa
Castilla-La
Mancha
II (95-99)
Fundacin Mujeres
(con la colaboracin de WG, Consultoras
para el Desarrollo)
Convenio
Castilla y Len
I (94-96)
EURODOXA S.A.
(Prof. Martn Serrano)
Adjudicacin
directa
Galicia
II (95-97)
Universidad de la Corua
(Prof. Amparo Almarcha)
Convenio
Madrid
II (93-95)
EURODOXA S.A.
(Prof. Martn Serrano)
Concurso pblico
Los equipos internos cumplen tambin un papel muy importante, no slo en las
evaluaciones internas, sino tambin en la necesaria coordinacin del organismo de
igualdad con los equipos externos en el caso de las evaluaciones externas. En la mayora
____________________________________________________________________________________
305
______________________________________________________________________
de los casos, ms que tratarse de un equipo interno, suele tratarse de una persona con la
responsabilidad tcnica de la evaluacin, cuyo papel suele ser muy importante. Sin
embargo, y en general, en las evaluaciones externas de esta segunda generacin la
implicacin de los equipos internos en los procesos de evaluacin no ha sido muy
grande: precisamente, la contratacin de un equipo externo libera a unos equipos
internos que, adems de la evaluacin, deben cumplir muchas otras funciones
(normalmente asociadas a fomento de la investigacin, recopilacin de datos sobre
igualdad, documentacin y publicaciones, etc.). An teniendo en cuenta esta tendencia
general, existen diferencias entre las seis experiencias externas: en algunos procesos de
evaluacin se ha dejado hacer en mayor medida al equipo externo, como es el caso de
Canarias, Castilla- La Mancha y Castilla y Len. En el resto, se ha llevado una
coordinacin algo ms estrecha y continuada equipo interno-externo durante el proceso,
como es el caso de Andaluca, Madrid, y de forma especial Galicia, aunque en algunos
de los casos, como es Andaluca, esta coordinacin ha fallado a lo largo del proceso
debido en parte, a los cambios producidos en el propio equipo externo.

evaluacin, ya se ha comentado que, en general, los procesos de evaluacin tienen un
carcter esencialmente tcnico. Esto es especialmente evidente en las evaluaciones
externas, en las que los verdaderos protagonistas de los procesos son los equipos
externos contratados.
La participacin en los procesos de evaluacin de tcnicos de otros departamentos
o unidades gubernamentales se produce de forma algo ms evidente cuando existe una
estructura institucional ad-hoc para el seguimiento y/o evaluacin del Plan,
especialmente si ha sido una estructura creada especficamente para el proceso de
evaluacin, como es en el caso de Galicia. Sin embargo, y especialmente en el caso de
las evaluaciones externas, el grado de implicacin de otras unidades gubernamentales en
la evaluacin ha sido generalmente muy bajo.
Respecto a la participacin de la sociedad civil (movimiento de mujeres), y como
ya se ha visto en el captulo anterior, las estructuras formales de participacin suelen
estar separadas, por lo que la ausencia de participacin de las ONG en los procesos de
evaluacin resulta ms patente; es decir, por un lado hay una comisin de representantes
gubernamentales y por otro, de colectivos y asociaciones de mujeres, a excepcin del
caso de la Comisin de la Igualdad de Canarias y la Comisin para el impulso y
seguimiento del Plan de Madrid. Adems, en los dos casos mencionados, estas
comisiones no parecen haber jugado un papel importante en las evaluaciones
metaevaluadas.
1.2. Agentes y participantes en los procesos de evaluacin mixta

____________________________________________________________________________________
306
______________________________________________________________________
En las evaluaciones mixtas, tambin se cuenta con equipos tcnicos externos que
colaboran en algn momento del proceso de evaluacin, ya sea en su diseo (Catalua),
su ejecucin (IM) o cuestiones concretas de ambos procesos (Pas Vasco). A diferencia
de las evaluaciones externas, el peso de la responsabilidad tcnica de las evaluaciones
recae sobre los equipos internos de los organismos de igualdad aunque tambin
colaboren equipos externos. En la tabla 6.1. b. se sealan los equipos externos que han
participado en estos tres procesos mixtos de evaluacin y el procedimiento de
colaboracin utilizado en cada caso.
En el caso del IM, el diseo del estudio de evaluacin corresponde al Consejero
tcnico de Estudios, que cuenta con el apoyo del departamento de estudios y la ayuda de
becarias de dicho departamento. La intervencin del equipo externo se limita a la
ejecucin de parte del estudio, haciendo el trabajo de campo y el anlisis de las llamadas
evaluaciones cuantitativas y cualitativas. En Catalua se recurre tambin al equipo
externo de ESADE para el mismo diseo del proceso de evaluacin y en el Pas Vasco,
el equipo externo colabora a lo largo de todo el proceso aunque el grueso del diseo de
la evaluacin ya estaba hecho por Emakunde para la evaluacin del I PAPME; sin
embargo, se cuenta con el equipo externo para algunos cambios en el diseo (por
ejemplo, redefinicin de las categoras en las que se clasifican las actuaciones del Plan).
TABLA 6.1. b: EQUIPOS EXTERNOS DE EVALUACION
EVALUACIONES MIXTAS
Equipos externos responsables de la

evaluacin o que participan en ella
Procedimiento
para la
colaboracin
Instituto Mujer
II (93-95)
CUANTER, S.A.
Concurso pblico
Catalua
II (94-96)
ESADE
Sin datos
Pas Vasco
II (96-2000)
Dpto. de Psicologa Social y Metodologa de las

Ciencias del Comportamiento. Universidad del
Pas Vasco
(Profesoras Maite Erro y Maribel Pizarro)
Convenio
En dos de los casos de evaluacin interna mixta, los equipos externos tienen
origen universitario. Este no es el caso de la evaluacin del II Plan nacional en el que la
____________________________________________________________________________________
307
______________________________________________________________________
colaboracin externa es ms tcnica limitndose al trabajo de campo y el anlisis de
un diseo ya realizado de forma interna.
Los equipos internos cumplen en este tipo de evaluaciones un papel especialmente
importante. Como ya se ha dicho, en el IM el responsable de la evaluacin ha sido el
Consejero Tcnico de Estudios, quien asesora todos los estudios que se realicen en el
IM y no slo los de evaluacin. En los casos de Catalua y el Pas Vasco, adems de
una responsable, ha habido sendos departamentos con sus correspondientes equipos
dedicados a la evaluacin, con mayor dedicacin y personal en el Pas Vasco que en
Catalua.
evaluacin, al igual que en las evaluaciones externas, el proceso de evaluacin llevado
a cabo por el IM ha tenido un carcter muy tcnico y, por lo tanto, la participacin de
otros agentes no tcnicos ha sido prcticamente nula. Ni tan siquiera ha sido importante
la participacin de otros agentes gubernamentales ya que sta se conceba siempre a
peticin del propio IM y no haba ninguna estructura de coordinacin creada para ello.
Algo distinto ha sido en el caso de Catalua y, sobre todo, en el del Pas Vasco, en
donde la evaluacin de los planes se ha concebido como algo no puramente tcnico ni
tangencial, sino como una funcin crucial en Emakunde. En el caso del Pas Vasco,
adems, se le da especial importancia a la participacin de los diferentes departamentos
de las administraciones pblicas vascas y a la Comisin Interdepartamental como
vehculo de dicha participacin.
Las evaluaciones mixtas tampoco son una excepcin en lo que se refiere a la
participacin, en los procesos de evaluacin, del movimiento de mujeres.
1.3. Agentes y participantes en los procesos de evaluacin interna
En el caso de las evaluaciones internas, no existe ninguna participacin de equipos

tcnicos externos. Los equipos internos que desarrollan las dos evaluaciones son, en
cualquier caso, pequeos (compuestos por una o dos personas).
En el caso de las evaluaciones internas, las responsables directas en los
organismos correspondientes s cuentan algo ms con la participacin de otros agentes
gubernamentales para proporcionar informacin, aunque una implicacin algo ms
activa de las otras unidades gubernamentales sigue siendo el gran caballo de batalla
tambin en las evaluaciones internas.
Tampoco las evaluaciones internas cuentan con la participacin, en los procesos
de evaluacin, del movimiento de mujeres.
____________________________________________________________________________________
308
______________________________________________________________________
2. MOMENTOS DE LOS PROCESOS DE EVALUACIN
El segundo elemento clave de las evaluaciones viene determinado por los

momentos de dichas evaluaciones. Efectivamente, los aspectos temporales en los
procesos de evaluacin resultan cruciales dado su carcter tan aplicado y claro apego al
contexto concreto en el que se realiza la evaluacin.
En este punto se identifican cuatro elementos temporales distintos y que son los
siguientes. En primer lugar, es importante sealar en qu momento del perodo de
vigencia del plan evaluado se plantea y comienza la evaluacin del mismo. En segundo
lugar, se analiza la duracin de los procesos de evaluacin desde su inicio hasta la
entrega del informe final. En tercer lugar, se consigna tambin cunto tiempo pasa
entre la finalizacin del perodo de vigencia del plan y la entrega del informe final
y, por ltimo, se analizan los retrasos sobre el calendario inicial de los procesos de
evaluacin. El criterio seguido para el momento en el que se plantea la evaluacin ha
sido consignar el momento en el que existe un proyecto escrito. Este suele ser distinto
del momento de comienzo, en el cual se consigna la fecha en la que falla el concurso, se
firma el convenio o se comienza de hecho a establecer criterios de evaluacin, disear
instrumentos de recopilacin de informacin, etc. El momento de finalizacin viene
determinado por la entrega del informe final.
Todos estos elementos se reflejan en las tablas 6.2, que se dividen en 6.2.a para las
evaluaciones externas, 6.2.b para las mixtas y 6.2.c para las internas.
2.1. Momentos de los procesos de evaluacin externa
Como se puede observar en la tabla 6.2. a, en todas las evaluaciones externas, el

planteamiento de las mismas se realiza alrededor del ltimo ao de vigencia del plan
que se va a evaluar: vara entre el ao y medio antes de Galicia a los cuatro meses antes
de Castilla y Len. Es decir, lo antes que se plantea una evaluacin es a mitad del
perodo de vigencia del plan, como en Galicia. Esto es una circunstancia que va a
condicionar mucho los procesos de evaluacin y que se reconoce como una fuente
importante de limitaciones desde el inicio de los procesos (el reconocimiento de dichas
limitaciones aparece ya en algunos de los proyectos de evaluacin -IESA para
Andaluca, Fundacin Mujeres para Castilla-La Mancha). Adems, esta circunstancia es
tambin un indicador de que los planes no fueron elaborados, en general, en trminos de
resultados esperados, por lo que resulta ms probable el hecho de que existan, en ellos,
objetivos, medidas y actuaciones que estn formulados de forma vaga o general. Pensar
en la evaluacin al final de los planes (o al menos, cuando stos llevan ya una larga
____________________________________________________________________________________
309
______________________________________________________________________
vida) acarrea muchos problemas y hace que las evaluaciones pierdan una parte
importante de su potencial como instrumento de mejora y rendimiento de cuentas.
TABLA 6.2. a: TIEMPOS Y MOMENTOS DE LAS EVALUACIONES

EXTERNAS
Momento en el
que se plantea
la evaluacin
Duracin
Principio
Final
Tiempo entre
final plan e
informe final
Retrasos
Andaluca
II (95-97)
Nov. 1996
( a 13 meses)*
Marzo 97 Julio 99
(28 meses)**
1 ao, 6 meses
S, el informe era
para 3/99
Canarias
I (95-96)
Julio 1996
( a 6 meses)
Julio 96 -Oct. 96
(3 meses)
Se presenta antes
No
Castilla-La
Mancha
II (95-99)
Octubre 1998
( a 15 meses)
Oct. 98 -Julio 99
(6 meses)
Se presenta antes
S, el informe era
para 1/99
Castilla y Len
I (94-96)
Sept. 1996
( a 4 meses)
Sept. 96 -Marzo 97
(6 meses)
3 meses
No
Galicia
II (95-97)
Julio 1996
( a 18 meses)
Nov. 96 -Feb. 98
(15 meses)
3 meses
S, el informe era
para 10/97
Madrid
II (93-95)
Enero 1995
( a 12 meses)
Nov. 95 -Dic. 96
(13 meses)
1 ao
S, se retrasa el
inicio
Media***
Media****
11,3 meses
11,8 meses
* Se refiere al nmero de meses que faltan para que se finalice el periodo de vigencia del plan
** El informe final es devuelto a la consultora externa para que se efecten correcciones y no se entrega
hasta septiembre de 1999
*** La media de las once experiencias de evaluacin, exceptuando las evaluaciones del Pas Vasco y La
Rioja, es de 11,8 meses.
**** La media de las once experiencias de evaluacin, exceptuando las evaluaciones del Pas Vasco y La
Rioja, es de 13,2 meses.
Respecto a la duracin de las evaluaciones, los procesos de evaluacin son

tambin bastante heterogneos entre s y van desde los casi dos aos y medio de la
evaluacin andaluza a los tres meses de la evaluacin canaria. Lgicamente las
dimensiones de los procesos evaluativos son tambin distintas y, por lo general, a mayor
complejidad de los procesos, mayor duracin de los mismos. Sin embargo, aqu cabe
analizar tambin el sentido de urgencia con el que se plantean las evaluaciones, ya que
ste vara profundamente dependiendo del contexto y situacin evaluativa determinada.
____________________________________________________________________________________
310
______________________________________________________________________
Por ejemplo, la urgencia con la que se plantea la evaluacin del II Plan andaluz es
mucho menor que con la evaluacin del II Plan castellano-manchego. En el caso de
Andaluca, la posibilidad de una evaluacin estaba planteada desde un principio del
plan, ya que existan precedentes de evaluacin del I plan; incluso se tena claro que se
iba a tratar de una evaluacin externa. El caso es que sta no se plantea como tal hasta la
mitad del perodo de vigencia y el proyecto de evaluacin que se plantea entonces es
muy ambicioso y requiere de tiempo por delante, entre otras cosas, porque incluye un
estudio de la situacin social de la mujer andaluza. En principio esto no parece causar
problemas y, de hecho, la evaluacin se plantea, desde un principio, a dos aos vista y
siendo conscientes de que los resultados de la evaluacin no van a estar hasta 15 meses
despus del final del perodo de vigencia del plan: en realidad, esta situacin no genera
grandes problemas, ya que el II plan andaluz se prorroga un ao ms. En definitiva, en
Andaluca la evaluacin condiciona los tiempos del plan.
Sin embargo, los tiempos de la evaluacin del II Plan en Castilla-La Mancha1
estn claramente determinados por el contexto poltico: en junio de 1999 hay elecciones
autonmicas y parece que la Direccin General de la Mujer quiere dejar aprobado un
nuevo plan de igualdad antes de las mismas, incluso aunque el III Plan quede aprobado
antes de que haya acabado el periodo de vigencia del II2, y provocando la finalizacin
del II plan antes de tiempo, como de hecho ocurre. Estas prisas hacen que la
evaluacin tenga que concebirse de forma necesariamente rpida y con una duracin
corta ya que sus resultados deben estar disponibles para la formulacin del III Plan3. En
este caso, ocurre al contrario que en Andaluca, dictndose los tiempos de la evaluacin
a travs de los tiempos de los planes correspondientes y dndole prioridad a estos
ltimos sobre su evaluacin. Si se tuviera que hacer una clasificacin a este respecto,
diramos que los procesos de evaluacin habidos en Canarias y Castilla y Len tienen
un perfil parecido al de Castilla-La Mancha, dando prioridad a los planes por encima de
la evaluacin. Por el contrario, en los casos de Galicia y Madrid, parece que las
evaluaciones condicionan ms los tiempos y el calendario de los planes.
Adems de en Castilla-La Mancha, tambin en Canarias se presenta la evaluacin
antes de que acabe el periodo de vigencia del plan evaluado (en el caso de Canarias se
trata slo de dos meses antes). En el resto de los casos, los informes de evaluacin se
presentan siempre algn tiempo despus de la finalizacin, aunque tambin existe
variedad respecto a estos tiempos: en Castilla y Len y Galicia, se puede decir que,
prcticamente, se presentan a tiempo (entre un mes y tres meses despus); sin embargo,
en el caso de Madrid, y, sobre todo Andaluca, se presentan ms de un ao ms tarde.
1 La evaluacin del II Plan Castellano-Manchego es mucho ms tarda y ms reciente en el tiempo que el
resto de las experiencias de evaluacin, ya que se realiza a comienzos del ao 1999 y el resto se
concentra ms bien en los aos 1996 y 1997. Es una evaluacin que se hace en un periodo corto de
tiempo y en el marco de la elaboracin del III Plan.
2 Este solapamiento de tiempos es la primera vez que ocurre, ya que, por lo general, suele ocurrir lo
contrario, existiendo lagunas de tiempo entre el final de un plan y la aprobacin del siguiente.
3
De hecho, y como se ver ms adelante, los resultados de la evaluacin no se consiguen formalmente

antes de la elaboracin del III Plan, y, en la realidad, los procesos de evaluacin del II Plan y elaboracin
del III transcurren de forma prcticamente paralela. Sin embargo, se consigue una relativa utilidad de los
procesos de evaluacin para la elaboracin del siguiente plan, en el sentido de que es el mismo equipo de
personas (la Fundacin Mujeres) el que realiza las dos tareas, facilitndose enormemente la transferencia
de informacin.
____________________________________________________________________________________
311
______________________________________________________________________
Esta informacin se analizar tambin ms adelante cuando se estudie la utilidad y
utilizacin de las evaluaciones.
Por ltimo, parece interesante analizar los retrasos habidos en los procesos de
evaluacin. En la mayora de estos procesos se producen retrasos sobre el calendario
inicial y esto afecta a la globalidad de la evaluacin, as como a su potencial utilidad.
Los retrasos en Andaluca se producen a lo largo de todo el proceso de evaluacin. En el
caso de Castilla-La Mancha, el retraso produce que se apruebe el III Plan con
anterioridad a que est listo el informe de evaluacin del II Plan. En el caso de Galicia,
los retrasos son debidos, principalmente, a las dificultades en la recopilacin de
informacin, pero se trata de un retraso que, aun siendo de cuatro meses, no resulta
especialmente significativo, ya que se presentan los resultados a los tres meses de que
haya finalizado el plan. Finalmente, en el caso de Madrid, lo que ocurre es que se retrasa
el inicio del proceso de evaluacin debido a que coincide con el perodo de elecciones
autonmicas y con una cambio de gobierno y de partido en el gobierno: aunque la
evaluacin se haba planteado al inicio del ao 1995 no se resuelve su ejecucin hasta
finales de ese mismo ao, una vez han pasado las elecciones (junio 1995) y se dan los
cambios de estructura, responsables y equipos en la Direccin General de la Mujer. Este
retraso inicial es el que va a caracterizar todo el proceso de evaluacin, aunque el
calendario de la evaluacin externa se cumpla sin retrasos.
____________________________________________________________________________________
312
______________________________________________________________________
2.2. Momentos de los procesos de evaluacin mixta
En la tabla 6.2. b se reflejan los momentos en los que se plantea la evaluacin, su

duracin, el tiempo transcurrido entre el final del plan y la presentacin del informe
final y los retrasos, de las evaluaciones mixtas
TABLA 6.2. b: TIEMPOS Y MOMENTOS

DE LAS EVALUACIONES MIXTAS
Tiempo entre
final plan e
informe final
Retrasos
Enero 95 -Marzo 97
(27 meses)
1 ao, 3 meses
No
Junio 96 -Mayo 97
(11 meses)
5 meses
S hay retrasos
(aprox. 6 meses)
Duracin
Momento en el
que se plantea
la evaluacin
Principio
Instituto Mujer
II (93-95)
Julio 1994
( a 18 meses)*
Catalua
II (94-96)
Enero 1996
( a 12 meses)
Final
Las memorias
anuales se
Desde el inicio
Pas Vasco
presentan 1er
II (96-2000)
semestre ao
siguiente
* Se refiere al nmero de meses que faltan para que se finalice el perodo de vigencia del plan
Evaluacin continua,
con memorias
anuales
El caso de la evaluacin del II PAPME vasco (al igual que la del II plan riojano)
es una excepcin en lo que se refiere a los momentos de la evaluacin, ya que sta se
plantea de forma continua y desde el inicio del perodo de vigencia. Los tiempos se
determinan por la recopilacin y el procesamiento continuo de informacin y por la
presentacin de memorias anuales. En este caso, adems, tenan ya una experiencia
acumulada y un rodaje con la evaluacin del I PAPME, de forma que la funcin de
evaluacin se establece de forma continuada respecto al plan anterior.
En las evaluaciones mixtas los momentos en los que se plantea la evaluacin (a
18, a 12 meses y desde el inicio) son sensiblemente anteriores a los momentos en las
que se plantean las externas, que parecen ms precipitados (media de 11,3 meses)4. Esto
quiere decir que parecen ser procesos ms conscientes y que demuestran, en cierto
modo, una funcin de evaluacin ms normalizada en los organismos de igualdad
correspondientes. Tambin son procesos de evaluacin que duran ms en el tiempo, con
una media de 19 meses (sin tener en cuenta el Pas Vasco) que, comparada con la media
de las evaluaciones externas (11,8 meses), resulta mucho mayor. Esto es normal, desde
4
Vase la tabla 5.6. a.

____________________________________________________________________________________
313
______________________________________________________________________
el punto de vista que los procesos internos de evaluacin suelen extenderse ms en el
tiempo que los externos.
La evaluacin que se realiza del II Plan nacional desde el IM se presenta mucho
tiempo despus de la finalizacin del plan (un ao y 3 meses), pero curiosamente no se
retrasa sobre el calendario inicial de evaluacin, ya que sta se concibe con retraso y se
plantea su grueso una vez ha finalizado dicho plan. Parece, por lo tanto, que no exista
una preocupacin especial por obtener los resultados para utilizarlos para la elaboracin
del siguiente plan (de hecho, la sntesis de los resultados de la evaluacin se publica a la
vez que se aprueba el III Plan nacional). En Catalua, sin embargo, aunque s existe un
cierto retraso sobre el calendario oficial (aunque se plantean la evaluacin a un ao vista
y son relativamente rpidos en su ejecucin, se van dando los retrasos tpicos en
procesos internos de evaluacin que se acumulan en un retraso general de unos seis
meses), todava da tiempo a que los resultados sean utilizados para la elaboracin del III
Plan cataln que se aprueba, finalmente, a primeros de enero del ao 1998. De hecho,
parece que la propia evaluacin condiciona los tiempos de elaboracin del III, al menos
formalmente. Sin embargo, en el IM evaluacin del II plan y elaboracin del III parecen
procesos independientes.`
En el Pas Vasco, los tiempos y momentos de evaluacin estn ms normalizados,
existiendo una evaluacin continua que produce unas memorias anuales que son
presentadas al Parlamento Vasco en el primer semestre del ao siguiente.
2.3. Momentos de los procesos de evaluacin interna
Como en el caso de la evaluacin del II PAPME vasco, la evaluacin del II plan

riojano es una excepcin en lo que se refiere a los momentos de la evaluacin, ya que
sta se plantea de forma continua y desde el inicio del perodo de vigencia. Tambin en
este caso los tiempos se determinan por la recopilacin y el procesamiento continuo de
informacin y por la presentacin de memorias anuales. En el caso riojano, el primer
ao de vigencia del plan -1996- se emplea, en una buena parte, en establecer los
criterios e indicadores para la evaluacin.
En el caso de Aragn se da prioridad al plan por encima de la evaluacin, ya que
sta ltima se realiza adaptndose a los tiempos de aqul. En la tabla 6.2. c se reflejan
los tiempos y momentos de las evaluaciones internas.
TABLA 6.2. c: TIEMPOS Y MOMENTOS DE LAS EVALUACIONES

INTERNAS
____________________________________________________________________________________
314
______________________________________________________________________
Momento en el
que se plantea
la ev.
Duracin
Principio
Final
Tiempo entre
final plan e
informe final
Retrasos
Aragn
I (94-96)
Abril 1996
( a 8 meses)
Abril 96 -Enero 97
(10 meses)
1 mes
No
La Rioja
II (96-99)
Desde el inicio
Evaluacin continua,
con memorias
anuales
Se retrasa algo el
inicio en el 96
____________________________________________________________________________________
315
______________________________________________________________________
3. CRITERIOS E INDICADORES DE EVALUACIN: FUENTES Y

PROCESO DE ESTABLECIMIENTO
Como tercer elemento clave de los procesos de evaluacin, se analizan los

criterios de evaluacin utilizados. Sin nimo de quitarle importancia al resto de los
elementos tratados, creemos que ste es precisamente el elemento ms importante y
claramente crucial en la definicin de los procesos de evaluacin.
El contenido de las evaluaciones, es decir, el QUE se evala, se concreta a travs
de los criterios e indicadores de evaluacin que representan dos cuestiones
fundamentales: por un lado, las variables estudiadas y, por otro, la base lgica en la que
se fundamentan los juicios de valor que se establecen posteriormente en el proceso de
evaluacin. En general, en la prctica totalidad de las experiencias de evaluacin
metaevaluadas es muy dbil la fundamentacin de la concreta eleccin y definicin de
los criterios e indicadores utilizados. En muchos casos hemos tenido que recurrir a los
instrumentos de recopilacin utilizados para poder extraer (suponer) las variables
estudiadas, ya que en los informes de evaluacin no se haban especificado los criterios
de evaluacin en la mayora de las experiencias estudiadas.
Con el fin de exponer los criterios de evaluacin (supuestamente) seguidos en los
procesos de evaluacin, de una forma ms sinttica, se han confeccionado las tablas
6.3., dividindolas de nuevo por evaluaciones externas (6.3.a), mixtas (6.3.b) e internas
(6.3.c).
____________________________________________________________________________________
316
______________________________________________________________________
3.1. Criterios e indicadores en las evaluaciones externas
A continuacin se expone la tabla 6.3.a. en la que aparecen los criterios de

evaluacin para cada una de las seis experiencias externas.
TABLA 6.3. a.: CRITERIOS Y PREGUNTAS DE EVALUACION

Criterios o preguntas
Andaluca
II (95-97)
Evaluacin de la conceptualizacin y el diseo:

1. Qu fines se persiguen en las distintas reas del II Plan?Estn bien
relacionados con el fin ltimo del II Plan, esto es, la igualdad de oportunidades?
2. Son adecuados los objetivos planificados en cada rea para conseguir esos
fines? Estn bien seleccionados los indicadores?
3. Responden esos objetivos a necesidades sociales que se trata de abordar?
Evaluacin de la ejecucin: hasta qu punto el Plan est alcanzando a las
beneficiarias y en qu medida el desarrollo del Plan responde a su diseo inicial.
Se atiende a: 1. Justificacin institucional del objetivo 2. Planificacin de acciones
para lograr el objetivo 3. Implementacin o ejecucin efectiva de las acciones.
Evaluacin de la eficacia e impacto:
(En el proyecto)
A) Ha sido el Plan efectivo en alcanzar sus objetivos iniciales?
B) Se pueden explicar los resultados del Plan como consecuencia de un proceso
alternativo (I Plan, otras campaas..)? Es decir Son los efectos del Plan debidos
al Plan y no a otros factores?
C) Anlisis coste-beneficio
(En el informe final). Se dice que se analiza el grado de satisfaccin de las
usuarias/beneficiarias de II Plan con respecto a los servicios, actividades y
programas del Plan (Beneficio subjetivo que ha generado el Plan)
Canarias
I (95-96)
Grado de cumplimiento de los objetivos previstos y alcance de las acciones (en

realidad se trata de relacionar las diferentes acciones ejecutadas ordenadas segn
las reas del Plan y si las han realizado el ICM u otras instituciones canarias). Se
consigna el tipo de actuacin segn una clasificacin de contenido con 4
categoras: actuaciones informativas y formativas, iniciativas culturales, ayudas
econmicas y otro tipo de actuaciones.
____________________________________________________________________________________
317
______________________________________________________________________
Castilla-La
Mancha
II (95-99)
Evaluacin del diseo: Sobre los objetivos y las actuaciones, A) Coherencia, B)

Concrecin, C) Posibilidades de realizacin y D) Puntos fuertes y dbiles (tipo de
programa, colectivos destinatarios, cooperacin entre entidades, integracin de
recursos, entorno y realidad de las mujeres, pistas para desarrollar las
actuaciones y continuidad de los programas)
Memoria de resultados de ejecucin del Plan: Mapa de resultados obtenidos en
funcin de los objetivos, a travs de la actuacin de los diferentes departamentos
de la Juta implicados.
Valoracin cualitativa del desarrollo del Plan: Opiniones de las personas
implicadas en el desarrollo del Plan sobre los niveles de ejecucin, el nivel de
implantacin en la sociedad y los avances conseguidos. Se recogen impresiones
sobre diferentes aspectos de la ejecucin del II Plan, como el diseo de los
contenidos, el proceso de puesta en marcha desde el punto de vista de la
organizacin, el nivel de implicacin de las diferentes entidades, la dotacin de
recursos, la valoracin de los resultados obtenidos, el nivel de conocimiento e
impacto en la sociedad y propuestas y sugerencias que deberan ser lneas de
futuro en el desarrollo de polticas de igualdad en la regin.
Castilla y Len
I (94-96)
Cambios acaecidos en la situacin de las mujeres de Castilla y Len, durante

el perodo de vigencia del PIIOM: en la disponibilidad de empleo, en la
demanda y las condiciones de empleo, en la facilitacin de empleo, en la
evolucin de la salud, en las anomias padecidas por las mujeres y en la oferta y la
demanda de educacin entre las mujeres. Tambin se consigna informacin sobre
las acciones culturales y de cooperacin, la promocin del asociacionismo y la
participacin institucional en el marco del PIIOM.
Se hace un anlisis comparativo de la situacin de las mujeres en Castilla y Len,
combinando los siguientes criterios:
- El estado de las mujeres antes de y durante el perodo de vigencia del plan
- La situacin en Castilla y Len respecto al conjunto nacional
- El cotejo de los datos referidos a las mujeres, con los datos referidos a los
hombres
____________________________________________________________________________________
318
______________________________________________________________________
Galicia
II (95-97)
Grado de cumplimiento de las acciones segn las reas del II PIOM

(asociacionismo, educacin y cultura, formacin y empleo, ordenamiento jurdico,
salud y servicios sociales)
Evolucin de las actividades por aos
Distribucin segn tipo de actividad (informacin y formacin; programas,
planes, proyectos y servicios; campaas; convenios, decretos y convocatorias;
estudios, publicaciones y folletos; subvenciones, ayudas y becas; datos
estadsticos)
Clasificacin de las actividades segn el carcter de las actuaciones (directas si se
ponen en marcha para cumplir los fines del Plan, indirectas si responden a otros
objetivos pero atienden indirectamente)
Clasificacin de las actuaciones segn el contenido (informacin, divulgacin,
sensibilizacin; formacin y educacin; empleo, insercin laboral e integracin;
investigacin y anlisis de la situacin social de las mujeres; y tratamiento de
problemas sociales y de salud)
Clasificacin de las actividades segn mbitos de impacto /destinatarios
(poblacin general, centros y asociaciones, mujeres y profesionales)
Participacin institucional y entidades responsables de las actuaciones
mbito geogrfico en donde se realizan las actuaciones
Financiacin de las actividades
Otros aspectos: canales de difusin y de informacin de las actividades, material
utilizado, directivas europeas en relacin a las actividades, convenios existentes
para la realizacin de actividades.
Valoracin de las actuaciones por parte de los responsables de las mismas:
grado de participacin y nivel de respuesta de las destinatarias, impacto en los
medios de comunicacin, grado de consecucin de los objetivos previstos,
contribucin potencial a las polticas de igualdad, repercusin para la
sensibilizacin de las mujeres y grado en el que se enmarcan en las prioridades del
PIOM.
Se elaboran una serie de indicadores para cada objetivo y cada accin.
____________________________________________________________________________________
319
______________________________________________________________________
Madrid
II (93-95)
No se especifican criterios de evaluacin. Los indicadores utilizados son:

I. Caractersticas demogrficas: estructura de edades y gnero de la poblacin
en la CM, evolucin de las composiciones familiares.
II. Integracin de las mujeres en el mercado laboral: situacin en relacin con
el empleo; actividad segn sectores econmicos, segn tramos de edades;
caractersticas de la inactividad; dependencia del hogar respecto de los ingresos de
la mujer que trabaja; paro segn tramos de edades; relacin existente entre la
forma de conseguir y buscar trabajo. Todos estos indicadores se presentan por
cada gnero y en comparacin con el conjunto nacional.
III. La evolucin de la calidad de vida y el empleo del tiempo de las mujeres:
el tiempo que pasaba en 1993 y el que pasa en 1996 en distintos lugares;
percepcin de las relaciones con la pareja y con las hijas e hijos; percepcin de la
situacin econmica familiar; vinculacin de las tareas domsticas con otras
ocupaciones; ocupacin de las mujeres en tareas domsticas, en atender a sus
familiares, a necesidades personales, tiempo libre; implicacin en las tareas
domsticas del resto de los miembros de la familia; feminizacin y
masculinizacin en la eleccin de profesiones; audiencia de los medios de
comunicacin de masas en la CM. De todos estos datos se presentan datos de
evolucin 1993-96. Mujeres beneficiadas por los programas sociales en servicios
especializados (DGM); caractersticas de las mujeres atendidas en los servicios
jurdicos y motivos de las consultas.
IV. La atencin a la salud integral de las mujeres: causas de muerte de mujeres
en la CM; mortalidad por tumores; SIDA; accidentes laborales con baja entre
mujeres.
V. La participacin poltica y social de las mujeres: participacin femenina en
los parlamentos autonmicos; % de alcaldesas; proporcin de profesionales y
personal directivo entre las personas activas; asociaciones registradas con
subvencin.
VI. La violencia que afecta a las mujeres: violencia y malos tratos; n de delitos
y faltas contra las mujeres en el mbito familiar, y segn relacin de la persona
agresora con la vctima; abusos y malos tratos, segn el lugar donde se producen;
distribucin por edades de delitos; delitos de agresin sexual; asistencia a mujeres
violadas; poblacin reclusa femenina penada y segn su condicin procesal; la
delincuencia en menores segn los motivos de detencin y diferencias segn
gnero.
VII. La escolarizacin y los niveles de instruccin reglada: poblacin segn
nivel de instruccin y gnero; poblacin escolarizada por clases de enseanza;
universitarios graduados/as, por reas de enseanza;.
VIII. El analfabetismo y la formacin de adultos: proporciones de
analfabetismo declarado; poblacin que sigue cursos para adultos/as.
IX. Imagen de la DGM: cometido principal que le asignan a la DGM
____________________________________________________________________________________
320
______________________________________________________________________
La evaluacin del II PIOM andaluz es la nica que se plantea la evaluacin del
diseo del plan, una verdadera (aunque quiz no completa) evaluacin de la ejecucin o
implementacin y una evaluacin de los efectos netos del Plan, distinguiendo, adems,
entre productos o outputs y efectos o outcomes. Sin embargo, los criterios sobre la
eficacia y el impacto del Plan estn muy poco explicitados en el proyecto de evaluacin,
a diferencia de los criterios de los otros dos tipos de evaluacin. Es decir, preguntarse en
general si el plan ha sido efectivo sin especificar cules son los efectos que se buscan,
significa quedarse en un plano muy abstracto. De hecho, el proyecto inicial menciona la
medicin de efectos y pretende, por lo tanto, muchas ms cosas de lo que
posteriormente aparece como evaluacin de impacto en el informe final (grado de
satisfaccin de las usuarias). Sin embargo, y como se ha dicho antes, es importante y
clarificadora la introduccin del concepto de efectos netos y la distincin entre
productos y efectos. Como se dice en el propio proyecto de evaluacin el Plan puede
haber sido muy productivo por el gran nmero de campaas que haya realizado, los
folletos que haya publicado y las actividades que haya puesto en marcha. Sin embargo,
los resultados (outcomes) pueden ser nulos, negativos o causados por factores ajenos al
Plan (pag. 9). En el Avance del Informe de Evaluacin, presentado al IAM en Julio de
1997, en el que se expone la evaluacin del diseo y los proyectos de evaluacin de la
ejecucin y de eficacia e impacto, de nuevo, se especifica mucho el diseo de
recopilacin de la informacin, pero se sigue sin especificar realmente cules van a ser
los criterios de evaluacin a utilizar en la evaluacin de resultados. Slo al especificar el
estudio 1 a realizar sobre los objetivos del Plan se dice que se pretende conocer en qu
medida las mujeres andaluzas conocen las diferentes acciones puestas en marcha y
quines han participado, con el objeto de poder comparar ambos colectivos,
identificarlos y diferenciarlos (p. 58). Sin embargo, en el estudio 2 se dice que se
intenta evaluar en qu medida los cambios detectados se deben a la participacin de las
mujeres en actividades (p. 60). Y en el estudio 3 que se pretende analizar el cambio
observado como el efecto que es atribuido al propio Plan (p. 62). Es decir, se sigue sin
especificar cules son los aspectos o dimensiones sobre los que se van a observar dichos
cambios.
Por grado de cumplimiento de los objetivos (Canarias) se entiende la
recopilacin de informacin sobre las actuaciones realizadas, ordenadas segn las reas
en las que est dividido el plan. Es decir, se trata de una descripcin ordenada de lo que
se ha hecho. Si se realizan algunas valoraciones stas suelen ser de tipo muy general;
normalmente, cuando se habla del grado de cumplimiento, los estudios de evaluacin
se limitan a expresar, en porcentajes, las actuaciones realizadas sobre las previstas
inicialmente. En el caso de la evaluacin castellano-manchega, este tipo de
evaluacin se denomina Memoria de resultados de ejecucin del plan o Mapa de
resultados, trminos ms modestos que los anteriores, ya que una memoria o un mapa
no tiene por qu implicar evaluacin.
Al igual que en la evaluacin del II Plan andaluz, tambin se realiza
explcitamente evaluacin del diseo en el II Plan castellano-manchego (slo en estas
dos evaluaciones se realiza como tal). Pero existen diferencias entre estas dos
evaluaciones de diseo. Mientras en la andaluza se pretende realizar una evaluacin ms
global, que estudia los objetivos en su conjunto (lgica de conjunto, jerarqua y
compatibilidad entre ellos y adecuacin a las intenciones iniciales y a las necesidades
reales de las mujeres andaluzas, adems de una evaluacin de los indicadores
____________________________________________________________________________________
321
______________________________________________________________________
propuestos), en la castellano-manchega se analiza la concrecin, coherencia,
posibilidades de realizacin y puntos fuertes y dbiles de cada uno de los objetivos y
actuaciones por separado. En la evaluacin castellano-manchega se hace un esfuerzo
por especificar, adems, los criterios utilizados; es decir, en una tabla de
correspondencias (p. 15 del Informe de evaluacin) se especifica para cada tipo de
anlisis (coherencia del objetivo, coherencia de la actuacin, concrecin del objetivo,
concrecin de la actuacin y posibilidad de realizacin), cmo se definen las tres
categoras para cada uno de esos anlisis (coherencia, concrecin o posibilidad de
realizacin ALTA, MEDIA O BAJA)5. Los puntos fuertes y dbiles tambin estn
especificados (aunque se hace a posteriori, cuando ya se tiene la informacin), ya que
se identifican una serie de factores (entre parntesis en la tabla 6.3. a) que determinan la
bondad o fortaleza de las actuaciones que se analizan. Menos clara resulta lo que llaman
la Valoracin cualitativa del desarrollo del Plan. Aunque parece que inicialmente
pretenden recoger las opiniones de las personas implicadas sobre el proceso, ejecucin y
desarrollo del Plan, los objetivos aumentan a lo largo del proceso y, finalmente,
consignan que recogen informacin no slo sobre el proceso de puesta en marcha desde
el punto de vista de la organizacin, el nivel de implicacin de las diferentes entidades y
la dotacin de recursos sino tambin sobre la valoracin de los resultados obtenidos, el
nivel de conocimiento e impacto en la sociedad y el diseo de los contenidos. Tambin
recogen sugerencias ya que, como se ha comentando anteriormente, en Castilla -La
Mancha, el proceso de recopilacin de informacin para la evaluacin del II Plan y para
la elaboracin del III fue paralelo (es decir, se aprovecharon los mismos grupos de
discusin y las mismas entrevistas).
Los criterios de evaluacin que se utilizan en la evaluacin del I Plan
castellano y leons tienen que ver con la evolucin de las mujeres de la regin en el
perodo de vigencia del Plan, en una serie de dimensiones (que se relacionan en la tabla
6.3. a, pero que no refleja ninguna conexin con lo que los poderes pblicos han hecho
para promover la igualdad. La nica informacin directamente relacionada con el Plan,
es la de recoger algunos datos muy limitados sobre algunas actuaciones realizadas
respecto a acciones culturales y de cooperacin y a la promocin del asociacionismo y
de la participacin. Normalmente son datos en relacin al gasto realizado (es decir, por
ejemplo, realizacin de una campaa de concienciacin de empresarios con un costo de
10.000.000 ptas. (p. 28 del Resumen de la Evaluacin). Respecto a la promocin del
asociacionismo los datos que se ofrecen son el monto de las subvenciones y datos que
no tienen que ver directamente con el Plan como son la afiliacin sindical de las mujeres
y su participacin en el Parlamento Autonmico y en los gobiernos locales. Los datos
que se recogen respecto a la participacin institucional se limitan a contar en el nmero
de foros en los que ha participado la Secretara Regional de la Mujer en cada provincia
para la conmemoracin del Da de la Mujer.
En la evaluacin del II Plan gallego, el tipo de evaluacin que se realiza es una
evaluacin de outputs (saber qu es lo que se ha hecho y qu es lo que ha producido los
5
Por ejemplo, respecto al tipo de anlisis CONCRECION DEL OBJETIVO, la categora ALTA se
define como contenido preciso, claro, conciso y sin ambigedades y en el propio contenido se incluye
el modo de realizacin; la categora MEDIA se define como contenido poco preciso, con cierta
ambigedad y no incluye el modo o pistas para su realizacin; y, por ltimo, la categora BAJA se
define como contenido no preciso, poco claro y/o con ambigedades y no incluye el modo o pistas
para su realizacin.
____________________________________________________________________________________
322
______________________________________________________________________
respectivos Planes), en la que se recoge ms informacin que en la evaluacin canaria
del grado de cumplimiento, ya que se clasifican las actividades segn diferentes
dimensiones y se tienen en cuenta los colectivos destinatarios, adems de los agentes
responsables. Este sistema de recopilacin de informacin podra resultar una buena
base tambin para una cierta evaluacin del diseo del Plan, permitiendo la reflexin y
valoracin sobre qu tipo de actividades se realizan en mayor o menor medida, quines
son los agentes institucionales a los que les cuesta ms participar y a quines menos y a
qu sectores de la poblacin se les est dando mayor o menor prioridad. Esto podra dar
origen a una reflexin no slo sobre si se est ejecutando lo que se tena previsto sino,
incluso, si lo que se tena previsto y se realiza guarda una lgica con lo que se pretende,
si se est abordando el problema pblico de la desigualdad de gnero de forma
coherente con las premisas polticas y cul es el concepto de igualdad que los poderes
pblicos estn trasmitiendo realmente con sus actuaciones. Sin embargo, este tipo de
reflexin no parece hacerse en la evaluacin gallega.
Finalmente, en la evaluacin del II Plan madrileo tampoco aparecen
explicitados los criterios de evaluacin; de hecho, ni siquiera existen, ya que en dicha
evaluacin no se valora la informacin recopilada. La recopilacin de informacin se
realiza, en esta evaluacin, a travs de un sistema de indicadores elaborado a partir de
los objetivos del Plan. En la tabla 6.3. a referente a los criterios de evaluacin
utilizados, se reflejan dichos indicadores ya que son los aspectos o dimensiones sobre
los que se ha recopilado informacin, es decir, el QUE de dicho estudio. Es decir,
aunque no existan criterios de valor especficos (ya que no se emiten juicios) se
explicitan en este apartado las variables estudiadas, reflejadas a travs de los
indicadores utilizados. Como se puede observar, la mayora de las variables tienen que
ver con la situacin social general de la mujer y no tanto con el Plan evaluado.
En general, uno de los indicadores de la poca importancia concedida a la

definicin previa de los criterios de evaluacin (qu se va a evaluar) es cmo, en
muchos de los informes de evaluacin, en los captulos correspondientes al diseo y
metodologa de la evaluacin, no suele aparecer un apartado especfico para ello. Ni en
el informe canario, ni en el de Castilla y Len ni en el de Madrid se hace ninguna
referencia a los criterios. En el informe gallego se pasa de los puntos referidos al
concepto y metodologa de la evaluacin y al punto de partida de la evaluacin, a los
puntos referidos a la recogida de informacin, los instrumentos, el trabajo de campo y el
procesamiento de dicha informacin. En el caso del informe final andaluz, sin embargo,
s se explican los criterios generales que se han utilizado.
____________________________________________________________________________________
323
______________________________________________________________________
3.2. Criterios e indicadores en las evaluaciones mixtas
Como ya se ha comentado en el apartado de las evaluaciones externas, en casi

todas las experiencias de evaluacin analizadas, la fundamentacin de la concreta
eleccin y definicin de los criterios e indicadores utilizados suele ser muy dbil. Este
es el caso de la evaluacin del IM, en los que se ha tenido que recurrir a los
instrumentos de recopilacin analizados para poder extraer las variables estudiadas, ya
que en los informes de evaluacin no se haban especificado los criterios de evaluacin.
En las evaluaciones catalana y vasca, aunque son algo ms claras respecto a los criterios
utilizados, tampoco se hacen claramente explcitos en los informes de evaluacin.
Ya se ha visto que en muchos de los informes de evaluacin, en los captulos
correspondientes al diseo y metodologa de la evaluacin, no suele aparecer un
apartado especfico para dichos criterios. En el caso de la evaluacin catalana existe un
apartado en el que se relacionan los aspectos considerados en el anlisis de las acciones
a evaluar; en este apartado se explican dichos aspectos, aunque no se fundamentan de
forma especfica, ni se explicita por qu se consideran dichos aspectos y no otros.
Incluso la evaluacin del II PAPME vasco, que como ya hemos visto tiene unos
propsitos ms claros y explicitados que en las otras experiencias, del punto en el que se
explican los objetivos se pasa a la metodologa. Los criterios de evaluacin se deben
entresacar del punto en el que se especifican los objetivos de la evaluacin6.
En la tabla 6.3.b. que aparece ms adelante se exponen los criterios para cada
una de las tres experiencias mixtas.
Documento sobre evaluacin, presentado por Emakunde al Seminario sobre Evaluacin de Polticas de
Igualdad en la UIMP, Santander, Junio 1998. p. 16.
____________________________________________________________________________________
324
______________________________________________________________________
TABLA 6.3. b: CRITERIOS Y PREGUNTAS DE EVALUACION

EVALUACION MIXTAS
Instituto Mujer
II (93-95)
Evaluacin de la implementacin: Se pretenda:

- conocer el grado de cumplimiento del Plan, es decir, qu actuaciones, de las
170 previstas, se han puesto en marcha y cules no
- conocer cmo se ha ejecutado el Plan, es decir, qu actividades se han llevado a
cabo para dar cumplimiento al mismo.
Se recoge informacin sobre datos de identificacin del indicador o actividad
(rea, objetivo, actividad), temporalizacin (fechas de inicio y final, reales y
previstas), grado de desarrollo, motivo de incumplimiento si procede, presupuesto
invertido y descripcin del indicador o actividad desarrollada.
Evaluacin cualitativa: Cul es la valoracin sobre el PIOM de grupos
representativos del colectivo de mujeres (percepcin social que, de los efectos de
las actuaciones, han tenido sus destinatarias ms directas) y por las instituciones
que han jugado un papel importante en su ejecucin (percepcin personal que del
desarrollo y los efectos de las actuaciones han tenido los responsables de la
coordinacin desde los distintos ministerios)?
Evaluacin cuantitativa: Cules son los efectos secundarios de la puesta en
marcha del Plan, en aspectos o dimensiones que subyacen y justifican a los
posibles cambios estructurales que hayan podido tener lugar? Son:
- Estereotipos sexuales: esterotipia de rasgos (ver si determinados rasgos son atribuidos
preferentemente a las mujeres y no a los hombres) y estereotipia de roles (acuerdo en una
serie de frases referidas a roles sexuales).
- Valores: instrumentales, referidos a modos de conducta deseables y finales, referidos a
estados finales de la existencia.
- Actitudes hacia la igualdad de gneros: predisposicin a que las mujeres cambien del
rol tradicional de madre de familia y ama de casa.
- Calidad de vida: grado de satisfaccin de las personas con aspectos de su vida, como la
educacin, la familia, la pareja, las amistades, la salud, la situacin econmica y el
tiempo libre. Comparacin entre lo que se tiene y aquello a lo que se aspira y desea.
- Usos del tiempo: en necesidades personales, trabajo domstico, educacin, trabajo
remunerado y tiempo libre. Ponderando de manera diferencial el tiempo dedicado a cada
uno de estos grupos de actividades, se establecen los siguientes indicadores de igualdad:
igualdad social, calidad de vida, autonoma, trabajo domstico y productividad.
____________________________________________________________________________________
325
______________________________________________________________________
Catalua
II (94-96)
Evaluacin del cumplimiento del Plan: Qu se ha hecho?

- Grado de implementacin de las acciones (se han hecho totalmente,
parcialmente, se encuentran en ejecucin, se ha hecho algn tipo de actuacin
pero se desconoce el grado de implementacin, no era procedente, no se han
realizado), segn mbito (rea del Plan): sensibilizacin, legislativo,
sociocultural, coeducacin y formacin reglada, formacin ocupacional y de
trabajo, sanitario, servicios sociales y comunitarios.
- Grado de consecucin de los objetivos (se han cubierto de forma amplia por
las acciones implementadas, de forma parcial, se realiza algn tipo de actuacin
pero se desconoce el grado de consecucin, no era procedente, no ha habido
ningn tipo de cobertura)
- Anlisis del grado de implementacin de las acciones segn:
Tipo de poltica: promocin (su propsito es cambiar la percepcin social
sobre el papel de la mujer); igualdad (pretende cambiar las pautas sociales de
asignacin de recursos y oportunidades entre hombres y mujeres); paridad
(pretende cambiar las pautas de relacin hombre-mujer, en el mbito pblico y
privado).
Tipo de actuacin: especfica (originada por el II Plan); genrica modificada
(con otro origen, pero reformulada con el II Plan) y genrica (con otro origen y
sin adaptacin al II Plan).
mbito territorial: segn provincias.
Evaluacin de la participacin de los diversos actores responsables de
implementar las acciones del Plan (Departamentos de la Generalidad)
Evaluacin de las acciones dirigidas a los diversos colectivos destinatarios del
Plan
Evaluacin de los recursos destinados por mbito, actor y colectivo destinatario
____________________________________________________________________________________
326
______________________________________________________________________
Pas Vasco
II (95-98)
Tipo de actuaciones que se realizan desde los tres niveles de la Administracin

Pblica Vasca (Departamentos de Gobierno y Organismos Autnomos;
Diputaciones Forales; Ayuntamientos y Mancomunidades).
Destinatarios: colectivos destinatarios de las actuaciones realizadas.
Grado de ejecucin del II PAPME: en qu medida estn siendo o no ejecutadas
las acciones propuestas desde el mismo?
Valoracin del conjunto de actuaciones para que orienten la ejecucin del II
PAPME en toda su integridad durante su perodo de vigencia.
Se definen, para la evaluacin del II PAPME, siete grandes categoras, en las que
se clasifican todas acciones propuestas en el II PAPME segn el tipo de
intervencin. La informacin sobre la temtica tratada en cada caso, el colectivo
destinatario y el modo concreto en que se ha desarrollado la actividad se recoge y
se trata en la evaluacin pero no son criterio para esta categorizacin:
1. SENSIBILIZACION, INFORMACION, DIVULGACION: En esta categora
se incluyen todas las acciones cuyos objetivos son aumentar el grado de
sensibilizacin, incrementar la informacin correcta o disminuir la informacin
incorrecta, a travs de actividades diversas dirigidas a colectivos especficos o a
la poblacin general.
2. ORIENTACION, ASESORAMIENTO, APOYO: Incluye acciones con las
que se pretende proporcionar apoyo, orientacin o asesoramiento de diversos
tipos, a travs de servicios, materiales, recomendaciones, etc.
3. FORMACION: acciones dirigidas a aumentar, mejorar o introducir cambios
en la formacin general o especfica de colectivos diferentes (mujeres,
profesionales, profesorado, empresariado, polticos/as). Tambin incluye
acciones que suponen introducir nuevos programas de formacin, incluir
mdulos nuevos en los programas de formacin ya establecidos, etc.
4. REALIZACION ESTUDIOS, INVESTIGACIONES, EVALUACION:
acciones que pretenden impulsar y favorecer la creacin de conocimiento en
campos diversos.
5. AMPLIACION, ADAPTACION DE RECURSOS: acciones que suponen
cambios (crear, proporcionar, aumentar, adaptar) en cuanto a los recursos
econmicos, humanos, materiales, sociocomunitarios, etc., existentes en la
comunidad.
6. COORDINACION, COLABORACION, INTERCAMBIO: acciones que
tienen por objetivo aumentar la coordinacin, la colaboracin y el intercambio de
experiencias entre entidades y/o agentes sociales, a travs de actividades como
jornadas, congresos, reuniones, acuerdos, convenios, etc.
7. INTERVENCION SOBRE NORMAS JURIDICAS Y SOCIALES: acciones
que pretenden modificar situaciones de base que generan o favorecen la
discriminacin. Se incluyen acciones que benefician, directa o indirectamente
tanto a las mujeres como a la sociedad en general; o bien acciones dirigidas a
colectivos especficos que por encontrarse en situaciones extremas (personas con
cargas familiares, con discapacidades, con adicciones, cumpliendo condena, etc.)
requiere de una actuacin especfica para poder beneficiarse de un plan de
igualdad de oportunidades.
____________________________________________________________________________________
327
______________________________________________________________________
En el caso del IM, la nica referencia a los criterios utilizados en la evaluacin
cuantitativa es la relacionada con los efectos secundarios del Plan en aspectos o
dimensiones subyacentes a los cambios estructurales. En el resumen publicado en el que
se presentan los resultados, en el apartado de la evaluacin cuantitativa se realiza esa
nica referencia a los criterios en una nica frase (es decir, la referencia a QUE se
quiere evaluar) y sin embargo, se desarrolla mucho la parte relacionada con el COMO,
referida al procedimiento de muestreo y a las tcnicas de recogida de informacin
utilizadas. En la seccin de tcnicas de recopilacin de informacin, adems de las
escalas de informacin, se hace referencia a los aspectos medidos, por lo que se puede
entresacar algo sobre lo que se ha querido evaluar (dimensiones y aspectos que se
relacionan en la tabla 6.3. b). Ocurre algo similar en la evaluacin cualitativa, aunque
aqu no se extienden tanto en el aparataje metodolgico; tampoco en este caso se
fundamenta por qu los criterios de valor utilizados son la percepcin personal del
desarrollo y efectos del PIOM, por parte de tcnicos implicados en los diferentes
ministerios (agentes activos) y la percepcin social (slo de los efectos) de las
destinatarias (poblacin diana). Por otra parte, se sobreentiende que las destinatarias del
PIOM son exclusivamente las mujeres, no el resto de las instituciones pblicas, no la
sociedad en general. Es decir, parece que se propicia la antigua concepcin de las
polticas de igualdad como promocin de la mujer y no como fomento de la inclusin de
las relaciones y la perspectiva de gnero en el resto de las polticas pblicas. Respecto a
la evaluacin de la implementacin, en realidad se trata de una muy sencilla evaluacin
de outputs en la que simplemente se relacionan las acciones realizadas segn las reas
del plan. En este caso, a diferencia de algunas experiencias en CC.AA., ni siquiera se
clasifican las acciones segn otra tipologa, segn el colectivo destinatario, presupuesto,
etc.
En la evaluacin del II Plan cataln, como en la del II plan gallego, el tipo de

evaluacin que se realiza es una evaluacin de outputs (saber qu es lo que se ha hecho
y qu es lo que ha producido los respectivos Planes), en la que se recoge ms
informacin que en las evaluaciones del grado de cumplimiento, ya que se clasifican
las actividades segn diferentes dimensiones y se tienen en cuenta los colectivos
destinatarios, adems de los agentes responsables. La reflexin a partir de esta
informacin parece que se hace algo ms en la evaluacin catalana de lo que se hace en
la gallega por ejemplo, ya que las catalanas llegan a conclusiones sobre el tipo de
poltica de se est llevando a cabo (si promocin, igualdad y paridad), detectando que
las actuaciones que podran inscribirse realmente en una poltica de fomento de una
verdadera paridad entre hombres y mujeres son, todava, muy pocas.
La evaluacin del II PAPME vasco se beneficia enormemente de la experiencia

acumulada con la evaluacin del I. Tanto los criterios (tabla 6.3. b) como la metodologa
de esta segunda evaluacin estn ms pulidos que en la primera7. De hecho, se revisan
7
Los criterios de evaluacin del I PAPME eran algo ms sofisticados, y eran los siguientes:
Actividades realizadas: Naturaleza y contenido de las actuaciones ejecutadas, Qu acciones han sido
ejecutadas? Cmo han sido ejecutadas? A qu tipo, clase o estrategia corresponden?
____________________________________________________________________________________
328
______________________________________________________________________
las tipologas utilizadas en la evaluacin del I PAPME, ya que la utilizacin de las
mismas haba resultado compleja, en parte, por contemplar de modo paralelo el tipo de
intervencin y la temtica y, por otro, porque la clasificacin de las actividades en las
diferentes tipologas se haca a partir de la informacin suministrada en relacin con la
actividad, no siempre suficientemente exhaustiva (documento presentado en el
Seminario de la UIMP. 1998. p.18). Como se puede observar en la tabla 6.3. b, la
tipologa utilizada en la segunda evaluacin resulta ms sencilla que la utilizada en la
primera. Adems, la experiencia de evaluacin vasca es en la que se ha reflexionado
ms sobre los criterios de evaluacin y esto se refleja, lgicamente, en una mayor
claridad del conjunto del proceso evaluativo.
Para clasificar las actividades se tienen en cuenta dos criterios:

1) La forma de actuacin: qu se pretende y a quin se dirige (se establecen 9 tipos de actividades)
2) El contenido concreto de la actividad en cuanto al tema que aborda (se establecen subtipos de
actividades dentro de cada uno de los 9 tipos generales)
1. CULTURA/OCIO: 1.1. Formacin bsica; 1.2. Formacin en habilidades; 1.3. Ocio y deporte; 1.4.
Cultura general
2. INFORMACIN/ASESORAMIENTO GENERAL: 2.1. Derechos y recursos; 2.2. Empleo; 2.3.
Sobre actividades institucionales; 2.4. Violencia y malos tratos; 2.5. Familia.
3. SENSIBILIZACIN: 3.1. Corresponsabilidad; 3.2. Coeducacin y estereotipos sexistas; 3.3.
Recursos, derechos, igualdad de oportunidades; 3.4. Uso no sexista del lenguaje; 3.5 Malos tratos/acoso
sexual; 3.6. Situacin de la mujer en general; 3.7. Salud; 3.8. Sexualidad.
4. CREACIN DE CONOCIMIENTO DE GNERO: 4.1. Estudios, investigaciones, informes,
monografas; 4.2. Difusin, jornadas, intercambios; 4.3. Becas, subvenciones.
5. FORMACIN DIRIGIDA A PROFESIONALES: 5.1. Formacin de formadores/as; 5.2. Formacin
a profesionales (educacin, salud, etc.); 5.3. Asesoramiento a profesionales
6. ACCIN DIRECTA ANTE AL DISCRIMINACIN: 6.1. Accin directa individual (formacin
ocupacional; asesoramiento: jurdico, empleo); 6.2. Accin directa estructural (legislativa, fomento
empleo, servicios socio-comunitarios; 6.3. Premios y accin positiva; 6.4. Asistencial, servicios para
paliar la discriminacin (servicios especficos, programas de salud, sexualidad).
7. FORTALECIMIENTO DE ASOCIACIONES DE MUJERES: 7.1. Formacin en asesoramiento; 7.2.
Fomento de asociacionismo; 7.3. Subvenciones; 7.4. Diseo de polticas/ coordinacin institucional;
7.5. Asesoramiento.
8. INTRODUCCIN TEMTICA DE GNERO EN ADMINISTRACIN. PBLICA
8.1. Creacin y gestin de estructuras especficas; 8.2. Utilizacin no sexista del lenguaje; 8.3.
Coordinacin institucional en los diferentes niveles (autonmico, central e internacional); 8.4.
Documentos, difusin; 8.5. Subvencin institucional; 8.6. Asesoramiento a las instituciones; 8.7.
Estudios/ recogida de informacin.
9. COOPERACIN INTERNACIONAL: 9.1. ONGs; Administraciones + ONGs.
Destinatarios: Quines han sido los colectivos destinatarios de estas acciones?
Participacin de la Administracin Pblica Vasca: Incorporacin de las polticas a su quehacer
cotidiano: percepcin de la propia Administracin sobre su quehacer y cmo lo traduce en actividades.
____________________________________________________________________________________
329
______________________________________________________________________
3.3. Criterios e indicadores en las evaluaciones internas
Tampoco en las evaluaciones internas, los criterios de evaluacin quedan

especificados. En los dos ejemplos de evaluaciones internas, que se sealan en la tabla
6.3. c, se reflejan procesos internos que se centran en las tareas de seguimiento de los
planes y en la obtencin de datos necesarios para el funcionamiento cotidiano y una
cierta reflexin posterior. En ambos casos - Aragn y La Rioja- los criterios se centran
en las acciones o actividades realizadas y su grado de ejecucin, entendido como la
realizacin o no de las mismas en los tiempos planificados. En La Rioja, adems, se
consignan los gastos y los organismos que participan.
Efectivamente, y como ya se ha comentado anteriormente, por grado de
ejecucin de los Planes se entiende la recopilacin de informacin sobre las
actuaciones realizadas, ordenadas normalmente segn las reas en las que estn
divididos los planes. Es decir, se trata ms bien de una descripcin ordenada de lo que
se ha hecho.
TABLA 6.3. c: CRITERIOS Y PREGUNTAS DE EVALUACION

Aragn
I (94-96)
Grado de ejecucin de las acciones del Plan y organismo que las ejecuta, segn
la siguiente clasificacin:
A) Acciones realizadas: en su totalidad, acciones habituales (que se integran en la
dinmica normalizada del IAM y debern continuar impulsndose) y acciones
realizadas parcialmente.
B) Acciones sin realizar
La Rioja
II (96-99)
Para cada actuacin del Plan, se establecen una serie de indicadores (Listado de
Indicadores). De cada actuacin se evalan, anualmente:
- Actividades realizadas (en relacin a los indicadores propuestos)
- Organismos que participan
- Gasto ejecutado (por la entidad responsable y por otras)
- Grado de ejecucin: si la actividad ha finalizado en el ao de referencia o si
tiene continuacin en aos posteriores
- Temporalizacin de la ejecucin de las medidas del Plan: para saber en qu ao
se ejecutan y las previsiones para los siguientes.
En la evaluacin del II plan riojano se han entresacado los criterios de evaluacin

de las fichas con las que se recoge la informacin. En este caso los indicadores s tienen
que ver ms directamente con la evaluacin del plan (no como en Madrid y Castilla y
Len que son ms bien indicadores de la situacin general de la mujer), como por
____________________________________________________________________________________
330
______________________________________________________________________
ejemplo, n de mujeres informadas sobre diversos temas, n de planes distribuidos y
departamentos donde se ha hecho, n de reuniones, n de acciones informativas, n de
documentos revisados, etc. (para ver el listado completo, consultar documento Listado
de indicadores).
____________________________________________________________________________________
331
______________________________________________________________________
4. PROCEDIMIENTOS Y METODOLOGA EMPLEADA
El ltimo elemento clave de los procesos de evaluacin a considerar es el de los

procedimientos y metodologa utilizada en dichos procesos para recopilar y analizar la
informacin.
De forma similar a lo que ocurre respecto al apartado anterior (referido a los
criterios de evaluacin) los procedimientos utilizados no suelen estar profusamente
fundamentados en los informes; es decir, difcilmente encontramos una justificacin de
por qu se elige dicho instrumento y no otro. S encontramos, en algunos casos,
especificaciones muy detalladas sobre los instrumentos en s: estas especificaciones son
siempre de carcter tcnico y versan sobre las caractersticas intrnsecas de dichos
instrumentos, no tanto sobre su vala o adecuacin para la situacin concreta en la que
se aplica.
En algunos de los casos estudiados, se entiende la metodologa y los
procedimientos empleados de una forma ms amplia y se especifican en los informes los
pasos dados y las estructuras de coordinacin utilizadas para la recopilacin de
informacin, como parte de dichos procedimientos. Los casos en los que parece existir
esta concepcin metodolgica ms amplia (o al menos se refleja en los documentos e
informes resultantes de los procesos de evaluacin), son la evaluacin del I Plan
canario, y el II castellano-manchego en cierta medida, y del II Plan cataln, el II
PAPME vasco y el II Plan gallego, en mayor medida. Como se puede observar en la
tabla 6.4.a, en estos casos, cuando se describen los procedimientos, se explica de alguna
manera y de forma ms o menos sistematizada, a travs de qu mecanismos se ha
recopilado la informacin, adems de explicar las tcnicas concretas utilizadas. En el
caso de Galicia, adems, se crea una estructura ad-hoc (la Comisin Interna de
Evaluacin) que es las que gua o pretende guiar el proceso de recopilacin (en mayor
medida) y anlisis (en menor medida) de la informacin.
En las tablas 6.4.a, 6.4.b y 6.4.c (Procedimientos y metodologa para la
recopilacin y anlisis de la informacin para las evaluaciones externas, mixtas e
internas respectivamente) se sealan, para cada experiencia, los procedimientos
utilizados para la recopilacin y el anlisis de la informacin. Cuando no se consigna, es
que no se especifica nada respecto al anlisis de la informacin en los documentos e
informes de evaluacin analizados. As como en los anlisis cuantitativos se suele
especificar de forma profusa los procedimientos de muestreo y los de anlisis
estadstico, esto no es as para los anlisis de la informacin extrada a travs de tcnicas
de tipo cualitativo ni a travs de fichas o registros de informacin; en este caso se suele
especificar ms sobre el instrumento y menos sobre los procedimientos posteriores para
analizar la informacin recopilada a travs de dichos instrumentos.
4.1. Procedimientos y metodologa de las evaluaciones externas

____________________________________________________________________________________
332
______________________________________________________________________
En el Avance de resultados de la evaluacin del II Plan andaluz, en el que se

expone la evaluacin del diseo y conceptualizacin del plan, no se hace en ningn
momento referencia a los procedimientos con los que se ha realizado el anlisis, sino
que se exponen los resultados de la misma directamente. Para saber algo sobre estos
procedimientos, hemos tenido que recurrir al proyecto inicialmente presentado al IAM.
Tampoco aparece nada en la publicacin de los resultados de la evaluacin del II Plan
madrileo, no hacindose referencia, en ningn momento, a los procedimientos
empleados para la recopilacin y el anlisis de la informacin. Esta es una tendencia
generalizada en todas las experiencias de evaluacin estudiadas.
____________________________________________________________________________________
333
______________________________________________________________________
TABLA 6.4. a: PROCEDIMIENTOS Y METODOLOGIA PARA LA
RECOPILACION Y EL ANALISIS DE LA INFORMACION. EVALUACIONES
EXTERNAS
Andaluca
II (95-97)
Procedimientos y tcnicas de recopilacin y anlisis

Evaluacin de la conceptualizacin y el diseo:
A) Recopilacin documental: el propio Plan, listado de indicadores y otra
documentacin escrita como documentos en los que se explica el programa, actas
de reuniones, informes.
B) Contactos informales con miembros del IAM, Consejeras implicas y
organizaciones de mujeres.
C) Entrevistas con los responsables de cada una de las reas prioritarias para
conocer los posibles obstculos que prevn encontrarse y su opinin sobre el
grado de concrecin de los objetivos.
D) Juicio de personas con experiencia en programas similares (no se especifica la
tcnica a travs de la cual se va a extraer dicho juicio).
Evaluacin de la ejecucin:
A) Anlisis de actividades:1) descripcin (caractersticas, cobertura, tasa de
abandono, calidad); 2) obtencin de datos empricos que la avalen (a travs de
anlisis de documentos -anlisis de datos secundarios que han sido generados por
los responsables de ejecutar la actividad con fines distintos a la evaluacin
externa- y entrevistas). Para homogeneizar estos datos se realiza una ficha con
una parte comn y una especfica, en funcin del tipo de actividad de que se trate.
3) Comparacin con la realidad, comparando si lo que estaba previsto se ha
llevado a cabo de la manera, en el tiempo y con los recursos previstos.
B) Aspectos de la organizacin: examen del entorno institucional del II Plan (si
se tienen en cuenta los objetivos de las organizaciones), trmites de acceso a las
actividades y tiempo que tarda la institucin en dar respuesta a travs de
documentos y entrevistas.
C) Estudio Piloto: con tres acciones del Plan, para detectar posibles errores o
deficiencias en la investigacin prevista para subsanarlas a priori; comprobar las
dificultades de obtencin de informacin de los organismos implicados y en cmo
se van a gestionar los datos y qu resultados se van a obtener.
D) Propuesta de indicadores
E) Diseo de un Sistema de informacin
Evaluacin de la eficacia e impacto:
Programa de estudios a travs de encuestas:
A) Encuesta sobre la situacin social de la mujer (realizada en 1988)
B) Estudio 1: Encuesta sobre los objetivos del II PIOM: 1200 encuestas dirigidas
a mujeres residentes en Andaluca, muestreo estratificado con afijacin
proporcional, con seleccin de los individuos por cuotas y rutas aleatorias.
C) Estudio 2: Encuesta sobre las actuaciones del II PIOM en dos olas, (1997 y
1998) manteniendo constante la muestra de 800 beneficiarias y usuarias de las
actividades y servicios, mayores de 16 aos (800 encuestas en cada ola). El tipo de
diseo muestral depender de la estructura de poblacin de usuarias/ beneficiarias
que se detectar con el estudio 1.
D) Estudio 3, que integra tres encuestas distintas:
- Encuesta sobre la situacin social de la mujer en Andaluca 1998
- Objetivos del II PIOM
- Actuaciones del II PIOM (2 ola del estudio 2))
3.800 encuestas a mujeres de ms de 16 aos, residentes en Andaluca, en dos
submuestras: 3.000 a mujeres en general y 800 a usuarias/ beneficiarias del Plan,
la misma muestra que en el estudio 2.
Muestra estratificada proporcional, incluyendo mujeres de 16 y 17 aos.
____________________________________________________________________________________
334
______________________________________________________________________
Canarias
I (95-96)
La metodologa seguida fue la siguiente:

- Definicin de objetivos
- Localizacin de interlocutores en: ICM y Consejeras
- Diseo de un programa de actuaciones: definicin de un calendario; realizacin
de fichas para la solicitud de informacin (se hace una genrica y una por
Consejera. Ms que ficha es un guin a cumplimentar por cada Consejera);
inicio de contactos; recopilacin de informacin, anlisis y solicitud de nuevos
datos; revisin de contactos, correccin de informaciones y bsqueda de una
visin global por Consejera; anlisis del cumplimiento de objetivos, por reas;
valoracin.
- Redaccin del documento final
Castilla-La
Mancha
II (95-99)
Sistema con dos ejes de recopilacin de informacin:

1. Recopilacin de resultados de ejecucin de las acciones del Plan, a travs de:
- sistematizacin y ordenacin de las memorias de resultados anuales de la DGM
- Solicitudes de informacin y entrevistas a personal tcnico y responsable de
otros departamentos implicados en el desarrollo de las acciones.
Para esto se realiza un documento en el que se especifican las actividades, metas y
objetivos en los que se supona podan estar implicadas las diferentes unidades
administrativas, con la finalidad de apoyar la recopilacin. Tambin un guin de
entrevista y otras fichas para sistematizar la informacin recopilada.
2. Opiniones sobre el diseo, el desarrollo y el impacto de este II Plan (de los
responsables de departamentos implicados, asociaciones de mujeres y mujeres de
corporaciones locales), a travs de:
- entrevistas individuales a responsables y personal tcnico de los centros que
coordina la DGM y las Delegaciones Provinciales, y de otros depart.
- sesiones de trabajo, en cada una de las provincias, con mujeres se colectivos y
agentes sociales; una sesin de trabajo con mujeres que participan en las
corporaciones locales de la regin, mujeres alcaldesas y concejalas.
Castilla y Len
I (94-96)
Los datos disponibles para los anlisis proceden de dos clases de fuentes:
- Fuentes secundarias: estadsticas que se buscan, reelaboran y analizan, en
cualquier institucin que ofrezca datos, que tengan que ver con el contenido del
PIIOM y que se refieran a la Comunidad de Castilla y Len.
- Fuentes primarias (administrativas): La informacin facilitada por la propia
Junta de Castilla y Len, referida, generalmente, a sus propias actuaciones.
____________________________________________________________________________________
335
______________________________________________________________________
Galicia
II (95-97)
1. En primer lugar se cre una comisin interna de evaluacin compuesta por las
personas designadas por las Consejeras, as como personas responsables de otros
organismos pblicos de inters (RTVG, etc.)
2. Se dise por parte del equipo evaluador los instrumentos o protocolos de
recogida de informacin.
3. Se adecuan o modifican estos instrumentos al objeto de adaptarlo a las
necesidades especficas de la comisin.
En un principio se redact una ficha por cada tipo de actividad pero, debido a su
complejidad, se condens en una nica ficha, para facilitar el manejo y tabulacin
de los datos, aunque en cada actividad se completaron solo los items que le
correspondan o se adecuaban.
En la ficha se contemplaba: rea, programa y objetivos, actividad o accin, con
una serie de parmetros: localizacin temporal y espacial, tipo de destinatarias,
financiacin, requisitos para su acceso o participacin, y canales de difusin, y
valoracin de la accin.
La recopilacin de informacin se realiz por parte de las personas que formaban
parte de la Comisin, designadas por cada una de las Consejeras.
A medida que se reciben las fichas, se procede analizar la documentacin
entregada completndola en su caso. Luego, se trasvasa la informacin en bruto
con el fin de prepararla para su proceso informtico.
Madrid
II (93-95)
En la publicacin de los resultados de la evaluacin (Las mujeres en la

Comunidad de Madrid) no se especifican en ningn momento los procedimientos
utilizados para la obtencin de los datos.
En la fase de la elaboracin del sistema de indicadores, se proponen los
siguientes criterios para su seleccin: que sean pertinentes, sencillos, que permitan
una evaluacin continua y que sean comparables y especficos. Los
procedimientos en esta fase son:
1) Obtencin, evaluacin y, en su caso, adaptacin de los indicadores ya
existentes en el Estado y en instituciones internacionales.
2) Diseo, en su caso, de aquellos indicadores para los no haya precedentes tiles,
distinguiendo entre: a) aquellos que pueden ser alimentados con datos existentes
en fuentes secundarias y b) aquellos que tendrn que ser alimentados con
encuestas o anlisis propios.
La metodologa que se propone para la segunda fase (Consultora y asistencia
para la evaluacin del II Plan) debe ajustarse, segn el pliego de condiciones
tcnicas, a los siguientes requisitos:
- comparabilidad entre los datos relativos a la CM y los correspondientes al Estado
Espaol y a la Unin Europea
- inclusin de todos los indicadores relativos a todos los objetivos y a todas las
acciones del II Plan, susceptibles de evaluacin
- representatividad de los datos primarios relativos a las mujeres de la CM, en el
caso de que se considere necesaria la obtencin de dichos datos mediante estudios
especficos, con un nivel de confianza del 95,5 % y con un margen de error
inferior al 3%.
Para esto se utilizan:
1. Datos de la propia Direccin General de la Mujer (Fuentes administrativas)
2. Fuentes primarias: realizacin de una encuesta
3. Fuentes secundarias: extradas de diferentes fuentes, censos y estadsticas.
____________________________________________________________________________________
336
______________________________________________________________________
Como se puede observar en la tabla 6.5.a (Instrumentos de recopilacin de
informacin utilizados en las evaluaciones externas), los instrumentos ms utilizados en
esta segunda generacin de evaluaciones son los diferentes registros o fichas,
realizados ad-hoc, en los que se recogen informaciones sobre las actividades y
actuaciones realizadas como parte del plan evaluado. En todas las evaluaciones
estudiadas se utiliza este tipo de instrumento, aunque en algunos casos ms
sistematizado o estructurado que en otras. Por ejemplo, en Castilla- La Mancha y en
Madrid no tenemos constancia de que existiera una ficha o registro concreto, sino que se
sistematizaba la informacin aportada por las fuentes administrativas y encontrada en
diversa documentacin. Como se ha comentado antes, en este tipo de sistemas de
informacin, tan importante como los instrumentos en s, son los procedimientos y el
sistema para la recopilacin de informacin, ya que en la mayora de los casos las
fuentes de informacin se encuentran en departamentos diferentes a los propios
organismos de igualdad. En los casos en los que se informa, explica y compromete a los
otros organismos y departamentos, y son los propios organismos responsables los que
recogen la informacin (aunque exista un proceso paralelo de seguimiento por parte del
organismo de igualdad) existen mayores probabilidades de obtener una informacin de
calidad (de mayor alcance y mayor fiabilidad). Esto ocurre, entre las evaluaciones
externas, nicamente en el caso gallego. En el resto de los casos, la recopilacin de
informacin ha dependido sobre todo de las agencias externas que realizaban las
evaluaciones (como es el caso de Andaluca, Canarias, las dos Castillas y Madrid).
Los cuestionarios o encuestas se utilizan en dos de las experiencias externas
(Andaluca y Madrid). En los dos casos se realizan encuestas a la poblacin femenina
adulta en general. En el caso andaluz, al realizarse varias encuestas, algunas de ellas van
dirigidas a una poblacin ms acotada, definida como usuarias del II Plan andaluz.
Tanto para el II Plan andaluz como para el madrileo la encuesta versa sobre las
actividades o actuaciones del plan y, en menor medida, sobre sus objetivos.
Las entrevistas personales se realizan, formalmente, en otros dos casos
(Andaluca y Castilla- La Mancha). Los grupos de discusin, o ms bien sesiones de
trabajo (entrevistas colectivas) se hacen en Castilla- La Mancha. La utilizacin de
fuentes secundarias como censos, estadsticas, etc. se da en las evaluaciones de Madrid
y Castilla y Len. Finalmente, en otros dos casos, se utilizan otros instrumentos o
procedimientos como es una recopilacin documental ms exhaustiva, y los contactos
informales mencionados (Andaluca y Castilla- La Mancha), adems del juicio de
expertos en la evaluacin del II Plan andaluz y, en la misma experiencia, un estudio
piloto previo respecto a tres acciones con el objeto de detectar las dificultades de
obtencin de informacin previamente a disear el sistema de informacin definitivo.
____________________________________________________________________________________
337
______________________________________________________________________
TABLA 6.5. a: INSTRUMENTOS DE RECOPILACION DE INFORMACION

UTILIZADOS
Registros,
fichas
Sist. infor.
Andaluca
II (95-97)
Canarias
I (95-96)
Castilla-La
Mancha
II (95-99)
Castilla y Len
I (94-96)
Galicia
II (95-97)
Madrid
II (93-95)
Cuestionarios,
encuestas
Entrevistas
personales
Grupos de
discusin,
sesiones de
trabajo
Fuentes
secundarias
(censos, etc.)
Recopilacin
documental,
contactos
informales,
juicios de
expertos,
estudio piloto
Otros
Recopilacin
documental,
contactos
informales
(sistematizacin)
X
(fuentes
admtivas.)
(fuentes
admtivas.)
____________________________________________________________________________________
338
______________________________________________________________________
4.2. Procedimientos y metodologa de las evaluaciones mixtas
En la tabla 6.4. b se sealan, para cada una de las tres experiencias mixtas, los
procedimientos utilizados para la recopilacin y el anlisis de la informacin. En el caso
de la evaluacin cuantitativa realizada por el IM se especifican de forma profusa los
procedimientos de muestreo y los de anlisis estadstico, aunque esto no es as para los
anlisis de la informacin extrada a travs de tcnicas de tipo cualitativo ni a travs de
fichas o registros de informacin; en lo cualitativo, se suele especificar ms sobre el
instrumento y menos sobre los procedimientos posteriores para analizar la informacin
recopilada a travs de dichos instrumentos. Esta es, de todas formas, una tendencia
generalizada en todas las experiencias de evaluacin estudiadas.
____________________________________________________________________________________
339
______________________________________________________________________
TABLA 6.4. b: PROCEDIMIENTOS Y METODOLOGIA PARA LA
RECOPILACION Y EL ANALISIS DE LA INFORMACION
EVALUACIONES MIXTAS
Instituto Mujer
II (93-95)

Evaluacin de la implementacin:
Se disea una ficha para cada indicador (se hizo un listado de indicadores por
cada actuacin), que se cumplimenta al finalizar cada ao de vigencia del Plan.
Dichas fichas se cumplimentan por parte de las Unidades del IM responsables de
la ejecucin de las diferentes actuaciones del Plan.
Vaciado de fichas y tratamiento de la informacin (rea de Estudios)
Evaluacin cualitativa:
A) Entrevistas en profundidad: 11 entrevistas a responsables de la puesta en
marcha de las polticas de igualdad en los Ministerios de Administraciones
Pblicas, Justicia e Interior, Trabajo, Educacin y Ciencia, Industria y Sanidad.
B) Grupos de discusin: 8 grupos constituidos por representantes de colectivos
de mujeres. Participaron representantes de: institutos y seminarios universitarios
de estudios de las mujeres; mujeres participantes en los cursos/programas
formativos de alfabetizacin y acceso a la cultura; mujeres participantes en cursos
promovidos desde la iniciativa NOW, para su promocin e insercin en el mundo
laboral; mujeres pertenecientes a asociaciones de carcter social, educativo,
poltico, feminista...; mujeres que ocupaban puestos de direccin o predireccin,
tanto en las administraciones o empresas pblicas, como en la empresa privada;
mujeres que hubieran tenido un hijo/a en el ltimo ao, habiendo sido asistidas
por la sanidad pblica; mujeres pertenecientes o colaboradoras de colectivos de
mujeres marginadas.
Evaluacin cuantitativa:
Diseo cuasi-experimental pre y post con grupo de control (el diseo tiene una
medida pre y otra post con un grupo experimental -mujeres- y un grupo de control
-hombres).
Se realizan dos recogidas de datos, mediante la aplicacin de cuestionarios adhoc, a una muestra representativa de la poblacin espaola mayor de edad, en dos
momentos diferentes (1993-1996).
La seleccin de las 1.255 personas que compusieron sendas muestras,
pertenecientes a todo el territorio espaol, se llev a cabo mediante un muestreo
de conglomerados polietpico, con estratificacin de las unidades de primera etapa
(secciones censales). Las unidades de la segunda etapa fueron las viviendas;
dentro de las secciones, se seleccionaron mediante muestreo sistemtico con
arranque aleatorio. Las unidades muestrales de la tercera etapa (personas) se
eligieron mediante un sistema de cuotas por sexo, edad, ocupacin, segn la
composicin de la seccin respecto a estas variables.
Tratamiento estadstico: razn diagnstica (esterotipia de rasgos y valores); alfa de
Cronbach, anlisis de componentes principales y anlisis de covarianza
(estereotipia de roles y actitudes hacia la igualdad de gneros); estadsticas
descriptivas -media y desviacin tpica- y tcnicas multivariantes -regresin
logstica-(calidad de vida); medias, desviaciones tpicas y %, anlisis de varianza
y covarianza (usos del tiempo); anlisis discriminante e indicadores de igualdad.
____________________________________________________________________________________
340
______________________________________________________________________
Catalua
II (94-96)
El proceso de evaluacin se estructura en las etapas siguientes:

1. Determinacin de los objetivos y metodologa de evaluacin.
2. Identificacin de las acciones a evaluar y recopilacin y sistematizacin de la
informacin disponible por cada accin.
3. Anlisis de la informacin recogida y elaboracin de un primer documento
sobre el grado de cumplimiento del II Plan por mbitos. Presentacin de las
conclusiones obtenidas al ICD.
4. Bsqueda de informacin adicional y actualizacin de la base de datos a partir
de la nueva informacin aportada por los departamentos sobre la actividad
desarrollada en el 2 semestre de 1996.
5. Elaboracin de un segundo documento, avance del informe de evaluacin tanto
globalmente como por mbitos. Presentacin al ICD.
6. Transmisin a los departamentos, para su contraste y validacin, de la
informacin sobre la que el equipo evaluador elabora el avance de informe. Esta
informacin se presenta en forma de Informe de implementacin especfico para
cada departamento.
7. Incorporacin de la informacin adicional y de las observaciones que formulan
los departamentos en el Informe de Evaluacin que el ICD, en nombre del
Gobierno de la Generalidad, presenta al Parlamento.
Tambin se contrasta con el Consell Nacional de Dones de Catalua.
Fuentes de informacin: El rea de Seguimiento del Plan del ICD realiza desde
1994 una tarea de seguimiento de la puesta en prctica del plan, a travs de una
ficha para cada una de las acciones previstas. Con esta informacin se realizan los
Informes de situacin sobre el grado de ejecucin de las acciones. Esto hace que
el equipo evaluador pueda concentrarse en las tareas de anlisis y evaluacin
propiamente dicha.
Tambin el equipo evaluador ha realizado numerosas consultas a la jefa del rea
de Seguimiento del ICD.
____________________________________________________________________________________
341
______________________________________________________________________
Pas Vasco
II (95-98)
En una primera fase, paralelamente a la elaboracin del II PAPME, se

definieron indicadores para cada una de las acciones propuestas (396).
Se definen siete grandes categoras en las que se clasifican todas las acciones
propuestas en el II PAPME, segn el tipo de intervencin, y se realiza un
cuestionario diferenciado para cada uno de los 7 tipos de categora de
acciones (en la evaluacin del I PAPME se haba utilizado un nico cuestionario
que result complejo y poco sensible a la diversidad de las actuaciones
propuestas)
Los siete cuestionarios tienen dos partes:
1. Una genrica, comn para todos, compuesta por 11 items: descripcin de la
actividad realizada; accin del Plan con que se corresponde la actividad; grado
de correspondencia entre la actividad realizada y la accin del Plan marcada
(escala de 1 a 5); objetivos que se ha pretendido lograr con dicha actividad; fecha
de inicio de la actividad; organismo que ha realizado la actividad; organismos
colaboradores; tipo de colaboracin; lugar/es donde se ha llevado a cabo la
actividad; inversin econmica; colectivos receptores de la actividad realizada.
2. Una segunda parte, con preguntas especficas para cada categora y que
posibilitan analizar la actuacin con mayor profundidad y de forma ms
cualitativa (temticas o problemticas abordadas; tipo de actividad realizada jornada, conferencia, cursos, materiales,...-; horas dedicadas a las diversas
actividades; nmero de personas, edad y sexo, etc.
Tras la experiencia de la evaluacin del I PAPME se incorpora el objetivo de
aumentar el grado de implicacin y participacin de los organismos pblicos en
la evaluacin. Para esto, se delimit con mayor exactitud las reas y Subreas de
actuacin, objetivos y acciones en cuya ejecucin est implicado cada uno de los
organismos de la Administracin Pblica Vasca y se disearon sendos
documentos diferenciados, para cada uno de los 21 Organismos de la
Administracin general (Departamentos de Gobierno, Organismos Autnomos,
Sociedades Pblicas), uno para Diputaciones Forales y uno para
Ayuntamientos. Estos instrumentos se estructuran en tres partes:
1. Las acciones e indicadores concernientes a cada organismo
2. Las acciones e indicadores agrupados segn las siete categoras
3. Los instrumentos de evaluacin correspondientes
Se organizaron reuniones para entregar y explicar los objetivos y contenidos de
los materiales elaborados, en forma de borrador y para que pudieran proponer los
cambios pertinentes. Cada Departamento nombr una persona responsable de la
coordinacin entre Emakunde, los departamentos de Gobierno y sus respectivos
Organismos Autnomos, y se realizaron posteriores reuniones individualizadas.
En el caso de las Diputaciones Forales, la estrategia fue similar (reuniones
individualizadas con algunos responsables polticos y posteriormente
informativas con personal tcnico). Con los Ayuntamientos, se realizaron
reuniones en los de ms de 2.000 habitantes. En el resto se les envi el
documento por correo, junto con un escrito explicativo del contenido, y objetivos
del mismo.
____________________________________________________________________________________
342
______________________________________________________________________
En los casos del II Plan cataln y el II PAPME vasco, se entiende la
metodologa y los procedimientos empleados de una forma ms amplia y se especifican
en los informes los pasos dados y las estructuras de coordinacin utilizadas para la
recopilacin de informacin, como parte de dichos procedimientos. Adems, en estos
dos casos (y de forma similar a lo que ocurre en el caso gallego) se crean ciertas
estructuras de documentos y de reuniones especficas con los diferentes departamentos
gubernamentales, que son las que guan, en cierto modo, el proceso de recopilacin (en
mayor medida) y anlisis (en menor medida) de la informacin.
Como se puede observar en la tabla 6.5. b, y al igual que en las evaluaciones
externas, los instrumentos ms utilizados son los registros o fichas. De hecho, esto
instrumentos son la base de las evaluaciones catalana y vasca y de la evaluacin de la
implementacin realizada por el IM. El grado de complejidad, cantidad y calidad de la
informacin recopilada vara, siendo el sistema ms sofisticado y elaborado y el que
recopila una mayor cantidad de informacin ajustada a las necesidades del proceso de
evaluacin, el del Pas Vasco8. El siguiente en complejidad y alcance sera el cataln y,
muy por debajo, el utilizado por el IM. En el caso de la evaluacin del II PAPME vasco
y tambin del II plan cataln se informa, explica y compromete a los otros organismos y
departamentos, y son los propios organismos responsables los que recogen la
informacin (aunque exista un proceso paralelo de seguimiento por parte del organismo
de igualdad), cuestin que, como se ha visto en el caso de las evaluaciones externas,
ofrece una informacin ms fiable. No es as en el caso del IM en el que se pide
informacin a los diferentes ministerios pero sta es procesada y sistematizada por el
propio IM.
En los casos cataln y vasco no se utilizan prcticamente otros instrumentos de
recopilacin de informacin, aunque se contrasta la informacin con entrevistas
informales y visitas a los responsables de otras unidades gubernamentales. En el caso
del IM s se utilizan otros instrumentos de recopilacin y anlisis de la informacin. La
encuesta que se realiza a nivel nacional se aplica tanto en mujeres (grupo experimental)
como en hombres (grupo de control) y sta versa sobre una serie de variables
relacionadas con actitudes, valores, estereotipos y usos del tiempo, y no tanto sobre
actividades o servicios del plan.
La evaluacin del II Plan nacional es la nica que incluye formalmente grupos de
discusin. No se utilizan fuentes secundarias en ninguna de las tres experiencias mixtas.
TABLA 6.5. b: INSTRUMENTOS DE RECOPILACION DE INFORMACION

UTILIZADOS
8
En el caso de la evaluacin del II PAPME, a los instrumentos utilizados para recopilar la informacin se
les denomina en alguna ocasin cuestionarios, ya que en realidad son preguntas que se realizan a los
diferentes organismos y departamentos de la Administraciones Pblicas Vascas. Sin embargo, aqu
hemos preferido considerarlo como registros de informacin que deben rellenar los otros
departamentos, ms que como cuestionarios o encuestas, ya que se asemejan ms a quellos que a stos.
____________________________________________________________________________________
343
______________________________________________________________________
EVALUACIONES MIXTAS
Registros,
fichas
Sistemas de
informacin
Cuestionarios,
encuestas
Entrevistas
personales
Grupos de
discusin,
sesiones de
trabajo
Instituto Mujer
II (93-95)
Catalua
II (94-96)
Pas Vasco
II (95-98)
X (*)
Fuentes
secundarias
(censos, etc.)
Otros
Recopilacin
documental,
contactos
informales
Visitas a las
administraciones pblicas
vascas
(*) En Emakunde a estos instrumentos se les denomina en alguna ocasin cuestionarios, ya que en
realidad son preguntas que se realizan a los diferentes organismos y departamentos de la
Administraciones Pblicas Vascas. Sin embargo, aqu los consideramos registros de informacin que
deben rellenar los otros departamentos, ms que como cuestionarios o encuestas, ya que, en una
consideracin general, se asemejan ms a aquellos que a stos.
____________________________________________________________________________________
344
______________________________________________________________________
4.3. Procedimientos y metodologa en las evaluaciones internas

En la tabla 6.4.c se reflejan los procedimientos utilizados para la recopilacin y el
anlisis de la informacin en las dos experiencias de evaluacin clasificadas como
internas. En ambos casos, la evaluacin se ha llevado exclusivamente a travs de
registros o fichas realizadas ad-hoc, y con una sistema que implicaba un fuerte
protagonismo del organismo responsable en la recopilacin, el procesamiento y la
sistematizacin de la informacin.
TABLA 6.4. c.: PROCEDIMIENTOS Y METODOLOGIA PARA LA

RECOPILACION Y EL ANALISIS DE LA INFORMACION
Aragn
I (94-96)
Ficha para cada accin, en la que se recoga datos de identificacin de la de la

accin, organismos y entidades implicadas, tipo de participacin, temporalizacin,
mbito territorial de actuacin, tipo de usuarias/as y presupuestos.
La informacin se recogi por parte del propio IAM.
La Rioja
II (96-99)
Se elaboran los siguientes documentos e instrumentos:

- Listado de indicadores de evaluacin: para cada rea, objetivo y actuacin del
Plan Integral.
- Ficha de temporalizacin de la ejecucin de las medidas del Plan. En ella se
resea el organismo implicado el rea, objetivo y medida evaluada, cuando fue
iniciada, cuando finalizada y si hay gasto previsto para los siguientes ejercicios.
- Ficha de evaluacin de medidas y acciones, una para cada medida (reflejando
objetivo y rea, organismo implicado), con espacio para especificar los
indicadores correspondientes para dicha medida. En esta ficha se consigna el ao,
las actividades en relacin a la medida, los organismos participantes, el gasto
ejecutado y el grado de ejecucin.
- Criterios a seguir para cumplimentacin de los documentos de seguimiento y
evaluacin de los planes integrales de personas con discapacidad y de mujer (se
elabora el mismo sistema para ambos planes).
____________________________________________________________________________________
345
______________________________________________________________________
CAPTULO 7
LA UTILIZACIN DE LAS EVALUACIONES: PERTINENCIA,
COMUNICACIN E IMPACTO
INTRODUCCIN
En los dos captulos anteriores se han descrito las experiencias de evaluacin

metaevaluadas, respecto a dos dimensiones: la primera, referida al diseo y
conceptualizacin de los procesos de evaluacin, trat el planteamiento de dichos
procesos y las estrategias evaluativas seguidas para la evaluacin de los planes; la
segunda dimensin, referida al proceso de puesta en prctica de la evaluacin, seal
los elementos clave de los procesos evaluativos metaevaluados (agentes, momentos,
criterios y metodologa seguida). Este captulo discute sobre la tercera dimensin que,
referida a los resultados esperables de las evaluaciones, trata el tema de la utilizacin
de las mismas.
Por lo tanto, se trata de recabar informacin sobre la utilizacin y sobre la utilidad
de los procesos de evaluacin para las polticas de igualdad de gnero. En este captulo
se analiza, en primer lugar, la pertinencia y utilidad de la informacin producida,
tanto para el plan evaluado, como para el organismo de igualdad protagonista de la
evaluacin, y para la situacin evaluativa concreta. Para esto se tuvo en cuenta el
alcance de la informacin (si se ha recopilado, tratado y analizado la informacin
suficiente) as como su globalidad (si se contempla globalmente el plan o slo aspectos
concretos del mismo). En evaluacin, adems de la recopilacin y el anlisis
sistemtico de informacin, existen dos niveles ms de anlisis que son, por un lado, la
emisin de juicios de valor que es lo que le otorga su carcter valorativo y el
establecimiento de recomendaciones que son una concrecin de su carcter aplicado y
dirigido a la accin. Por lo tanto, la pertinencia y utilidad de la informacin producida
por una evaluacin tiene tambin con el grado de elaboracin o traduccin prctica de
dicha informacin, es decir, con el grado de anlisis y elaboracin de conclusiones y la
existencia y pertinencia de las recomendaciones. En definitiva, por muy buena que sea
una informacin recogida y analizada, si no se ha dado un paso ms en su valoracin
global y en su traduccin en recomendaciones concretas para la poltica evaluada, su
pertinencia y utilidad ser mucho menor.
En segundo lugar, se analizan los procesos de comunicacin de los resultados de
las evaluaciones, como otro elemento clave para la utilidad y la utilizacin de las
mismas. El principal elemento de comunicacin de una evaluacin es su informe. De
esta manera, se estudiaron los informes de evaluacin producidos por cada experiencia.
Por un lado, se analizaron sus contenidos, poniendo especial nfasis en el grado en el
que reflejaban los propios procesos de evaluacin llevados a cabo adems de los
resultados de los mismos. Por otro, cun completos eran dichos informes, partiendo de
____________________________________________________________________________________
Captulo 7. La utilizacin de las evaluaciones: pertinencia, comunicacin e impacto
347
______________________________________________________________________
la base de que un buen informe de evaluacin debe describir, adems de los resultados,
los propsitos del estudio, el contexto del plan evaluado, la metodologa de evaluacin,
la estrategia evaluativa general, el modo en el que se han establecido los criterios de
evaluacin, los propios criterios de evaluacin, las estructuras y foros que se han
utilizado para la recopilacin y cmo se han establecido las valoraciones y
recomendaciones.
Por ltimo, se trata en este captulo del impacto que los estudios de evaluacin
tienen tanto en los organismos de igualdad y en su funcin de evaluacin como en la
propia poltica. El concepto de impacto de las evaluaciones est inextricablemente
unido al de uso; el impacto de las evaluaciones depende del uso que se haga de las
mismas. En este apartado se realiza una valoracin de los cambios que se produjeron
por la propia existencia de los procesos de evaluacin estudiados, siendo conscientes de
las inevitables limitaciones encontradas para recopilar informacin de suficiente alcance
y calidad sobre este extremo. En general, adems de analizar los posibles usos de los
resultados de las evaluaciones, tambin se estudiaron la potencial utilizacin de los
propios procesos de evaluacin, pudiendo servir stos para introducir una cultura y una
metodologa de evaluacin en los organismos de igualdad y para generar una mayor
comprensin de las polticas de igualdad y de cmo abordar el problema de la
desigualdad de gnero.
Tambin en este captulo se utiliza la clasificacin en evaluaciones externas,
mixtas e internas para la exposicin de los datos.
____________________________________________________________________________________
348
______________________________________________________________________
1. PERTINENCIA Y UTILIDAD DE LA INFORMACIN

PRODUCIDA EN LAS EVALUACIONES EXTERNAS
En este apartado se realizan dos tipos de anlisis: en primer lugar, la pertinencia

de los contenidos del estudio para el plan evaluado, para el organismo de igualdad
protagonista y para la situacin evaluativa concreta. Para esto se tiene en cuenta el
alcance de la informacin (es decir, si se ha recopilado, tratado y analizado la
informacin suficiente) y la globalidad de la misma (es decir, si permite hacer una
valoracin global del plan o slo de aspectos concretos sobre el mismo). Tambin se
tienen en cuenta las opiniones vertidas por las responsables polticas entrevistadas sobre
este aspecto.
En segundo lugar, se estudia el grado de anlisis y elaboracin de conclusiones
y la existencia y la calidad de recomendaciones en los informes de evaluacin, como
resultado de la misma: en definitiva, se analiza el grado de traduccin prctica y
aplicabilidad de los procesos de evaluacin, como condicin facilitadora de su
utilidad.
1.1. Pertinencia y utilidad de la informacin producida en las evaluaciones

externas
El planteamiento de la evaluacin del II PIOMA andaluz es el ms completo

respecto a los contenidos, es decir respecto a lo que se evala, tanto en alcance como en
globalidad. Dicho estudio de evaluacin pretende cubrir todo el espectro de fases del
plan, planteando una evaluacin de la conceptualizacin y el diseo del plan (es la nica
experiencia junto con Castilla- La Mancha que se plantea formalmente este tipo de
evaluacin), una evaluacin de la ejecucin y una evaluacin de la eficacia e impacto.
Esta visin global del Plan, planteada por el estudio de evaluacin, es en principio ms
til que una visin parcializada del mismo, ya que cubre todos los aspectos posibles:
cuestiones de diseo, de funcionamiento o ejecucin y de resultados; por lo tanto, tiene
mayores probabilidades de ofrecer informacin pertinente para diferentes necesidades
de informacin y para diferentes decisiones. Respecto al diseo, se estudian los propios
objetivos del plan (coherencia, racionalidad, orden, jerarqua, ausencia de
solapamientos), la congruencia respecto a los indicadores planteados y la validez
aparente, fiabilidad y globalidad de stos y ajuste del Plan a las necesidades reales. Este
tipo de evaluacin permite, al menos potencialmente, una reflexin seria sobre la
definicin del problema de la igualdad1 y sobre cul debe ser el papel y los objetivos de
Siendo muy interesante el anlisis que se realiza sobre qu tipo de igualdad se pretende con el plan (no
slo igualdad formal sino de hecho; algo que va ms all de la igualdad de oportunidades, pretendiendo
____________________________________________________________________________________
349
______________________________________________________________________
la evaluacin en los planes de igualdad. Respecto a la ejecucin, se plantean, adems de
la tpica evaluacin de productos de prcticamente todas las experiencias de
evaluacin estudiadas, una verdadera evaluacin de proceso, teniendo en cuenta el
entorno institucional del Plan (si se tienen en cuenta los objetivos de las organizaciones
involucradas), los trmites de acceso a las actividades y el tiempo que tarda la
institucin en dar respuesta. Es decir, aunque no sea completa, es en la nica
experiencia estudiada que se evala verdaderamente la fase de la implementacin o
ejecucin (junto con Castilla-La Mancha, que lo hace slo tangencialmente y a travs de
las opiniones de personas implicadas en el Plan), estableciendo criterios de evaluacin
que tienen que ver con el funcionamiento y puesta en marcha del plan, y no slo con lo
que se realiza o produce de forma finalista. Finalmente, y en lo que se refiere a la
evaluacin de la eficacia e impacto, es la nica experiencia analizada que, en el
proyecto inicial intenta realmente valorar los efectos netos del Plan y propone los
instrumentos metodolgicos para ello, haciendo una serie de encuestas en series
temporales distintas (tres estudios integrados dirigidos a poblacin general y a
usuarias/beneficiarias, en diferentes tiempos y olas, ms el estudio de la situacin
social de la mujer andaluza realizado en 19882) que permiten un cierto control de
variables para aislar dichos efectos netos. Esto marca una diferencia con el resto de
experiencias que pretenden una evaluacin de impacto o efectos (II Plan nacional, I
castellano leons y II madrileo), en las que, aunque existe una cierta medicin
temporal o de evolucin (mediciones de antes despus o indicadores extrados de datos
en tiempos distintos), los datos se recogen de la poblacin general y no existe ningn
control de variables que asegure la medicin de los efectos netos del programa. Es decir,
se mide la evolucin de la situacin social de la mujer en determinadas variables en
general, no la parte de evolucin de los datos directamente achacable a los planes. Sin
embargo, en el informe final de evaluacin publicado, la evaluacin de impacto queda
adems de la igualdad ante la ley, la igualdad de recursos, la igualdad de bienestar y la igualdad poltica),
el anlisis que se realiza sobre el poco poder discriminante del plan por tratar colectivamente a las
mujeres, y la idea de que el Plan debera haberse planteado tambin la igualdad no slo respecto a los
hombres, sino entre las mujeres (p. 21 del Avance de informe), nos parece, cuando menos, algo
ingenua y creemos que denota, en cierto modo, la falta de conocimiento y especializacin del equipo
evaluador en temas de gnero. Efectivamente, el leit-motiv de las polticas de igualdad de gnero no es la
igualdad de oportunidades entre todos los ciudadanos, objetivo muy loable en una sociedad democrtica,
pero que excede con mucho los objetivos de estas polticas, sino de un determinado tipo de desigualdad
que es la que se explica por el gnero, a lo largo y ancho de todas las situaciones y clases sociales. El
objetivo de la igualdad de gnero tiene que ver con conseguir que la variable sexo no explique tantas
diferencias significativas en toda una multiplicidad de sectores y situaciones sociales. Creemos que la
igualdad entre las mujeres tampoco tendra mucho sentido plantersela en aislado, es decir, sin plantearse
paralelamente la igualdad entre los hombres. Por supuesto esto no significa que a la hora de formular las
polticas y programas no se tengan en cuenta las situaciones sociales especficas de la poblacin a la que
van dirigidas (insistimos de nuevo en que las destinatarias de los planes de igualdad no deben ser
exclusivamente las mujeres; pueden y deben ser tambin los hombres), no se estudien y asuman las
interacciones e interdependencia de determinadas desigualdades y problemas sociales (sin caer en la
trampa de estereotipar algunos problemas como, por ejemplo, equiparar la violencia contra las mujeres
exclusivamente a situaciones de marginacin, obviando el hecho de que la violencia contra las mujeres se
da en todos los estratos sociales), e incluso que no se pueda y deba hacer una estudio de las desigualdades
sociales desde la perspectiva de gnero, como ya se hace en torno a los estudios feministas o women
studies (feminizacin de la pobreza; la doble marginacin de gnero y raza, etc.). Pero de ah a plantearse
que las polticas de igualdad de gnero, por el hecho de plantearse las desigualdades debidas al gnero
deben necesariamente tambin plantearse cualquier otro tipo de desigualdad entre las mujeres, nos parece
errar de alguna forma en el planteamiento y distraer del objetivo fundamental para el que se concibieron.
2
Vase tabla 3.9.

____________________________________________________________________________________
350
______________________________________________________________________
reducida al anlisis del grado de satisfaccin de las usuarias, dejando de lado muchas de
las cuestiones inicialmente planteadas en el proyecto de evaluacin.
Respecto a la traduccin prctica de la evaluacin del II Plan andaluz es poca en
los primeros estados del proceso de evaluacin. En el Avance de informe de
evaluacin presentado por el IESA-A en julio de 1997, no aparecen ningunas
conclusiones o recomendaciones concretas respecto a la evaluacin del diseo que all
se presenta; y realmente se podra haber hecho. Los otros dos tipos de evaluacin implementacin y resultados e impacto- se presentan todava en proyecto, por lo que es
normal que no existan recomendaciones sobre las mismas, aunque en el proyecto de
evaluacin de la implementacin se analiza, a travs del estudio piloto de dos acciones,
la necesidad de un sistema de informacin; sin embargo, creemos que la realizacin de
ese estudio piloto podra haber generado una ms clara traduccin prctica que hubiera
revertido, adems, en una mayor claridad y transparencia del proceso de evaluacin.
En el informe final de evaluacin publicado, en el que se hace una sntesis de todo
el proceso de evaluacin, se exponen los resultados de los diferentes estudios,
organizados segn las reas del plan. Despus de la exposicin de los resultados en cada
una de las reas, se sealan unas conclusiones a modo de resumen. Este apartado resume
los resultados y hace algunas valoraciones, pero en ningn caso se establecen
recomendaciones.
La valoracin general del proceso de evaluacin que se realiza por parte de las
responsables internas del IAM no es muy positiva. Para ellas, la evaluacin se ha
quedado en una fase esencialmente descriptiva y opinan que no se ha explotado casi el
cuestionario realizado. Esto en parte lo achacan a los cambios que se han dado en el
equipo externo a lo largo del proceso.
La evaluacin del I Plan Canario es muy limitada en cuanto a los contenidos

evaluados y a su carcter global, es decir, su alcance es muy pequeo. En este caso se
realiza externamente ya que, en aquel momento, la estructura del Instituto Canario de la
Mujer era muy escasa, prcticamente inexistente. Ya se ha visto que la evaluacin se
limita a una descripcin de las actividades realizadas al amparo de este I Plan. As
tambin, la evaluacin sirve como una forma de descripcin de lo realizado hasta el
momento, aunque la valoracin del grado de utilidad por parte de las responsables del
ICM no es positiva en este caso (desde el propio ICM se comenta que el resultado de
este estudio ha sido francamente pobre). Es posible que al ser una evaluacin externa,
se tuvieran grandes expectativas sobre la misma que posteriormente no se vieron
satisfechas.
El informe de evaluacin (autodenominado Auditora) pretende una cierta
traduccin prctica, ya que existe un apartado de conclusiones en el que se ofrecen,
adems, algunas sugerencias. Adems, se ofrecen conclusiones generales y por cada una
de las reas. Sin embargo, tanto las conclusiones como las sugerencias son muy
generales y escasas (en realidad se circunscriben a sugerir seguir y aumentar la poltica
interdepartamental, los flujos de comunicacin con otros departamentos e incrementar la
difusin del Plan y del ICM). Es decir, adems de su generalidad, las dimensiones son
____________________________________________________________________________________
351
______________________________________________________________________
muy escasas ya que el apartado de conclusiones ocupa un 0,03% (8 de las 265 pginas)
de la extensin del informe final.
Aunque la evaluacin del II Plan castellano-manchego es algo ms completa,

desde el punto de vista de los contenidos, tanto en alcance como, sobre todo, en el
carcter global que se pretende, ya que se evala diseo del plan, el grado de ejecucin
(desde el punto de vista utilizado en otras experiencias de evaluacin de outputs), y la
valoracin que del Plan hacen responsables y colectivos de mujeres respecto al diseo,
al desarrollo y a los resultados e impacto del plan. Sin embargo, el grado de traduccin
prctica no es muy alto, ya que no se realizan conclusiones generales que integren los
tres tipos de evaluacin (diseo, resultados y valoracin), ni se establece recomendacin
alguna. Unicamente, se recoge un apartado, como parte del tercer tipo de evaluacin
(valoracin cualitativa), titulado propuestas para el diseo y desarrollo de futuras
polticas de igualdad de oportunidades y en el que se reflejan las propuestas de
actuacin para el III Plan de Igualdad que fueron surgiendo en las sesiones de
evaluacin (pp. 81-84 del Informe previo de evaluacin del II Plan de Igualdad de
Oportunidades Las Mujeres de Castilla-La Mancha hacia el siglo XXI); pero, en este
caso, se recogen las propuestas aportadas en los grupos de discusin y entrevistas en
profundidad como un dato ms, no como el cuarto nivel de anlisis de la evaluacin
surgido del anlisis y enjuiciamiento global de toda la informacin recopilada a lo largo
del proceso evaluativo.
La evaluacin del I Plan castellano leons, como ya se ha visto con anterioridad,

estudia variables relacionadas indirectamente con el plan que evala y que tienen ms
que ver con un estudio de la situacin social de la mujer en la regin, en una serie de
aspectos. Temas que salen en el discurso de su responsable poltica y que parecen
especialmente pertinentes para el aprendizaje sobre la propia intervencin y para el
propio rendimiento de cuentas, como es la coordinacin intragubernamental (entre las
diferentes Consejeras que deberan estar implicadas) y la coordinacin
intergubernamental (coordinacin con las administraciones locales), no se tocan de
ninguna manera en el estudio de evaluacin. De hecho, ni siquiera se recoge ninguna
informacin que ofrezca una visin (global o parcial) de lo que se ha hecho bajo el
paraguas del Plan que supuestamente se est evaluando (lo que normalmente se
denomina en las otras experiencias el grado de cumplimiento.
El estudio, adems, est limitado, en su prctica totalidad, al anlisis de datos
secundarios, aunque tambin se contemplan tambin fuentes primarias administrativas
que consisten en la informacin facilitada por la propia Junta de Castilla y Len,
referida a sus propias actuaciones, pero stas son muy limitadas (acciones culturales,
asociaciones subvencionadas y actos en los que est presente la Secretara Regional de
la Mujer). Es decir, la informacin es escasamente pertinente para la evaluacin del
Plan, aunque haga un anlisis (limitado a la informacin disponible en las fuentes
secundarias y administrativas) de algunos cambios acaecidos en la situacin de las
mujeres de Castilla y Len durante el perodo de vigencia del Plan. La traduccin
prctica es asimismo nula, ya que en el informe de evaluacin (Resumen de la
____________________________________________________________________________________
352
______________________________________________________________________
Evaluacin del Plan Integral de Igualdad de Oportunidades para la Mujer en Castilla y
Len) no existe ningn apartado en el se contemplen conclusiones generales ni
recomendaciones para la mejora del Plan, el control de responsabilidades o la
formulacin de polticas futuras.
La evaluacin del II Plan gallego establece unos criterios muy completos para
una buena evaluacin de los outputs del mismo: cumplimiento de acciones segn reas,
carcter de las actuaciones, contenido, mbitos de impacto, destinatarios, participacin
institucional, mbito geogrfico, financiacin. A esto aade datos de evolucin de las
actividades por aos y sobre la difusin e informacin de actividades, que permite una
cierta visin de proceso y alguna informacin sobre las valoraciones que hacen los
responsables de las actuaciones sobre las mimas. Las dificultades en la obtencin de
informacin en este proceso evaluativo, a pesar de la creacin de una comisin de
evaluacin ad-hoc, son bastante grandes y, por lo tanto, la cantidad y calidad de
informacin recopilada no es tan alta como en otros casos (por ejemplo Catalua y Pas
Vasco). Sin embargo, se podra decir que la pertinencia es alta.
En esta evaluacin, existe un cierto grado de traduccin prctica, ya que existe
un apartado de Sntesis y conclusiones en el informe final, aunque ste slo represente
el 4% del mismo (5 de 136 pgs.). En este apartado se realizan algunas conclusiones
sobre el diseo del plan, relacionadas con la importancia relativa de los objetivos y
reas del plan y las prioridades del plan, y sobre los resultados del mismo, es decir sobre
las actividades resultantes: el incremento de actividades del Plan, sus destinatarios, su
distribucin por niveles gubernamentales, la financiacin y los canales de difusin de
las mismas. Las conclusiones son generales y no se plantea ningn apartado de
recomendaciones, aunque en la redaccin de las conclusiones se deja entrever una nica
recomendacin, no relacionada con el plan sino con la evaluacin del siguiente plan, en
la que se recomienda se realice un esfuerzo de colaboracin para lograr conocer el coste
medio de las actividades puestas en funcionamiento para el cumplimiento de los
objetivos del III Plan. Esta nica recomendacin es muy general ya que tampoco se
sugiere cmo hacerlo.
Respecto a la evaluacin del II Plan madrileo, y al igual que ocurre con la del
castellano-leons, se puede decir que se centra en variables relacionadas con el Plan de
forma indirecta, aunque en este caso la informacin es ms completa ya que, adems del
anlisis secundario se hace tambin un anlisis primario a travs de una encuesta y un
estudio ms sistemtico de las fuentes administrativas de la propia Direccin General de
la Mujer. Es decir, el alcance de la informacin recopilada es alto (la cantidad y calidad
de la misma es alta), pero la pertinencia de la misma, aunque alta para un estudio sobre
la situacin de la mujer madrilea aplicado a las polticas de igualdad, es muy baja para
la evaluacin del Plan. El hecho de centrarse exclusivamente en los cambios generales
producidos en las mujeres madrileas durante el perodo de vigencia del Plan es,
adems, contrario a lo que se requera inicialmente en el pliego de condiciones para el
concurso pblico para la Consultora y Asistencia para la evaluacin del II Plan de
Igualdad de Oportunidades para las Mujeres de la Comunidad de Madrid (Resolucin
____________________________________________________________________________________
353
______________________________________________________________________
de 20 de junio de 1996 de la Secretara General Tcnica de la Consejera de Sanidad y
Servicios Sociales. BOCM 28/6/96), en el que se especificaba que la empresa
adjudicataria deba presentar, entre otras cosas, las polticas alternativas que cabe
llevar a cabo en los diferentes mbitos de actuacin a la vista de los resultados obtenidos
mediante la aplicacin del II Plan de Igualdad de Oportunidades. En ninguna parte del
estudio aparecen ni anlisis globales de los diferentes datos recopilados ni valoraciones
sobre la informacin recogida y analizada que permitan esta traduccin hacia
posibilidades futuras.
Por lo tanto, la traduccin prctica en este caso no slo es inexistente, sino que
en la publicacin de los resultados de la evaluacin del II Plan que hace la Direccin
General de la Mujer se hace alarde de ello. As, en la presentacin de dicha publicacin
se dice: Se ha procurado, en fin, que la lectora o el lector sean quienes saquen sus
propias conclusiones. Para ello, este libro ofrece la informacin necesaria para conocer
los cambios que se estn produciendo en la vida de las mujeres, procurando excluir los
juicios de valor (nfasis mo. p.3 en Las Mujeres en la Comunidad de Madrid. Datos
para abrir caminos hacia la igualdad).
1.2. Pertinencia y utilidad de la informacin producida en las evaluaciones mixtas
Como ya se ha visto con anterioridad, la evaluacin del II PIOM estatal se divide

a su vez en tres estudios con poca conexin entre s. En este caso, el alcance de la
evaluacin de la implementacin no es muy limitado, ya que slo se contemplan, y de
forma individual para cada accin, su descripcin, temporalizacin, grado de desarrollo
y presupuesto invertido. Es decir, no se recoge agentes, ni destinatarios, ni mbito
geogrfico, ni se realiza ningn tipo de clasificacin de las actuaciones. El anlisis, por
lo tanto, es muy simple, limitndose a describir las actuaciones realizadas en cada una
de las reas. Esto supone un cierto control, ya que se conocen las actuaciones realizadas
y las que no se han realizado, pero no aporta informacin ni sobre el diseo del plan, ni
sobre el proceso de puesta en prctica del plan en su conjunto ni de las actuaciones en
particular, ni tampoco aporta ninguna informacin sobre la calidad de las actuaciones.
Tambin la evaluacin cualitativa recoge un espectro acotado de informacin, ya que se
circunscribe a la opinin y valoracin de personas y colectivos en torno al PIOM
(colectivos de mujeres y responsables de ministerios); sin embargo, el alcance de la
informacin respecto a esta dimensin -opinin sobre el PIOM- es importante ya que se
realizan 11 entrevistas en profundidad y 8 grupos de discusin y con una cuidada
seleccin. La evaluacin cuantitativa, aunque muy cuidada en sus procedimientos
tcnicos y metodolgicos, tambin se ocupa de aspectos o dimensiones que, aunque
muy significativos respecto al posible avance en la igualdad de gnero (estereotipos
sexuales, valores, actitudes, calidad de vida y usos del tiempo), representan slo una
parte acotada de los posibles efectos que pretenda el II PIOM. Es decir, el II PIOM
pretenda muchas ms cosas, adems del cambio de actitudes ante la igualdad; y aunque
la justificacin de este estudio se halla en la idea de que los aspectos o dimensiones
____________________________________________________________________________________
354
______________________________________________________________________
estudiadas son las que subyacen y justifican los posibles cambios estructurales que
hayan podido tener lugar, creemos que obviar la evaluacin de dichos cambios (que son
muchos y muy variados), contribuye a tener una idea muy parcial de lo que ha sido el II
PIOM.
Respecto a la traduccin prctica de la evaluacin del II PIOM estatal, sta es
prcticamente inexistente. En la Sntesis de resultados de la evaluacin del II PIOM,
no se realiza ningn anlisis global de los tres tipos de evaluacin realizados, y ni
siquiera de forma individualizada (cada tipo de evaluacin por separado), existen
conclusiones generales. Lgicamente, tampoco aparece ninguna recomendacin. Esto
no es exclusivo de la sntesis publicada. Tampoco en los informes originales aparece.
Es decir, los informes se limitan a exponer los resultados obtenidos y sus
interpretaciones, evitando realizar valoraciones y recomendaciones sobre los mismos.
La evaluacin del II Plan cataln se centra, sobre todo, en una evaluacin de

productos o outputs, aunque el alcance de la informacin es amplio; incluso, como se ha
visto antes, se establecen categoras sobre el tipo de poltica aplicado, tipo de actuacin,
etc., que permite tambin tener una visin global del plan y una cierta evaluacin del
diseo. La cantidad y calidad de la informacin recopilada es, adems, amplia, por lo
que podramos decir que la pertinencia de la informacin es alta. As, mucha de la
informacin recopilada puede ser til para la estructuracin de planes posteriores.
Respecto a la traduccin prctica, aunque en el informe final no existe ningn
apartado de conclusiones globales ni de recomendaciones, en la exposicin de los
resultados, que se establece por mbitos, s existe un ltimo punto de valoracin global
sobre el cumplimiento del plan en cada uno de esos siete mbitos (sensibilizacin,
legislativo, sociocultural, coeducacin, formacin ocupacional, profesional y trabajo,
sanitario y de los servicios sociales). La valoracin global que se realiza en cada uno de
estos apartados contiene, adems de las valoraciones generales, algunas sugerencias o
recomendaciones para la accin. As, por ejemplo, respecto al mbito de sensibilizacin,
una vez hechas las valoraciones (grado de implementacin alto, descompensacin de
esfuerzos en unas pocas acciones, predominio de actuaciones especficas y de igualdad,
mayora de destinatarios en la propia administracin, reducido nmero de
Departamentos que han participado, estructuracin del mbito desigual y heterognea),
se establecen sugerencias bien ponderadas y establecidas en base a las valoraciones
realizadas (dada la potencial amplitud que puede tener el propsito de sensibilizacin,
se sugiere una reflexin ms amplia y profunda sobre las temticas a abordar y los
destinatarios prioritarios, adems del tipo de instrumentos a utilizar - poltica de
comunicacin de la Generalidad, la formacin de colectivos en el mbito pblico y las
campaas especficas-, estableciendo recomendaciones concretas sobre qu
combinacin de instrumentos utilizar) pp. 60-79 del Informe davaluaci del II Pla
dactuaci del Govern per a la igualtat dopotunitats per a les dones.
Finalmente, la evaluacin del II Plan vasco representa una excelente y exhuastiva

recopilacin y anlisis de informacin sobre los outputs del Plan. El esfuerzo de
categorizacin de las actividades y los destinatarios ofrece una buena base para una
____________________________________________________________________________________
355
______________________________________________________________________
cierta evaluacin del diseo del plan y para evaluar el grado de ejecucin del Plan en su
conjunto, y la recopilacin sistemtica y continuada de informacin, adems de la
realizacin de memorias anuales, permite tambin una evaluacin del proceso. Adems
del esfuerzo y reflexin sobre los criterios de evaluacin (qu se quiere evaluar) han
elaborado y depurado mucho los instrumentos de recopilacin de informacin, a lo largo
de su experiencia evaluativa. Y tanto el alcance de la informacin como la calidad de la
misma es alta y ha ido mejorando en los ltimos aos. El grado de pertinencia, por lo
tanto, es alto.
Respecto a la traduccin prctica, las memorias anuales de actuacin de los
poderes pblicos que se presentan al Parlamento Vasco, contienen una seccin con
conclusiones en la que, se concluye y valora no slo los resultados del proceso de
evaluacin sino tambin sobre la propia metodologa de evaluacin. Este es el nico
caso, entre las once experiencias analizadas, en el que ocurre esta atencin al propio
proceso evaluativo con fines de mejora de procesos futuros. En el punto en el que se
hacen las conclusiones sobre los resultados, se hace un balance de toda la informacin
detalladamente presentada en las secciones anteriores. Este balance ayuda mucho a
tener una visin global e integral del proceso de evaluacin, cuestin de la que carecen
la mayora de las restantes experiencias analizadas.
1.3. Pertinencia y utilidad de la informacin producida en las evaluaciones internas
En el caso de la experiencia de evaluacin del I Plan aragons, el proceso de

evaluacin es tambin muy limitado respecto a los contenidos, tanto en el alcance de la
informacin recopilada como en la globalidad de la informacin. A pesar de esto, la
evaluacin sirve, en aquel momento concreto, para saber qu se haba hecho hasta
entonces, con una intencin claramente descriptiva, y ante una situacin de cambio de
responsable y de vaco de poder durante un perodo relativamente largo (5 meses). Es
decir, aunque fuera una evaluacin muy simple y meramente descriptiva, parece que
result til para que las nuevas personas responsables se situaran en el contexto, saber
qu se haba hecho y qu no, y tomar decisiones concretas sobre qu hacer en el ltimo
perodo de vigencia del Plan. Es decir, en cierto modo, la evaluacin, y a pesar de sus
limitaciones, resulta pertinente para la situacin evaluativa concreta de cambio de
responsables y ausencia de informacin y control sobre el Plan.
Sin embargo, la traduccin prctica del proceso evaluativo es muy baja, ya que
el Informe sobre el grado de cumplimiento del Plan no contiene ninguna conclusin o
recomendacin clara: ni siquiera realiza juicios de valor, sino simplemente se limita a
describir y explicar las actuaciones realizadas.
La informacin que se pretende recopilar para la evaluacin del II Plan riojano se

limita a una serie de indicadores, que permiten su seguimiento (actividades realizadas,
____________________________________________________________________________________
356
______________________________________________________________________
organismos participantes, gasto ejecutado, grado de ejecucin y temporalizacin). Sin
embargo, y como la recopilacin de esta informacin se plantea desde el inicio del Plan,
representa una buena base para realizar una verdadera evaluacin de proceso y posterior
evaluacin de outputs. Aunque el alcance de la informacin y el grado de exhaustividad
de la misma no es muy alto, la pertinencia de esta evaluacin es alta para el seguimiento
del mismo y para la recopilacin de una informacin que resulta imprescindible para
posteriores evaluaciones.
TABLA 7.1.
PERTINENCIA Y UTILIDAD DE LA INFORMACIN PRODUCIDA
SEGUNDA GENERACIN DE EVALUACIONES
Cuadro resumen
Globalidad de la
informacin
Alcance de la
informacin
Grado de elaboracin
prctica
ANDALUCA
II (95-97)
Amplia
Amplio
Poco
CANARIAS
I (95-96)
Limitada
Limitada
Algo
CASTILLA-LA
MANCHA
II (95-99)
Relativamente amplia
Relativamente amplio
Algo
CASTILLA Y
LEN
I (94-96)
Informacin no
pertinente a la
evaluacin
Nulo
GALICIA
II (95-97)
Amplia
(outputs)
Algo
MADRID
II (93-95)
Informacin no
pertinente a la
evaluacin
Amplio
Nulo
INSTITUTO
DE LA MUJER
II (93-95)
Informacin parcial
para cada tipo de
evaluacin
Amplio
Prcticamente
inexistente
CATALUA
II (94-96)
Amplia
(outputs)
Algo
PAS VASCO
II (95-98)
Muy amplia
(outputs)
Amplio
Bastante
ARAGN 1
I (94-96)
Limitada
Limitada
Nula
1
Aunque de La Rioja disponamos de informacin general, no pudimos disponer de ningn informe anual. Al no
tener una base documental como en las restantes experiencias, no la incluimos en la tabla.
____________________________________________________________________________________
357
______________________________________________________________________
2. COMUNICACIN DE LOS RESULTADOS Y DESTINATARIOS

DE LOS MISMOS
En este segundo apartado se analiza el proceso de comunicacin de la evaluacin

como otro elemento clave para la utilidad y utilizacin de la misma. Para esto se estudia
el(los) informe(s) de evaluacin, en qu consisten, lo que reflejan del proceso de
estudio llevado a cabo y cun completos son3.
Los otros aspectos que se tienen en cuenta en este apartado son la difusin que se
ha hecho de los informes de evaluacin, quines han sido los destinatarios de dicha
difusin y su calendario.
2.1. Comunicacin de los resultados y destinatarios de los mismos en las

evaluaciones externas
En la tabla 7.2.a se reflejan los esquemas de los informes de cada una de las seis
experiencias externas de evaluacin. En el caso de Andaluca, se presentan dos, uno
correspondiente al informe intermedio y otro al informe final.
3 Como se ha explicado en el captulo 4, en la parte correspondiente a los criterios para el anlisis, se

parte de la base de que un buen informe de evaluacin debe explicitar los propsitos del estudio, describir
el contexto del plan evaluado y la situacin evaluativa concreta, relatar la metodologa de evaluacin (en
la que se incluyan, adems de las especificaciones tcnicas de los instrumentos y tcnicas utilizadas para
la recopilacin y el anlisis de la informacin), una explicacin de la estrategia evaluativa general, el
modo en el que se han establecido los criterios de evaluacin, los propios criterios de evaluacin, las
estructuras y foros que se han utilizado para la recopilacin y cmo se han establecido las valoraciones y
recomendaciones).
____________________________________________________________________________________
358
______________________________________________________________________
TABLA 7.2. a: CONTENIDO DE LOS INFORMES DE EVALUACIN
CONTENIDOS DE LOS INFORMES
Andaluca
II (95-97)
II PLAN ANDALUZ PARA LA IGUALDAD DE LAS MUJERES. AVANCE

DEL INFORME DE EVALUACIN (68 pgs.)
IESA-ANDALUCA. Documento. Julio 1997
ndice
Introduccin (2 pgs.)
1. Evolucin de la situacin social de la mujer (9 pgs.)
2. Planes de igualdad de oportunidades de las mujeres en Andaluca (4 pp)
3. Modelo de evaluacin (3 pgs.)
4. Evaluacin del diseo del II Plan de Igualdad (12 pgs.)
4.1. Anlisis de los objetivos y de los indicadores del II Plan
4.2. Anlisis del objetivo final: El Plan y la igualdad de oportunidades
4.3. Anlisis de la coherencia formal de los objetivos intermedios
4.4. Evaluacin de los indicadores del II Plan
5. Proyecto de evaluacin de la implementacin (25 pgs.)
5.1. Anlisis de las actividades; 5.2. Aspectos de la organizacin; 5.3. Estudio
piloto; 5.4. Propuesta de indicadores para la evaluacin del II Plan; 5.5.
Necesidad de un sistema de informacin
6. Evaluacin de los resultados e impacto del Plan: estudios realizados a travs de
encuestas (11 pgs.)
6.1. Encuesta sobre objetivos del Plan (Estudio 1)
6.2. Estudio sobre las actuaciones del Plan (Estudio 2)
6.3. Estudio sobre la situacin social de la mujer en Andaluca en 1998 (Estudio
3)
Bibliografa (2 pgs.)
INFORME DE EVALUACIN. II PLAN ANDALUZ PARA LA IGUALDAD
DE LAS MUJERES. 1995/1998. (123 pgs.)
Instituto Andaluz de la Mujer. Publicacin. 1999
Presentacin
ndice
Introduccin: La igualdad de oportunidades y el II Plan (4 pgs.)
1. La naturaleza de la Evaluacin del Plan (8 pgs.)
2. Desarrollo Democrtico (19 pgs.)
3. Desarrollo Educativo y Cultural (11pgs.)
4. Desarrollo del Bienestar Social (17 pgs.)
5. Desarrollo Econmico (17 pgs.)
6. Perfil sociolgico de las usuarias/beneficiarias del II Plan (15 pgs.)
7. Satisfaccin de las usuarias del II Plan (13 pgs.)
Anexo: II Plan Andaluz para la Igualdad de las Mujeres (21 pgs.)
____________________________________________________________________________________
359
______________________________________________________________________
Canarias
I (95-96)
AUDITORIA. I PLAN DE IGUALDAD DE OPORTUNIDADES PARA LAS

MUJERES CANARIAS 1995-1996 (265 pgs.)
Asesores de Imagen Corporativa S.A. Valencia, 20 Oct. 1996. Documento.
ndice
I. Introduccin (4 pgs.)
II. Objeto del trabajo (14 pgs.)
Metodologa (marco de actuacin, anlisis de actuaciones del ICM y anlisis de
actuaciones de Consejeras)
Consideraciones generales
III. Informe de auditora (197 pgs.)
(1. Cultura y sociedad; 2. Educacin; 3. Salud; 4. Justicia; 5. Empleo, formacin,
relaciones laborales; 6. Servicios Sociales; 7. Cooperacin
IV. Conclusiones (9 pgs.)
V. ANEXOS (40 pgs.)
Anexo I: Fichas de solicitud de datos
Anexo II: Relacin de personas de contacto
Castilla-La
Mancha
II (95-99)
INFORME PREVIO DE EVALUACIN DEL II PLAN DE IGUALDAD DE

OPORTUNIDADES LAS MUJERES DE CASTILLA-LA MANCHA HACIA
EL SIGLO XXI (84 pgs.)
Fundacin Mujeres. Borrador. Documento interno.
1. Estructura del informe (2 pgs.)
2. Estructura del II Plan de Igualdad de Oportunidades (2 pgs.)
3. Evaluacin del diseo del Plan (21 pgs.)
A) Notas metodolgicas B) Coherencia, concrecin y posibilidades de
realizacin del Plan C) Puntos fuertes y dbiles D) Propuestas de mejora del
Plan por parte de las entidades implicadas E) Conclusiones.
Anexo de tablas
4. Memoria de resultados de ejecucin del Plan (44 pgs.)
(organizado por metas y objetivos del Plan)
5. Informe de Valoracin Cualitativa (15 pgs.)
5.1. Diseo del Plan
5.2. Desarrollo del Plan
5.3. Valoracin de los resultados
5.4. Impacto y nivel de conocimiento del Plan en la sociedad
5.5. Propuestas para el diseo y desarrollo de futuras polticas de igualdad de
oportunidades
____________________________________________________________________________________
360
______________________________________________________________________
Castilla y Len
I (94-96)
RESUMEN DE LA EVALUACIN DEL PLAN INTEGRAL DE IGUALDAD

DE OPORTUNIDADES PARA LA MUJER EN CASTILLA Y LEN 19941996 (78 pgs.)
Secretara Regional de la Mujer. Documento interno. Sin fecha
ndice
Introduccin: Diseo del estudio (5 pgs.)
(Diseo del estudio; Las fuentes; La presentacin de la informacin; Contenido)
Los cambios acaecidos en la situacin de las mujeres de Castilla y Len, durante
el perodo de vigencia del PIIOM (26 pgs.)
1. Presentacin de resultados
2. Los cambios acaecidos en la disponibilidad de empleo
3. Los cambios acaecidos en la demanda y en las condiciones de empleo
4. La facilitacin del empleo para las mujeres en Castilla y Len
5. La evolucin de la salud de las mujeres de Castilla y Len
6. Las anomias padecidas por las mujeres de Castilla y Len
7. Las acciones culturales y de cooperacin promovidas en el marco del PIIOM
8. La promocin del asociacionismo y de la participacin en el marco del
PIIOM
9. La participacin institucional de la Junta de Castilla y Len en actuaciones
promovidas por organizaciones sin nimo de lucro
10. La oferta y la demanda de educacin entre las mujeres de C y L.
TABLAS (44 pgs.) No existe un ndice de tablas.
Galicia
II (95-97)
INFORME DE LA EVALUACIN DEL II PLAN DE IGUALDAD (19951997) (136 pgs.)

Amparo Almarcha Barbado. A Corua, 25/2/1998
CAP. 1: Introduccin y metodologa (15 pgs.)
1. Concepto y metodologa de la evaluacin 2. Punto de partida de la evaluacin
del II PIOM 3. Recogida de informacin para la evaluacin del II PIOM y sus
implicaciones 4. Los instrumentos de recogida de informacin 5. El trabajo de
campo 6. Dificultades en la recogida de informacin 7. La calidad y completitud
de los datos 8. El procesamiento de la informacin
CAP. 2: Descripcin general de los resultados del estudio, por reas del II PIOM
(18 pgs.)
CAP. 3: Anlisis de resultados (54 pgs.)
1. Introduccin 2. Evolucin de las actividades por aos 3. Clasificacin de las
actividades del PIOM 4. Destinatarios de las actividades del PIOM 5.
Participacin institucional 6. mbito geogrfico 7. Organizacin de las
actividades 8. Financiacin de las actividades 9. Otros aspectos (canales de
difusin, materiales, directivas europeas, convenios)
CAP. 4: Anlisis de las actividades de la Red de Informacin y Asesoramiento a la
Mujer (RIAM) (23 pgs.)
CAP.5: Valoracin de las actividades por parte de las personas responsables de los
conciertos con las distintas instituciones (16 pgs.)
SNTESIS Y CONCLUSIONES (5 pgs.)
____________________________________________________________________________________
361
______________________________________________________________________
Madrid
II (93-95)
LAS MUJERES EN LA COMUNIDAD DE MADRID. DATOS PARA ABRIR

CAMINOS HACIA LA IGUALDAD
Publicacin. Direccin General Mujer (Comunidad de Madrid). 1997. 145 pp.
Presentacin. 2 pgs.
Por Rosa Posada. Consejera de Sanidad y Servicios Sociales
I. Caractersticas demogrficas. 12 pgs.
II. Integracin de las mujeres en el mercado laboral. 24 pgs.
III. La evolucin de la calidad de vida y el empleo del tiempo de las mujeres. 32
pgs.
IV. La atencin a la salud integral de las mujeres. 12 pgs.
V. La participacin poltica y social de las mujeres. 10 pgs.
VI. La violencia que afecta a las mujeres. 24 pgs.
VII. La escolarizacin y los niveles de instruccin reglada. 16 pgs.
VIII. El analfabetismo y la formacin de adultos. 8 pgs.
IX. Imagen de la DGM. 3 pgs.
En la evaluacin del II Plan andaluz se entrega un avance del informe de

evaluacin en julio de 1997, en el que se refleja de forma bastante completa, el proceso
de evaluacin realizado hasta esa fecha. Existen unos primeros puntos introductorios
sobre la situacin social de la mujer andaluza y sobre los planes de igualdad andaluces,
adems de dedicar un punto especfico al modelo de evaluacin utilizado. El resto del
informe est dedicado a reflejar una parte de la evaluacin que ya se haba realizado
entonces (evaluacin del diseo del Plan) y a comentar los proyectos y los avances
realizados en cuanto a la evaluacin de la implementacin y a la evaluacin de
resultados a travs de las encuestas. Es el nico informe que tiene un cierto carcter
acadmico, dedicando un apartado final a bibliografa. La difusin de este primer
informe, debido a su carcter intermedio no final, es limitada y tiene una distribucin
nicamente interna para el Instituto Andaluz de la Mujer. La entrega de este primer
informe se realiza tres meses despus de lo estipulado en el convenio inicial (abril
1997).
En Andaluca, se publica un informe final en 1999, con bastante retraso sobre el
calendario inicial propuesto, pero que tiene una difusin amplia. El informe es un buen
resumen del proceso de evaluacin. Adems de los resultados del estudio, se expone una
introduccin sobre lo que significa el plan y un primer captulo sobre la naturaleza de la
evaluacin, explicando el contexto de la misma y en qu consiste. Este es uno de los
pocos informes estudiados que es explcito en esta materia. Como se ha comentado en el
punto anterior, los resultados se exponen organizndose segn las reas del Plan; es
decir, a pesar de que esta evaluacin ha tenido diferentes estudios, los resultados no se
organizan segn fuentes o instrumentos sino que parece que se ha hecho un cierto
anlisis global de todo lo estudiado (a diferencia, por ejemplo, de la evaluacin que
realiza el IM y que veremos ms adelante). La nica excepcin a esto es lo referente a la
parte del estudio llamada evaluacin del impacto que se reduce, al final del proceso,
al anlisis del grado de satisfaccin de las usuarias con el Plan y que se refleja en un
punto separado del informe.
____________________________________________________________________________________
362
______________________________________________________________________
El informe de evaluacin del I Plan canario es bastante completo, si se tiene en

cuenta las limitaciones del propio estudio de evaluacin. Existen unas pginas dedicadas
a la metodologa y en las que se mencionan las dificultades existentes a la hora de
recopilar la informacin, adems de un apartado de conclusiones y unos anexos con las
fichas de solicitud de datos que se utilizaron y un listado de las personas con las que se
contact para la recopilacin de informacin. El resto del informe se dedica a exponer
los datos recopilados, por reas, y como hemos visto anteriormente, en muchos casos se
limita a relacionar la informacin encontrada, probablemente en el mismo formato en el
que ha sido ofrecida por los correspondientes organismos (bien sea el propio Instituto
Canario de la Mujer, bien algn otro organismo o Consejera), ya que dicha informacin
tiene un formato distinto para cada rea (en algunos casos se reflejan los objetivos de las
actividades y en otros no, en otros se habla de desarrollo, en unos pocos casos se
exponen pequeas valoraciones de cada una de las actuaciones, etc.). En general, la
informe se limita prcticamente a sealar algn tipo de informacin sobre las
actuaciones o actividades realizadas por cada uno de los objetivos y acciones del Plan.
En lo que se refiere a la difusin del informe canario, sabemos que ste se
present al Consejo Rector del Instituto Canario de la Mujer en el mes de noviembre y,
a los pocos das, se realizaron unas jornadas especficas de presentacin del estudio de
evaluacin, invitando a colectivos y asociaciones y a mujeres de distintas instituciones.
Es decir, se utiliza el informe de lo que se autodenomina auditora del Plan para una
presentacin muy amplia de sus resultados. El calendario, adems, se respeta de forma
absoluta ya que el informe se entrega a finales de Octubre y se presenta el 9 de
Noviembre de 1996 al Consejo Rector. Las Jornadas de presentacin tambin se
celebran durante el mes de noviembre, justamente antes de que empiece a ponerse en
marcha el proceso de elaboracin del II Plan.
La evaluacin del II Plan castellano manchego se realiza de forma prcticamente

paralela al proceso de elaboracin del III Plan, por lo que, debido a la premura de
tiempo y a la necesidad de dedicar todos los esfuerzos al nuevo Plan, el Informe final de
evaluacin del II Plan se entrega posteriormente a la aprobacin del III Plan. Por lo que
en este caso nos encontramos ante un desajuste claro de calendarios y tiempos. El
Informe presentado a la Direccin General de la Mujer de Castilla-La Mancha por parte
del equipo externo que realiza el estudio de evaluacin refleja, de forma bastante
completa, el proceso llevado a cabo. Adems, este informe comienza con un punto en el
que se expone cul es la estructura del mismo y que refleja, de forma general, la
metodologa empleada, aunque le falta, al igual que en la mayora de las experiencias
analizadas, un primer punto en el que se exponga de forma clara la fundamentacin y el
propsito del estudio de evaluacin, la delimitacin del objeto a evaluar y las razones de
los tipos de evaluacin escogidos.
En ese primer punto introductorio del informe, se seala que la informacin que se
ofrece se recopila a travs de un sistema de recopilacin diseado para el estudio y que
contemplaba bsicamente dos ejes de recogida de informacin. Por un lado, la
recopilacin de resultados de ejecucin de las acciones del Plan, a travs de la
____________________________________________________________________________________
363
______________________________________________________________________
sistematizacin y ordenacin de las memorias de resultados anuales de la Direccin
General de la Mujer y de solicitudes de informacin y entrevistas a personal tcnico y
responsable de otros departamentos de la Junta implicados en le desarrollo de las
acciones. Por otro, se recogieron las opiniones sobre el diseo, el desarrollo y el impacto
del Plan, de los diferentes departamentos administrativos de la Junta implicados en la
puesta en marcha y la ejecucin de las acciones, y de las representantes de las
asociaciones de mujeres y mujeres de las corporaciones locales a travs de: entrevistas
personalizadas (responsables y personal tcnico), sesiones de trabajo sobre la
evaluacin de este II Plan con mujeres representantes de las organizaciones de mujeres
y agentes sociales y una sesin de trabajo con mujeres alcaldesas y concejalas. Toda la
informacin recopilada a travs de este proceso se sistematiza y estructura en el informe
a travs de tres apartados: 1) Evaluacin del diseo del Plan, en el que se recogen una
serie de reflexiones sobre las bondades y dificultades, fortalezas y debilidades que han
podido surgir en el desarrollo del Plan, como consecuencia de su diseo. 2) Memoria de
resultados de ejecucin del Plan, donde se ofrece un mapa de los resultados obtenidos
en funcin de las metas y los objetivos del II Plan, a travs de la actuacin de las
diferentes Consejeras implicadas en su desarrollo. 3) Informe de valoracin cualitativa,
en el que se recogen las opiniones expresadas por mujeres representantes de
asociaciones, de las corporaciones locales, y responsables y equipos tcnicos. En cada
apartado, adems de la exposicin de la informacin recopilada y analizada, se exponen
cuestiones metodolgicas y unas conclusiones.
El informe de evaluacin del I Plan castellano-leons refleja los resultados del

estudio realizado, que como ya se ha visto, consiste en la comparacin de los datos
obtenidos a travs de una serie de indicadores al principio y al final del perodo de
vigencia del Plan. Se realiza internamente un resumen del informe de evaluacin que
expone una pequea introduccin sobre el diseo del estudio en el que se sealan, de
forma muy general, las comparaciones realizadas, las fuentes utilizadas4 y cmo se
presenta la informacin. Los cambios que se miden en la situacin de las mujeres de
Castilla y Len, durante el perodo de vigencia del PIIOM se refieren al empleo
(disponibilidad, demanda, condiciones y facilitacin), la salud, las anomias y la oferta y
demanda de educacin. Tambin se exponen datos relacionados con las acciones
culturales y de cooperacin promovidas por el PIIOM, la promocin del asociacionismo
y de la participacin y de la participacin institucional de la Junta de Castilla y len en
actuaciones promovidas por organizaciones sin nimo de lucro.
Respecto a la difusin del informe, sabemos que los resultados del estudio se
presentan al Consejo Regional de la Mujer en Marzo de 1997, prcticamente al mismo
tiempo que se hace entrega del informe final por parte de la empresa externa que lo
realiza. El resumen se realiza por una cuestin de coherencia en palabras de su
responsable, ya que el informe final son cinco tomos y ni siquiera se poda plantear la
posibilidad de hacer copias para todo el mundo del Consejo y adems porque se
Lo que aparece en el resumen sobre las fuentes secundarias es lo siguiente: Las estadsticas que se han
buscado, reelaborado y analizado, en cualquier institucin que ofrezca datos, que tengan que ver con el
contenido del PIIOM y que se refieran a la Comunidad de Castilla y Len (Resumen de la evaluacin
pg. 6)
____________________________________________________________________________________
364
______________________________________________________________________
consideraba que muchos de los grficos tenan un contenido demasiado tcnico y desde
el punto de vista de la divulgacin es poco eficaz; sin embargo, se insiste en la
disponibilidad del informe en su totalidad para quien quiera ir a las oficinas de la
Secretara Regional de la Mujer para consultarlo. Tambin se insiste en que en el
Consejo Regional se sabe de la existencia y disponibilidad del informe. El resumen de la
evaluacin que se realiza por parte de la Secretara Regional de la Mujer se difunde por
parte de dicha Secretara, incluida su entrega a los asistentes al Seminario que se realiza
en la Universidad Internacional Menndez Pelayo de Santander en el verano de 1998
sobre Evaluacin de las polticas de igualdad entre mujeres y hombres, y en el que
una persona representante de la Secretara Regional explicaba, en una mesa redonda, la
experiencia de evaluacin del II Plan Integral castellano leons.
El informe de la evaluacin del II Plan gallego recoge y sistematiza bien la

informacin recopilada, aunque reconoce las dificultades y limitaciones de dicha
informacin. En el informe existe un primer captulo de introduccin y sobre la
metodologa del estudio realizado, que incluye consideraciones generales sobre el
concepto y la metodologa de la evaluacin, adems de las dificultades y limitaciones
mencionadas. Asimismo se refleja bien cul era la finalidad del estudio y el tipo de
evaluacin (de proceso y de resultados) que se pretenda. Adems explica el sistema de
recopilacin de informacin, los instrumentos utilizados, el proceso del trabajo de
campo y el procesamiento de la informacin. Es decir, es un informe bastante completo
en lo que a explicitacin de la metodologa y procedimientos se refiere, sealando
incluso algo sobre cmo se procesa la informacin, que en la mayora de los casos no se
resea. Sin embargo, y al igual que en el resto de las experiencias analizadas, no se
explicitan los criterios de evaluacin: se habla a grandes rasgos de una evaluacin de
proceso y de resultados y luego se sealan los contenidos de la ficha de recopilacin de
informacin. A travs de la explicacin del instrumento se extraen las variables y
aspectos estudiados, pero stos no estn explcitamente formulados como criterios de
evaluacin, por lo que en muchos casos no estn suficientemente fundamentados ni se
explicita cul es la base lgica para la valoracin posterior (los criterios de valor).
Adems de este captulo metodolgico y otros cuatro referidos a los resultados de
la evaluacin, existe un ltimo captulo sobre sntesis y conclusiones que, aunque no
extenso (cinco folios, es decir, un 4% del total del informe), recoge conclusiones
generales sobre la importancia relativa concedida a las distintas reas del Plan
(objetivos, prioridades y reas), sobre las actividades y su incidencia (incremento de
actividades por aos, destinatarios, distribucin geogrfica, financiacin, canales de
difusin de las actividades) y un punto especfico sobre actividades y prioridades de la
Red de Informacin y Asesoramiento a la mujer (RIAM).
La difusin del informe gallego ha sido muy limitada, aunque no era la intencin
inicialmente. Segn la responsable de la Agencia en verano de 1997, la evaluacin del
plan, el plan evaluado, yo mi idea es que se publique (...), todava no sabemos que
posibilidades va a tener, pero desde luego, hacerlo pblico (...) por supuesto que s,
nosotros quisiramos hacerlo pblico y ya sabemos que va a haber muchas cosas en las
que no vamos a estar espacialmente contentas...; incluso se comenta que es que
adems aunque no quisiramos, nos lo iban a reclamar desde el Parlamento y tendran
____________________________________________________________________________________
365
______________________________________________________________________
todo el derecho. La cuestin es que se da un cambio de responsable poltica y quien
recibe el informe final de evaluacin no es la misma persona que haba encargado la
evaluacin y con quien haba trabajado el equipo de evaluacin durante el proceso.
Segn la informacin que nos consta la difusin del informe de evaluacin ha sido muy
limitada (ni siquiera tenemos constancia de que se presentara el informe de evaluacin
al Parlamento gallego) y ste ha sido uno de los informes a los que ha sido ms difcil
acceder a efectos de la realizacin de esta investigacin, debido a que la Agencia de
Promocin de Igualdad no nos lo ha facilitado.
El informe de la evaluacin del II Plan madrileo se publica y se presenta en un

acto pblico en el ao 1998. La publicacin presenta un resumen de los resultados pero
no hace ninguna mencin ni a la fundamentacin o propsitos de la evaluacin, a los
criterios utilizados ni a los procedimientos o metodologa utilizados para la obtencin de
dichos datos. Ni siquiera se presenta una valoracin de dichos datos (ya se ha
comentado que se dice explcitamente que no se realiza dicha valoracin para que sea el
propio lector el que la realice) ni conclusiones o recomendaciones. Es decir, la
publicacin del informe refleja slo parte del estudio realizado y en nada de asemeja a
un informe final de un estudio de evaluacin. De hecho, en la publicacin no aparece en
ningn momento en el ttulo la palabra evaluacin, titulndose Las mujeres en la
Comunidad de Madrid. Slo en la presentacin, firmada por la entonces Consejera de
Sanidad y Servicios Sociales, Rosa Posada, se hace referencia a que los resultados que
se presentan se refieren al estudio de evaluacin del II Plan.
Esta publicacin a la que hacemos referencia es la que se difunde y distribuye por
parte de la Direccin General de la Mujer. Los informes finales que presenta la
consultora externa que realiza el estudio de evaluacin son dos, correspondiendo a los
dos estudios que se realizan (elaboracin de un sistema de indicadores y evaluacin
propiamente dicha) como ya se ha reflejado anteriormente en este mismo captulo. En el
primer informe Elaboracin de un sistema de indicadores para evaluar los resultados
obtenidos con el II PIOM se exponen los criterios utilizados para seleccionar los
indicadores, la propuesta metodolgica y el diseo del estudio. En el informe referido a
la Evaluacin del II Plan de Igualdad de Oportunidades para las Mujeres de la
Comunidad de Madrid se recogen los resultados a travs del sistema de indicadores
que posteriormente son resumidos en la publicacin para su difusin.
____________________________________________________________________________________
366
______________________________________________________________________
2.2. Comunicacin de los resultados y destinatarios de los mismos en las

evaluaciones mixtas
En la tabla 7.2. b se reflejan estos aspectos en las tres evaluaciones mixtas.
TABLA 7.2. b: CONTENIDO DE LOS INFORMES DE EVALUACION

EVALUACIONES MIXTAS
Instituto Mujer
II (93-95)
SNTESIS DE RESULTADOS DE LA EVALUACIN DEL II PLAN DE

IGUALDAD DE OPORTUNIDADES DE LAS MUJERES (1993-1995)
(Publicacin, Instituto de la Mujer, 1997) (85 pgs.)
Introduccin (3 pgs.)
1. Estudio de la implementacin (15 pgs.)
(rea jurdica; Educacin; Empleo; Imagen Social; Responsabilidades familiares;
Participacin social y poltica; Acceso a puestos de decisin; Salud; Marginacin;
rea internacional)
2. Evaluacin cuantitativa (13 pgs.)
2.1. Estereotipos; 2.2. Valores; 2.3. Actitudes hacia el trabajo extradomstico; 2.4.
Calidad de vida percibida; 2.5. Usos del tiempo
3. Evaluacin cualitativa (16 pgs.)
(Los puntos de este apartado se desarrollan con los objetivos de las reas
siguientes: rea jurdica; Educacin; Empleo; Participacin social y poltica;
Acceso a puestos de decisin; Salud; Marginacin)
ANEXO: Grado de cumplimiento de las actuaciones correspondientes a las 10
reas del PIOM (21 pgs.)
(En unas tablas se consignan las actuaciones por cada rea y se seala con una
cruz, por cada una de ellas si estn iniciadas o no iniciadas)
____________________________________________________________________________________
367
______________________________________________________________________
Catalua
II (94-96)
INFORME DE EVALUACIN DEL II PLAN DE ACTUACIN DEL

GOBIERNO PARA LA IGUALDAD DE OPORTUNIDADES PARA LAS
MUJERES (242 + 10 pgs.)
ICD. Documento interno. Versin revisada 25/4/1997
METODOLOGA SEGUIDA EN LA EVALUACIN (10 pgs.)
1. Finalidad de la evaluacin
2. Etapas seguidas en el proceso de evaluacin y fuentes de informacin
3. Identificacin de las fuentes a evaluar
4. Aspectos considerados en el anlisis de las acciones a evaluar
5. Perodo de realizacin y equipo evaluador
NDICE
EVALUACIN GLOBAL DEL PLAN (60 pgs.)
1. Evaluacin del cumplimiento del Plan (A. Estructuracin del Plan; B. Grado
de implementacin de las acciones; C. Grado de consecucin de los objetivos; D.
Anlisis del grado de implementacin segn tipo de poltica y distribucin
territorial)
2. Evaluacin de la participacin de los diversos actores responsables de
implementar las acciones del Plan
3. Evaluacin de las acciones dirigidas a los diversos colectivos destinatarios del
Plan
4. Recursos destinados al Plan por mbito, actor y colectivo destinatario
EVALUACIN DEL MBITO 1 DE SENSIBILIZACIN (20 pgs.)
EVALUACIN DEL MBITO 2 LEGISLATIVO(23pgs.)
EVALUACIN DEL MBITO 3 SOCIO-CULTURAL (27 pgs.)
EVALUACIN DEL MBITO 4 DE LA COEDUCACIN (29 pgs.)
EVALUACIN DEL MBITO 5 DE LA FORMACIN OCUPACIONAL,
PROFESIONAL Y EL TRABAJO (35 pgs.)
EVALUACIN DEL MBITO 6 SANITARIO (14 pgs.)
EVALUACIN DEL MBITO 7 DE LOS SERVICIOS SOCIALES Y
COMUNITARIOS (33 pgs.)
____________________________________________________________________________________
368
______________________________________________________________________
Pas Vasco
II (95-98)
MEMORIA DE ACTUACIN DE LOS PODERES PBLICOS EN 1997 EN

EJECUCIN DEL II PLAN DE ACCIN POSITIVA PARA LAS MUJERES
(PAPME) EN LA COMUNIDAD AUTNOMA DE EUSKADI
Emakunde. Documento interno(159 pginas + 42 pginas de Anexos)
I. INTRODUCCIN (10 pgs.)
Presentacin A. Metodologa de la evaluacin B. Participacin de los
organismos pblicos en la evaluacin
II. RESULTADOS DE LA EVALUACIN
A) RESULTADOS GENERALES (101 pgs.)
1. Actuacin de los tres niveles de la administracin pblica vasca
(organismos que han gestionado -por reas, subreas, niveles /categoras y
colectivos- y que han colaborado en la ejecucin)
2. Colectivos destinatarios (en funcin de las reas, subreas y niveles de
intervencin -categoras-)
3. Grado de ejecucin del II PAPME
3.1. Anlisis comparativo entre las acciones propuestas en el II PAPME y
aquellas sobre las que los organismos pblicos han actuado durante 1997
3.2. Actividades realizadas durante 1997 por los organismos pblicos en
funcin de las 9 reas y de las subreas
3.3. Distribucin de las actividades realizadas durante 1997 en funcin de las
9 reas y del nivel de intervencin (categoras)
B) RESULTADOS ESPECFICOS DE CADA CATEGORA (28 pgs.)
III. CONCLUSIONES (21 pgs.)
A) Consideraciones respecto a la metodologa
B) Balance de los resultados
ANEXOS (42 pgs.)
(Documentos de solicitud de informacin a Ayuntamientos, instrumentos de
evaluacin de las acciones correspondientes a cada una de las 7 categoras, y
listado de colectivos destinatarios categorizados)
La evaluacin del II PIOM estatal produce, inicialmente, tres informes

diferenciados: el informe sobre la evaluacin de la implementacin se entrega en
Febrero de 1996, el informe de la evaluacin cualitativa en Julio de 1996 y el de la
evaluacin cuantitativa en Diciembre de ese mismo ao. En el ao 1997 se realiza
internamente una sntesis de resultados (se entrega en marzo de 1997, el mismo da en
que el Consejo de Ministros aprueba el III PIOM). Esta sntesis de resultados se plasma
en una publicacin a finales del ao 1997. Esta publicacin, de 83 pginas, resume los
principales resultados de cada uno de los estudios, que se reflejan por separado, sin
ninguna conclusin de cada parte y sin un punto que integre y d una visin global del
proceso evaluativo en su conjunto. Adems de estos tres apartados, la publicacin
consta de una introduccin en la que se explica de manera general el II PIOM y, muy
sucintamente, la evaluacin del mismo. En esta introduccin se dice que cada una de
las vertientes (los tres tipos de evaluacin planteados) han sido planteadas, en principio,
de manera bastante independiente, de forma que el IM, con ayuda de entidades privadas
en algunos casos, ha elaborado sendos informes (p. 9 de la Sntesis.); pero no se
fundamenta o justifica el por qu de esa independencia, simplemente se constata. En
esta publicacin se incluye un anexo titulado Grado de cumplimiento de las
actuaciones correspondientes a las 10 reas del II PIOM y que consiste en un cuadro en
el que aparecen reproducidas cada una de las 170 actuaciones, organizadas por reas. En
____________________________________________________________________________________
369
______________________________________________________________________
esos cuadros se consigna, con una cruz, si las actuaciones han sido iniciadas (en una
columna), o no iniciadas (en otra columna). De las 170 actuaciones, slo 11 de ellas
constan como no iniciadas5. Dicha publicacin resumen es la que resulta accesible
para el pblico, no los informes directamente. Incluso en la presentacin de la
publicacin se dice que cada uno de sus tres apartados hace referencia concreta al
correspondiente informe, que obra en los archivos del Instituto (p. 9, nfasis nuestro).
Efectivamente, los informes originales estn en archivos del Instituto6, pero no
accesibles directamente al pblico en el Centro de Documentacin correspondiente.
Lo que se refleja en la sntesis publicada, y que es un fiel resumen de los tres
informes originales, son los resultados arrojados por los tres estudios. En el Estudio de
la implementacin, slo hay un prrafo de 7 lneas sobre la metodologa empleada y
otro sobre los objetivos de dicho estudio. Asimismo, en el de la Evaluacin
cualitativa, el prrafo dedicado al objetivo de dicho estudio es de 6 lneas y el de la
metodologa de 4. En el de la Evaluacin cuantitativa, sin embargo, s se especifica,
muy profusamente, las caractersticas tcnicas del muestreo realizado para aplicar el
cuestionario utilizado, as como los aspectos medidos en dicho cuestionario y las escalas
utilizadas. Es decir se especifica mucho sobre la tcnica concreta utilizada, pero ni se
fundamenta el estudio, ni se explicitan los criterios de evaluacin utilizados ni los
procedimientos de evaluacin. En definitiva, dicho informe no puede ser calificado
como completo, si se tienen en cuenta los requisitos mnimos de un informe de
evaluacin (Joint Committee, 1994: 49).
Las acciones que constan como no iniciadas son la 1.1.8. Impulsar, en el marco de la Conferencia de
Ministros de Justicia de los pases iberoamericanos, el conocimiento y la divulgacin de las leyes
igualitarias dictadas en Espaa y sus instrumentos de aplicacin; 2.4.3. Introducir el principio de
igualdad de oportunidades en la evaluacin del sistema educativo, como uno de los indicadores de la
calidad de la enseanza; 2.5.3. Favorecer que en las comisiones que evalen la investigacin y la
docencia, o que decidan sobre la distribucin de recursos y ayudas del Ministerio de Educacin y
Ciencia, en sus distintos niveles, se tenga en cuenta la perspectiva de la igualdad de oportunidades entre
los sexos; 2.7.1. Seguir incorporando criterios que favorezcan la participacin equilibrada entre los
sexos en la Normativa del Consejo Superior de Deportes; 6.2.2. Elaborar propuestas de
descentralizacin de las oficinas pblicas en sedes o circunscripciones ms pequeas con unificacin de
la gestin de todas las prestaciones sociales y de una sola sede; 6.3.5. Establecer mecanismos de
coordinacin con las mujeres de la Unin Interparlamentaria, organismo que realiza anlisis comparados
entre pases, sobre la participacin poltica; 7.2.4. Elaborar recomendaciones para que sean
admitidos/as como candidatos/as a los cursos de formacin del INAP, los funcionarios/as que se
encuentren disfrutando del ao de excedencia especial por cuidado de hijos/as menores; 7.3.3.
Suscribir un convenio con la Direccin General del Patrimonio del Estado para promover el desarrollo
de un Plan de Igualdad de Oportunidades; 8.6.2. Elaborar un mapa de riesgos sanitarios de las mujeres,
en que se tenga en cuenta variables no slo relativas al puesto de trabajo sino tambin variables
ambientales, psquicas y de condiciones de vida de las mujeres; 8.6.5. Realizar experiencias piloto en
base a diversas medidas preventivas de salud y sociales en el mbito laboral, formando parte de los
proyectos subvencionados por la inciativa NOW; teniendo en cuenta las recomendaciones de la Comisin
Europea en cuanto a la mejora de la calidad del trabajo de las mujeres; y 8.7.1. Impulsar la creacin de
un Grupo de Trabajo en el que intervengan representantes del Ministerio del Interior, de Justicia, de
Sanidad y Consumo, del de Asuntos Sociales y de Asociaciones de Mujeres, para elaborar un protocolo
de malos tratos y agresiones sexuales a las mujeres.
6
A efectos de la investigacin, nosotros no tuvimos ningn problema para consultar los informes en el
despacho del Consejero Tcnico de Estudios del IM.
____________________________________________________________________________________
370
______________________________________________________________________
El informe de la evaluacin del II Plan cataln es bastante completo y parece que
refleja bien el proceso de estudio seguido. Es un informe quiz demasiado amplio a
efectos de su difusin y divulgacin (de ms de 250 pginas) y en l se exponen los
resultados de evaluacin, adems de por cada uno de los mbitos o reas del plan, de
forma global, elaborando de forma general sobre la evaluacin del cumplimiento del
Plan (estructuracin, grado de ejecucin, grado de cumplimiento de objetivos y anlisis
del grado de ejecucin de las acciones segn el tipo de poltica, el tipo de actuacin y la
distribucin territorial), la evaluacin de la participacin de los diversos actores, la
evaluacin de las acciones destinadas a los diversos colectivos destinatarios y los
recursos destinados al Plan por mbito, actor y colectivo destinatario. Adems, se
adjunta una breve introduccin, aunque est va por separado del grueso del informe,
incluso paginada de forma distinta, sobre la metodologa seguida en la evaluacin del
Plan. En esta introduccin se reflejan cinco puntos, entre los que se encuentra la
finalidad de la evaluacin, siendo sta una de los pocos informes analizados que
contempla un apartado especfico sobre ello. Adems, se habla de las etapas seguidas en
el proceso de evaluacin y las fuentes de informacin, la identificacin de las fuentes a
evaluar, los aspectos considerados en el anlisis de las acciones a evaluar y el perodo
de realizacin y el equipo evaluador. Tambin es uno de los pocos informes que expresa
explcitamente algo relacionado con los criterios de evaluacin (los aspectos
considerados en el anlisis), ya que se explican cada uno de los aspectos considerados y
los criterios empleados por el equipo evaluador para la evaluacin de cada una de las
acciones7, por ejemplo, para el grado de ejecucin de las acciones se emplean cuatro
categoras: totalmente realizada, parcialmente realizada, en ejecucin y no realizada.
Aqu tambin es donde se explican los criterios seguidos para evaluar el tipo de poltica
y las categoras utilizadas de promocin, igualdad y paridad. Lo que s falta en
este informe, al igual que en la mayora de los informes analizados, es un apartado de
conclusiones finales y otro de recomendaciones derivadas del estudio, aunque despus
de cada apartado (evaluacin en cada mbito) existe un subapartado en el que se refleja
una valoracin global del cumplimiento del Plan en cada mbito.
Respecto a la difusin del informe cataln, se realiz una rueda de prensa pero no
se hizo una publicacin especfica para divulgarlo, aunque la responsable del Instituto
Cataln de la Mujer comenta en la entrevista realizada, en diciembre de 1997, que va a
estar en el centro de documentacin para consulta. Curiosamente, el informe final de
evaluacin es del mes de Mayo de ese mismo ao, es decir, el informe de evaluacin no
estaba todava disponible en el centro de documentacin siete meses despus de su
presentacin. Es posible que este hecho est relacionado con las dificultades que
tuvimos para que nos enviaran una copia del informe para la realizacin de esta
investigacin8 (lo obtuvimos despus de 13 meses de peticin a travs de gestiones
7
Como ya se ha explicado anteriormente, el foco de la evaluacin del II Plan cataln se encuentra en las
acciones del Plan, no tanto en el Plan de forma global. Sin embargo, es una de las experiencias en las que
existe un mayor grado de anlisis del Plan en su conjunto y no slo de cada actuacin o rea, como
ocurre en otras experiencias. Es decir, no se evala el diseo del Plan en s mismo o los objetivos del
mismo, aunque se recoge informacin global muy valiosa para ello (quines participan, a quines va
dirigido, tipo de poltica, recursos dedicados a cada cosa, etc.).
8 Uno de los temas que deja pendiente esta investigacin, y probablemente cualquier investigacin que
requiera recopilar y analizar documentalmente informes de evaluacin, es la falta de criterios en las
administraciones pblicas espaolas sobre el carcter pblico de los informes de evaluacin. Mientras no
tuvimos ningn problema en la obtencin de una copia (o en poder consultarlos in situ) de los informes
____________________________________________________________________________________
371
______________________________________________________________________
telefnicas y faxes). Respecto a la difusin, tambin se mencionan unas jornadas
realizadas a propsito de los 10 aos de igualdad en junio de 1997, en las que se
aprovech para contar los resultados de la evaluacin por cada mbito. Es decir, no
fueron unas jornadas especficas para divulgar la evaluacin, sino que en cada una de las
conferencias en torno a cada mbito concreto, adems de un ponente, haba una
representante del Instituto que contaba los resultados de evaluacin para cada mbito. A
estas jornadas acudieron responsables de los diferentes departamentos de la Generalidad
y otros agentes implicados en el desarrollo del Plan9. En definitiva, el informe de
evaluacin y sus resultados no parece haber tenido mucha difusin en s mismo, sino
ligado ms bien al proceso de elaboracin del III Plan. Se insiste mucho en la
participacin que han tenido todas las fuerzas sociales (ONG, sindicatos, patronales,
etc.) en la elaboracin del III Plan, es decir se ha contado con ellas para esta elaboracin
pero, sin embargo, no parecen haber sido destinatarios primarios del estudio de
evaluacin del II Plan.
Las memorias de actuacin de los poderes pblicos en ejecucin del II Plan de

Accin Positiva para las Mujeres de Euskadi que realiza Emakunde anualmente,
para presentar en el Parlamento vasco, son informes muy completos y que reflejan
exahustivamente el proceso seguido de evaluacin a lo largo del ao. Como ya se ha
mencionado, estos informes tienen la virtud de producir informacin anualmente, por lo
que se tiene una informacin sobre el seguimiento y la evaluacin del II PAPME de
forma continuada. Esto hace que potencialmente la informacin que produce el proceso
de evaluacin sea ms til y utilizada. Adems de los resultados, se ofrece mucha
informacin sobre el proceso metodolgico de evaluacin. Son informes, adems, que
tienen un claro carcter pblico, ya que se realizan con el objetivo de ser presentados al
poder legislativo.
Como se puede observar en la tabla 7.2. b, adems de una introduccin en la que
se explicita la metodologa de evaluacin y el grado de participacin de los organismos
pblicos en la misma, los resultados se exponen de forma general (analizando el Plan en
su conjunto) en torno a tres ejes: la actuacin de los tres niveles de la administracin
pblica vasca (comunidad autnoma, diputaciones forales y ayuntamientos), los
colectivos destinatarios de las actividades del PAPME y el grado de ejecucin del Plan
en el ao concreto en el que se realiza la memoria concreta (en este caso el ao 1997).
en algunos de los casos estudiados, en otros encontramos reticencias a la obtencin de los informes por
nuestra parte. Mientras en algn caso el motivo de que finalmente pudiramos obtener una copia tuvo que
ver con nuestra pertenencia a la Universidad y el apoyo institucional que esto nos daba, en otros la
obtencin se realiz a nivel personal y de manera privada. Aunque esto excede los lmites de este trabajo,
uno de los temas que queda pendiente de anlisis y estudio en nuestro pas es el carcter pblico que los
informes de evaluacin (de programas y polticas pblicas), su difusin y divulgacin y el estatus
administrativo que stos deben tener, adems de los criterios que deberan utilizarse y el marco legal de
los mismos.
9
De alguna forma se aprovecharon los actos del dcimo aniversario (se divulgaba la evaluacin y las
lneas estratgicas que nos estbamos marcando cara al tercer plan). En este sentido, no slo no hubo
una divulgacin especfica del estudio de evaluacin, sino que tampoco parece que en seis conferencias
de dos horas de duracin en la que haba un ponente y adems se discutan las lneas del III Plan y se
debatan con un audiencia media de 150-160 personas, se pudieran tratar con mucha profundidad los
resultados de la evaluacin.
____________________________________________________________________________________
372
______________________________________________________________________
Adems se ofrecen unas conclusiones, no slo respecto a los resultados, siguiendo el
mismo esquema que en la exposicin de los resultados, sino tambin respecto a la
metodologa de evaluacin. La exposicin de la informacin est muy bien estructurada
y es, por lo tanto, muy clara y fcil de seguir. Los tres apartados del informe tienen una
clara ligazn entre s y resulta especialmente claro el proceso lgico de extraccin de
conclusiones, cuestin no tan evidente en los informes de otras experiencias analizadas.
La experiencia de evaluacin vasca es una de las pocas en las que encontramos
claramente definidos los destinatarios de la evaluacin, quedando claro que el
destinatario primordial y primario de los informes es el propio Parlamento Vasco. En
segunda instancia, los destinatarios del proceso de evaluacin y sus informes son los
diferentes niveles e instituciones de las administraciones pblicas vascas, incluido claro
est, el propio Emakunde. En tercera instancia se encuentran los colectivos y
asociaciones de mujeres que tienen alguna implicacin en el II PAPME. La difusin de
estos informes, al ser presentados al Parlamento Vasco, est asegurada. Existe adems
bastante transparencia al respecto y sta es una de las comunidades autnomas en las
que no han puesto ningn obstculo para la obtencin de informacin.
____________________________________________________________________________________
373
______________________________________________________________________
2.3. Comunicacin de los resultados y destinatarios en las evaluaciones internas
En la tabla 7.2. c se reflejan estos aspectos en las dos evaluaciones internas.
TABLA 7.2. c: CONTENIDO DE LOS INFORMES DE EVALUACION

Aragn
I (94-96)
INFORME SOBRE EL GRADO DE CUMPLIMIENTO DEL PLAN DE

ACCIN POSITIVA PARA LAS MUJERES EN ARAGN. 1994-1996
(Documento interno, Instituto Aragons de la Mujer, Enero 1997) (93 pgs.)
(Documento sin ndice)
INTRODUCCIN (25 pgs.)
Organismos implicados en el desarrollo del Plan
Anlisis global de las acciones (acciones realizadas y sin realizar, grado de
cumplimiento de las acciones del Plan, acciones del Plan desarrolladas por el
IAM)
ACCIONES MS RELEVANTES EN CADA UNA DE LAS REAS DEL
PLAN (44 pgs.)
(1. Legislacin igualitaria; 2. Cultura e imagen; 3. Educacin y reparto de
responsabilidades; 4. Relaciones laborales, empleo y formacin; 5. Salud; 6.
Servicios sociales; 7. Asociacionismo; 8. Cooperacin internacional)
PUBLICACIONES Y OTROS MATERIALES ELABORADOS O EDITADOS
POR EL IAM ENTRE 1994 Y 1996 (5 pgs.)
ANEXO: CUADROS Y GRFICOS (23 pgs.). Sn ndice ni identificacin o
numeracin de tablas.
La Rioja
II (96-99)
NO SE HA RECIBIDO NINGN INFORME DE EVALUACIN
El Informe sobre el grado de cumplimiento del Plan de Accin Positiva para

las Mujeres en Aragn 1994-96 consta de una introduccin sobre el propio informe y
su sentido, de un apartado en el que se especifica la implicacin de otros organismos en
el desarrollo del Plan, y otro en el que se hace un anlisis global de las acciones (grado
de cumplimiento y acciones desarrolladas) y se especifican las categoras utilizadas
(acciones realizadas -en su totalidad, habituales o parcialmente- y acciones sin realizar).
Adems, se especifican las acciones ms relevantes en cada una de las ocho reas del
Plan. En este sentido, es un informe que refleja fielmente el proceso de anlisis
realizado; la cuestin es que dicho anlisis fue muy limitado, como las propias
responsables reconocen. La base del proceso es una ficha que se rellenaba cada vez que
____________________________________________________________________________________
374
______________________________________________________________________
se realizaba una accin. Se rellenaron ms de 400 fichas en los tres aos (94, 95 y 96) y
se hizo el informe con esta base. El informe consiste, sobre todo, en contar lo que se
hizo, y aunque existe una cierta base emprica, no se realiza todo el anlisis que hubiera
sido posible.
Como ya se ha comentado anteriormente, el proceso de evaluacin realizado se
hace en un momento determinado del desarrollo del plan (en el cuarto mes de su tercer y
ltimo ao), dado un cambio de responsables polticos, y con el fin de tener una visin
global y saber qu se haba realizado hasta entonces. Segn el propio informe el IAM
realiz una puesta al da del grado de ejecucin conseguido hasta esa fecha en cada una
de las acciones del Plan, as como una priorizacin de objetivos a conseguir en el resto
del ao, incluyendo acciones para cada uno de los Departamentos; todas ellas fueron
presentadas a las nuevas representantes del Consejo Rector y aprobadas de comn
acuerdo (p. 2). Es decir, en su momento, el informe del proceso de evaluacin se
utiliz internamente, tanto por el propio Instituto (su Consejo Rector), como por parte
de cada uno de los Departamentos del Gobierno de la Diputacin General de Aragn.
Este mismo proceso de evaluacin y la informacin que de l se extrae, adems de la
que se sigue recogiendo a lo largo del ao 1996, sirve para elaborar un informe de la
totalidad del Plan que se presenta en Enero de 1997. Este informe se utiliza igualmente
de forma interna y sirve como referencia para el proceso de elaboracin del II Plan.
La evaluacin del II Plan riojano se realiza a lo largo del proceso. Anualmente se
produce una memoria y tambin se ha encargado una evaluacin final externa para el
final del Plan y que ser entregada a lo largo del ao 2000. El ltimo informe anual, el
correspondiente al ao 1999, tambin se encarga a una empresa externa, debido a la
carga interna de trabajo que haba representado en los tres aos anteriores.
____________________________________________________________________________________
375
______________________________________________________________________
3. EL IMPACTO DE LOS RESULTADOS Y LOS PROCESOS DE

EVALUACIN EN LA POLTICA Y EN LOS ORGANISMOS DE
IGUALDAD
En este apartado se analiza el impacto que han tenido las experiencias de

evaluacin, tanto en los propios planes y polticas de igualdad de gnero, como en los
organismos de igualdad impulsores de dichas polticas. Ya se ha visto que el concepto
de impacto de las evaluaciones est inextricablemente unido al de uso; el impacto de las
evaluaciones depende del uso que se haga de ellas.
Pero, adems de en los usos de los resultados de la evaluacin, aqu se pretende
analizar tambin los usos de los procesos de evaluacin, sirviendo stos para introducir
una cultura y una metodologa de evaluacin y para generar una mayor comprensin de
la intervencin pblica en general adems de una mayor conciencia sobre cmo se
abordan los problemas pblicos.
En este sentido, se analizan indicios de: 1) Los efectos de los mismos procesos de
evaluacin, incluida una mayor comprensin y/o apreciacin de la evaluacin, el posible
fortalecimiento o institucionalizacin de la funcin de evaluacin y el aprendizaje sobre
dicha funcin de evaluacin. 2) Una mayor comprensin o nuevas perspectivas en una
situacin, programa u organizacin (que sera lo que se ha llamado uso conceptual).
3) Las acciones que se llevan a cabo como resultado de la evaluacin (llamado uso
instrumental). As, buscamos algn indicio o rastro de utilizacin en estos tres
sentidos para poder dar algo de luz sobre este aspecto, adems tambin de estar atentos
a encontrar algn tipo de uso persuasivo o de uso en otras instituciones y que vaya
ms all del programa evaluado10.
3.1. El impacto de los resultados y los procesos de evaluacin externa
En el caso de la evaluacin del II Plan andaluz, el estudio se desarrolla de una

forma bastante externa y no se da un buen ajuste a las expectativas de las responsables
del Instituto. Esto, unido a un problema de retrasos en los plazos y a una concepcin del
estudio de evaluacin ms de investigacin acadmica que de consultora profesional
por parte del equipo evaluador, hace que la evaluacin no haya tenido especial impacto
en la normalizacin y fortalecimiento de la funcin de evaluacin en el Instituto
Andaluz de la Mujer.
10 Como se explica en el captulo 4, se utiliza tambin la clasificacin de Carol Weiss respecto a los tipos
de uso: instrumental, conceptual, persuasivo y el que influye en otras instituciones, ms all del programa
evaluado. (Weiss, 1998b: 23; punto 4.3.1., captulo 4).
____________________________________________________________________________________
376
______________________________________________________________________
Tanto la evaluacin del diseo como la de la implementacin cumplen un papel
importante y arrojan unos resultados que parecen tiles para una mejor comprensin de
las acciones emprendidas. En el caso de la evaluacin de impacto, no se cumplen las
expectativas del IAM, ni de lo reflejado en el propio proyecto inicial de evaluacin: el
anlisis del grado de satisfaccin de las usuarias es interesante como informacin -los
resultados corresponden a un grado de satisfaccin alto- pero resulta una informacin
algo tangencial respecto a conocer el impacto y los efectos netos del Plan.
La evaluacin del I Plan canario no parece cumplir un papel importante respecto

a los efectos de la propia evaluacin. El estudio se encarga externamente porque, en
aquel momento, la plantilla del ICM era prcticamente inexistente (se reduca a 4
personas, incluida la directora y su secretaria), por lo que tampoco existe ningn
contacto del equipo evaluador con el staff que posteriormente va a componer la plantilla
tcnica del ICM y a encargarse de la funcin de evaluacin en dicho Instituto. El equipo
tcnico, compuesto por seis personas, que entra en la plantilla del Instituto lo hace el da
4 de noviembre de 1996, slo 5 das antes de la presentacin del estudio al Consejo
Rector del ICM. Esto significa que no hubo ningn tipo de intercambio real ni, por lo
tanto, aprendizaje del know how de la evaluacin ni de las dificultades que el equipo
evaluador encontr en la realizacin del estudio.
Respecto al impacto en lo que se refiere a una mayor comprensin de las polticas
de igualdad y de una determinada situacin o problema, la evaluacin canaria
simplemente aport una idea general sobre lo que se haba hecho y no se haba hecho al
amparo del I Plan de Igualdad. Por lo que, en cierto modo, ofreci una visin global de
en qu consista un plan de igualdad ya que, entre otras cosas, este plan era el primero
que se aprobaba e implantaba en Canarias. Es decir, el impacto a este respecto puede
calificarse de muy bajo.
Por ltimo, las acciones que se realizaron como consecuencia de la evaluacin
realizada incluyen la realizacin de unas jornadas de presentacin de dicho estudio de
evaluacin en las que se invitaron a diferentes mujeres y representantes de las
instituciones canarias implicadas. Esto suponemos que contribuy a lograr una mayor
visibilidad del ICM y del propio Plan de igualdad y a realizar otra actividad que
fomentara la implicacin de las diferentes instituciones y Consejeras en las polticas de
igualdad, e incluso a cumplir una cierta funcin de rendimiento de cuentas en estos otros
departamentos respecto a las dificultades de recopilacin de informacin que haba
tenido el equipo evaluador. Esta misma informacin del estudio de evaluacin sirvi
tambin de alguna manera en las jornadas de debate abierto que posteriormente se
realizaron para la elaboracin del II Plan canario y en las que participaron, adems de
las instituciones, diferentes colectivos y asociaciones de mujeres canarias. En definitiva,
aunque no sobre el aprendizaje de la evaluacin ni del propio plan, la experiencia de
evaluacin canaria contribuy a dar una cierta visibilidad a las polticas de igualdad
canaria y dio pie, en cierto modo, a la elaboracin del II Plan. Por lo tanto, aunque no en
s misma, la evaluacin sirvi de excusa para otras actuaciones y cumpli su papel de
rendimiento de cuentas, sobre todo en lo referente a las restantes instituciones y
departamentos canarios que no eran el propio ICM. En cierto modo, la evaluacin del I
plan canario tuvo un cierto uso persuasivo (cuando se utiliza para concitar apoyos para
____________________________________________________________________________________
377
______________________________________________________________________
el plan evaluado), al haber sido utilizada para aportar una mayor visibilidad a las
polticas de igualdad y al Instituto Canario de la Mujer, y como reclamo a los diferentes
colectivos para la elaboracin del II plan.
En el caso de la evaluacin del II Plan castellano-manchego resulta difcil la

valoracin del impacto de esta experiencia de evaluacin, debido a que sta es la ms
reciente en el tiempo11. En cualquier caso, al analizar el impacto general de este estudio
de evaluacin, hay que tener en cuenta el prcticamente solapamiento temporal del
estudio de evaluacin del II Plan y el proceso de elaboracin del III. El hecho de que
fuera el mismo equipo tcnico externo el que dirigiera ambos procesos (evaluacin del
II y proceso de elaboracin del III), facilita el hecho de que el primero tuviera un cierto
impacto sobre el segundo a pesar de su prctica simultaneidad. Esta misma
circunstancia, sin embargo, creemos que no facilita el aprendizaje de la institucin
(Direccin General de la Mujer y otras instituciones autonmicas implicadas), ni del
proceso de evaluacin en s mismo ni de sus resultados, ya que la institucin impulsora
de los planes ni siquiera tiene que utilizar la evaluacin para la mejora del plan
siguiente, ya que la propuesta del Plan siguiente se hace tambin por parte de un equipo
externo. En definitiva, creemos que en este caso el impacto potencial de la evaluacin es
mayor para las polticas de igualdad que para su organismo impulsor. En este sentido, el
equipo externo que realiza la evaluacin, como es lgico, seala haber utilizado
informacin de la evaluacin para dirigir el proceso de elaboracin del II Plan y para
elaborar la propuesta que se presenta. Este impacto de la evaluacin no slo hay que
buscarlo respecto al plan, sino tambin respecto a la propia evaluacin, ya que, y
tambin como es lgico, la propuesta de evaluacin que aparece en el III Plan est
claramente influida por la experiencia de evaluacin del II Plan y esto hace que sea una
propuesta bastante ms desarrollada que lo que suele aparecer en otros planes,
incluyendo un listado de indicadores mnimos propuestos. Es decir, la experiencia de
evaluacin del II Plan claramente sirve para proponer la evaluacin siguiente.
El impacto de la evaluacin del I Plan castellano leons parece haber sido alto en
opinin de su responsable poltica, aunque este impacto ha de ser matizado. En general,
la evaluacin resulta til no como evaluacin sino como estudio de diagnstico de la
situacin de las mujeres en Castilla y Len. No se tena ningn dato al respecto y, por lo
tanto, la informacin resulta muy til para la formulacin del II Plan, ya que el estudio
ayuda a que se conozca mejor el problema pblico que se quiere abordar. Pero
realmente no aporta ninguna informacin relacionada con la intervencin pblica que
supuestamente se est evaluando por lo que resulta prcticamente imposible que tenga
impacto sobre el rendimiento de cuentas; sobre la mejora de los planes y la iluminacin
de acciones futuras en el sentido de, como se ha dicho anteriormente, aportar un mayor
conocimiento sobre el problema que no sobre el plan.
11
Los mayora de los datos que se obtienen de la Direccin General de la Mujer de Castilla-La Mancha
(entrevista a su directora general y una jefa de servicio, datos sobre el seguimiento del II Plan, etc.)
previamente a la realizacin de la evaluacin. Sin embargo, decidimos incluir esta experiencia de
evaluacin en el estudio por su inters y caractersticas de evaluacin externa.
____________________________________________________________________________________
378
______________________________________________________________________
Es decir, el estudio realizado tiene un cierto impacto tanto en lo que se refiere a
las polticas de igualdad (ofrece datos sobre el problema a abordar) como tambin al
organismo de igualdad, ya que el hecho de plantearse la evaluacin les hace detectar que
los planes deben ser ms concretos y realistas para que puedan ser evaluados y que
deben implantar un sistema continuo de seguimiento y evaluacin para el plan siguiente.
As se detect a raz de la evaluacin, lo ambicioso y genrico del I Plan, y lo difcil de
evaluar, por lo que se subsana ese problema en el II que pasa a ser absolutamente
concreto, realista y temporalizado y al que se considera que va a ser un Plan muy fcil
de evaluar. Lo curioso es que se detecta ese problema y de hecho se cambian cosas
para hacerlo ms evaluable, pero en ningn momento se es consciente de lo que
realmente significa hacer una evaluacin, ya que llaman evaluacin a un tipo de
estudio que claramente no lo es. Incluso cuando se reconoce por parte de la responsable
poltica que es difcil hacer una conexin entre los cambios que demuestra la evaluacin
que ha habido en las mujeres de Castilla y Len en los aos de vigencia del Plan y las
acciones del Plan, parece que la causa de que no se pueda hacer dicha conexin es lo
poco concreto y realista que era el I Plan y la ausencia de indicadores para evaluarlo, no
el hecho de que el objeto de estudio sea otro (el problema de la desigualdad y no la
intervencin sobre el mismo).
Lo que s es evidente es que la informacin del estudio realizado, aunque no sea
evaluacin, sirve para conocer mejor el problema sobre el que hay que intervenir, y que
la experiencia de evaluacin genera una voluntad poltica clara (al menos en cuanto
intenciones)12 sobre la funcin de evaluacin; as cuando la responsable poltica se
refiera a como va a ser la evaluacin del II Plan dice textualmente que va a ser una
evaluacin continua y que estamos trabajando en la elaboracin de un sistema
informtico (en realidad se refiere al seguimiento continuo del Plan, ms que a la
evaluacin).
La evaluacin del II Plan gallego no parece haber tenido tanto impacto como
hubiera sido el esperado y el deseado. Existe un dficit de difusin de los resultados de
la evaluacin y esto puede deberse, en parte, al cambio de directora de la Agencia de
Igualdad durante el proceso de evaluacin, y al hecho de que la persona que recibe el
informe final es otra distinta a la que haba encargado dicho trabajo de evaluacin y, en
este caso, parece que con una idea distinta sobre el papel que puede y debe cumplir una
evaluacin13.
12
La entrevista con la responsable poltica de la Secretara Regional de la Mujer de Castilla y Len se

realiza el 9 de julio de 1997 cuando estaba recin aprobado el II Plan de Igualdad y todava no se haba
puesto en marcha.
13
El cambio de responsables polticos en mitad de los procesos de evaluacin es un factor de riesgo

especialmente en pases con poca cultura evaluativa, ya que normalmente los responsables polticos no
tienen una idea preconcebida de los procesos de evaluacin y la van construyendo a lo largo de la
realizacin del estudio. La tarea de explicacin, persuasin y convencimiento sobre el sentido y
significado de la evaluacin por parte de los equipos tcnicos que llevan a cabo la evaluacin es, por lo
tanto, muy importante. As, si el cambio de responsable se da hacia el final del proceso de evaluacin como es en este caso- el equipo tcnico no tiene muchas veces la oportunidad de ese trabajo clave para el
xito de una evaluacin.
____________________________________________________________________________________
379
______________________________________________________________________
Sin embargo, y debido a cmo se plante el proceso de evaluacin desde un
principio, implicando a la Comisin de Evaluacin que era una comisin en el nivel
tcnico en el que estaban representadas las diferentes instituciones autonmicas que
tenan algo que decir en el Plan, y debido al trabajo y el esfuerzo que en ello se invirti,
sobre todo en lo referido a las fichas de recopilacin de informacin, creemos que la
evaluacin del II Plan tuvo un cierto impacto en lo que se refiere al seguimiento y a la
evaluacin del Plan siguiente, generando un sistema de seguimiento y un aprendizaje
sobre evaluacin de los diferentes departamentos e instituciones. Este aprendizaje
puede considerarse especialmente importante por parte de la propia Agencia de
Igualdad, ya que tuvo a dos tcnicas muy implicadas desde un principio en el proceso de
evaluacin. Adems, en la intervencin que tuvo la entonces secretaria general de la
Agencia en una mesa redonda en el Seminario de Evaluacin de Polticas de Igualdad en
la Universidad Menndez Pelayo en verano de 1998 (unos meses despus de que se
entregara el informe final de evaluacin), se expusieron una serie de conclusiones
finales relacionadas con la propia evaluacin (importancia de la evaluacin, necesidad
de que la gente que participa tenga conocimientos de evaluacin, necesidad de
estandarizar un modelo peridico de recogida de informacin, necesidad de estructuras
externas que cooperen en el seguimiento y evaluacin, y dar tiempo para la valoracin
antes de comenzar otro plan). De hecho, la propia presentacin de la experiencia de
evaluacin gallega en dicho Seminario ya es una forma de impacto en este sentido.
Por lo dems, desconocemos si los resultados de la evaluacin han tenido
realmente impacto en la elaboracin del III Plan y en una mayor comprensin de las
polticas de igualdad por parte de quienes tienen la responsabilidad de impulsarlas. Sin
embargo, teniendo en cuenta la poca difusin dada a la propia evaluacin, creemos que
este impacto es muy bajo.
El impacto del estudio que se realiza para evaluar el II Plan madrileo creemos
que, como evaluacin que pretende la mejora de las polticas y el rendimiento de
cuentas, es muy bajo. Sin embargo, aunque no como evaluacin, el estudio realizado
viene a cubrir una carencia existente de estudios que analizaran la situacin social de las
mujeres madrileas. Es decir, incluso cumple en cierto modo un papel de ayuda a la
formulacin de polticas de igualdad de gnero (ya que ayuda a conocer mejor el
problema -la desigualdad por motivos de gnero en un determinado territorio- sobre el
que hay que intervenir).
Por otro lado, al publicar un resumen de los resultados del estudio, stos han
tenido una difusin alta entre los colectivos de mujeres de la Comunidad de Madrid.
Pero estos, por su propia naturaleza no han podido tener mucho impacto en una mayor
comprensin de las polticas de igualdad (quiz lo han tenido algo respecto a una mayor
comprensin del problema a abordar), ni tampoco sobre la propia funcin de evaluacin.
Dicha funcin no ha podido verse fortalecida ni normalizada ni como consecuencia del
estudio se ha aprendido ms sobre evaluacin. Por el contrario, sorprende la falta de
crtica, tanto interna como interna, que ha recibido dicha evaluacin; este hecho es otro
indicador ms de la falta de cultura evaluativa en las administraciones pblicas
espaolas. De hecho, la evaluacin del III Plan madrileo se plantea en los mismos
trminos que la del II, por lo que podemos concluir que se ha dado ms bien poco
____________________________________________________________________________________
380
______________________________________________________________________
aprendizaje en evaluacin. Otra cosa es que el estudio podra ser una excelente base (y
por lo tanto podra tener un gran impacto en ello) para desarrollar un observatorio
regional de igualdad que estudiara de forma peridica la situacin de la mujer
madrilea, al estilo del trabajo que el IM realiza con Mujeres en cifras. Sin embargo,
esto no debera obviar la necesidad de evaluacin de los planes y actuaciones.
An considerando la absoluta necesidad e importancia de obtener informacin
actualizada sobre el colectivo destinatario sobre el que se pretende intervenir y el
problema que se quiere abordar, parece que, en este caso, los resultados del estudio de
evaluacin no causan un especial impacto sobre las polticas de igualdad madrileas, o
al menos sobre la ltima responsable de impulsarlas, ya que al entrevistar a la Directora
General y preguntarle sobre qu datos de la evaluacin le haban sorprendido y cules se
haban utilizado en concreto para la propuesta del II Plan, no recordaba ninguno14.
3.2. El impacto de los resultados y los procesos de evaluacin mixta
La experiencia de evaluacin del II PIOM estatal tiene como efecto una cierta
normalizacin de la funcin de evaluacin en el IM. Al menos, no se cuestiona la
evaluacin del III PIOM (de hecho se refleja ya un cierto compromiso de evaluacin en
el propio Acuerdo de Consejo de Ministros que lo aprueba), y existe un equipo tcnico
que se ocupa de ello. Esto tiene alguna relacin con la tambin normalizacin de la tarea
de producir Mujeres en cifras, publicacin que produce la Subdireccin de Estudios y
Documentacin y que refleja peridicamente (aproximadamente cada dos aos) la base
de datos sobre mujer que se renueva de forma permanente. Mujeres en cifras lleva
producindose desde el ao 1987, por lo que la normalizacin de su produccin es
muy anterior a la evaluacin. Sin embargo, tanto el departamento como los responsables
tcnicos de ambas tareas son los mismos los equipos que realizan una y otra tambin. La
normalizacin de la tarea de evaluacin se produce cuando se incorpora en el III Plan
la evaluacin en los mismos trminos que se haba realizado en el II. Este mismo hecho,
sin embargo, es el que nos lleva a interpretar que se ha dado poco aprendizaje sobre la
evaluacin en torno a los PIOM estatales y el IM. Creemos que el Instituto ha sido muy
poco autocrtico con su propia evaluacin y, por lo tanto, no ha estado abierto al
aprendizaje que la experiencia de evaluacin le hubiera podido aportar. Si esto hubiera
sido as, se hubieran incorporado mayores cambios y mejoras ms sustanciales a un
diseo de evaluacin que era manifiestamente mejorable.
S es cierto que el hecho de haber evaluado el II PIOM hace que el IM haya
adquirido cierto liderazgo en evaluacin de polticas pblicas de igualdad de gnero,
14
Entrevista a la Directora General de la Comunidad de Madrid el 21/8/97, ocho meses despus de la

entrega del Informe final y cuatro meses despus de la publicacin del resumen.
____________________________________________________________________________________
381
______________________________________________________________________
aunque ste sea ciertamente dbil15. Sin embargo, creemos que este liderazgo se
produce ms por su posicin estratgica del Instituto respecto a las comunidades
autnomas que por un verdadero liderazgo metodolgico. Es ms, y como se
desarrollar ms detenidamente en los captulos siguientes de este trabajo, creemos que
el IM hubiera podido cumplir un mayor liderazgo metodolgico, y que hubiera podido
consistir en generar metodologa de evaluacin, coordinar y ayudar a intercambiar las
experiencias de evaluacin en las diferentes comunidades autnomas, crear espacios de
encuentro, intercambio y reflexin, etc. En nuestra opinin, sin embargo, el IM ha
dejado pasar esta oportunidad y, en este momento, el liderazgo metodolgico en
evaluacin es mucho mayor en algunas comunidades autnomas que en el propio IM.
El diseo de la evaluacin del II PIOM estatal no permite tener una visin integral
del diseo, proceso y resultados del Plan, por lo que resulta difcil que se haya generado
una mayor comprensin de las polticas de igualdad de gnero en ese sentido. Con la
evaluacin de la implementacin simplemente se tiene una idea de qu se ha hecho
bajo el paraguas del Plan. Con la evaluacin cualitativa nos hacemos una cierta idea
del estado de opinin general de ciertos colectivos respecto al mismo y con la
evaluacin cuantitativa nos hacemos una idea de cmo evolucionan los usos del
tiempo, las actitudes y los valores de los espaoles y espaolas respecto al gnero; es
ms creemos que la evaluacin cuantitativa es una excelente y rigurosa investigacin
sobre cmo medir la evolucin de la sociedad espaola respecto a cuestiones tan
intangibles pero tan cruciales como las estereotipias de gnero, los valores y las
actitudes. Y en ese sentido creemos que aporta una mayor comprensin sobre la
medicin de estos extremos, cuestin sumamente importante en el anlisis del problema
de la desigualdad de gnero y su evolucin. En este caso, aunque aporta una mayor
comprensin sobre la situacin de desigualdad, no aporta una mayor comprensin sobre
las polticas de igualdad porque no son su objeto de estudio, ni las evala en ningn
caso. La responsable poltica del IM, en la entrevista que realizamos sobre la evaluacin
y ante la pregunta sobre qu haban aprendido con la evaluacin y para qu les haba
servido en este sentido, no pareca tener una visin global de la aportacin de la
evaluacin del II PIOM a la mejor comprensin del Plan y de la poltica de igualdad, e
insista ms en la idea abstracta de la necesidad de evaluar y del necesario rendimiento
de cuentas.
Respecto a las acciones llevadas a cabo en los planes como consecuencia de la
evaluacin, creemos que stas no han ocurrido, al menos como consecuencia directa e
inmediata de la evaluacin. Entre otras cosas, porque no ha existido una traduccin
prctica de la evaluacin hacia sugerencias o recomendaciones a llevar a cabo para la
mejora de las diferentes actuaciones o del plan en su conjunto.
15
El nico indicador tangible de este liderazgo en evaluacin es la celebracin de un encuentro de dos

das y medio sobre Evaluacin de las polticas de igualdad entre mujeres y hombres en la Universidad
Internacional Menndez Pelayo, entre el 20 de Junio y el 1 de Julio de 1998, patrocinado por el IM y
cuyos directores fueron Roco Fdez. Ballesteros, catedrtica de la Universidad Autnoma de Madrid y
Mariano lvaro, Consejero Tcnico de Estudios del IM y protagonista tcnico de la evaluacin del II
PIOM estatal. Este seminario fue el resultado de las peticiones sobre seminarios, encuentros o reuniones
sobre evaluacin que algunas comunidades autnomas formulaban en las Conferencias Sectoriales sobre
Asuntos Sociales.
____________________________________________________________________________________
382
______________________________________________________________________
La evaluacin del II Plan cataln parece tener un impacto importante tanto en el
Instituto Cataln de la Mujer como en las polticas de igualdad catalanas, en opinin de
su responsable poltica. As como nosotros destacaramos el impacto real que el proceso
de evaluacin ha producido en el ICD, matizaramos en cierto modo el producido en las
polticas de igualdad, aunque por supuesto creemos que realmente s ha habido impacto
y que el proceso de evaluacin ha servido para que las responsables de impulsar las
polticas de igualdad de gnero en el ICD se hayan cuestionado y reflexionado sobre los
planes (por ejemplo, respecto a los destinatarios de los mismos) y que se hayan tomado
decisiones respecto al III Plan debidas a la evaluacin. Nuestra matizacin tiene que ver
con la constatacin, por un lado, de que el III Plan ha sido elaborado en un proceso en
que la evaluacin del II, como es lgico, ha sido un factor entre los muchos que se han
tenido en cuenta. En las propias palabras de la responsable del ICD, hubo una primera
negociacin con Departamentos, la evaluacin, el IV Programa de Accin Comunitaria,
la Plataforma de Pekn y las conferencias que se hicieron (en el marco de la universidad
de verano y con motivo de la celebracin de los 10 aos de las polticas de igualdad), las
sugerencias que ya salieron ah, se elabor el primer borrador, se mand a las ONG, han
mandado enmiendas, se han incorporado y se ha vuelto a mandar el documento a los
Departamentos que han vuelto a hacer enmiendas. Por otro lado, el hecho de que la
evaluacin no tuviera una gran divulgacin nos hace interpretar que entre los
destinatarios primarios de la evaluacin no estaban las ONG y colectivos de mujeres;
creemos que ni siquiera entre los restantes Departamentos del Gobierno de la
Generalidad ha habido una divulgacin especfica del estudio de evaluacin, aunque s
probablemente estos Departamentos estaban contemplados al menos como destinatarios
secundarios y probablemente recibieran informacin sobre la misma. De hecho, la
evaluacin ha cumplido una funcin importante de peticin de cuentas a los
Departamentos implicados. Con esto queremos decir que parece que las ONG y otros
colectivos, e incluso los propios Departamentos de la Generalidad no han tenido las
mismas oportunidades que el ICD de aprender de la evaluacin antes de hacer sus
aportaciones al III Plan; en definitiva, el impacto de la evaluacin en las polticas
hubiera podido ser probablemente mayor si se hubieran comunicado mejor los
resultados de la misma.
En cualquier caso, la evaluacin del II Plan cataln parece haber tenido efectos en
el fortalecimiento y apreciacin de la funcin de evaluacin. Esta funcin de evaluacin
se considera clave para planes posteriores, incluido que se piense en trminos de
indicadores de evaluacin y asignacin presupuestaria concreta por parte de cada
Departamento. Tambin hay una referencia explcita a una evaluacin de impacto en
el III Plan, cuestin que no se haba podido plantear en la evaluacin del II, y que se
considera que ser posible al haber planificado previamente con unos indicadores de
actividad y de evaluacin.
Respecto al impacto en una mayor comprensin de las polticas de igualdad, la
evaluacin del II Plan tambin cumple en cierto modo su papel, ya que ayuda a tener
una visin global del II Plan de actuacin respecto a una serie de dimensiones (peso por
rea, tipo de actividad, agentes, destinatarios, presupuesto destinado) que ayuda a
revisar y reflexionar sobre el Plan. Es decir, al evaluarse de alguna forma el diseo del
Plan en su conjunto, es ms fcil que haya un cierto aprendizaje y una mayor
comprensin sobre la forma de intervenir para combatir la desigualdad de gnero. De
hecho, las responsables del ICD reclaman haber hecho una reflexin sobre los
____________________________________________________________________________________
383
______________________________________________________________________
colectivos destinatarios a los se dirigen, llegando a la conclusin de que les resulta ms
difcil llegar al colectivo juvenil.
Como acciones concretas debidas a la evaluacin, estaran las referidas a la
estructura y planificacin del plan siguiente, como son la introduccin de un mayor
compromiso explcito en evaluacin y la inclusin de indicadores de actividad y de
asignaciones presupuestarias por parte de los diferentes Departamentos. Las otras
cuestiones que se reclaman por parte de las responsables del ICD como tiles, como la
reflexin sobre los colectivos destinatarios y el poder pedir cuentas a los diferentes
Departamentos, no tenemos constancia de que se hayan concretado en acciones
concretas.
En lo que se refiere a la evaluacin del II PAPME vasco, hay que constatar aqu
la actitud de aprendizaje constante que tienen en Emakunde respecto a la evaluacin.
Esta es una de las comunidades autnomas que ha demostrado un inters ms sincero
por nuestra investigacin, siendo paradjicamente una de las que ms poda ofrecer en
el tema de evaluacin. La evaluacin ha sido definida como un tema prioritario en la
institucin, y esto ha tenido un impacto fuerte que trasciende el propio Emakunde,
probablemente hacia otras instituciones vascas y tambin hacia otros organismos e
igualdad de otras comunidades autnomas. Por lo tanto, estamos ante la experiencia
analizada con un mayor impacto en lo que se refiere a los efectos sobre la propia
evaluacin, tanto en una mayor apreciacin de la misma y en un aprendizaje claro sobre
ella, como en cuanto a la normalizacin y el fortalecimiento de la funcin de evaluacin.
Esta capacidad de aprendizaje de evaluacin en la misma institucin, se puede constatar
no slo en los esfuerzos invertidos por Emakunde en los procesos de evaluacin, sino
tambin en los procesos de reajuste y perfeccionamiento del propio sistema de
evaluacin que se aprecia de la evaluacin del I PAPME al II.
Adems, las memorias anuales presentadas al Parlamento Vasco sirven para rendir
cuentas y han tenido un cierto uso persuasivo, adems de que han aportado una gran
visibilidad a Emakunde como institucin y a las polticas de accin positiva y de
igualdad de gnero. Tambin el uso conceptual ha sido relativamente alto, ya que las
evaluaciones y especialmente, las tipologas de actuaciones desarrolladas en las mismas
han permitido a las responsables de las polticas reflexionar sobre las mismas y saber
dnde se encuentran sus puntos dbiles.
Finalmente tambin se ha dado un cierto uso instrumental, en el sentido de que se
han llevado a cabo algunas acciones como consecuencia de la evaluacin, especialmente
en lo referido a la coordinacin con otros departamentos y las otras administraciones
pblicas vascas (Diputaciones y Ayuntamientos), para la puesta en prctica y gestin del
plan y la propia recopilacin de informacin.
____________________________________________________________________________________
384
______________________________________________________________________
3.3. El impacto de los resultados y los procesos de evaluacin interna
En el caso de la evaluacin interna del I Plan aragons, la experiencia de

evaluacin, adems de ayudar a situarse a las responsables polticas que la emprenden,
dadas las especiales circunstancias ya comentadas (cambio de responsables y vaco de
poder durante ms de cinco meses), sirve tambin para iniciar, de forma ms
sistemtica, y desde el Instituto Aragons de la Mujer, la recopilacin de informacin
sobre los planes. Esta experiencia en evaluacin va a servir a las responsables tcnicas
del IAM a enfrentar posteriormente la tarea de hacer el seguimiento y evaluar el II Plan
aragons.
Tambin va a ayudar a tener una idea general y global sobre lo que se ha hecho -y
no se ha hecho- al amparo del I Plan aragons de igualdad. Aunque este impacto sobre
una mayor comprensin de las polticas de igualdad no sea especialmente alto, s se da
en cierto modo y merece, por lo tanto, una cierta consideracin.
Respecto a las acciones o decisiones que se llevaron a cabo como consecuencia de
la evaluacin habra que mencionar la reorientacin del propio I Plan durante el ao
1996 (la evaluacin se hizo con un cierto carcter formativo), la reafirmacin en los
pesos relativos otorgados a determinadas acciones (las referidas a empleo), y la
tendencia a definir actuaciones ms concretas en el II Plan e intentar preestablecer unos
indicadores de evaluacin segn cada una de las actuaciones. Es decir, para lo limitado
de la experiencia de evaluacin analizada, su impacto en este sentido, aunque no sea
muy alto, es considerable.
____________________________________________________________________________________
385
PARTE IV: LA VALORACIN DE LA EVALUACIN. EL RETO DE LA EVALUACIN DE LAS POLTICAS DE IGUALDAD

____________________________________________________________________________________________________________
CAPTULO 8
EL DISCURSO SOBRE LA FUNCIN DE EVALUACIN EN TORNO
A LAS POLTICAS DE IGUALDAD DE GNERO
INTRODUCCIN
En la parte anterior (parte III) se han descrito y analizado las once experiencias de
evaluacin objeto de estudio, segn una serie de criterios establecidos en torno a tres ejes:
el planteamiento de las evaluaciones (contexto, propsitos, tipologa, estructuras y
recursos), los elementos claves de dichos procesos (agentes, momentos, criterios y
procedimientos), y su posible utilizacin. En esta parte IV se realiza una valoracin global
de dichas experiencias en su conjunto.
En esta parte IV se incluye tambin, en este captulo ocho, la valoracin que realizan
las responsables polticas de los organismos de igualdad sobre las experiencias de
evaluacin en concreto, y en general, de la funcin de evaluacin de las polticas de
igualdad de gnero en el seno de dichos organismos. Adems de cmo se hayan realizado
de hecho las evaluaciones, resulta imprescindible para una valoracin completa, captar la
perspectiva institucional frente a dichas experiencias de evaluacin, comprender de una
forma ms global el contexto en el que se generan, as como saber cmo se entiende la
funcin de evaluacin y el papel que cumple en los organismos de igualdad. Al comprobar
que eran prcticamente inexistentes los documentos institucionales o declaraciones
explcitas que, en los organismos de igualdad, trataran el tema de la evaluacin, la mejor
forma de obtener dicha perspectiva fue a travs de la captacin del discurso que sobre la
evaluacin tengan sus mximas responsables.
Por lo tanto, el discurso de las personas al frente de los organismos de igualdad
representa la perspectiva institucional que en dichos organismos se tiene ante la evaluacin.
Pero adems, y por otro lado, tambin resulta crucial la posicin y la actitud de dichas
responsables ante la evaluacin, ya que estos organismos son los principales protagonistas e
impulsores de los procesos de evaluacin de los planes de igualdad. De esta manera, el
liderazgo que pueda ejercer la mxima responsable de los organismos encargados de la
evaluacin es importante para entender el desarrollo de la funcin de evaluacin de las
polticas de igualdad de gnero en un determinado mbito. La importancia de este liderazgo
se acrecienta ante la ausencia de una cultura desarrollada de evaluacin: la posicin que
tome la responsable poltica del organismo de igualdad ante la evaluacin, la comprensin
de su significado y sus posibilidades y la importancia relativa que se le d respecto a otras
funciones en la institucin, resultar clave para analizar y comprender los procesos de
evaluacin que se han dado. De hecho, de dicha posicin institucional ante la evaluacin
depende, en gran parte, que se comience a instaurar una cultura de evaluacin en torno a las
polticas y en los organismos. Como se ha comentado ya anteriormente, esta posicin
_______________________________________________________________________________________
CAPITULO 8: El discurso sobre la funcin de evaluacin en torno a las polticas de igualdad de gnero
387

____________________________________________________________________________________________________________
institucional ante la evaluacin se puede captar, sobre todo, a travs del discurso de sus
responsables polticas y, en parte tambin, del de las responsables tcnicas de los procesos
de evaluacin, en caso de que stos se hayan dado.
Se realizaron entrevistas abiertas semiestructuradas a 16 directoras de organismos de
igualdad, de las cuales once lo eran de los organismos que llevan a cabo los procesos de
evaluacin analizados. En realidad, se entrevista a todas las responsables polticas de los
organismos de igualdad autonmicos, con la excepcin de dos de ellos (el navarro y el
cntabro), adems de a la directora del IM central. Todas las entrevistas se realizan en los
aos 1997 y 19981. El objetivo de las entrevistas era la captacin del discurso poltico en
torno a los procesos de evaluacin: qu papel cumple la evaluacin de las polticas de
igualdad en los organismos que las impulsan y para las propias polticas, qu esperan de y
cmo utilizan la evaluacin, cules son y han sido sus principales dificultades, etc. Adems
de los concretos procesos de evaluacin metaevaluados, tambin se capt el discurso sobre
la evaluacin de las polticas de igualdad de gnero en general y sobre la funcin de
evaluacin en sus respectivos organismos. Es por esta razn por la que se incluyeron
tambin los discursos de las responsables polticas de los organismos autonmicos en los
que no existan experiencias de evaluacin de segunda generacin.2 En definitiva, no se
trataba de recopilar informacin sobre los procesos de evaluacin en s (para esto se
recopilaba informacin de los equipos tcnicos y de los documentos existentes), sino de
saber las percepciones que sobre la evaluacin tenan -y desde un punto de vista poltico y
no tcnico- las mximas responsables de los procesos de evaluacin. Lo que se refleja en
este captulo es, esencialmente, el anlisis del discurso extrado en dichas entrevistas,
contrastndolo, en algunos casos, con las entrevistas estructuradas (en algunos casos
presenciales y, en otros, telefnicas) mantenidas con el personal tcnico encargado de las
evaluaciones en los organismos de igualdad.
Vase en el anexo correspondiente la fecha de las entrevistas y los nombres de las entrevistadas.
Los guiones de las entrevistas aparecen tambin en el anexo.

_______________________________________________________________________________________
388

____________________________________________________________________________________________________________
1. EL DISCURSO SOBRE LA EVALUACIN Y SOBRE LAS

POLTICAS DE IGUALDAD DE GNERO DE LAS RESPONSABLES
POLTICAS
En general, se aprecia que el discurso sobre la evaluacin por parte de las

responsables polticas de los organismos de igualdad no est muy elaborado, es decir, no es
un discurso previamente construido ni que haya sido explicitado formalmente. Esto parece
normal si se tiene en cuenta que la prctica evaluativa es muy novedosa y que, adems, no
existe cultura de evaluacin ni referencias tericas o prcticas en torno a las polticas de
igualdad y, por lo general, ni siquiera tampoco en el entorno institucional de las
administraciones pblicas espaolas.
Lgicamente, el discurso sobre su evaluacin est inextricablemente ligado al de las
polticas de igualdad de gnero y ste, a travs de los objetivos y estrategias de dichas
polticas, a los conceptos de acciones positivas, perspectiva de gnero, transversalidad de
las polticas, etc. De hecho, en muchos casos, la falta de discurso elaborado sobre
evaluacin se suple con uno sobre las polticas que se pretenden evaluar. Es decir, en
muchas ocasiones, aunque el foco de las entrevistas era la evaluacin de las polticas, el
discurso derivaba hacia las propias polticas.
Otra conclusin general del anlisis realizado es que no se puede hablar de un
discurso comn o monoltico ante la evaluacin. Esto es una consecuencia clara del hecho
de que el discurso sobre la evaluacin no est muy elaborado y ha sido construido en parte
sobre la marcha. Sin embargo s se pueden encontrar algunas ideas comunes y tendencias en
los posicionamientos, que tratamos ms adelante en este captulo. Por otro lado, resulta
interesante analizar las diferencias discursivas. Efectivamente, una de las primeras
cuestiones a destacar en el anlisis de las entrevistas es el hecho de que hemos encontrado
ciertas diferencias entre los discursos captados de las 16 responsables entrevistadas, y que
dichas diferencias pueden ser categorizadas, de forma general, en cinco polos o factores:
1) Las responsables en cuyo organismo se ha hecho evaluacin y ellas han tenido
implicacin en ello vs. las responsables en cuyo organismo no se ha hecho
evaluacin o ellas no han tenido implicacin en ello
Las responsables entrevistadas de los organismos de igualdad andaluz,
aragons, canario, castellano-leons, cataln, gallego3, riojano y vasco son las que
encargaron (o establecieron el mandato de) las evaluaciones metaevaluadas e hicieron
un seguimiento de las mismas.
En el caso gallego, la responsable entrevistada fue la persona que encarg la evaluacin del II Plan, aunque
no la misma que recibi el informe en marzo de 1998, fecha de su finalizacin.
_______________________________________________________________________________________
389

____________________________________________________________________________________________________________
En cinco casos (Asturias, Baleares, Extremadura, Murcia y Comunidad

Valenciana) no se realiz evaluacin de la llamada segunda generacin de planes o
la que se hizo no puede ser calificada como tal4. En el caso de Castilla-La Mancha se
hizo una evaluacin, pero posteriormente a la entrevista realizada a su responsable, es
decir, en el momento de la entrevista, la responsable todava no tena experiencia en
evaluacin en su organismo. Por ltimo, tanto en el caso del IM central como de la
Direccin General de la Mujer la Comunidad de Madrid, sus responsables llegan al
cargo cuando el proceso de evaluacin est ya iniciado5. Por lo tanto, en ambos casos,
el liderazgo inicial del proceso de evaluacin se encuentra ms en el personal tcnico
de los organismos que son quienes realmente impulsan los respectivos estudios de
evaluacin.
Como es lgico, el discurso sobre evaluacin de las responsables implicadas e
iniciadoras de las experiencias analizadas, es ms elaborado que el resto, es decir,
se deja entrever que dichas responsables, en el momento de las entrevistas, haban
pensado ms y de forma ms profunda en el papel que cumple o puede cumplir la
evaluacin de las polticas de igualdad.
2) Las responsables con ms tiempo en el cargo vs. las que llevan menos tiempo en l
Tambin se aprecian diferencias en las responsables que llevan ms tiempo en
el cargo. De las 16 personas entrevistadas, tres -las directoras de los Institutos
Andaluz, Cataln y Vasco- llevaban casi diez aos en el cargo en el momento que
fueron entrevistadas. Ninguna de las restantes asume su cargo antes de 1995 y en
algunos casos llevaban poco tiempo en el cargo en el momento de la realizacin de la
entrevista. Esta diferencia de antigedad marca un discurso distinto, ms elaborado no
slo respecto a la evaluacin sino tambin respecto a las polticas de igualdad, la
perspectiva de gnero, etc.
Por lo tanto, con alguna excepcin, tambin tiende a ser ms elaborado el
discurso de las responsables que llevan ms tiempo en el cargo.
3) Las responsables que tienen un pasado poltico anterior, especialmente
relacionado con organizaciones feministas vs. las que no lo tienen
Parece que la experiencia poltica y/o feminista previa al cargo tambin influye
en el discurso de las responsables. Adems, as como las primeras directoras de los
organismos de igualdad se destacaban por tener experiencia previa en organizaciones
feministas (por lo tanto las que llevan ms tiempo en el cargo suelen tener esta
caracterstica), no es as con las directoras de los organismos de igualdad a partir de
4Vanse
los criterios de seleccin de experiencias a metaevaluar expuestos en el captulo cuatro.
5 En el caso de la Comunidad de Madrid, aunque el concurso pblico para la adjudicacin de la primera parte
del estudio de evaluacin se falla en Noviembre de 1996 (cuando ya est incorporada Asuncin Miura,
Directora General bajo cuyo mandato se realiza la evaluacin), el proceso ya haba sido tcnicamente iniciado
anteriormente -a principios del ao 1996-.
_______________________________________________________________________________________
390

____________________________________________________________________________________________________________
1995, especialmente si los partidos que asumen el gobierno son de corte conservador,
ya que entre las filas o simpatizantes del Partido Popular es ms difcil encontrar
mujeres que tengan una militancia feminista.
En este caso, pues, las directoras que han tenido un pasado de militancia
feminista tienen un discurso sobre las polticas de igualdad de gnero -y esto tambin
se traduce en el discurso sobre la evaluacin de las mismas- que el resto.
4) Las responsables en gobiernos de otros partidos vs. las responsables en gobiernos
del partido conservador
En el perodo en el que se realizaron las entrevistas (entre mayo de 1997 y
septiembre de 1998), tanto el gobierno central como el de nueve de las 15
comunidades autnomas a cuyas responsables de los organismos de igualdad se
entrevistan, estn a cargo del Partido Popular (Aragn, Asturias, Baleares, Castilla y
Len, Galicia, Madrid, Murcia, La Rioja y Comunidad Valenciana)6.
Aunque las diferencias son menores de lo que cabra esperar, ya que el discurso
pro igualdad de gnero se ha ido generalizando en todas las tendencias polticas
incluidas las conservadoras, se encuentran discursos diferenciados en el sentido de
que las responsables de organismos cuyos gobiernos son conservadores tienen un
discurso menos elaborado, ms reciente y algo ms ingenuo respecto a las
polticas de igualdad de gnero. En cualquier caso, tienen un discurso poco
conservador respecto al gnero y esto, y en algunos casos se reconoce, les trae ms de
algn problema en el seno del partido al que representan. En definitiva, son las
encargadas de impulsar polticas que son progresistas en el nombre de un partido
conservador y esta circunstancia, de por s, puede ser contradictoria.
Porque adems, y esto te lo digo... grbalo o no lo grabes, como quieras, pero
el estar en determinado grupo poltico, tambin influye mucho. (...) No hay que
engaarse eh?, hay un cierto sector que es muchsimo ms reacio. Entonces
para ese sector ests haciendo demasiado, y para el otro grupo, te ests
quedando corto. Cundo lo haces bien?
En el discurso de las responsables conservadoras, la edad aparece como un
factor clave a la hora de encontrar apoyo o comprensin de las polticas que estn
llevando a cabo. Para ellas, en su entorno poltico hay diferencias segn la edad: la
gente joven de sus partidos -casi todas ellas lo son- tiene ms asumido el discurso de
la igualdad que la gente mayor. Esto lleva a que en sus discursos aparezca a menudo
la afirmacin de que ellas no han sido discriminadas porque son jvenes y es distinto,
aunque se dejen entrever algunas contradicciones al respecto.
El gobierno canario es una coalicin entre el PP y Coalicin Canaria. En el caso del Instituto Canario de la
Mujer -adscrito a la Consejera de Empleo y Asuntos Sociales- est dirigido por una mujer perteneciente a
Coalicin Canaria. Los gobiernos de las comunidades autnomas de Aragn, Asturias y Baleares cambian de
signo poltico en las elecciones de 1999, pasando a ser coaliciones de partidos autonmicos con el PSOE.
_______________________________________________________________________________________
391

____________________________________________________________________________________________________________
Pues decirte que hay una parte de, de... no s como decrtelo... experiencia
personal, no?, porque habiendo muchas diferencias, porque las hay, por
ejemplo mi caso personal, yo no creo que a m me hayan discriminado nunca,
pero es que yo posiblemente o t en este caso, a lo mejor somos gente
privilegiada
Y ms tarde, la misma responsable ante la pregunta de si se ha sentido alguna
vez discriminada:
Muchas, muchsimas. Y salir de reuniones con impotencia y dando un
puetazo encima de la mesa muchsimas. Muchas, la mayora. Cuesta mucho,
es que cuesta mucho. Cuesta mucho
En cualquier caso, parece que las responsables conservadoras entrevistadas se
han enfrentado, por primera vez, a una determinada forma de ver y definir un
problema pblico en el momento en el que asumen el cargo y, a lo largo de su
experiencia en l, van asumiendo un discurso que realmente no se diferencia tanto del
de otras responsables representantes de otros partidos polticos. De hecho, la mayora
de las responsables (de diferentes tendencias ideolgicas) piensa que las actitudes
ante la desigualdad de gnero dependen ms de factores personales que ideolgicos,
incluida la idea de que no necesariamente por ser mujer alguien debe tener una
postura de gnero asumida7. Creemos que ste puede ser un posible indicador de
cmo la posicin de femcrata puede hacer asumir posiciones feministas que antes
no estaban tan presentes o elaboradas. En definitiva, parece que a estas responsables
les falta algo ms de rodaje en una arena de alguna forma novedosa para el mbito
poltico en el que se mueven.
Y entonces todo esto me sirve para de alguna forma integrar esfuerzo y si lo
tena yo claro cuando vine, ahora lo tengo todava mucho ms claro
5) El bagaje profesional de las responsables polticas
Al ser la evaluacin de programas y polticas pblicas algo tan nuevo y reciente
en las administraciones pblicas espaolas, y al no haber una formacin especfica
sobre la misma, el bagaje profesional y de estudios de las responsables condiciona de
alguna manera la forma de entender la evaluacin.
En este caso, hemos encontrado alguna diferencia entre las responsables que
vienen de un bagaje profesional relacionado con las ciencias sociales (ms que las que
vienen de las ciencias jurdicas, de la salud o las relacionadas con el mundo
empresarial), que parecen entender algo mejor lo que significa evaluar programas
pblicos. Especialmente, si vienen del mbito del trabajo social, por la tradicin que
7 En ms de un caso aparece en el discurso la idea de que hay mujeres-hombres, especialmente si han

llegado a posiciones de poder que, por haber llegado a dichas posiciones, pueden llegar a ser ms machistas
que algunos hombres que, por factores personales, pueden ser ms sensibles al discurso pro igualdad.
_______________________________________________________________________________________
392

____________________________________________________________________________________________________________
en Espaa han tenido estos estudios de tratar el tema de la evaluacin y de dar

importancia a la documentacin y gestin de la informacin de los programas,
parecen tener un discurso algo ms elaborado sobre la evaluacin. Este es el caso de
las responsables entrevistadas de Canarias y La Rioja, en ambos casos trabajadoras
sociales.
Estas cuatro dimensiones o polos interactan entre s. Es decir, en algn caso, una
responsable tiene un discurso muy elaborado sobre las polticas de igualdad de gnero
porque, aunque no tenga mucha antigedad en el cargo, tiene un pasado de militancia
feminista y tiene muy incorporado el discurso de gnero, y adems tienen un bagaje
profesional que le permite tener una idea ms aquilatada de lo que es la evaluacin de
programas. En general, respecto al discurso de la evaluacin en concreto el primer polo o
dimensin mencionada (haber estado directamente implicada en la evaluacin) parece ser el
ms importante y para el discurso de las polticas de igualdad en general, el tercero
mencionado, ya que haber tenido o estar cercana a una militancia feminista ofrece muchas
ms probabilidades de tener un conocimiento profundo sobre cuestiones de gnero.
Una vez expuestas las diferencias en los discursos y las causas que hemos
identificado de las mismas pasamos a exponer las caractersticas comunes o tendencias que
hemos encontrado. Para exponer este discurso de las responsables polticas sobre la
evaluacin de las polticas de igualdad de gnero, diferenciamos cuatro puntos. En primer
lugar, las ideas asociadas a la evaluacin adems de sus actitudes hacia la misma, es decir,
qu piensan sobre y cmo se sitan ante la evaluacin. Estas las agrupamos en siete ejes:
expectativas mgicas, necesidad de la evaluacin, propiedad para los organismos, confusin
con anlisis de la situacin de la mujer, visin tcnica, lo cuantitativo y el seguimiento. En
segundo lugar, exponemos los porqus de la evaluacin, es decir, la utilidad simblica que
las responsables polticas le dan a la evaluacin (para qu creen ellas que puede servir, para
qu les ha servido a ellas), as como sobre qu y cmo deben evaluarse las polticas de
igualdad. En tercer lugar, se identifican y analizan qu cosas proponen que se deben evaluar
y cmo. Y por ltimo, tambin se exponen las dificultades percibidas por estas responsables
a la hora de poner en prctica un proceso de evaluacin de un plan de igualdad de gnero,
ya que el constructo de dificultades es uno de los principales hilos conductores de su
discurso.
_______________________________________________________________________________________
393

____________________________________________________________________________________________________________
2. LA EVALUACIN: IDEAS ASOCIADAS Y ACTITUDES ANTE LA

MISMA
En este punto se analizan las ideas que las responsables entrevistadas tienen asociadas
a la evaluacin, as como las actitudes ante la misma. En su discurso hemos encontrado
ciertas expectativas mgicas sobre la evaluacin, contribuyendo as a un discurso simblico
sobre la necesidad de la evaluacin, normalmente poco elaborado: la evaluacin debe
hacerse ms por una necesidad incuestionable que por una conveniencia real. En general, la
evaluacin se concibe como algo sobre todo tcnico y que est asociada de forma especial a
la medicin de los resultados de los planes evaluados, y adems de forma numrica y
cuantitativa. Finalmente, la evaluacin de los planes es algo propio de los organismos de
igualdad, aunque a veces se conciba slo o bien como evaluacin externa o bien se
confunda con lo que sera el seguimiento de la gestin de los planes. A continuacin, se
desarrollan estas ideas ms pormenorizadamente.
2.1. Entre las expectativas mgicas sobre la evaluacin y una visin ms realista
El discurso que sobre evaluacin tienen las responsables polticas de los organismos
de igualdad en el nivel central y en el autonmico contiene ciertas expectativas mgicas
sobre evaluacin, especialmente si en los organismos de igualdad no se tiene experiencia
evaluadora. Es ms, a mayor experiencia y a mayor implicacin de la responsable poltica
en la evaluacin, visin ms realista y ajustada de los procesos evaluativos.
De esta manera, para las responsables con menos experiencia en evaluacin, cuando
se trata de hablar sobre la evaluacin, su potencia y posibilidades son mltiples: se habla de
medicin de impactos, de cmo la evaluacin permite saber en qu se ha cambiado y, sobre
todo, en la necesidad de la evaluacin para la planificacin de los planes subsiguientes. Sin
embargo, para las responsables con mayor implicacin en los procesos de evaluacin, es
decir, las que saben ms sobre evaluacin, tienen una visin mucho ms ajustada y realista
sobre la misma. Hablan mucho ms abiertamente de las dificultades que entraa la
evaluacin y mencionan la prctica imposibilidad de la medicin de impactos, o ms
sabiamente an, no de la imposibilidad, sino de la poca pertinencia de invertir la cantidad
de esfuerzos y recursos que ello conlleva cuando, a lo mejor, la informacin que arrojara
no sera tan importante o crucial; es decir, porque no merecera la pena. Por ejemplo, para
la responsable catalana, los estudios de impacto son carsimos y para la responsable vasca,
la evaluacin que se realiz para medir el impacto de una campaa de sensibilizacin sobre
los malos tratos, no mereci la pena.
Respecto a la utilizacin de la evaluacin, tambin las responsables menos
experimentadas tienen expectativas algo mgicas. Incluso, en algunos casos, llegan a
afirmar contundentemente el uso de sus evaluaciones en trminos en los que resulta
_______________________________________________________________________________________
394

____________________________________________________________________________________________________________
imposible, dados los estudios realizados. Por ejemplo, el discurso de una responsable en
cuyo organismo se ha realizado un estudio sobre la situacin de la mujer durante los aos
de vigencia del plan pero en el que no se ha estudiado ningn aspecto relacionado
directamente con el plan, es el siguiente:
Por eso la evaluacin a m me pareca fundamental, por ejemplo, para insistir
en determinadas cuestiones un poco ms en este tercer plan, que es lo que ms
nos est costando, cmo recoger cuestiones de otros planes sin repetir... cmo
introducir en este tercer plan alguna cuestin que nos parezca fundamental de
los planes anteriores, o por lo menos del anterior que es del que hemos hecho
la evaluacin.
Sin embargo, en este ejemplo concreto, dadas las caractersticas del estudio en
cuestin, slo se ha podido obtener una orientacin general sobre el problema a abordar
(algunos indicadores de desigualdad de gnero), pero en ningn caso informacin sobre el
plan evaluado en concreto.
Aqu tambin hay que mencionar el componente simblico y retrico que ha ido
adquiriendo el discurso sobre la evaluacin en los ltimos aos. La evaluacin es buena y
necesaria, incluso dicho de forma contundente, aunque no se haya hecho nunca ni se hayan
invertido recursos o esfuerzos en ello. Aunque se trate del discurso de responsables en
cuyos organismos no se hubiera realizado ningn tipo de evaluacin en el momento de la
entrevista o se hubiera evaluado de forma claramente deficitaria, con muy poca utilidad
final, la necesidad, conveniencia y potencia de la evaluacin, al menos en el nivel
simblico, aparece de forma clara.
... cualquier programa poltico tiene precisamente como una fase muy
importante la evaluacin del programa. O sea, que nosotros ... , porque es
obvio que los programas se tienen que evaluar
Hombre, a m me parece que trabajar sin evaluar, y no entiendo cmo se
puede trabajar sin evaluar, es decir, el saber en cada momento para qu est
sirviendo lo que estamos haciendo, a m me parece que es fundamental, pero en
todos los aspectos de cualquier trabajo, porque si no es dar palos de ciego y
adems es no rentabilizar el trabajo que se est haciendo
Yo creo que es absurdo llevar una accin a cabo si no se evala (por parte de
una responsable de un organismo en el que no se haba hecho nada de
evaluacin)
Sin embargo, las responsables experimentadas son ms realistas tambin en lo que se
refiere a su utilizacin. De acuerdo con la teora ms reciente8, para la elaboracin de
planes subsiguientes, la evaluacin es slo una de las fuentes de las que se bebe, entre otras
muchas. Por ejemplo, para una de estas responsables experimentadas, la evaluacin del II
8
Vase captulo uno, punto 1.3.4.

_______________________________________________________________________________________
395

____________________________________________________________________________________________________________
Plan se utiliz para la elaboracin del III, pero tambin se utilizaron, en igual o mayor
medida, un estudio de la situacin social de la mujer en esa regin, la Plataforma de Accin
de la IV Conferencia Mundial de la Mujer en Pekn y el IV Programa de Accin
Comunitario de la UE.
2.2. La inevitable necesidad de la evaluacin vs. la conveniencia de la misma

Relacionada con la idea anterior, mientras las responsables menos experimentadas en
evaluacin fundamentan la necesidad de la evaluacin porque s y como parte inherente al
propio proceso de intervencin (sin explicar las razones del por qu o para qu va a ser
necesitada), las responsables ms experimentadas, sin embargo, afinan ms e insisten no
tanto en la ineludible necesidad de la evaluacin, sino en su conveniencia para muchos
otros fines: como propio instrumento de intervencin para ir sensibilizando sobre la
perspectiva de gnero, para pinchar y pedir cuentas al resto de las unidades
gubernamentales, para difundir y hacer ms visibles las polticas de igualdad de gnero e
incluso para que las administraciones pblicas se vayan acostumbrando a evaluar.
2.3. La evaluacin como algo propio de los organismos de igualdad

En todo momento, las responsables polticas asumen que la responsabilidad de la
evaluacin de los planes reside en los organismos de igualdad que los impulsan y ellas
dirigen. Es decir, pueden reivindicar la necesidad de colaboracin del resto de las unidades
gubernamentales en la recopilacin de informacin y, como se ha comentado antes, la
evaluacin puede servir para conseguir precisamente una mayor implicacin de dichas
unidades en las polticas y planes de igualdad. Pero la concepcin, el diseo y el anlisis
valorativo corresponde a los organismos de igualdad. En definitiva, aunque ellas se sienten
ms impulsoras que ejecutoras de las polticas de igualdad9, y todo su discurso gira en torno
a la necesaria implicacin de otros en dichas polticas, la evaluacin es netamente suya.
Adems de impulsoras, diseadoras, coordinadoras y seguidoras (vigilantes), son
claramente las evaluadoras de dichas polticas.
Sin embargo, este discurso no aparece con la suficiente fuerza. As como tienen claro
que su funcin principal es el impulso de las polticas de igualdad, no ocurre lo mismo con
la funcin de evaluacin que aparece, ms bien, como algo residual o tangencial. Es decir,
si se habla de evaluacin, ellas asumen la responsabilidad, pero esta funcin no se ve como
algo especfico y crucial de los organismos de igualdad, salvo en el caso del Instituto Vasco
Aqu existe una excepcin y es la Direccin General de la Mujer de Extremadura que en realidad funciona
ms como un organismo ejecutor que impulsor de las polticas de igualdad. De hecho, en Extremadura hubo
un primer plan aprobado en el ao 1991 y nunca se ha llegado a formular un segundo, entre otras cosas
porque no tienen tiempo de hacerlo, ya que estn ocupadas en la ejecucin directa de muchas actividades.
_______________________________________________________________________________________
396

____________________________________________________________________________________________________________
de la Mujer. Para ellas la evaluacin es una prioridad y, por lo tanto, es lgico que se note
en el discurso de su responsable todos los esfuerzos y energas invertidas en ello.
2.4. Una evaluacin ms integral vs. una evaluacin asociada exclusivamente a los
resultados
Muchas de las evaluaciones que se han realizado se centran, sobre todo, en el grado
de cumplimiento del plan que, como se ha visto anteriormente, consisten en una
evaluacin de los productos o outputs del plan -con diferente grado de sofisticacin segn
la experiencia de evaluacin de la que se trate-. En algunos casos esta evaluacin consiste
exclusivamente en una descripcin o enumeracin de lo que se ha hecho en cada una de las
reas del plan evaluado. Sin embargo, en el discurso de las responsables, se deja entrever
una asociacin de la idea de evaluacin a una evaluacin de los efectos o impactos del plan
(outcomes), es decir, lo que se consigue modificar por el plan. En realidad, esta idea tiene
que ver, de alguna forma, con las expectativas mgicas sobre la evaluacin que se han
encontrado en el discurso de algunas de las responsables. Sin embargo, no aparece
prcticamente (exceptuando las responsables con ms experiencia en evaluacin) la idea de
una evaluacin de diseo y de proceso y que contemple la evaluacin de las estrategias de
transversalidad, coordinacin, etc.
Esta visin de la evaluacin como medicin de efectos tiene que ver tambin con la
confusin, que se encuentra en muchos discursos, entre la evaluacin de los planes y las
polticas con el diagnstico de la situacin social de la mujer. En cualquier caso, si se
hablara de evaluacin de efectos, se tratara de la medicin de los efectos netos (lo que ha
ocurrido por el plan y no debido a otros factores), y sin embargo de lo que se habla, en
muchos casos, es de la necesidad de tener datos sobre la realidad sobre la que hay que
intervenir. Es decir, se confunde la evaluacin de la accin de los poderes pblicos con el
estudio o investigacin del problema que se quiere abordar. En el siguiente verbatim se
puede apreciar que de lo que se habla es de un anlisis del problema de la igualdad, sobre
datos que demuestren que la desigualdad de gnero sigue existiendo y hay que actuar sobre
ella, pero no sobre si es efectivo o no el plan correspondiente.
Yo creo que esta es la principal fuerza de la evaluacin, del plan, el que te d
argumentos para continuar las polticas pblicas para la igualdad, porque hay una
tendencia a decir que ya esta todo solucionado: las mujeres trabajan, se han
incorporado al mundo laboral, no se que ms queris. Este discurso esta ah, y con
la evaluacin te das cuenta de que s, de que queremos ms porque la igualdad de
oportunidades no existe en muchos casos, se ha avanzado mucho pero hay muchos
puntos flojos an, con lo cual te da esta fuerza la evaluacin sobre todo frente a los
departamentos para que destinen presupuesto y que tengan presente las acciones de
igualdad en toda su planificacin propia.
Aqu se deja entrever la necesidad de investigacin y datos que existe en torno a las
polticas de igualdad. Hacen falta estudios e investigaciones sectoriales, observatorios de
_______________________________________________________________________________________
397

____________________________________________________________________________________________________________
igualdad y perspectiva de gnero en todas las investigaciones relacionadas con el problema

(educacin, sanidad, cultura, medioambiente, trabajo, etc...). Y esta necesidad es la que
hace que se aprovechen situaciones de evaluacin para matar dos pjaros de un tiro
como dice una de las responsables de uno de los organismos que hace un estudio de la
mujer en lugar de una evaluacin de su plan. Esto hace que se den situaciones confusas en
las que no se hace bien ni una cosa (evaluacin) ni la otra (investigacin), y que hace que
las responsables polticas tengan una idea equivocada de lo que es y significa la funcin de
evaluacin de las polticas pblicas.
En algunos casos s se distingue bien la evaluacin de la investigacin en el discurso
de las responsables, como es el caso de Andaluca, aunque el hecho de que se aproveche el
estudio de evaluacin para introducir en l un estudio sobre la situacin social de la mujer
paralelo, hace ms fcil que haya una cierta confusin. As, cuando se le pregunta a su
responsable sobre qu informacin de la evaluacin le interesa ms, responde, en primer
lugar, que la evolucin de las mujeres.
2.5. La evaluacin como algo tcnico

Aunque es evidente que, adems del componente tcnico que indudablemente tiene, la
evaluacin tiene un importantsimo componente poltico, y aunque esto est ampliamente
reconocido por la comunidad cientfica y desarrollado en la teora y la prctica de
evaluacin10, no parece que est plenamente asumido por la mayora de las responsables
polticas. Ms bien la idea que se extrae de forma general en el discurso es que la
evaluacin es algo exclusivamente tcnico. En muchos casos, ellas mismas se declaran
inexpertas y apelan a los profesionales o a los tcnicos que la han realizado.
Lo que pasa es que de la evaluacin ms de lo que dice el libro (publicacin sobre
la evaluacin), yo no te puedo decir
De hecho, y esto nos parece un indicador claro de esta idea, en uno de los casos se nos
deneg inicialmente la entrevista con la directora del organismo de igualdad, alegando que
para hablar de evaluacin debamos entrevistarnos con el responsable tcnico de la misma.
Slo despus de insistir en que lo que interesaba era su posicin como responsable poltica
de la evaluacin, la directora accedi a ser entrevistada.
2.6. La evaluacin como medicin cuantitativa y relacionada con indicadores

Claramente y de forma dominante, la evaluacin se entiende como medicin
cuantitativa. La idea de evaluacin est asociada a la idea de indicadores y, en este
concepto, se incluye no slo la medicin cuantitativa sino tambin la idea de tener
10
Vase captulo uno, punto 1.3.2.

_______________________________________________________________________________________
398

____________________________________________________________________________________________________________
clarificado qu se quiere evaluar y los baremos para hacerlo (saber qu es lo que se puede
ser valorado como satisfactorio). Pero siempre con nmeros, ndices o porcentajes. Es lo
que tiene credibilidad y lo que ofrecera seguridad a las responsables tanto interna como
externamente, es decir para justificar las polticas de igualdad de gnero y la accin pblica
de la que son responsables. Para eso ellas necesitan:
poner ndices numricos que avalen el cumplimiento o
que me cambien las estadsticas
Aunque en algunos casos se mencionan los estudios de evaluacin que han utilizado
tcnicas cualitativas de recopilacin y anlisis (entrevistas y grupos de discusin), esto
aparece de forma muy tangencial y, de hecho, en el discurso de las responsables, se
equipara prcticamente la evaluacin a la medicin numrica.
2.7. La evaluacin o bien como seguimiento o bien como evaluacin externa

En el discurso de las responsables polticas muchas veces se utiliza el concepto de
evaluacin como sinnimo del seguimiento del plan, es decir con el control de su gestin y
la simple comprobacin de que las cosas se estn haciendo tal y como se tena previsto, del
calendario y del gasto. Efectivamente, el seguimiento tambin ha sido y es una carencia de
los organismos de igualdad que, adems, tiene que ver con los sistemas de informacin y
con la recopilacin de informacin, condiciones esenciales para una evaluacin. De hecho,
de la existencia de un buen seguimiento y unos adecuados sistemas de informacin depende
la posibilidad y el xito de la evaluacin. Pero la evaluacin va mucho ms all del
seguimiento y el control de la gestin y, esto, no parece estar del todo asumido por las
responsables polticas de los organismos de igualdad.
Esto tambin tiene que ver con la equiparacin que tambin se hace, en algunos casos,
de evaluacin a estudios de evaluacin externa. La evaluacin no slo es algo tcnico, sino
que debe ser algo externo, ya que esta externalidad otorga credibilidad al estudio realizado.
Si se analizan estas dos circunstancias, se comprueba, una vez ms, cmo la funcin de
evaluacin no llega a estar asumida del todo como algo propio, como una funcin interna y
propia de los organismos de igualdad. Es decir, o bien se limita al seguimiento y control de
la gestin si se concibe de forma interna y, si no, es algo que debe hacerse externamente,
por parte de expertos que son los que conciben, disean y valoran los estudios realizados, es
decir, en los que el organismo no tiene mucho que decir. De hecho, son muy pocas las
experiencias analizadas en las que se asume la evaluacin como algo propio y la funcin de
evaluacin est realmente asumida y desarrollada de manera interna -aunque se requiera de
asesoramiento externo en un momento dado-.
_______________________________________________________________________________________
399

____________________________________________________________________________________________________________
3. PARA QU SIRVE EVALUAR? LA UTILIDAD DE LA

EVALUACIN
Tambin resulta interesante analizar el discurso de las responsables polticas en lo

que se refiere a las funciones que para ellas cumple la evaluacin y para qu les sirve y les
resulta til. Para exponer el anlisis, se tienen en cuenta las tres funciones bsicas de la
evaluacin: mejora, rendimiento de cuentas e iluminacin para acciones futuras.
Respecto a la funcin de mejora de la evaluacin, el discurso de las responsables
tiene un alto carcter simblico: se menciona esta funcin de forma un tanto vaca y
abstracta y realmente no es el porqu al que ms se apela. Las responsables cuyos
organismos han trabajado ms la evaluacin hablan de correccin de tendencias y de
autoaprendizaje. S se menciona, en algunos casos, la idea de que la evaluacin les ha
servido para hacer planes ms realistas, menos generales y abstractos, es decir, la
evaluacin sirve para mejorar la estructura de los planes y hacer una mejor planificacin de
los mismos. Incluso esta tendencia puede llegar a ser peligrosa, ya que podra llegar a
implicar que, para que fueran evaluables, se tendera a hacer planes demasiado sencillos,
como se podra dejar entrever en el siguiente extracto de discurso:
...pusimos unas actuaciones y unos objetivos sencillos y, bueno, que a la hora de
evaluar nos diera un alto grado de cumplimiento
La responsabilidad o rendimiento de cuentas es una funcin que est algo ms
presente en el discurso de la evaluacin, aunque en algunas ocasiones de forma un tanto
sesgada y que no es sino el reflejo de la propia cultura poltica de los espaoles y espaolas.
En algunos casos no se menciona el rendimiento (de ellas como responsables de las
polticas pblicas de igualdad de gnero), sino la peticin de cuentas, es decir se seala
cmo la evaluacin debe servir para pedir cuentas a las asociaciones o colectivos que
obtienen una subvencin, pero en ningn momento esto se relaciona con un rendimiento de
cuentas hacia la ciudadana. En otras ocasiones, cuando se menciona el rendimiento de
cuentas, se hace hacia las instituciones -por ejemplo, el Parlamento- y esto no incluye
tampoco la ciudadana.
Pero no es la intencin, justificarse no es la intencin. Tu te puedes justificar ante el
parlamento si tu quieres, pero no ante la ciudadana, me entiendes?
Incluso, en otras ocasiones se habla del rendimiento de cuentas al partido poltico al
que se pertenece, sin mencionar en ningn momento otro tipo de obligacin. Resulta
curioso cmo la fuerte disciplina de partido existente en nuestro sistema poltico llega hasta
tal punto que hace que una responsable poltica sienta ese rendimiento de cuentas ms
importante que el que debe hacer al propio poder legislativo o a la misma ciudadana a la
que se supone que est sirviendo.
_______________________________________________________________________________________
400

____________________________________________________________________________________________________________
En otros casos s se habla de dar cuenta de los resultados de la poltica aunque,

insistimos, la ciudadana no aparece en ningn momento como objeto de dicho rendimiento
de cuentas ni siquiera como constructo relacionado con la evaluacin de las polticas. S se
menciona el rendimiento de cuentas a los Consejos de los organismos de igualdad y al
Parlamento (en los casos en los que es as -Andaluca, Catalua y Pas Vasco-). Y en la otra
direccin -la peticin de cuentas- se menciona a las otras unidades o departamentos
gubernamentales que se supone deben tener una responsabilidad en las polticas de igualdad
horizontales. Esto s aparece en el discurso de las responsables, especialmente en las ms
experimentadas. La evaluacin sirve, adems, para implicar horizontalmente y para pedir
cuentas a otros departamentos.
te sirve para empezar a meter dedos en ojos de otros departamentos
Esta peticin de cuentas a los otros departamentos, adems, es una forma de
intervenir, convirtindose la evaluacin en un propio instrumento para dicha intervencin.
La evaluacin sirve para sensibilizar...
.. prepararles una ficha para adems darles ideas
Una reflexin que realizamos a raz de analizar la idea que las responsables polticas
de los organismos de igualdad tienen sobre el rendimiento de cuentas, es el fuerte
componente gubernamental de las polticas pblicas de igualdad en Espaa y la poca
centralidad y participacin real que el movimiento social y de mujeres tiene en las mismas.
Para las responsables polticas el rendimiento de cuentas y responsabilidades se hace a las
instancias superiores, bien sea al poder legislativo, al gobierno o, incluso, al partido
poltico. Sin embargo, hacia los iguales -otros departamentos- o al movimiento social y de
mujeres se les pide, y no se les rinde, cuentas.
La tercera funcin de la evaluacin -la iluminacin para acciones futuras- es la que
menos aparece en el discurso de las responsables. Las nicas que parecen estar preocupadas
por reflexionar acerca de lo que significan los planes, por categorizar y saber distinguir lo
que se entiende o no por acciones positivas, son las vascas y, en cierto modo, las catalanas.
Pero, en general, no parece que la evaluacin pretenda utilizarse para hacer una reflexin
sobre cules deberan ser las polticas de igualdad de gnero en un futuro, o cul podra ser
su posible evolucin.
Adems de las tres funciones bsicas de la evaluacin, en el discurso de las
responsables se deja entrever una preocupacin y un papel claro de la evaluacin en la
proporcin de datos e informacin. Ya se ha comentado la falta que parece existir, en
torno a las polticas de igualdad de gnero, de datos e informacin especfica que permita
una lectura profunda del problema pblico que se pretende abordar -la desigualdad de
gnero- y que justifique la existencia y necesidad de las acciones pblicas en pro de la
igualdad. Y esto se deja entrever en el discurso de las responsables. En general, estn
vidas de datos, de investigacin, y de un mejor conocimiento del problema y de la realidad
sobre la que deben actuar. Es posible que ellas estn convencidas de la necesidad de actuar
en determinados mbitos, pero necesitan mucha informacin fiable y creble para convencer
_______________________________________________________________________________________
401

____________________________________________________________________________________________________________
a los dems ya que el xito de su poltica depende de esta capacidad de convencimiento.

Esta necesidad de informacin y datos sobre el problema a abordar parece tan acuciante que
hace que se le pida a la evaluacin funciones que no son estrictamente suyas: el hecho de
que se evalen los planes y las polticas no obvia la necesidad de investigacin sobre el
problema de la desigualdad de gnero.
Unido a esto, tambin se menciona la funcin de documentar los programas y
planes que, de por s, son novedosos; y la idea de difundir publicando, aunque esto se
encuentra nicamente en uno de los casos, ya que la utilizacin de la evaluacin parece que
se concibe ms de forma interna. Por ltimo, tambin encontramos la idea de que la
evaluacin sirve o ha servido, en algn caso, para hacer ms visible el organismo de
igualdad y el propio plan evaluado, e incluso para reafirmarse.
Sin embargo, ocurren dos fenmenos en el discurso de las responsables que tienen
que ver con la utilidad de la evaluacin y que consisten, por un lado, en lo que podramos
llamar ilusin de utilidad y, por otro, en la poca capacidad de sorpresa que las
responsables otorgan a la evaluacin.
Respecto a la ilusin de utilidad, las responsables dicen que utilizan la evaluacin
ms de lo que en realidad parecen hacerlo. En algunos casos, se habla de lo til que ha
resultado la evaluacin, sabiendo que el informe de evaluacin estuvo listo casi a la vez que
se aprobara un plan, por lo que es difcil pensar en una utilidad real. En cualquier caso, le
dan ms utilidad y potencia a las evaluaciones de la que, objetivamente, pueden tener. En el
fondo, parece ms una cuestin de fe que algo realmente basado en la realidad. Como
muestra, se expone aqu un extracto del discurso de una de las responsables, ante la
pregunta de la entrevistadora sobre cmo se relacionaban unos datos de la evaluacin (el
incremento de mujeres universitarias) con las medidas de su plan en concreto (se trata de
una experiencia en la que se hace un estudio de la situacin de la mujer y no una evaluacin
del plan).
En algunos casos s y te soy sincera, en algunos casos se ve clarsimo que hay una
relacin, en otros no, pero digo yo que algo habr contribuido el plan,(...) algo
tendr que ver, tampoco, te soy sincera, no quiero decir con esto que s puede inferir
de una forma causa y efecto inmediato, pero s desde luego que algo habr tenido
que... yo quiero creer que algo ha tenido que ver todas esas acciones. Pero tambin
te soy sincera, porque como el plan no estaba temporalizado y no estaba concreto,
los indicadores son un poco tambin genricos, y por lo tanto no te puedo decir a
ciencia cierta que esto es por esto, pero algo habr contribuido. (subrayado mo)
Es decir, a la evaluacin se le asignan bondades que realmente no ha tenido, como
por ejemplo, en este caso, constatar o demostrar no ya una relacin de causa-efecto, sino
una cierta relacin entre variables (entre la existencia del plan y la evolucin de la situacin
de las mujeres).
Por ltimo, sorprende la poca capacidad de sorpresa que han tenido las
evaluaciones para las responsables polticas. Se supone que una evaluacin, para resultar
_______________________________________________________________________________________
402

____________________________________________________________________________________________________________
realmente til, debe aportar algo nuevo, alguna informacin que antes no se tuviera y que
ensee algo sobre el plan o poltica que se est evaluando. Pues esa capacidad de sorpresa
no se deja entrever en el discurso y, solo ante una pregunta directa sobre si haba algo que
les hubiera sorprendido de los resultados de la evaluacin, las responsables contestan, en
muchos casos, algunos datos tangenciales. Incluso en algn caso dicen no acordarse o no
tenerlo en la cabeza presente en ese momento.
_______________________________________________________________________________________
403

____________________________________________________________________________________________________________
4. QU SE DEBE EVALUAR Y CMO?
Como se ver ms adelante, en torno a las experiencias de evaluacin analizadas,

existe poca claridad respecto a QU se quiere evaluar. Esto tiene tambin su claro reflejo
en el discurso de las responsables polticas. En general, las responsables apelan a la falta y a
la necesidad de indicadores preestablecidos, pero no sealan cules. En realidad lo que
estn reclamando es que se les diga qu hay que evaluar de las polticas de igualdad.
Incluso hablan de indicadores comunes para todos los planes, dejando entrever un concepto
de evaluacin nica, tcnica, que sirva para todos los espacios, momentos, polticas y
territorios. En realidad y de nuevo, algo muy ajeno y externo a ellas y a sus
responsabilidades, algo que mgicamente cae del cielo y que no tiene demasiado que ver
con una reflexin interna. En definitiva, reclaman que alguien, con autoridad tcnica, les
diga qu y cmo hay que evaluar. Probablemente tambin la apelacin a datos comunes
tenga ms que ver con la necesidad de datos e investigacin que antes se ha comentado, que
con la propia necesidad de evaluacin.
...evaluar tiene problemas, y de hecho en el Instituto, incluso en ms de una
reunin, hemos estado hablando que a ver si hacemos unos indicadores que sean
iguales para todas las Comunidades Autnomas porque si no hay unos desfases y
unos desbarajustes que son mortales no?
Aqu, en realidad, ms que a la evaluacin de los planes se refieren a realizar sistemas
de informacin u observatorios de igualdad que se coordinen entre s y que recojan datos a
travs de los mismos indicadores.
Este discurso contrasta con el de las responsables ms experimentadas que s parecen
haber hecho una reflexin ms seria sobre qu quieren evaluar (Instituto Cataln e Instituto
Vasco de la Mujer), estableciendo categoras y clasificaciones sobre el tipo de acciones que
se realizan en los planes y preguntndose sobre qu es y qu no es una accin positiva.
Al no existir, en la mayora de los casos, una reflexin previa sobre qu se debe
evaluar, se suple esta carencia apelando a criterios metodolgicos o tcnicos, es decir al
cmo.
Introdujimos no slo lo que era la evaluacin de las medidas, cmo se haban
hecho, cmo no se haban hecho, como se haban implicado las distintas consejeras,
sino tambin se incorporan estudios un poco de encuestas y estudios de campo no?
(Subrayado mo).
Sin embargo, y aunque sea de forma poco clara, s se deja entrever qu es lo que
preocupa a las responsables como objeto de la evaluacin, es decir, sobre qu se debe
evaluar. Aparece el concepto de grado de cumplimiento, que en realidad tiene que ver
sobre todo, con la evaluacin de outputs o productos y, en cierto modo, con el propio
_______________________________________________________________________________________
404

____________________________________________________________________________________________________________
control de la gestin, especialmente en lo que se refiere al control de si las dems unidades

gubernamentales cumplen con su parte o no. Y de ah, prcticamente se pega un salto a
cuestiones de impacto, confundiendo, como ya se ha sealado anteriormente, la medicin
de los efectos netos del plan (lo que se ha modificado por efecto del plan y no de otros
factores) con la monitorizacin del problema sobre el que hay que actuar (desigualdad o
discriminacin basada en el gnero) haciendo un seguimiento de su evolucin.
Cuestiones como el diseo de los planes, si stos son o no el instrumento adecuado y
si se consigue la perspectiva de gnero en el resto de las polticas pblicas, no aparecen
realmente como objeto de la evaluacin en el discurso de las responsables. Ni siquiera la
implicacin del resto de las unidades gubernamentales, y su propia capacidad de persuasin
y convencimiento, que es algo que les preocupa enormemente, se concibe como algo a
evaluar, algo que pueda ser convertido en criterio de evaluacin. Esta carencia la expone
magistralmente la responsable vasca cuando dice que eso es algo que hay que contemplar
en la evaluacin aunque no se refleje en las acciones concretas de los planes:
...para evaluar nuestra propia parte de impulso, no hay acciones para ello, eso
debera estar reflejado en la evaluacin
Efectivamente, si se concibe la evaluacin de los planes exclusivamente como la
evaluacin de las acciones que en ellos se propone, se pierde una perspectiva ms global de
las polticas de igualdad y que tambin debera estar contemplada en su evaluacin. Sin
embargo, y salvo en este ejemplo que hemos puesto, esto no aparece de ninguna manera en
el discurso del resto.
_______________________________________________________________________________________
405

____________________________________________________________________________________________________________
5. DIFICULTADES PERCIBIDAS PARA LA EVALUACIN DE LOS

PLANES DE IGUALDAD
Las responsables sealan toda una serie de dificultades a la hora de evaluar que aqu
se exponen organizadas en torno a tres factores. Dificultades relacionadas 1) con la falta de
cultura de la evaluacin, 2) con la propia complejidad de los planes de igualdad y, 3) con la
transversalidad o concepcin de horizontalidad de las polticas de igualdad de gnero.
Curiosamente, casi todas las dificultades mencionadas no tienen que ver con los
procesos de evaluacin en s, sino con factores previos o en torno a la misma (o bien
falta de cultura o costumbre de hacer evaluacin, o bien dificultades que provienen por los
propios planes y polticas y no por su evaluacin). Slo en el caso del Pas Vasco,
probablemente debido a su larga experiencia en evaluacin y a la antigedad de la
responsable de Emakunde en el cargo, el discurso es ms elaborado respecto a la evaluacin
y se mencionan dificultades inherentes al propio proceso, como son la dificultad de
encontrar la unidad de medida (o de evaluacin), la dificultad de establecer tipologas
vlidas de acciones o, incluso, el peligro de que las administraciones pblicas se engaen a
s mismas, no teniendo suficiente autocrtica. En el resto, las dificultades mencionadas son
ms genricas y, como se ha mencionado anteriormente, no relacionadas directamente con
los propios procesos de evaluacin, sino con el contexto general de los planes a evaluar. Se
describen a continuacin, y de forma pormenorizada, las dificultades sealadas por las
responsables polticas.
5.1. Dificultades relacionadas con la falta de cultura de evaluacin

Las dificultades mencionadas por las responsables relacionadas con la inexistencia de
una cultura de evaluacin son las siguientes:
- Falta de referencias y de experiencias previas de evaluacin. La evaluacin de los
planes es algo nuevo y que tienen que inventarse porque prcticamente no existan
referencias previas conocidas.
- Falta de equipos expertos. En Espaa existen todava, hoy por hoy, pocos
profesionales especializados en la evaluacin de programas. Como deca una de las
responsables, si adems de evaluacin deben saber sobre polticas de igualdad de gnero, es
decir, comprender y ser sensibles a la perspectiva de gnero y la estrategia de
transversalidad o mainstreaming, es mucho ms difcil contar con personas expertas que
puedan suplir la falta de referencias mencionada anteriormente. En palabras de otra de las
responsables (refirindose al equipo externo que realiza la evaluacin), aprenden con
nosotras.
_______________________________________________________________________________________
406

____________________________________________________________________________________________________________
- Falta de una cultura de recopilacin y sistematizacin de datos y falta de unos

buenos sistemas de informacin en las administraciones pblicas. Esto se hace an ms
difcil cuando se depende tambin de otros para recopilar la informacin, como se ver ms
adelante.
- Falta de considerar la evaluacin desde un principio. Dado que la evaluacin no es
una funcin normalizada en el quehacer cotidiano de las organizaciones pblicas, es difcil
considerarla desde un principio y, el no hacerlo as, conlleva dificultades de diseo,
recopilacin de informacin , etc. Curiosamente, esta dificultad relacionada con el tiempo
no se encuentra en el discurso de todas las responsables, sino de las que ya han tenido la
experiencia de la evaluacin. Precisamente, encontramos una visin distinta sobre el tiempo
entre las que no han tenido tanta experiencia y que es, precisamente, un indicador de este
factor de dificultad.
...pero no planteamos todava nada de evaluacin, porque adems nos queda hasta
el ao 2000 (en una entrevista realizada a finales del ao 1997)
...se ha hablado pero no hay nada atado (entrevista realizada a la mitad del
perodo de vigencia del plan del que se trataba de evaluar).
5.2. Dificultades relacionadas con la complejidad de los planes

Se sealan una serie de dificultades que tienen que ver con la propia complejidad de
los planes de igualdad de gnero. Esta complejidad viene dada por el propio contenido de
los mismos, por su integralidad y las diferentes reas o aspectos que contienen. Una de las
consecuencias de esta complejidad e integralidad es la generalidad o abstraccin con la que
son formulados: se tocan muchos aspectos de forma general. Las dificultades mencionadas
por las responsables son las siguientes.
- La generalidad y abstraccin de los planes. Esta caracterstica los hace muy poco
evaluables, ya que al contar con objetivos abstractos, su traduccin en algo operativo que
pueda ser medible o aprehendible es muy difcil. Esta es la dificultad que ms se menciona
por parte de las responsables. De hecho, reconocen que los intentos de evaluacin son los
que han hecho que los planes subsiguientes sean ms realistas.
- La dificultad de medir los impactos. Los efectos que se pretenden conseguir con los
planes de igualdad de gnero son profundos y a largo plazo; de hecho, se pretende una
modificacin profunda de las estructuras y las relaciones sociales y esto, de por s, requiere
de mucho tiempo. Por lo tanto son efectos muy difcil de medir y no existe una teora clara
sobre cules seran los pasos intermedios o los indicios que pudieran indicar que esos
cambios se van produciendo. Las responsables ms experimentadas en evaluacin son
conscientes de la dificultad de poder comprobar de forma fiable dichos efectos.
- La dificultad de medir los costes econmicos de las acciones planteadas en los
planes de igualdad. En los planes hay acciones que son ms fcil de ponderar
_______________________________________________________________________________________
407

____________________________________________________________________________________________________________
econmicamente y otras que menos. Esta dificultad slo se menciona por una de las
responsables ms experimentadas. Pero de hecho, en esta generacin de segundos planes,
slo se calcula el presupuesto empleado en el plan en muy pocas de las experiencias
analizadas. En la mayora, ni siquiera se tiene una idea real de cunto dinero se ha
empleado para la ejecucin del plan evaluado.
5.3. Dificultades relacionadas con la estrategia de la transversalidad de las politicas de

igualdad de gnero
El hecho de que las polticas de igualdad de gnero se conciban como polticas
transversales -algo que debe implicar tambin al resto de las polticas pblicas- conlleva
una serie de dificultades que se traducen tambin, y como es lgico, a la fase de su
evaluacin. De esta manera, muchas de las dificultades de la evaluacin se encuentran en la
propia naturaleza de las polticas y no en la evaluacin en s misma. Esta realidad se
reconoce por parte de las responsables polticas, de tal forma que el discurso sobre las
dificultades de la evaluacin se traslada muy fcilmente hacia las polticas que deben ser
evaluadas. Adems de las dificultades especficas de la evaluacin de las polticas de
igualdad de gnero, esto tambin quiere decir que el discurso poltico sobre la evaluacin
no est muy elaborado por lo que, en general, las responsables polticas huyen hacia
terrenos en los que se encuentran ms cmodas.
Hay dos temas que aparecen recurrentemente en el discurso de las responsables y que
tienen que ver con la estrategia de la transversalidad. Uno de ellos tiene que ver ms
especficamente con la evaluacin y es el de las dificultades en la recopilacin de
informacin: para recopilar la informacin necesaria para el seguimiento y la evaluacin
de los planes, por mucho que se gestione dicha informacin en los propios organismos de
igualdad, se necesita recurrir al resto de las unidades gubernamentales para obtenerla. Esta
es una de las mayores dificultades con la que se han encontrado y tambin tiene que ver con
el segundo tema recurrente que es la falta de implicacin del resto de las unidades
gubernamentales en las polticas transversales de igualdad de gnero. Esta falta de
implicacin se traduce en desinters, incomprensin y tergiversacin de lo que son o deben
ser las polticas de igualdad de gnero. Las dificultades en la recopilacin de informacin
tienen su origen en dicha falta de implicacin.
Para entender cmo las responsables polticas explican el origen de estas dificultades
y para organizar su discurso, vamos a exponer las dificultades sealadas en torno a dos
polos: 1) La propia dificultad del concepto de perspectiva de gnero (siendo dicha
perspectiva de gnero la meta u objetivo y la estrategia para conseguirlo la transversalidad
o mainstreaming) y 2) Las estrategias para la trasmisin de dicha perspectiva de gnero.
1) La perspectiva de gnero es un concepto de difcil aprehensin, no slo por su

complejidad, sino tambin porque implica una revisin profunda de las estructuras sociales,
_______________________________________________________________________________________
408

____________________________________________________________________________________________________________
construidas sobre unas determinadas relaciones entre los gneros. Su asuncin implica
modificar dichas estructuras sociales y realizar un nuevo contrato social entre los gneros.
Aplicado a las polticas pblicas, la perspectiva de gnero significa analizar la realidad,
formular y disear las polticas, ejecutarlas y evaluarlas teniendo en cuenta a las mujeres,
analizando diferencialmente los posibles impactos e implicaciones para uno y otro gnero.
En palabras de una de las responsables, significa ejercitar otra mirada a la realidad,
visibilizando a las mujeres y trabajando por una distribucin real de derechos y deberes ms
equitativa entre los gneros.
La trasmisin de esta idea es difcil y, esencialmente, es lo que tienen que hacer los
organismos de igualdad y sus respectivas responsables, respecto a sus compaeros de
gobierno. Ya que no se trata de hacer polticas verticales dirigidas a la mujer, sino que las
polticas pblicas en general se hagan con perspectiva de gnero. Las responsables se
quejan de que este concepto no est realmente asumido:
no hay un convencimiento profundo de lo que son las polticas de igualdad
Sin embargo, lo que se encuentra en el anlisis del discurso de las responsables es
que, en algunos casos (que coinciden claramente con las responsables que menos tiempo
llevan en su cargo y no vienen de la accin poltica feminista), el concepto de perspectiva
de gnero no est ni siquiera realmente aprehendido por las propias responsables; por lo
tanto, aplican una visin ingenua y simplista del mismo. As, la perspectiva de gnero
consiste, para algunas de las responsables, en que las diferentes unidades administrativas
hagan cosas para mujeres, de forma que dichas actividades puedan consignarse como parte
del plan de igualdad respectivo. Estos son algunos extractos de los discursos que
corroboran esta visin:
Ni las mismas personas, muchas veces, de otras consejeras saben, se dan cuenta
que algunas de las acciones que estn haciendo, estn precisamente incidiendo en
aspectos de la mujer, y a veces me lo dicen, no, no aqu se hace igual para los
hombres que para las mujeres, bueno se hace igual para los hombres que para las
mujeres, pero se est haciendo esto? s, pues si se est haciendo esto, y qu
participacin hay?, pues igual de los hombres que de las mujeres, o ms de las
mujeres, bueno pues ya tenemos que tener en cuenta que entonces es algo que esta
favoreciendo, por lo menos ya se est trabajando en ese mbito en el campo de la
mujer; entonces a lo mejor lo que es importante que ya no se tenga en cuenta desde
la labor del organismo, puesto que ya hay otro que lo est haciendo.
No es que no lo hagan, lo hacen, pero a lo mejor lo hacen inconscientemente, no se
dan cuenta de lo que estn haciendo.
Y dicen: no, es que yo no hago nada para la mujer. Y dices: cmo que no? no
acabas de hacer un curso de no se qu?, ah bueno!, claro!, s, en ese aspecto s;
digo: pues ya est. O sea, cuesta mucho meterlos en... el cerebro y en la cabeza
polticas de igualdad no?.
_______________________________________________________________________________________
409

____________________________________________________________________________________________________________
Esta visin poco elaborada de la perspectiva de gnero va, en algn caso, paralela
incluso a la no asuncin real de la base de partida de cualquier poltica de igualdad y que es
la existencia de discriminacin respecto a las mujeres, al menos no en todos los niveles o
sectores. Entre las responsables de organismos de igualdad pertenecientes a partidos
conservadores, que llevan poco tiempo en el cargo y que no proceden de la accin poltica
feminista, existe una tendencia a la externalizacin de la discriminacin. Es decir, ellas son
unas privilegiadas que no han sido discriminadas nunca, aunque reconocen que hay otros
colectivos de mujeres que s lo estn.
...los funcionarios somos los nicos trabajadores que no sufrimos discriminacin
respecto a la mujer
Las responsables consideran que hay reas de gobierno ms sensibles que otras a
las cuestiones de gnero. Las reas ms sensibles, suelen ser bienestar social, educacin,
trabajo, sanidad, etc. y las que menos economa, industria, agricultura, etc. Adems por el
propio contenido del trabajo, por lo que las reas ms sensibles estaran ms
acostumbradas a trabajar en relacin con las mujeres, para las responsables en realidad
muchas veces esto depende ms de la sensibilidad personal de las personas al cargo.
Preguntadas sobre en qu se basa o que es lo que da esa mayor sensibilidad (casi todas
coinciden que, aunque hay mayor probabilidad de encontrar a polticas mujeres
sensibilizadas, esto no siempre coincide habiendo polticos hombres sensibilizados y
mujeres polticas menos sensibles), casi todas sealan factores de carcter personal,
haciendo referencia a la formacin y a las conductas interiorizadas de cada uno/a.
2) Si el concepto de perspectiva de gnero es difcil, ms an lo es la estrategia

para llegar a la misma, sobre todo lo relacionado con la transversalidad o mainstreaming.
En algn caso, no slo se apela a la dificultad intrnseca sino que tambin se es consciente
de las propias limitaciones, justificndolas a travs de la globalizacin: nadie sabe cmo
hacerlo.
Es cmo conseguir llevar a cabo esa estrategia, el mainstreaming, para m eso seria
muy importante y realmente eso es una cosa que nadie ha dado todava en el clavo.
Porque yo he ido a diferentes seminarios, incluso en la UE en el que se ha debatido
esto, y muy bien, el discurso es muy bonito terico, y cuando llegas a la pregunta de:
Cmo hacer esto?, no hay una respuesta.
La estrategia de la transversalidad o mainstreaming tiene que ver, sobre todo con una
tarea de convencimiento o persuasin al resto de los compaeros de gobierno para que
hagan suyos los objetivos de las polticas de igualdad, ya que no se trata de que las acciones
las lleven ellas sino las unidades administrativas correspondientes. As,
...el diseo de las acciones no es responsabilidad tuya
_______________________________________________________________________________________
410

____________________________________________________________________________________________________________
Para que el resto de las unidades administrativas asuman los objetivos y acciones que
les corresponden, primero hay que convencer a los respectivos responsables polticos de la
necesidad y conveniencia de dichas polticas. Las responsables asumen que esa es una de
las tareas ms importantes que tienen encomendadas, aunque se quejan enormemente de lo
difcil y arduo que a veces resulta. E incluso a veces, dejando entrever que esa no debe ser
una de sus principales funciones.
Adems sabes lo que ocurre?, que la persona, generalmente, que est al frente de
un organismo de igualdad, llega a un momento a que solo se le asocia con mujer, es
decir, fulanita de tal, solo sabe hablar de mujeres. Oiga no, fulanita de tal, puede
hablar de mujeres, pero adems puede hablar de derecho que para eso tiene la
formacin detrs, y ya te encasillan o esta es una histrica que solo sabe hablar de lo
mismo. Hay que ser bastante ms hbil para que no te metan los goles por ah. Y
suele ser un tema que quema. Quema mucho.
Como se puede observar, estas dificultades mencionadas tienen ms que ver con las
polticas de igualdad de gnero en general y no tanto con la funcin de la evaluacin en
particular. Curiosamente, este convencimiento y persuasin que deben realizar y que parece
crucial y para el que encuentran muchas dificultades, no es objeto de evaluacin.
Sin embargo, resulta muy interesante el anlisis de las estrategias que utilizan para
realizar esta tarea de convencimiento y persuasin, ya que esto podra dar lugar a
reflexionar sobre qu se debera evaluar de estas estrategias. A la hora de preguntarlas por
las estrategias que utilizan para convencer y persuadir a los compaeros de gobierno para
que se impliquen en la puesta en prctica de los planes, vemos que son verdaderas maestras,
especialmente las que llevan ms tiempo en el cargo. Analizamos a continuacin las
estrategias mencionadas por las responsables entrevistadas.
En primer lugar, cabe mencionar lo que llamaramos las estrategias formales para
conseguir esa otra estrategia general de la transversalidad. Entre ellas se mencionan, por
parte de las responsables:
- Tener una buena posicin en la estructura gubernamental, esencialmente, estar en el
rea de Presidencia, ya que esto ofrece un mejor punto de partida para dicho
convencimiento.
- Establecer compromisos polticos y estructuras de seguimiento de los planes que
reflejen dicho compromiso poltico. Esto se expresa desde haciendo que pongan
dinero como una forma de compromiso, hasta en la necesidad de que las estructuras
en torno a los planes se formen con gente con responsabilidad poltica y no slo
tcnica. En general, todas coinciden en recalcar la importancia de que el nivel poltico
tenga presencia en las estructuras de seguimiento de los planes. Pero algunas tambin
expresan la importancia de los tcnicos, y de buscar apoyos en los diferentes
_______________________________________________________________________________________
411

____________________________________________________________________________________________________________
departamentos a travs de tcnicas (aqu s hablan en femenino) sensibilizadas.

Adems de ser el personal imprescindible para el desarrollo de los programas, suele
ser el personal con mayor estabilidad.
Hay que preparar a la gente tcnica que es la que va quedando
- En esta lnea, algunas comunidades autnomas han hecho especial hincapi en
realizar campaas de sensibilizacin y formacin especfica para el personal interno
de las administraciones pblicas.
- Curiosamente, slo una de las responsables habla de la importancia de tener el
movimiento social detrs. Y decimos curiosamente porque, en realidad, contar con el
movimiento social y de mujeres como aliado, podra ser una de las mejores estrategias
para ser escuchadas, o al menos podra ser un elemento de presin para tener en
cuenta. Este podra ser otro indicador del carcter fuerte y casi exclusivamente
gubernamental de las polticas pblicas de igualdad de gnero en Espaa.
En segundo lugar, se puede hacer tambin un resumen de las estrategias ms

informales que las responsables de los organismos de igualdad aducen para conseguir
dicho convencimiento y persuasin, especialmente dirigido al resto de sus compaeros de
gobierno. Estas son las siguientes:
1. Apelar a estudios, datos, estadsticas.
Esta es una de las estrategias que ms se mencionan. Y tienen una necesidad
acuciante de ellos. Es la idea de poder demostrar de forma contundente que existe la
discriminacin de gnero y hay que actuar sobre ella. En esto, las responsables dejan
entrever que, en la mayora de los casos, su autoridad sobre un tema se pone en
entredicho, sino es con el aval de unos datos objetivos que demuestren lo que se
dice. Se hace caso no a lo que ellas dicen, sino a lo que dicen los datos. El anlisis de
esta estrategia nos lleva a reflexionar sobre cmo existen determinadas polticas
pblicas, como la que nos ocupa, que estn de forma continua y reiterada en
entredicho, a diferencia de otras que no estn tan cuestionadas. La siguiente estrategia
tambin est relacionada con esta idea.
2. Repeticin y reiteracin.
Es la estrategia de no cejar en el intento, no desesperarse y repetir y reiterar las cosas,
con paciencia. Se trata de llevar a cabo un trabajo diario y cotidiano con las personas
a las que se ha de convencer. En sus propias palabras:
Yo creo que la constancia y pertinaz presencia, no decaer nunca, (...) cuando
voy a ver a un consejero o a un viceconsejero, que me lo pongo como
obligacin, porque es mi obligacin
_______________________________________________________________________________________
412

____________________________________________________________________________________________________________
Presencia constante del discurso de convencimiento

Paciencia revolucionaria (...), hacer de misioneras
.... tienes que volver a empezar el discurso desde un principio, siempre ests
empezando,(...) y tienes que empezar otra vez a convencerlos de la necesidad
de estas polticas, o sea que es lo eternamente puesto en cuestin.
Cmo se lucha?.Pues, siendo muy cabezota. Siendo muy tenaz, y repitiendo
y machacando las cosas siete veces y si no me lo haces pues a la prxima
ocasin volvrtelo a plantear. Siendo muy cabezota. No dndolo por perdido,
porque si te das por vencida ya... Intentando volver al mismo tema, dndole la
vuelta o por otro lado y llorando a veces, sin que te vean eh?. Llegando y
dando puetazos y diciendo: "este to es que no se ha enterado de nada"
3. Apelar a la justicia y a la razn
Para las responsables entrevistadas, se trata de explicar y fundamentar las cosas. En
palabras de una de las responsables, trabajar con la razn. Es decir, se trata de
apelar a la justicia, pero utilizando los razonamientos y la fundamentacin, no la
imposicin directa.
4. Mano izquierda, no enfrentarse frontalmente
Esta es tambin una de las estrategias ms mencionadas. Se tratara de tener posturas
no enfrentadas con los hombres. En definitiva una estrategia de low profile, evitando
la confrontacin directa, curiosamente acorde con una forma ms femenina de ser y
estar en el mundo.
Y como digo yo, hay que ir trabajando, no hacer mucho ruido y cuando se dan
cuenta ya han cado, no, no, no es que hayan cado, cado literal, pero hay que
ser bastante sutil en este tema eh?
Y ah est la clave de todo, el implicar a la gente. Lo que pasa que eso es lo
que te deca yo, hay que ir con mucha mano izquierda. Hay que ir hacindolo
sin que a veces se note mucho lo que ests haciendo
Darle la vuelta a las cosas, tarea de convencimiento, nunca frontalmente. De
modo indirecto
Tu objetivo es convencer. No te puedes poner a la gente en contra. La palabra
feminista sigue teniendo mala prensa. Hay que hacer equilibrios.
Estas cuatro primeras estrategias son las ms mencionadas y, con diferentes matices
se sealan por prcticamente todas las responsables. Las siguientes estn menos
generalizadas, pero tambin se menciona por parte de alguna responsable como
estrategias para el convencimiento.
_______________________________________________________________________________________
413

____________________________________________________________________________________________________________
5. Dar protagonismo a los otros compaeros de gobierno

Curiosamente, esta estrategia de la transversalidad puede implicar estar dispuestas a
perder cierto protagonismo poltico. Se trata de que hagan cosas los dems y, por lo
tanto, tambin se lleven los laureles ellos. Tendra tambin que ver con la idea de
que para implicar realmente, primero hay que dar cancha.
...es importante polticamente ser generoso, sabes, en el sentido de no querer
acaparar protagonismo de ningn tipo y saber que las polticas de gnero no
son cosa de uno, sino cosa de varios.
...invitar a los responsables a comprometerse.
6. Recurrir o apelar a la experiencia personal de los responsables a los que hay que
convencer
Significa estar atentas al factor personal de dichas personas, apelando a su
experiencia personal, por ejemplo, si tienen hijos e hijas.
7. Tener las ideas claras
La responsable que menciona esta estrategia -y que es una de las ms antiguas- es
consciente de que es un tema complejo, con claras imbricaciones ideolgicas y con
consecuencias profundas sobre la propia concepcin de la estructura y las relaciones
sociales. Por lo tanto, tener claro qu es lo que se quiere y qu significa exactamente
la perspectiva de gnero es esencial para no perder la orientacin hacia las metas a
conseguir.
Paciencia, constancia e ideas claras
8. Capacidad de respuesta: estar muy atentas y aprovechar los resquicios
Esto significa capacidad de respuesta, es decir, estar siempre atentas a lo que ocurre
en la sociedad y a lo que est dispuesta la administracin, adems de estar siempre
con toda la disponibilidad para actuar en los momentos ms adecuados.
9. Utilizar el humor
Esta estrategia tambin se menciona por parte de una de las responsables ms
experimentadas. Incluso esta estrategia ha sido formaliza realizando campaas de
sensibilizacin en clave de humor. Pero es una estrategia que no debe utilizarse en
todos los contextos.
El humor es una tercera va para introducir mensajes, pero no sirve para el
Parlamento
_______________________________________________________________________________________
414

____________________________________________________________________________________________________________
CAPTULO 9
LOS FACTORES QUE FACILITAN Y DIFICULTAN LA
EVALUACIN DE LAS POLTICAS PBLICAS DE IGUALDAD DE
GNERO
HACIA UNA EVALUACIN INNOVADORA DE DICHAS POLTICAS
INTRODUCCIN
En este captulo se valoran las experiencias de evaluacin analizadas, tratando de

concluir cules son los factores que han facilitado y dificultado la puesta en prctica y la
eficacia de dichos procesos de evaluacin. El objetivo de este captulo es, pues, extraer
tendencias de estas primeras experiencias de evaluacin de los planes de igualdad para
apuntar cules son las lneas hacia las que debera tender la evaluacin de las polticas
pblicas de igualdad de gnero.
Una vez realizado el anlisis sobre las once experiencias de evaluacin, se pueden
distinguir diferentes tipos de factores influyentes en las mismas. Por un lado, se distinguen
factores que facilitan o dificultan la evaluacin, pero que son previos a la misma, es decir,
no son inherentes a los propios procesos de evaluacin, sino que son condiciones que
intervienen e influyen en dichos procesos. Por otro lado, estaran los factores que forman
parte de la evaluacin y que son elementos de la misma, y que influyen de una forma
determinante en su desarrollo. Finalmente, nos encontramos con aquellos factores que
determinan el impacto de dichos procesos de evaluacin.
Por lo tanto, la valoracin se hace respecto a los tres tipos de factores mencionados.
En primer lugar, se valora la influencia, tanto negativa como positiva, que tienen algunos
factores previos a los propios procesos de evaluacin y que tienen que ver, en algunos
casos, con caractersticas especficas de las polticas de igualdad de gnero (por ejemplo, la
existencia de los planes como instrumento de poltica o la idea de polticas transversales y
horizontales) y, en otros, con caractersticas institucionales (por ejemplo, falta de cultura y
experiencia previa en evaluacin de programas o la fortaleza institucional relativa de los
organismos de igualdad).
En segundo lugar, se sealan los principales problemas identificados en los procesos
de evaluacin analizados y que tienen que ver con la propia concepcin, diseo y ejecucin
de las respectivas evaluaciones -factores inherentes a la misma-. Aqu, la base lgica para
la valoracin de las experiencias se compone de seis grandes criterios:
_______________________________________________________________________________________
Captulo 9. Los factores que facilitan y dificultan la evaluacin de las polticas de igualdad de gnero
417

____________________________________________________________________________________________________________
1. La centralidad de los procesos de evaluacin en el organismo de igualdad

correspondiente: esta centralidad es necesaria para introducir, en primera instancia, una
cultura y una prctica de evaluacin que, posteriormente, pueda conducir a la
normalizacin de su funcin dentro de la institucin pblica.
2. La adecuacin al contexto y la claridad de los propsitos de las evaluaciones: la
evaluacin se da en un contexto determinado, con un fuerte carcter poltico, y al cual debe
responder. La evaluacin debe ser siempre contextual, partiendo y respondiendo al
contexto en el que se ha producido. Los propsitos de la evaluacin deben ser claros, estar
previamente explicitados y responder a dicho contexto.
3. Claridad y centralidad del QU se evala (los criterios de evaluacin): es necesario
que los criterios de evaluacin estn claramente definidos, no slo porque determinan las
variables a estudiar, sino tambin porque a travs de los mismos se construye la base lgica
con la que se van a emitir los juicios posteriormente. Adems deben ser el principal
elemento organizador de los estudios de evaluacin: de stos ha de surgir la seleccin
especfica de tcnicas e instrumentos para recopilar, analizar y valorar la informacin
extrada.
4. Adecuada gestin de los recursos de evaluacin, incluyendo lo siguiente:
- el buen aprovechamiento de las posibilidades que ofrecen los diferentes tipos de
evaluacin (incluidos la existencia de agentes externos), utilizando las sinergias de su
utilizacin conjunta,
- el establecimiento de unas buenas estructuras de coordinacin que permitan recoger
informacin fiable y participada,
- la buena e imprescindible gestin de los tiempos y el calendario de la evaluacin y,
- la inversin de suficientes recursos en la misma.
5. Elaboracin suficiente de la informacin que se recopila y analiza en los procesos
de evaluacin. En evaluacin, adems de recopilar y analizar informacin
sistemticamente, se deben emitir juicios sobre la misma, a la luz de los criterios de
evaluacin previamente elaborados, y este proceso, debe concluir en una serie de
orientaciones hacia la accin, para la mejora, la responsabilidad y el mejor conocimiento de
las polticas evaluadas.
6. Buena comunicacin tanto de los procesos como de los resultados de la evaluacin:
sta es una condicin necesaria para la posterior utilidad y utilizacin de la evaluacin.
Por ltimo, se identifican dos factores relacionados con el impacto de las
evaluaciones. Primero, se valora la pertinencia y utilidad final de los procesos de
evaluacin metaevaluados, incluyendo cmo los procesos de evaluacin se engarzan -o noen las estructuras, funcionamiento y quehacer de las instituciones que los promueven.
Segundo, se valoran las pocas posibilidades existentes de realizar una sntesis de resultados
_______________________________________________________________________________________
418

____________________________________________________________________________________________________________
de las evaluaciones de planes de igualdad de gnero, as como la conveniencia de realizar

metaevaluaciones de los procesos de evaluacin.
_______________________________________________________________________________________
419

____________________________________________________________________________________________________________
1. FACTORES PREVIOS QUE FACILITAN O DIFICULTAN LA

EVALUACIN: CUESTIONES ESPECFICAS DE LAS POLTICAS
DE IGUALDAD
En este punto se desarrollan el primer tipo de factores, que son denominados factores
previos y que se organizan en dos polos. Por un lado, los factores que facilitan la
evaluacin: la concepcin de planes, el aval internacional, la fortaleza institucional, el
reconocimiento simblico de la evaluacin y la institucionalizacin de sus compromisos.
Por otro, los factores que la dificultan: generalidad de los planes, carcter horizontal y
transversal, su fuerte carcter persuasivo y no sancionador, la falta de cultura y experiencias
previas, la falta de equipos preparados y la falta de normalizacin en el quehacer cotidiano
de las administraciones pblicas. A continuacin se desarrollan ms pormenorizadamente.
1.1. Los factores que facilitan la evaluacin
La concepcin y estructuracin en planes de igualdad

Como ya se ha visto en el tercer captulo, las polticas de igualdad de gnero en
Espaa se articulan, de forma generalizada en el nivel central y autonmico, en planes de
igualdad. Estos son el principal instrumento por el que se configuran las polticas, y en
ellos se integran toda una serie de medidas para promocionar la igualdad desde los
diferentes sectores gubernamentales. Adems, cuentan con una dimensin temporal,
teniendo establecido un determinado periodo de vigencia.
La propia concepcin de planes, como una realidad estructurada, es decir como un
conjunto de objetivos y medidas ordenadas por sectores, y a cuyas acciones les son
asignados responsables y recursos, facilita la evaluacin. Independientemente del hecho de
que los planes estn mejor o peor formulados, lo estn de una forma estructurada, ordenada
y global. En un documento, que adems es aprobado por Consejo de Gobierno, se expresan
las intenciones y las acciones que se pretenden llevar a cabo para hacer realidad dichas
intenciones. La propia existencia de planes lleva a pensar en su seguimiento y evaluacin,
ms que si se tratara de programas, medidas o acciones sueltas, con diferentes calendarios
y distintas fundamentaciones.
La existencia de planes, en determinados periodos de vigencia que, adems, debe ser
continuada por planes sucesivos, ha hecho que las femcratas hayan comenzado a pensar en
la evaluacin de los planes de igualdad como algo necesario y deseable. No slo se necesita
tener informacin para la elaboracin del plan siguiente, sino que se debe rendir cuentas
tambin al Parlamento Vasco.
_______________________________________________________________________________________
420

____________________________________________________________________________________________________________
Ya en el captulo tercero se mencionaban algunas caractersticas promovidas o

facilitadas por el hecho de que existan planes de igualdad: una mayor conciencia de los
poderes pblicos, un mandato formal de informar sobre el desarrollo y los resultados del
plan al Consejo de Gobierno que lo ha aprobado (especialmente si adems hay un
compromiso con el poder legislativo, como en el caso de Emakunde), un mayor
compromiso de los mismos respecto a la igualdad de gnero, una visin global y
estratgica, una forma de hacer operativa la idea de la transversalidad u horizontalidad, una
mayor coordinacin interdepartamental y una mayor potencialidad para la participacin, as
como para el propio seguimiento y la evaluacin. Adems del propio seguimiento y
evaluacin, queremos destacar aqu otras dos de estas caractersticas. En primer lugar, los
planes hacen ms conscientes a los poderes pblicos de lo que estn haciendo en materia de
igualdad y, por lo tanto, fomentan tambin, de alguna manera, una evaluacin de aquello
que se realiza. Por otro lado, la coordinacin interdepartamental hace no slo que haya que
actuar coordinadamente sino tambin que cada unidad gubernamental implicada en el plan
necesita saber y conocer lo que estn haciendo el resto de unidades. La evaluacin,
lgicamente, puede ser una va para ello.
La institucionalizacin de compromisos respecto a los planes y a su evaluacin

Adems de ordenar la accin de los poderes pblicos respecto a la igualdad de
gnero y de aumentar la conciencia de los mismos sobre lo que hacen, los planes se
aprueban en Consejo de Ministros o de Gobierno. Como se ha visto, en algunas
comunidades autnomas tambin se debe informar al parlamento autonmico
correspondiente. Estas circunstancia no slo implica un compromiso formal importante
respecto a la igualdad de gnero, sino tambin suele incluir un compromiso respecto a su
evaluacin, especialmente si existe la obligacin de informar al legislativo (esto slo ocurre
en el Pas Vasco -est recogido en la propia ley de creacin de Emakunde-, y de alguna
forma, en Catalua y Andaluca, en las que existen comisiones parlamentarias
especialmente activas respecto a la igualdad de gnero).
El hecho de que se institucionalicen los planes tiene un cierto efecto rebote en la
institucionalizacin de su evaluacin. Aunque esto no est generalizado en la segunda
generacin de evaluaciones, que son el objeto de esta investigacin, s se generaliza para la
tercera1.
Tambin el hecho de la horizontalidad o transversalidad de los planes hace que se
hayan ido estableciendo mayores compromisos respecto a las responsabilidades que cada
unidad gubernamental tiene en el plan. No slo a cada una de estas unidades le va a
interesar de algn modo la evaluacin de dichas acciones de las que son responsables, sino
que el propio organismo de igualdad har lo posible por conocer si dichas responsabilidades
han sido o no asumidas, y si lo han sido de modo efectivo.
Vase captulo 3.
_______________________________________________________________________________________
421

____________________________________________________________________________________________________________
En cualquier caso, el hecho de que existan compromisos respecto al seguimiento y a

la evaluacin de los planes, es un factor facilitador, aunque no sea condicin suficiente para
la misma.
Aval internacional y grado de acuerdo tanto en la necesidad de las polticas de igualdad de

gnero como en la estrategia a utilizar
Ya se ha visto como la influencia internacional - sobre todo a travs de la labor de los
organismos internacionales y supranacionales- fue un factor importante en la entrada en la
agenda poltica del problema de la desigualdad de gnero. Esta influencia se ha mantenido e
incluso aumentado, no slo a travs de las instituciones creadas para ello (DAW,
INSTRAW, UNIFEM, CEDAW, ETC.), sino tambin de las Conferencias Mundiales de la
Mujer, organizadas por las Naciones Unidas y que desde 1975 se han ido realizando
perodicamente (Mxico, Copenhague, Nairobi y Pekn), y que han producido una serie de
documentos que pretendan el compromiso de las naciones miembros.
El impacto que ha tenido la IV Conferencia Mundial de la Mujer en Pekn en 1995 ha
sido especialmente importante y es conveniente destacarlo. All se adoptaron por consenso,
por parte de las 185 delegaciones gubernamentales participantes -y, por lo tanto, el impacto
es significativo por la cantidad de gobiernos representados- dos documentos: la Declaracin
de Pekn y la Plataforma para la Accin. La Plataforma de Accin es un documento en el
que se describen los problemas ms relevantes y los obstculos que impiden el avance de
las mujeres, el origen y las causas, los objetivos que hay que alcanzar para mejorar la
situacin de las mujeres y las medidas para conseguirlo. Para esto se describen doce reas
de especial inters, entre la que se encuentra la de Mecanismos de igualdad cuyo
principal objetivo es el de crear o fortalecer mecanismos nacionales y otros rganos
gubernamentales e integrar la perspectiva de gnero en las legislaciones, polticas,
programas y proyectos estatales. Entre las medidas institucionales y financieras que se
acuerdan est la de que los gobiernos, que son los principales responsables -aunque deben
alentar a las ONG-, deben formular estrategias para el cumplimiento de la Plataforma,
asignado los recursos suficientes. La Declaracin de Pekn es el documento que contiene el
mensaje poltico de los principales compromisos de los Estados miembros, y de ella
destacamos algunos extractos:
Es esencial disear, aplicar y hacer el seguimiento con la plena participacin de las
mujeres, de polticas y programas eficaces, eficientes y que se refuercen entre s
desde una perspectiva de gnero. (art. 19)
El cumplimiento de la Plataforma de Accin requiere del compromiso de los
gobiernos y de la comunidad internacional... (art. 21)
El xito de la Plataforma para la Accin tambin requerir una movilizacin
adecuada de recursos para el avance de las mujeres a nivel nacional e
internacional. (art. 36)
_______________________________________________________________________________________
422

____________________________________________________________________________________________________________
Por la presente, adoptamos y nos comprometemos en calidad de Gobiernos a

aplicar la siguiente Plataforma para la Accin, garantizando que en todas nuestras
polticas y programas quede reflejada la perspectiva de gnero (art. 38)
Como se puede observar, esta influencia internacional (en la que tambin incluimos
para Espaa la influencia de la Unin Europea, a travs de sus Programas de Accin), avala
y legitima las polticas gubernamentales de igualdad de gnero. Adems del aval general de
las polticas de igualdad, existe tambin un acuerdo en las estrategias generales a llevar a
cabo, que seran, por un lado, la transversalidad de las acciones para conseguir una
perspectiva de gnero en todas las polticas pblicas (mainstreaming) y, por otro, el
empoderamiento de las mujeres2. Por ltimo, el compromiso de los gobiernos por estas
polticas y estrategias fomenta, en cierto modo, su evaluacin, ya que, en teora, los
gobiernos deberan rendir cuentas sobre los avances logrados al respecto.
Todo este movimiento internacional, adems de ser un acicate para la elaboracin,
ejecucin y evaluacin de polticas de igualdad de gnero, representa un cuerpo terico
en el que se sustentan dichas polticas y, por lo tanto, es un referente para su evaluacin.
Aunque sea de forma muy general, ya que son documentos y declaraciones cuya naturaleza
requiere de formulaciones generales que sean capaces de concitar el consenso entre tantos
gobiernos, la Plataforma y Declaracin de Pekn y otros documentos internacionales
contribuyen a la teora de programa de las polticas de igualdad de gnero. Y esto siempre
representa una excelente base para su evaluacin.
La fortaleza y estabilidad institucional de los organismos de igualdad

A pesar de que la estrategia general del mainstreaming o de transversalidad de la
perspectiva de gnero (es decir, del grado de acuerdo que existe en la idea de que el fin
ltimo es el de conseguir una perspectiva de gnero normalizada en todas las polticas
pblicas, y no hacer polticas verticales de promocin de la mujer), se sigue abogando, de
forma unnime, tanto por la existencia de polticas especficas de igualdad de gnero, como
por la permanencia de los organismos o mecanismos gubernamentales o institucionales
especficos de igualdad.
Para el Grupo de Especialistas del Consejo de Europa3, el mainstreaming de gnero
no puede ser reemplazado ni considerarse redundante con las polticas especficas de
igualdad ni con los mecanismos u organismos especficos4. En realidad, cada vez que se
menciona la estrategia del mainstreaming se hace hincapi no slo en la
complementariedad sino en la necesidad de polticas y organismos especficos. En realidad
2
La identificacin de estas dos estrategias, que van a marcar a partir de entonces las actuaciones de
promocin de la igualdad de gnero, se considera como el gran fruto del proceso de trabajo que se consum
en la IV Conferencia Mundial en Pekn en 1995. (Cirujano, 2000: 114; Lpez, 2000: 59-84).
3
Council of Europe, Group of Specialist in Gender Mainstreaming, 1998: 20-21.
Lo que en la literatura anglosajona se conoce como womens equality machineries.

_______________________________________________________________________________________
423

____________________________________________________________________________________________________________
son consideradas como dos estrategias para un mismo fin: la igualdad de gnero. Para este
grupo s existen diferencias entre estas dos estrategias. Mientras el punto de partida de las
polticas y los organismos especficos es un problema concreto resultante de la desigualdad
de gnero, para el mainstreaming es una poltica que ya existe, de forma que se reorganice
su proceso y se tenga el gnero en cuenta por parte de los actores que normalmente estn
implicados en dicha poltica. Para el Grupo de Especialistas, el mainstreaming es una
estrategia fundamental y tiene un gran potencial para lograr un cambio sostenible, pero es
ms lenta. Las polticas y acciones especficas actan de forma mucho ms rpida, pero
normalmente se limitan a reas de poltica muy especficas.
Las razones por las que los organismos de igualdad siguen siendo imprescindibles,
son cuatro:
a. En torno a los organismos de igualdad, que han sido capaces de desarrollar polticas
y, a la vez, poner de manifiesto cuestiones importantes de igualdad, se ha ido acumulando
una experiencia importante en cuestiones de gnero. De hecho, esta experiencia y
conocimiento de las cuestiones de gnero es una condicin necesaria para comenzar una
estrategia de mainstreaming.
b. Los organismos de igualdad cumplen el importante papel de ofrecer el necesario
apoyo a la estrategia del mainstreaming. El Grupo dice que esto es especialmente
importante en los pases en los que no estn muy desarrollados los estudios sobre mujer o
gnero. Adems, reconocen que el mainstreaming es una nueva estrategia que requiere un
mayor desarrollo y reflexin y que, incluso en los pases en los que los organismos de
igualdad no son el principal actor en dicha estrategia, stos siguen reflexionando y
diseminando conocimiento e informacin sobre temas de gnero a otros actores y a la
sociedad en general.
c. Los organismos de igualdad son directos y especficos, por lo que parten de los
desequilibrios existentes en las relaciones de gnero y se focalizan en cmo la desigualdad
puede ser vencida. La estrategia del mainstreaming significa introducir la perspectiva de
gnero en una poltica dada de forma que los efectos de dichas polticas sean ms neutrales
respecto al gnero, pero no tiene en cuenta, como punto de partida de las polticas, los
desequilibrios reales de gnero. Por eso siempre se necesitarn las polticas y los
organismos especficos que directamente traten con dichos desequilibrios.
d. La estrategia del mainstreaming se construye sobre las lecciones aprendidas de las
anteriores experiencias en polticas de igualdad. De alguna forma se ha ido reconociendo
ltimamente que las polticas especficas no son suficientes para construir una sociedad que
verdaderamente respete la igualdad de gnero. La estrategia del mainstreaming es el
siguiente paso lgico a dar.
Para nosotros, adems, existe otra vinculacin definitiva entre ambas estrategias y es
la idea de que, en realidad, el mainstreaming de gnero no es una estrategia que se haga
partiendo de cero o en abstracto sino que, hoy por hoy, y todava durante muchos aos, es
una estrategia que se hace y se har desde las polticas y los organismos especficos de
_______________________________________________________________________________________
424

____________________________________________________________________________________________________________
igualdad. Al menos, este es el caso de Espaa en donde, como ya se ha visto, las polticas
de igualdad estn articuladas en planes transversales que impulsan y coordinan los
organismos especficos de igualdad. En definitiva, el mainstreaming se propone desde las
polticas especficas de igualdad que son, a su vez, impulsadas y sustentadas desde los
organismos de igualdad. Precisamente, el gran objetivo, tanto de las polticas especficas de
igualdad, como de los organismos especficos, es conseguir la perspectiva de gnero en el
resto de las polticas pblicas. Una buena parte de sus energas y recursos irn, adems de a
polticas especficas, destinados a poner en marcha esta estrategia del mainstreaming.
Con esto, queremos hacer hincapi en que, no slo los organismos de igualdad no
estn en peligro de extincin sino que estn avalados tanto por las propias polticas de
igualdad como por los organismos internacionales que las legitiman y las reclaman. A pesar
de que parecen haberse quedado algo obsoletos en su denominacin (siempre se trata de
institutos o direcciones de la mujer cuando el foco de las polticas ha girado hacia las
relaciones de gnero5), su consolidacin e institucionalizacin en los difierentes niveles
gubernamentales es un hecho. En el caso espaol, y teniendo en cuenta los niveles central y
autonmico6, la consolidacin e institucionalizacin de estos organismos ha sido evidente
en la ltima dcada. De hecho, y salvo en contadas excepciones, el marco institucional se
ha ido fortaleciendo segn los dos factores analizados (tipo de organismo y posicin en el
organigrama gubernamental), es decir, las modificaciones que se han dado a lo largo de sus
aos de existencia, han sido siempre para otorgar a dichos organismos una mayor fortaleza
y consolidacin institucional.
En este momento, pues, se puede hablar en Espaa de una red de organismos
especficos de igualdad en el nivel autonmico y central fuerte y establemente consolidada,
con una asignacin presupuestaria y de personal, por lo general, razonable y con una buena
legitimacin institucional en sus respectivos gobiernos.
Esta consolidacin ha ido acompaada, adems, con un reconocimiento de dichos
organismos como los principales actores de las polticas de igualdad de gnero. Incluso
aunque estos organismos se consideren ms como impulsores que como ejecutores directos
de dichas polticas, su reconocimiento como motores y como directores de orquesta de
todas las acciones en pro de la igualdad de gnero, resulta evidente. Y es precisamente este
rol de principales impulsores de las polticas de igualdad el que provoca un papel clave
como evaluadores de las mismas.
El reconocimiento simblico de la evaluacin en los ltimos aos

5
Vase el punto sobre la evolucin de la definicin del problema en el captulo 3 de esta tesis doctoral.
6 Insistimos en que esta tendencia de consolidacin e institucionalizacin de unidades de mujer o de gnero

parece tambin ser la tnica en el nivel local, pero sobre esto hace falta hacer todava ms estudios (Valiente,
1998 b).
_______________________________________________________________________________________
425

____________________________________________________________________________________________________________
En los ltimos aos se ha ido reconociendo la necesidad de la evaluacin, al menos

simblicamente, en torno a las organizaciones y las polticas pblicas. Aunque este
reconocimiento se quede slo en el nivel simblico y discursivo se habla de la importancia
y la necesidad de la evaluacin, pero no se hace evaluacin-, permite introducir el concepto
de la evaluacin de forma que se abren posibilidades para que sta se d.
De hecho, la evaluacin se ha puesto de alguna manera de moda en los ltimos aos.
Incluso en los discursos polticos se habla de evaluar las polticas pblicas como una forma
de rendir cuentas y como una parte inherente a la propia accin pblica. Aunque ese
discurso no se lleve a la prctica, s representa un primer paso para que se hable, se permita
y se intente llevar a cabo la evaluacin.
Como ya se ha visto anteriormente, la propia concepcin de planes de igualdad
transversales agudiza, adems, este discurso simblico. Al haber tantas responsabilidades
implicadas en dichos planes, resulta fcil recurrir a la necesidad de evaluar aquello que se
ha hecho o no se ha hecho en cada una de las reas o sectores.
Este discurso simblico de la necesidad de evaluar se traduce, en muchos casos, en la
intencin de evaluar, y en dar algn tipo de respuesta que cubra dicha necesidad terica.
Aunque a veces las respuestas no sean las ms adecuadas, s se consigue el efecto de dar
una respuesta general de hacer una evaluacin. Y esto, adems, tiene un efecto mimtico, al
igual que los propios planes. Si un plan de igualdad ha sido evaluado, se da un fenmeno en
cascada de respuestas de evaluacin en el resto. Esto es, sin duda, un primer paso. Al
menos, la evaluacin en s no es cuestionada y goza de una legitimidad en torno a las
1.2. Los factores que dificultan la evaluacin
La generalidad de los planes

Ya se ha visto cmo los planes de igualdad de gnero consisten en un conjunto de
objetivos y medidas, aprobadas por Consejo de Ministros o de Gobierno, y que deben
llevarse a cabo por parte de las diferentes unidades administrativas implicadas. Los
primeros planes eran ms bien un conjunto de intenciones, en muchos casos poco
concretadas o especificadas. Por tal razn, su interpretacin poda ser mltiple o
simplemente nula (quedndose en una simple declaracin de intenciones que no se
concretaba en ninguna accin concreta) y, sobre todo, eran muy poco evaluables ya que
existan pocas referencias sobre lo que significaba su cumplimiento. Este grado de
generalidad se ha ido corrigiendo a lo largo del tiempo, entre otras cosas y como ya se ha
sealado anteriormente, debido precisamente a los intentos de evaluacin. Sin embargo,
_______________________________________________________________________________________
426

____________________________________________________________________________________________________________
todava existe en los planes un cierto grado de generalidad, especialmente si se tienen en

cuenta los planes de segunda generacin que son los que son metaevaluados en este trabajo.
Este grado de generalidad de los planes dificulta su evaluacin, ya que lo que denota
en realidad es una falta de claridad en los objetivos, no saber exactamente lo que se quiere
hacer o no saber cmo hacerlo. Como se ha sealado antes, lo que ocurre es que las
interpretaciones de lo que realmente se pretende hacer pueden ser mltiples y, por lo tanto,
la evaluacin, sobre todo el establecimiento de los criterios de evaluacin (QU se va a
evaluar), resulta una tarea ardua. En estos casos, es normalmente el propio proceso de
evaluacin el que acaba definiendo (en realidad, reconstruyendo) los trminos de referencia
con los que se formul el plan.
En algunos casos, un cierto grado de generalidad ha sido, inevitable, ya que los planes
tuvieron que ser aprobados por toda una serie de agentes crticos quienes, en su mayora, no
tenan muy elaborado ni asumido un discurso de gnero. As, la ambigedad de los planes
es lo que a veces preserva de encontrar problemas en su aprobacin. Un conjunto de
intenciones generales es aceptable por parte de todo el mundo, mxime si el discurso de
gnero a adquirido un alto valor simblico, como es el caso. Un conjunto de medidas
concretas puede encontrar ms problemas, aunque eso asegure de una manera ms firme su
cumplimiento.
Pero insistimos en que la generalidad de los planes, en nuestro parecer, denota sobre
todo, ausencia de lo que podramos denominar teora de programa. Recordamos aqu7 que
por teora de programas se entiende el conjunto de premisas o creencias que subyace a la
accin, es decir el conjunto de hiptesis sobre las que la gente construye y planifica los
programas o los planes (Weiss, 1998a). Es una explicacin de las relaciones causales que
unen las entradas o inputs de un programa con sus salidas, outputs o resultados esperados,
un modelo sobre cmo un programa se supone que debe funcionar. Por ejemplo, por qu
la elaboracin de un programa de educacin sexual y planificacin familiar para jvenes
contribuye a favorecer cambios permanentes en las actitudes y comportamientos de y hacia
las mujeres jvenes8?, o mejor an, cmo debe ser ese programa de educacin sexual para
que realmente favorezca cambios permanentes en las actitudes o comportamientos?, e
incluso, por qu se escogen, precisamente, acciones de promocin del deporte, de
informacin en Centros de Enseanzas Medias y de educacin sexual para favorecer el
cambio permanente de actitudes y comportamientos?, por qu esas y no otras? Todo esto
es lo que creemos est relacionado con la teora de programas y es lo que normalmente
falla cuando un plan queda formulado de forma general.
Lgicamente, a mejor teora de programas, es decir a mayor fundamentacin de las
acciones que se proponen, ms fcil ser la evaluacin, ya que se contar con puntos de
referencia claros para el establecimiento de criterios, la recopilacin y el anlisis de la
Vase Captulo 2, enfoques o modelos de evaluacin.
Ejemplo escogido del II Plan para la Igualdad de Oportunidades de las Mujeres de la Comunidad de Madrid
1993-1995 (Objetivo 6, accin 6.5).
_______________________________________________________________________________________
427

____________________________________________________________________________________________________________
informacin y su posterior valoracin. De hecho, los autores que propugnan un enfoque de

evaluacin basado en la teora (Chen 1990; Chen y Rossi, 1983; Bickman, 1990 y la propia
Weiss, 1998) dicen que resulta prcticamente imposible realizar la evaluacin de un
programa si previamente no se ha establecido su teora de programa.
As, en la segunda generacin de planes de igualdad de gnero en Espaa no hemos
encontrado una teora de programas especialmente fundamentada o explicitada. Entre
otras cosas, hace falta mucho ms desarrollo de la teora de las relaciones de gnero y,
sobre todo, de cmo traducir en la prctica acciones realmente tendentes a una mayor
equidad. Esto hace que no haya habido una clara teora sobre la que fundamentar los
estudios y los procesos de evaluacin. Como ya se ha visto antes, las interpretaciones
pueden ser mltiples y, en muchos casos, la dificultad a la hora de evaluar significaba en
realidad no saber qu haba que evaluar, ya que no se tena una base lgica en la cual
fundamentar los criterios de evaluacin. De esta manera, se ha tendido a analizar
simplemente el grado de cumplimiento de las acciones sin cuestionarse esas mismas
acciones y su sentido o si realmente contribuan, y en qu medida, al cumplimiento de los
objetivos.
Su carcter de horizontalidad e integralidad

Los planes de igualdad tienen un carcter integral, es decir, cubren toda una serie de
reas o aspectos muy diversos entre s pero que, a su vez, estn relacionados. El leit-motiv
y punto comn es la promocin de la igualdad de gnero -o la eliminacin de la
discriminacin basada en las relaciones de gnero- en todos los aspectos tratados:
educacin, empleo, salud, participacin social y poltica, medioambiente, mundo rural, etc.
Este carcter integral hace que los planes sean, en s mismos, complejos, simplemente por
la cantidad de aspectos que cubren y cmo se relacionan unos con otros. Esta complejidad
hace ms difcil la evaluacin, entre otras cosas, por la propia teora subyacente a la accin
-la teora de programas-, la cual debe ser amplia para cubrir todas las dimensiones de las
que son objeto los planes.
Por otro lado, la discriminacin que est en la base de las relaciones de gnero es algo
en s mismo muy complejo y profundamente enraizado en las propias estructuras sociales.
Combatir dicha discriminacin es tambin, pues, complejo, ya que implica una mirada
distinta a la realidad, una forma diferente de analizarla y abordarla. Por lo que la accin que
los poderes pblicos se propongan para abordar dicho problema es tambin compleja y, por
lo tanto, difcilmente evaluable. Por ltimo, el carcter innovador de estas polticas tambin
contribuye a moverse en un terreno desconocido y en el que hay que elaborar ex-novo los
parmetros a travs de los cuales se va a juzgar dicha accin pblica.
El carcter horizontal viene determinado por la idea de canalizar las acciones a favor
de la promocin de la equidad de gnero, a travs de las polticas pblicas regulares,
huyendo de realizar una nica poltica vertical para las mujeres. Este carcter horizontal,
como ya se ha visto, se refuerza con la estrategia del mainstreaming, avalada por la
_______________________________________________________________________________________
428

____________________________________________________________________________________________________________
Plataforma de Accin de la IV Conferencia Mundial de las Mujeres de Pekn (1995),

cuestionando la neutralidad de gnero de las polticas pblicas y proponiendo acciones para
conseguir la perspectiva de gnero en dichas polticas pblicas.
Es indudable que esta horizontalidad o transversalidad de las polticas de igualdad
de gnero hace la accin ms compleja. En primer lugar, necesita de la implicacin de
muchos actores y agentes crticos -en torno a cada una de las polticas en las que se
pretende incidir (educativa, sanitaria, medio ambiente, de empleo, etc...)- que deben estar
convencidos y asumir los objetivos que se proponen. Los planes, adems de incluir
diferentes sectores o dimensiones -cuyas competencias estn distribuidas en mltiples
unidades administrativas- suelen incluir tambin la participacin de ONG y del movimiento
de mujeres, adems de diferentes niveles de gobierno, establecindose una compleja red de
relaciones intergubernamentales. Pero, adems de asumir los objetivos, estos mltiples
actores deben ponerse de acuerdo y trabajar coordinadamente para llevar a cabo las
acciones precisas. En trminos de Pressman y Wildavsky se tratara de la complejidad de
la accin conjunta. Por lo tanto, no slo es compleja la elaboracin y formulacin de estas
polticas, sino que, sobre todo, es compleja su ejecucin o implementacin y, por lo tanto
tambin, su evaluacin. Esto hace que existan no slo una serie compleja de dimensiones a
evaluar, sino tambin un contexto de mltiples relaciones que debe ser tenido en cuenta
necesariamente a la hora de evaluar estas polticas.
Su carcter de sensibilizacin y persuasin

Debido a su carcter transversal y horizontal, las femcratas, desde los organismos
especficos de igualdad, deben persuadir a sus compaeros y compaeras de gobierno para
que asuman los objetivos que desde las polticas de igualdad de gnero se proponen. Los
planes de igualdad, adems, no tienen ningn poder sancionador, por lo que ese poder de
persuasin acaba siendo una de las estrategias ms importantes con la que deben trabajar las
femcratas. Ya que no tienen ninguna autoridad sancionadora, deben convencer a los
dems de que hagan suyos los objetivos que ellas proponen. Esencialmente, es importante
que se hagan aliados y aliadas en los diferentes departamentos e instituciones. Porque se
trata de conseguir, finalmente, que las acciones las hagan otros. Esto complica an ms la
accin y hace que exista una accin poltica especfica -la de la persuasin y el
convencimiento- que se convierte en crucial en las polticas de igualdad de gnero. Dicha
estrategia, su diseo, ejecucin y resultados debe ser tambin evaluada, entre otras cosas
porque esto puede ser de extrema utilidad para la determinacin de los xitos y los fracasos
y para la mejora de las polticas de igualdad de gnero. Por qu unas unidades
administrativas son ms sensibles que otras a las cuestiones de gnero? Cunto cuenta el
factor personal de los responsables en el nivel poltico y en el tcnico? En qu consiste
dicho factor personal? Cules son los factores que hacen que finalmente un conjunto de
personas o un departamento se sensibilice y acte en consecuencia? Cules son las
estrategias ms adecuadas para dicha sensibilizacin y persuasin? Son siempre las
mismas en diferentes circunstancias? De esta manera, si no se tiene en cuenta y se evala
_______________________________________________________________________________________
429

____________________________________________________________________________________________________________
esta dimensin aqu explicada, no se va a comprender nunca una buena parte de la accin
transversal en pro de la igualdad de gnero.
Sin embargo, dicha dimensin o componente de sensibilizacin y persuasin es harto
compleja de evaluar. En primer lugar, hay que definirla y tipificarla: en qu consiste y
cmo se lleva a cabo. Y despus evaluarla, en su proceso de funcionamiento y sus
resultados y, a su vez, unirla y relacionarla con la accin propia de los planes de igualdad.
Esta dimensin, adems, no ha sido contemplada en ninguna de las experiencias de
evaluacin metaevaluadas en este trabajo, aunque es una de las preocupaciones expresadas
ms recurrentes y constantes de las responsables polticas y tcnicas de los organismos de
igualdad. Aqu reiteramos la necesidad de incluir esta dimensin en la evaluacin de las
polticas de igualdad de gnero, aunque esto la haga ms compleja.
Falta de cultura y experiencia previa, institucionalizacin y recursos para la evaluacin

Otra dificultad aadida a la evaluacin de los planes de igualdad ha sido la falta de
experiencia previa en procesos de evaluacin y, en general, la falta de una cultura de la
evaluacin.
La falta de experiencias previas en evaluacin de planes de igualdad se traduce en una
carencia de referencias o modelos para la evaluacin de las polticas de igualdad. Entre
otras cosas, los planes de igualdad son realidades muy recientes en el momento en el que se
aborda su evaluacin y dicho carcter novedoso agudiza an ms dicha falta de referencias.
En definitiva se trata de inventarse cmo evaluar dichos planes ya que nadie o casi nadie
lo haba hecho antes.
Adems, nos encontramos con una escassima, si no nula, tradicin evaluadora en las
administraciones pblicas espaolas. Esta falta de cultura de evaluacin revierte, entre
otras cosas, en la ausencia de modelos y de bagaje terico, as como de un saber hacer en
evaluacin de programas. Esta es la razn por la que, en general, se ha recurrido a modelos
utilizados en metodologa de investigacin en ciencias sociales en general, no sabiendo
adaptar o no aplicando modelos y saber hacer especfico sobre evaluacin de programas
que s se haba ido desarrollando en otros pases y en el nivel internacional.
Esta ausencia de cultura evaluativa tambin se refleja en la escasa institucionalizacin
de la funcin de evaluacin en Espaa en general. Entre las posibles causas del retraso y de
la falta de desarrollo de la funcin de evaluacin se pueden mencionar: que la evaluacin
llega a Espaa en tiempos de crisis econmica y escasez de recursos, que el sistema
parlamentario espaol, tanto en el nivel central como en el autonmico, se basa en una
fuerte disciplina de partido que tiende a limitar la funcin de control del Parlamento, que
los Tribunales de Cuentas limitan su papel a una exclusiva supervisin de las cuentas
pblicas, que el nmero de profesionales especializados en evaluacin es escaso y, que los
sistemas de informacin internos en las administraciones pblicas, a pesar de los avances,
no son potentes ni del todo adecuados para la evaluacin (Ballart, 1993: 221-2).
_______________________________________________________________________________________
430

____________________________________________________________________________________________________________
Ya se ha comentado que en la tercera generacin de planes la funcin de evaluacin

est algo ms institucionalizada ya que se menciona explcitamente y suelen darse
compromisos respecto a la evaluacin de los planes en el propio documento de aprobacin.
Sin embargo, ste no era el caso generalizado en la segunda generacin que es la que es
objeto de este trabajo. Es decir, las evaluaciones realizadas se han hecho sin que hubiese un
compromiso o un mandato institucional para ello. De hecho, muchos planes de igualdad no
han sido siquiera evaluados. Esta falta de institucionalizacin dificulta y a veces hace poco
comprensible la funcin de evaluacin. No obstante, si se compara con otros sectores de
polticas, la posicin relativa de las polticas pblicas de igualdad de gnero a nivel central
y autonmico, no es tan mala respecto a la funcin de evaluacin: de hecho, an con
grandes deficiencias, se han dado una serie de experiencias y, como ya se ha visto, en la
tercera generacin de planes est contemplada la evaluacin de los mismos de una forma u
otra.
Sin embargo, queda an mucho camino por recorrer para que la funcin de evaluacin
se desarrolle con todas sus potencialidades para las polticas de igualdad. Y para acelerar
este proceso, los poderes pblicos, y en especial las femcratas al frente de los organismos
de igualdad, deben reconocer la funcin de evaluacin como una de las prioridades de
dichos organismos. Esto implicara dedicar esfuerzos y recursos, formacin del personal y
bsqueda de ayuda externa especializada; pero tambin supondra disposicin para el
intercambio, la reflexin y el aprendizaje. Esta falta de experiencia y de cultura se concreta
especialmente en una escasez de recursos para la evaluacin, ya que al no ser una funcin
reconocida y normalizada se considera como un gasto extra. Ya se ha visto en el captulo
anterior la parquedad de recursos empleados para la evaluacin de los planes de igualdad,
sobre todo si se analizan las cantidades en trminos relativos, comparndolos con los
recursos empleados para otras funciones. Como se ver en el punto siguiente, la falta de
recursos y, sobre todo, la falta de disposicin para emplearlos es uno de los factores que
ms dificultan las evaluaciones y condicionan su calidad.
Por lo tanto, existe una necesidad de aumentar la cultura y competencia evaluativa,
como factor previo que facilite los procesos de evaluacin. En este sentido, conviene
sealar el potencial papel que pueden cumplir no slo los organismos de igualdad, sino
tambin otros actores del policy network o redes de polticas, sobre todo, las personas o
colectivos expertos en temas de gnero, polticas de igualdad y evaluacin (como son
seminarios universitarios, institutos de investigacin y reas especializadas).
Falta de equipos preparados

Al no existir cultura ni prctica de la evaluacin en Espaa, tampoco existen
profesionales preparados y entrenados para realizarla. Esta es una de las dificultades que
mencionan algunas de las responsables polticas entrevistadas. Una de ellas mencionaba
especialmente la dificultad de encontrar especialistas en evaluacin que, adems, tuvieran
conocimiento -y sensibilidad- sobre temas de gnero. Como se ha visto antes la forma que
en algunos casos se ha tomado para suplir esta carencia ha sido atraer a especialistas en
_______________________________________________________________________________________
431

____________________________________________________________________________________________________________
metodologa de investigacin social y no tanto en evaluacin de programas. Y esta

circunstancia ha condicionado enormemente la forma en la que se han realizado algunas de
las evaluaciones analizadas.
A la falta de especialistas externos hay que aadir la falta de formacin y preparacin
especfica en evaluacin de los equipos tcnicos internos en los organismos de igualdad.
Esto se ha ido supliendo de alguna manera por parte de los organismos de igualdad,
facilitando la formacin en temas relacionados con la evaluacin de las tcnicas
responsables. Pero el tipo de formacin especfica recibida ha sido, por lo general, escasa y
de corta duracin, en parte sobre todo debido a la propia carencia de oferta de este tipo de
formacin en Espaa9: hoy por hoy, todava resulta difcil formarse como evaluador en
Espaa y todava no existe suficiente demanda de evaluadores en el mercado. En los
prximos aos es muy probable y esperable que la evaluacin vaya consolidndose como
profesin y como actividad cientfica y acadmica diferenciada, apareciendo asociaciones
profesionales, publicaciones especializadas y formacin especfica. Pero esto todava no ha
ocurrido, ni ocurra durante los aos en los que se disearon y realizaron las evaluaciones
analizadas.
Y ya se ha comentado anteriormente (captulo 1, punto 1.3.1) cmo, en nuestra
opinin la formacin y habilidades de un evaluador deben ser de alguna manera diferentes a
las de un investigador: debe saber manejarse con habilidad en contextos complejos en los
que debe intervenir, ser un buen conocedor de los procesos polticos subyacentes a los
programas o polticas, conocimiento y capacidad de trato con grupos y personas,
habilidades de comunicacin y negociacin, ... Tambin ha de ser un buen metodlogo,
especialmente preparado para las cuestiones especficas de la evaluacin: establecimiento y
definicin de criterios de evaluacin, establecimiento de consenso en torno a los mismos,
emisin sistemtica de juicios y buena comunicacin durante el proceso y de los resultados
de la evaluacin. Adems, claro est, de conocer las tcnicas de recopilacin y anlisis de la
informacin para aplicar la ms apropiada en cada momento. En definitiva, se requieren
equipos especficamente preparados en evaluacin de programas. No poder contar con ellos
tambin aade dificultades a la tarea de evaluar.
No pensar la evaluacin a tiempo, debido a la falta de normalizacin de su funcin

Ya se ha visto como, en general, se hace poca evaluacin de programas, planes y
polticas en las administraciones pblicas espaolas. Esto hace que est muy poco
normalizada la funcin de evaluacin y que se considere ms como una actividad extra.
9
Prcticamente no existe formacin especfica de post-grado en evaluacin en Espaa. Durante dos cursos
acadmicos (1998-1999 y 1999-2000) se realiz un Experto en Evaluacin de Polticas, Programas y
Proyectos de Cooperacin al Desarrollo (IUDC-Universidad Complutense de Madrid) que ha acabado por
reconvertirse en un curso general sobre la Gestin del Ciclo de Proyecto ante la demanda laboral en ese
campo.
_______________________________________________________________________________________
432

____________________________________________________________________________________________________________
Adems, en algunos de los casos analizados, era la primera vez que se haca evaluacin en
el seno de los organismos de igualdad.
Por otro lado, y debido a esta falta de normalizacin de la funcin de evaluacin o, si
se quiere la falta de costumbre de evaluar, existe una tendencia a pensar en la evaluacin
exclusivamente de forma finalista, es decir, se piensa en la evaluacin como la ltima fase a
tener en cuenta en un plan o programa. Esta circunstancia hace que, en muchos casos, se
piense en la evaluacin slo al final del perodo de vigencia del plan que se pretende
evaluar. El hecho de que exista una ltima fase final de evaluacin no obvia el que haya que
pensar en la evaluacin desde un principio, en realidad, desde el mismo diseo del plan. No
hacerlo significa que la evaluacin pierda una buena parte de su potencia y potencial para
ser til. Si no se definen los criterios de evaluacin al principio -aunque luego se tenga la
suficiente flexibilidad como para ajustarlos sobre la marcha- y no se establecen los
mecanismos para la recopilacin de informacin, ser muy difcil recopilar una informacin
que, al final, se hace irrecuperable. Esto se agudiza si no existen unos buenos sistemas de
informacin y el plan no est bien documentado, como en la mayora de estos casos ocurre
(ya que mucha de la informacin y su registro depende de otras unidades administrativas
distintas a los organismos de igualdad).
Adems, el hecho de pensar la evaluacin desde un principio ayuda a reforzar los
propios objetivos del plan, ya que si se piensa sobre qu se quiere evaluar se est haciendo
un repaso de la teora subyacente al plan, sobre lo que es o no importante, a lo que se debe
dar prioridad y, sobre todo, este ejercicio de pensar en los criterios de evaluacin ayuda a
hacer los objetivos menos abstractos y ambiguos. Sin embargo, si esto se hace al final,
adems de la irrecuperabilidad de una informacin muy valiosa, el repaso antes
mencionado se hace a posteriori, teniendo mucha menos fuerza. Es ms, pensar en la
evaluacin hacia el final lo que hace es contribuir a no cuestionar ni los objetivos ni el plan
en su conjunto, sino ms bien limitarse slo al grado de cumplimiento de dichos
objetivos, es decir, saber si se han hecho las actividades o acciones previstas., limitando
enormemente el potencial de la evaluacin.
Por lo tanto, el hecho de anticiparse a la evaluacin, debido principalmente a su falta
de normalizacin como funcin propia de las adminsitraciones pblicas, es uno de los
factores que ms dificulta la misma.
_______________________________________________________________________________________
433

____________________________________________________________________________________________________________
2. FACTORES
EVALUACIN
INHERENTES
AL
PROPIO
PROCESO
DE
En este punto se exponen los factores que tienen que ver con el propio proceso, es
decir, que son inherentes al mismo y que determinan claramente el producto evaluativo. En
este caso no se trata de cuestiones relacionadas con la cultura organizativa de las
organizaciones responsables de la evaluacin, con el diseo o forma de ejecucin de los
planes a evaluar o con la falta de normalizacin de su funcin y la ausencia de profesionales
para llevarla a cabo, sino de factores que tienen que ver directamente con la forma en la que
se producen los procesos de evaluacin. Es decir, no nos referimos aqu a factores en torno
a las evaluaciones sino a aquellos directamente relacionados con su diseo y ejecucin.
En este apartado, pues, sealamos los factores que, en nuestro parecer, han influido
ms, y de forma ms directa, en los procesos y los productos de evaluacin analizados. De
esta manera aqu se sealan la falta de claridad en los criterios de evaluacin, los problemas
relacionados con los flujos de informacin y con los calendarios de los procesos, la
importancia de los agentes responsables de dichos procesos, el dficit de elaboracin de
conclusiones, valoraciones y recomendaciones, adems de la comunicacin deficitaria.
2.1. Falta de claridad en el propsito de la evaluacin: Evaluacin vs. investigacin de

polticas de igualdad o la necesidad diferenciada de ambas actividades
El primer factor inherente a los procesos de evaluacin que influye negativamente en
los mismos es la falta de claridad a la hora de plantearse la evaluacin: PARA QU y
POR QU se hace la misma? Cul es su funcin? Se hace realmente para mejorar los
planes y polticas evaluadas, ser ms conscientes de ellas y controlar responsabilidades?
Se hace verdaderamente con la intencin de facilitar la toma de decisiones sobre los
planes y para facilitar el aprendizaje organizativo? Ms all: alguien se ha planteado
conscientemente estas cuestiones? Con esto queremos decir que, en general, no es que las
responsables de las polticas de igualdad de gnero se hayan planteado dichas preguntas y,
deliberadamente, hayan contestado negativamente a las mismas, sino que muy
probablemente ni siquiera se las hayan formulado. Como se desarrolla en el punto 9.1.2. de
este captulo, una de las razones fundamentales de esta falta de conciencia es una funcin
de evaluacin muy poco desarrollada en las administraciones pblicas espaolas, que se
traduce en una casi total ausencia de cultura y prctica evaluativa.
Un indicador evidente de esta falta de claridad es el propio planteamiento general de
algunos de los estudios de evaluacin. Una de las primeras conclusiones que se obtienen
del anlisis de las experiencias de evaluacin de los planes de igualdad, es la necesidad de
_______________________________________________________________________________________
434

____________________________________________________________________________________________________________
distinguir entre hacer investigacin sobre la situacin de la mujer y hacer evaluacin de los
planes y las polticas de igualdad de gnero. En general, estos dos extremos tienden a
confundirse y en algunos casos no llegan a diferenciarse bien, e incluso, en algunos casos,
se han diseado las evaluaciones de los planes en trminos de investigacin de la situacin
de las mujeres. Este ltimo ha sido el caso, sobre todo, de la Comunidad de Madrid, la
Junta de Castilla y Len y, en parte, del propio IM. En estas evaluaciones se pretenda
evaluar el impacto de los planes: para ello se establecieron una serie de medidas o
indicadores y se midieron los mismos al inicio y al final del plan, analizando las diferencias
o evolucin durante el perodo de vigencia del mismo. Evidentemente, este tipo de
indagacin proporciona informacin sobre la evolucin de la situacin de la mujer en una
serie de variables, pero no permite ningn tipo de conexin entre dichos datos y el plan. Es
decir, dicha evolucin puede haber sido producida por muchas otras variables, adems del
plan (la propia evolucin de la sociedad). En otras palabras, no se puede llegar a la
conclusin de que, en la ausencia del plan, no hubiera pasado lo mismo, ni se ofrece
ninguna informacin rigurosa sobre los efectos netos del plan (los efectos debidos al plan
y exclusivamente al plan y que sin l, no se hubieran producido). En el caso de las
evaluaciones de Madrid y Castilla y Len (en esta ltima se utilizan los mismos indicadores
que en Madrid, ya que se realiza por parte del mismo equipo externo), los indicadores se
establecen tomando como base el plan; es decir, y en este caso, las variables que definen la
situacin de la mujer se definen por los aspectos que los poderes pblicos han considerado
susceptibles de mejora o cambio. An as, el hecho de que se recoja informacin sobre, por
ejemplo, el mayor nmero de mujeres universitarias al final que al principio del perodo de
vigencia del plan, o el igual nmero de mujeres empleadas en la Comunidad de Madrid, no
significa ni mucho menos que haya sido el plan el causante o provocador de esta situacin,
no por su potencial capacidad para hacerlo, sino porque no se ha obtenido ninguna
informacin que permita establecer una mnima conexin entre los datos y las acciones de
los poderes pblicos. En el caso de la evaluacin cuantitativa del II Plan central del IM,
las variables medidas son ms especficas y tienen que ver con una investigacin concreta
respecto a los estereotipos sexuales, valores, actitudes, calidad de vida y usos del tiempo;
aqu tambin se recoge informacin, a travs de dos encuestas en el inicio del plan y el final
y se analiza la evolucin de una serie de ndices relacionados con las variables estudiadas.
En ambos casos (Madrid y Castilla y Len, por un lado y el IM, por otro), se trata de
excelentes investigaciones sobre la situacin social de las mujeres. Incluso en el caso del
IM, es una investigacin de tipo innovador, en la que se construyen una serie de ndices
muy interesantes para medir la (des)igualdad entre los gneros, basados en aspectos
normalmente no recogidos como son valores, estereotipos y actitudes. Adems, tomando
como base los usos del tiempo se construyen unos indicadores o ndices de igualdad social,
calidad de vida, autonoma personal, trabajo domstico y productividad. Pero es evidente
que no se trata de evaluaciones de los planes que se supone estn evaluando. La funcin de
investigacin sobre la situacin de la mujer es una de las funciones especficas y ms
importantes de los organismos de igualdad. En nuestra opinin es necesario llevar a cabo
investigaciones, pero no hay que disfrazarlas de evaluacin, no es bueno ni para la
funcin de investigacin ni para la de evaluacin, ya que en realidad, ni se estn dedicando
los suficientes recursos a la investigacin, ni se estn haciendo realmente evaluaciones.
_______________________________________________________________________________________
435

____________________________________________________________________________________________________________
Como se ha visto en el primer captulo de esta tesis doctoral, existen muchas razones
para diferenciar las funciones de investigacin y evaluacin, pero aqu se resaltan
especialmente dos. En primer lugar se diferencian en el objeto, siendo el objeto de la
investigacin la situacin de la mujer y su evolucin a lo largo del tiempo (es decir, el
problema pblico de la desigualdad de gnero) y el objeto de la evaluacin, los planes, es
decir cmo abordan los poderes pblicos el problema de la desigualdad y cmo influyen
dichas actuaciones en el problema pblico. La evaluacin debe centrarse en la respuesta
que los poderes pblicos dan a un determinado problema, y no en ese problema en
abstracto. En segundo lugar, tambin resaltamos las diferencias entre las funciones que
ambos tipos de indagacin pueden cumplir: la evaluacin debe cumplir especialmente dos
funciones que son la de mejora de la actuacin de los poderes pblicos y la del control de
responsabilidades. La investigacin pretende, sobre todo, construir conocimiento y
contribuir genricamente al mejor conocimiento y definicin de los problemas que los
poderes pblicos deben abordar. En el caso de las polticas de igualdad de gnero, es
evidente que la investigacin sobre la situacin de la mujer contribuye, definitivamente, a
una mejor formulacin de las polticas de igualdad. Pero eso no obvia la necesidad de
evaluacin de dichas polticas. Una cosa es monitorizar el problema que hay que abordar y
otra, que es precisamente lo que le confiere un carcter especfico a la evaluacin, valorar
la actuacin de los poderes pblicos para abordar dichos problemas. Esta valoracin debe
hacerse por una cuestin de responsabilidad pblica -los poderes pblicos deben rendir
cuentas y responsabilidades sobre su gestin- y tambin, porque la evaluacin es una fuente
de aprendizaje para ser ms conscientes y conocer mejor las actuaciones que se realizan,
pero adems tambin para mejorarlas a travs de informacin sobre los procesos, los xitos
y fracasos, etc. La continua monitorizacin del problema a abordar -que lo puede cumplir la
investigacin- es necesaria siempre como una fuente importante para el reajuste de las
polticas; pero dicha actividad no cumple las funciones que puede y debe cumplir la
evaluacin de dichas polticas y planes, ya que es una fuente de informacin diferente.
Resulta evidente que tanto la funcin de investigacin como la de evaluacin son
clave para los organismos de igualdad. Y que ambas actividades se benefician y potencian
mutuamente. El hecho de que existan observatorios de igualdad, cuyo objetivo es recoger
datos peridicamente sobre la situacin de la mujer en cada uno de los territorios, resulta
sumamente til e interesante para la evaluacin de las polticas de igualdad, pero el hecho
de su existencia no implica que se est haciendo evaluacin. Por otro lado, la evaluacin de
las actuaciones, planes y polticas ofrece una informacin que puede contribuir
sustancialmente a la identificacin de variables a ser estudiadas en posteriores
investigaciones. Mientras no se diferencien estas dos funciones de investigacin y
evaluacin y a cada una se le otorgue el papel que les corresponde, no se aprovechar el
enorme potencial que ambas tienen en la elaboracin de las polticas pblicas de igualdad
de gnero.
2.2. Falta de una visin global de la actuacin de los poderes pblicos ante el problema
de la desigualdad de gnero: la evaluacin de las polticas vs. la evaluacin de los
planes
_______________________________________________________________________________________
436

____________________________________________________________________________________________________________
Todas las experiencias de evaluacin consignadas en torno a las polticas de igualdad

de gnero central y autonmicas han sido, o han pretendido ser, evaluaciones de los planes
de igualdad aprobados por los respectivos gobiernos10. Es decir, ninguna de las
experiencias de evaluacin se ha planteado como una evaluacin ms global de la poltica
de igualdad, sino como una evaluacin concreta de un determinado plan. Incluso,
considerando esa evaluacin concreta de planes, uno de los problemas detectados en las
mismas es que se tiende a hacer evaluacin de las medidas o actuaciones contempladas en
los planes, y a veces se carece de una visin ms global que tenga en cuenta el plan en su
conjunto.
Es cierto que los planes de igualdad formulados pretenden cubrir, impulsar y
coordinar todas las actuaciones gubernamentales en materia de igualdad de gnero, por lo
que se puede concluir que la principal forma de evaluar las polticas de igualdad es evaluar
dichos planes. Esto es evidente, pero creemos que es importante no perder de vista la idea
de evaluar las polticas, y no slo los planes de igualdad, an cuando stos sean el principal
instrumento a travs del cual se articulan dichas polticas.
La razn de insistir en esto es que la evaluacin de polticas representa una visin
ms global que incluye, adems, la evaluacin de los propios planes y que facilita una
mirada que normalmente no suele desarrollarse en las evaluaciones de los planes, que
resulta una visin ms estrecha o encajonada. La evaluacin de los planes facilita el
cuestionamiento del desarrollo y de los resultados de dichos planes, pero no suele
cuestionar el papel de los planes ni los planes en s mismos. Cuestiones relacionadas con la
adecuacin o no de los planes de igualdad como instrumento propio de las polticas, con la
efectividad e idoneidad de la estrategia transversal y con el papel y el desarrollo de las
funciones propias de los organismos de igualdad, incluyendo el desarrollo adecuado de la
funcin de evaluacin (y de la de impulso, y de la coordinacin, etc.), son cuestiones que
no se han planteado en ninguno de los procesos de evaluacin estudiados.
La distincin entre programas o planes y polticas pblicas no suele encontrarse de
una manera clara en la literatura al uso sobre evaluacin. Normalmente se habla
indistintamente de evaluacin de programas y evaluacin de polticas. Sin embargo, se
pueden encontrar algunas claves para su distincin en la discusin que realiza Carol Weiss
sobre la teora de programa (Weiss, 1998a: 46-71). El diseo de polticas tiene que ver
con responder a problemas pblicos sobre la base de alguna teora de poltica que define
las condiciones iniciales (cul es el problema), los efectos finales (cul es el objetivo), y los
medios para llegar de unas a otros (acciones de programa o poltica). Estas acciones son las
que se traducen en programas o planes y consisten en teoras de programa que se deben
10
En algunas comunidades autnomas se han realizado evaluaciones parciales de programas concretos, como
es el caso de Asturias, del programa de talleres itinerantes socioculturales (1996), y los programas NOW (que
en el caso de esta Comunidad Autnoma se realizan por parte del mismo que los gestiona). En general, todos
los programas que cuentan con fondos europeos suelen requerir la existencia de una evaluacin, que en
muchos casos se da como una mera formalidad para cubrir el expediente, pero que en otros sirve para
proporcionar una informacin til e ir generando una cierta cultura evaluativa en torno a los organismos de
igualdad. Pero estas experiencias de evaluacin siempre se refieren a programas o actuaciones muy concretas,
y ni siquiera se plantean como una evaluacin parcial de los planes.
_______________________________________________________________________________________
437

____________________________________________________________________________________________________________
articular de alguna forma con el marco de poltica ms amplio que es el que le da su razn
de ser o fundamentacin. Este enganche o reconstruccin de la teora de programas
surge cuando se parte de la visin ms amplia que supone la perspectiva de la evaluacin
de polticas. Y de esto todava estn muy lejos las experiencias de evaluacin analizadas,
en las que como se ha comentado antes, predomina la visin de evaluar exclusivamente las
medidas de un plan, y no tanto el plan como una unidad global.
Estas cuestiones relacionadas con la teora de los programas y de la implementacin
de los mismos11 pueden, desde luego, plantearse en evaluaciones de planes ms completas,
que contemplen, sobre todo, el propio diseo de los planes y las variables relacionadas con
el desempeo de los organismos de igualdad en el proceso de puesta en prctica de dichos
planes. Pero insistimos en que la visin ms amplia y global de la evaluacin de las
polticas de igualdad, resulta especialmente interesante para polticas pblicas innovadoras
(y ste es el caso de las polticas de igualdad), y siempre va a cubrir ms aspectos que la
evaluacin de los planes. Es evidente que este tipo de evaluacin es una evaluacin que
interesa, sobre todo, a los responsables polticos y gubernamentales pero que, en general,
puede hacer ms consciente a la comunidad de poltica12 de lo que tiene entre manos.
2.3. Falta de reconocimiento del carcter poltico de la evaluacin

Esta conclusin tiene tambin que ver, al igual que la primera, con la falta de claridad
en el fin y las funciones de la evaluacin. El discurso sobre las funciones de las
evaluaciones analizadas contiene, por lo general, razones suficientemente bien esgrimidas
sobre la necesidad del rendimiento de cuentas, la mejora de los planes y la iluminacin para
acciones futuras, aunque en muchas ocasiones estas razones se quedan en el nivel
discursivo y no llegan realmente a desarrollarse y cumplirse en la prctica. Quiz la funcin
que mejor se cumpla, por encima de las otras, ha sido la del control de responsabilidades
(es decir, la evaluacin sirve, sobre todo, para presentar datos y rendir cuentas de la gestin
tanto al ejecutivo sobre todo, como al legislativo -es el caso especialmente del Pas Vasco
y, en menor medida, de Catalua y Madrid), aunque esto tampoco puede generalizarse.
11
Se recuerda aqu la interesante propuesta de Weiss de lo que ella llama las teoras del cambio, y que
incluyen la teora de programa, distinguindola de la teora de la implementacin del programa. Mientras
la teora de programa se refiere a los mecanismos que median entre la entrega (y la recepcin) del programa
y el surgimiento de los efectos de inters, la teora de la implementacin es la teora subyacente a lo que se
requiere para traducir los objetivos en la entrega del servicio en curso o en las operaciones del programa. El
mecanismo operativo de cambio de la teora de programas no son las actividades del programa en s (lo que
se hace), sino la respuesta que dichas actividades generan. El de la teora de la implementacin es el de la
entrega y reparto de los servicios y las actividades del programa. Es decir, mientras la primera teora pone el
nfasis en las respuestas de la gente a las actividades, la otra en cmo se llevan a cabo dichas actividades.
12
La comunidad de poltica (policy community) estara compuesta por todas las personas o grupos que
afectan o se ven afectados por la poltica, o que tienen algn inters en la misma, incluidas las femcratas,
otros actores gubernamentales, el movimiento de mujeres, las personas expertas en temas de igualdad,
seminarios o institutos universitarios interesados en los estudios de mujer, etc.
_______________________________________________________________________________________
438

____________________________________________________________________________________________________________
Una de las razones que aqu se identifican como clave de la falta de claridad en el fin
y las funciones de las evaluaciones estudiadas, es la ausencia de reconocimiento del
carcter poltico que todo proceso de evaluacin tiene. Por lo general, la evaluacin de los
planes de igualdad se ha considerado como un asunto eminentemente tcnico, y esto es
algo que inevitablemente hace que se desvirten los procesos de evaluacin, hacindolos en
muchos casos residuales e intiles para los fines que supuestamente se haban propuesto en
un principio.
En el primer captulo de este trabajo, ya se expona el evidente carcter poltico de la
evaluacin y la centralidad de dicho carcter para la prctica y la teora de la evaluacin.
No slo la evaluacin parte de un contexto claramente poltico (en el que hay grupos y
personas interactuando y con diferentes intereses y posiciones en el programa que se va a
evaluar) y slo tiene sentido una respuesta de la evaluacin a dicho contexto, sino que tanto
lo que se evala (programas o polticas) como la decisin de evaluar son claros productos
de decisiones polticas. Adems, la evaluacin se hace para facilitar el proceso de toma de
decisiones y el aprendizaje organizativo (ambos procesos claramente polticos), y toma una
determinada postura respecto a los programas o polticas que est evaluando.
Este reconocimiento poltico de la evaluacin tiene una serie de implicaciones,
como son la necesaria credibilidad de los equipos evaluadores, la oportunidad en el tiempo
de la evaluacin y la necesidad de flexibilidad durante su proceso. En general, significa
tambin reconocer que los intereses de los evaluadores y los de los gestores pblicos y
responsables polticos respecto a la evaluacin son normalmente distintos y muchas veces
entran en conflicto, que hay que entender el valor simblico y de cambio de la informacin
que ofrecen las evaluaciones, y que es necesario extender las evaluaciones ms all de los
objetivos de unos planes o programas y comprender los procesos organizativos que
subyacen a toda situacin evaluativa. Tambin implica que hay que tener en cuenta a todos
los agentes crticos (stakeholders) de los programas -especialmente a los ms vulnerablesy reconocer que existen diferentes necesidades de informacin en diferentes puntos del
ciclo de una poltica. Por lo general, las experiencias analizadas no han tenido especial
preocupacin por estas cuestiones, sino que se han centrado ms bien en los elementos
tcnicos de la misma. Y esta circunstancia se ha traducido en un mal enfoque de la mayora
de los procesos de evaluacin, obviando una serie de circunstancias y elementos cruciales
para conseguir evaluaciones realmente tiles.
2.4. Percepcin de la evaluacin como una funcin secundaria: el papel crucial de los
organismos de igualdad en la evaluacin de las polticas de igualdad de gnero
Como se ha sealado en el tercer captulo de este trabajo, los organismos de igualdad,
tanto a nivel central en primer lugar como autonmicos ms adelante, han sido los
_______________________________________________________________________________________
439

____________________________________________________________________________________________________________
principales protagonistas e impulsores de las polticas de igualdad de gnero en Espaa.

Incluso cuando se adoptan los planes de igualdad como principal instrumento de poltica,
aunque estos planes involucran a muchos otros actores gubernamentales, los organismos de
igualdad siguen siendo los absolutos protagonistas y principales actores del conjunto de
actuaciones que proponen, siendo los formuladores, impulsores y seguidores de las
intervenciones en torno a la igualdad de gnero y siendo su capacidad de persuasin y
convencimiento un elemento clave en el xito de dichas polticas. Por lo tanto, los planes
de igualdad son impulsados por los organismos de igualdad, que en el nivel central y en el
autonmico (salvo excepciones)13 son ms impulsores que ejecutores de polticas.
Teniendo en cuenta esta realidad, y si una de sus principales funciones, adems de la
informacin y sensibilizacin y la de investigacin en temas de igualdad, es, sobre todo, el
impulso, coordinacin, seguimiento y evaluacin de los correspondientes planes, la
evaluacin debera ser una de las funciones ms importantes en dichos organismos de
igualdad. Sin embargo, la funcin de evaluacin (con la excepcin del Instituto Vasco de la
Mujer Emakunde que han hecho una apuesta explcita por la evaluacin y declaran que sta
es una de sus prioridades), es prcticamente residual en la mayora de los organismos de
igualdad que realizan las evaluaciones analizadas.
Aqu se insiste no slo en el protagonismo crucial que deben tener los organismos de
igualdad en los procesos de evaluacin de las polticas y los planes (esto ha sido as hasta
ahora ya que en todos los casos estudiados, el impulsor y en algunos casos tambin ejecutor
de cada evaluacin estudiada ha sido precisamente el organismo de igualdad
correspondiente), sino en que la funcin de evaluacin debe ser claramente una de sus
funciones principales. De hecho, puede ser precisamente esta funcin de evaluacin la que
ayude a definir diferencialmente el papel que deben cumplir los organismos de igualdad en
las polticas tranversales de igualdad de gnero. Es decir, aunque los organismos de
igualdad vayan perdiendo protagonismo en la propuesta, formulacin y ejecucin de
actuaciones por la igualdad de gnero (esto sera deseable ya que indicara que se va
asumiendo la perspectiva de gnero en el resto de las polticas pblicas), no tendran por
qu perderlo nunca respecto a su coordinacin y, precisamente, al seguimiento y la
evaluacin de las mismas.
De esta manera, se seala la importancia que podra y debera tener un buen liderazgo
de los organismos de igualdad respecto a la evaluacin de las polticas de igualdad de
gnero. Precisamente, el hecho de que sean polticas que se plantean como transversales y
cuyo objetivo ltimo es conseguir que el resto de las polticas pblicas tengan perspectiva
de gnero, podra poner en duda la necesidad o conveniencia de organismos especficos de
igualdad. El necesario papel que pueden cumplir los organismos especficos de igualdad
parece evidente cuando pensamos en las funciones de anlisis e investigacin sobre gnero
y de impulso, coordinacin, seguimiento y, sobre todo, evaluacin de las polticas de
13
En algunas comunidades autnomas., especialmente las ms pequeas, se tiende a tomar el papel de

ejecutor directo de actuaciones de promocin de la igualdad de gnero. Este es el caso, por ejemplo, de La
Rioja. Tambin en Extremadura, aunque no sea una Comunidad Autnoma tan pequea, se ha dado esta
caracterstica, siendo la Direccin de la Mujer un organismo que ejecuta directamente las actuaciones; en este
caso, adems, en el momento en el que se realiza la investigacin, no tenan un segundo plan de igualdad.
_______________________________________________________________________________________
440

____________________________________________________________________________________________________________
igualdad de gnero. Adems, debido a la falta de cultura evaluativa existente en las

administraciones pblicas espaolas, este liderazgo puede ser an ms importante. Ms
all, la funcin de evaluacin, en este caso, es extremadamente importante por el hecho de
tratarse de polticas innovadoras que son especialmente susceptibles de revisin,
aprendizaje, ajuste y mejora.
Sin embargo, este no ha sido el caso en las experiencias analizadas, salvo el caso de
Emakunde, ya mencionado, en donde la funcin de evaluacin de sus Planes de Accin
Positiva ha tenido un papel prioritario. En la mayora de los casos, sin embargo, los
procesos de evaluacin no han sido demasiado protagonistas, dentro de los organismos, ni
en su concepcin, ni en su ejecucin y ni siquiera en su posterior utilizacin.
Relacionado con esto, nos gustara sealar que, desde nuestro punto de vista, el
organismo de igualdad central, el IM, y debido a su posicin respecto al resto de los
organismos de igualdad autonmicos, podra haber ejercido un mayor liderazgo en temas de
evaluacin. Precisamente en unos momentos en los que el IM ha tenido que ir redefiniendo
sus funciones, tanto por la transversalidad de las polticas y el cambio de enfoque de
promocin de la mujer a cuestiones de gnero, como por el propio desarrollo del Estado de
las autonomas y las polticas de igualdad autonmicas. La cuestin de la evaluacin de las
polticas de igualdad podra ser una de las cuestiones clave en torno a la cual el IM ejerciera
un liderazgo orientando, proponiendo, coordinando y reuniendo a las comunidades
autnomas. Incluso hubiera podido recuperar parte de su liderazgo perdido en la generacin
de los terceros planes autonmicos, en los que, como se ha visto en el tercer captulo, se da
una mayor influencia internacional (del IV Programa Europeo y de la Plataforma para la
Accin de Pekn) en detrimento de una menor influencia nacional que haba sido mucho
ms evidente en los primeros y segundos planes. Sin embargo, el IM ha desaprovechado
esta oportunidad, al menos en los procesos de evaluacin estudiados. Tras muchas
peticiones por parte de algunos organismos autonmicos, se realiz, en junio de 1998, un
breve curso de dos das y medio, en la Universidad Internacional Menndez Pelayo,
auspiciado por el IM, y que no ha tenido ninguna continuidad posterior14.
Algunas comunidades autnomas, especialmente el Instituto Vasco de la Mujer
(Emakunde), podran ejercer este liderazgo (de hecho, en cierto modo Emakunde lo ejerce
de forma implcita siendo una referencia para el resto, ya que es el organismo de igualdad
que comenz hace ms tiempo a evaluar y que lo ha trabajado de forma ms rigurosa y
continua). Aunque tienen una posicin institucional difcil para hacerlo: en realidad, el
instrumento de cooperacin inter-gubernamental ms importante, las Conferencias
Sectoriales, ofrece mucho ms protagonismo al nivel central que al autonmico, siendo
aqul el que convoca e imprime el ritmo y agenda de las mismas. Es una lstima, por lo
tanto, que no existan ms vas para la cooperacin interinstitucional (y entre las propias
comunidades autnomas), y que den lugar a un verdadero intercambio, reflexin y
aprendizaje sobre la evaluacin de los planes y las polticas. Lo que ha ocurrido hasta este
14
Evaluacin de las polticas de igualdad entre mujeres y hombres (Santander, 29 junio-1 julio de 1998;
directores: Roco Fdez. Ballesteros y Mariano lvaro). Al l se invitan a las comunidades autnomas de
Castilla y Len, Catalua, Galicia y Pas Vasco para que expongan sus experiencias de evaluacin.
_______________________________________________________________________________________
441

____________________________________________________________________________________________________________
momento es que, o bien no se han aprovechado las experiencias ya realizadas por otros
organismos de igualdad, o bien se ha producido un cierto mimetismo plano sin demasiado
cuestionamiento de unas experiencias con otras (por ejemplo, tratar diferenciadamente una
evaluacin cuantitativa y una cualitativa), al igual que ha ocurrido, en muchos casos, con la
propia elaboracin de los planes (Bustelo, 1999a: 381-382).
2.5. Visin parcial de la evaluacin: una mala gestin y utilizacin de los diferentes
tipos de evaluacin
En general, esta segunda generacin de evaluaciones, que para muchos organismos de
igualdad representan sus primeras experiencias, adolece en cierto modo de una visin
estrecha y parcial de la evaluacin. Esto consiste, como en muchos casos en los que se
carece de cultura y experiencia evaluativa, en realizar evaluaciones con una tendencia a ser
parciales y finalistas.
Una buena forma de analizar esta visin parcial es repasando las tipologas bsicas de
evaluacin, comprobando la utilizacin que de ellas se ha hecho en estas experiencias, que,
en realidad, ha sido parcial, desaprovechando en cierto modo, la potencialidad de la
evaluacin. Para esto se utilizan tres de las cuatro tipologas mencionadas en el captulo
dos. Segn el papel que cumple la evaluacin, segn el contenido, y segn el momento. La
cuarta, segn el agente, se trata en el punto siguiente de forma separada.
En lo que se refiere al papel que cumple la evaluacin, casi todas las evaluaciones se
han concebido de manera sumativa. Esto es normal si se considera que las evaluaciones
sumativas pretenden hacer recapitulacin del programa a evaluar y valorarlo de forma
global. Las formativas, sin embargo, pretenden mejorar el programa sobre la marcha. En la
mayora de los casos, las evaluaciones se han empezado tarde, por lo que una visin
formativa era casi imposible. En cualquier caso, aunque se concibieran las evaluaciones
exclusivamente desde un punto de vista sumativo, estas deberan concebirse desde un
principio, para que se pudiera ir recogiendo informacin que, en un momento determinado,
se analizara y valorara globalmente. Adems, las evaluaciones sumativas, aunque no
sirvan para mejorar el propio plan que se est evaluando, s sirven para mejorar los
siguientes, cumpliendo as, y de esta manera, una de las funciones clave de la evaluacin. Y
si realmente se consiguiera normalizar la funcin de evaluacin y sta se incorporara al
quehacer cotidiano de los organismos de igualdad y restantes unidades administrativas
implicadas, habra que ir tambin hacia una evaluacin formativa, al menos de algunos de
los aspectos del plan, que ayudara a ir mejorando sobre la marcha los propios planes que se
estn evaluando.
Respecto al momento, todas las evaluaciones son post-facto. Inclusive, como se ver
ms adelante, una de las enormes dificultades de los procesos de evaluacin analizados es,
precisamente, su dimensin temporal y los retrasos que se han producido, tanto en su
planteamiento, como en el propio proceso, una vez empezado. Sin embargo, podra darse
una evaluacin ex-ante de los planes, que resultara sumamente til y por la que no habra
_______________________________________________________________________________________
442

____________________________________________________________________________________________________________
que hacer demasiados esfuerzos o invertir demasiados recursos. Se tratara de realizar una
buena y sistemtica evaluacin ex-ante, una vez se elaborara el plan a evaluar o en el
mismo proceso de elaboracin y como parte del mismo, y antes de que ste fuera aprobado
y puesto en marcha. Esto podra contribuir enormemente a reforzar los planes y los
compromisos que con stos adquieren los diferentes actores gubernamentales y no
gubernamentales. Este tipo de evaluacin no se ha dado en ninguno de los casos.
Finalmente, respecto al contenido, se puede apreciar que muy pocas experiencias
realizan evaluacin del diseo o conceptualizacin del programa. Sin embargo, resaltamos
aqu la importancia de este tipo de evaluacin, para tener en cuenta a los planes en su
conjunto y reforzar su teora de programa. Este tipo de evaluacin es precisamente una de
las que ms se reforzara, en caso de que se hiciera nfasis en una perspectiva de evaluacin
de polticas ms que de planes y actuaciones concretas.
En lo que se refiere a la evaluacin de proceso, se puede concluir que sta se ha hecho
mucho menos de lo que se pretenda o se ha querido creer. En realidad las evaluaciones
llamadas de proceso o implementacin han sido, en muchos casos, evaluaciones de outputs,
limitndose a describir las actuaciones o actividades que se haban realizado -o no- como
parte de los planes. Sin embargo, prcticamente no se han evaluado los mecanismos de
funcionamiento a travs de los cuales los planes se ponen en marcha: desde cmo se llega a
la gente destinataria de las actuaciones hasta, y sobre todo, cmo llega el organismo de
igualdad a las otras unidades administrativas que deben estar implicadas, cmo se
coordinan, cmo funcionan los foros de coordinacin y decisin en el plan, cmo se siguen
las actividades, etc. Es decir, adems de evaluar el funcionamiento de cada actividad, hay
que hacerlo del plan en su conjunto, ya que se necesita de una visin integral y holstica
para valorar adecuadamente las polticas. Y para valorar bien las polticas no slo hay que
evaluar su diseo y sus resultados, sino tambin cmo stas se ponen en marcha. Si esto
resulta vital en cualquier poltica pblica, en las polticas de igualdad de gnero las cuales
se conciben como transversales, lo es an ms: una buena parte de su xito o fracaso podr
explicarse por su compleja puesta en prctica o implementacin, en la que estn implicados
tantos agentes crticos. La evaluacin sistemtica de este proceso de puesta en prctica
resulta crucial para conocer y valorar bien las polticas pblicas de igualdad de gnero.
Por ltimo, la evaluacin de resultados es la que ms se ha desarrollado en su
vertiente de evaluacin de productos o outputs. Es decir, se han evaluado las actuaciones
que han resultado de los planes y, en algunos casos, se ha hecho de forma bastante completa
y exhaustiva, analizando tambin los agentes implicados, el tipo de personas destinatarias,
el presupuesto invertido, el tiempo empleado y hasta el tipo de actividad del que se trataba.
Y sin embargo se ha hecho realmente muy poca evaluacin en su vertiente de efectos o
outcomes, sobre todo si hablamos de los efectos netos de los planes. Es decir, algunos de
los estudios (evaluaciones de los segundos planes central y madrileo y primer plan
castellano y leons) han pretendido que algunas de las variables medidas eran efectos
provocados por los planes que supuestamente estaban evaluando, pero no han utilizado
ninguna tcnica o dispositivo que permitiera hacer una conexin directa entre lo que
estaban midiendo y el plan, por lo que a duras penas siquiera se les podra llamar efectos.
Ciertamente, se ha de sealar aqu, que la evaluacin de efectos netos es muy difcil de
_______________________________________________________________________________________
443

____________________________________________________________________________________________________________
llevar a cabo: muchas veces los efectos que se pretenden conseguir con los planes de
igualdad son muy diversos, a largo plazo y, en general, difciles de medir (por ejemplo,
cambio de actitudes en la sociedad). Adems, tambin es difcil identificar o delimitar los
destinatarios de dichas actuaciones. Sin embargo, no por su dificultad hay que dejar de
intentarlo. Una de las cuestiones que aqu se proponen, y que podra ser muy interesante,
sera la medicin de efectos intermedios (efectos que, aunque no sean los finales, se sabe
que tienen una alta probabilidad de acabar produciendo los efectos finales que se proponen.
Por ejemplo, cambio de actitudes ante las futuras profesiones en los y las jvenes de un
Instituto que han asistido a un programa de orientacin profesional no sexista -el efecto
final sera una seleccin ms igualitaria de profesiones-). Esto podra hacerse si se explicita
la teora de programa de los planes, y se pueden establecer efectos intermedios bien
fundamentados.
Adems de aprovechar mejor las oportunidades que nos brindan los diferentes tipos
de evaluacin, se tratara de utilizarlos conjunta y sinrgicamente, sobre todo en lo que se
refiere la tipologa mencionada aqu en ltimo lugar -segn el contenido o fase-. Es decir,
cuando se hace evaluacin de la implementacin o proceso de ejecucin del plan y
evaluacin de resultados, se suelen hacer dos estudios separados con procesos
diferenciados. Y esto hace que la evaluacin pierda mucha de su posible potencia.
Pongamos un hipottico ejemplo: si lo que se quiere evaluar es la coordinacin
gubernamental que ha habido en un determinado plan de igualdad, se podra realizar:
- una evaluacin de diseo, que tendra que ver con la conceptualizacin de dicha
coordinacin, la existencia de estructuras de coordinacin, si su diseo es adecuado y si
estaban previstas y explicitadas en el plan
- una evaluacin de proceso (o implementacin), que tendra que ver con el
funcionamiento real de dichas estructuras de coordinacin (periodicidad, calendario,
contenido, bajas y estabilidad de los componentes, etc.), porque se sabe que no es
condicin suficiente que estn diseadas formalmente y que hay mltiples factores que
pueden influir en dicha implementacin
- una evaluacin de outputs o productos, en la que se registren y evalen las
reuniones resultantes, las relaciones establecidas, los acuerdos tomados y cumplidos, los
trabajos conjuntos realizados y las actuaciones ejecutadas como consecuencia de dicha
coordinacin, y
- una evaluacin de outcomes o efectos, en la que se valore si las actuaciones
realizadas por cada uno de los departamentos gubernamentales, como consecuencia de la
coordinacin propuesta por el plan, han sido realizadas con perspectiva de gnero o pueden
contribuir a que las polticas pblicas correspondientes la tengan.
Lgicamente, para hacer una evaluacin completa de la coordinacin, no tendra
sentido que se hicieran estudios diferentes y desconectados entre s; se tratara de integrar
las informaciones y valoraciones de cada uno de los aspectos planteados (su diseo,
funcionamiento, resultados y efectos conseguidos), dndole as una mayor potencia a la
_______________________________________________________________________________________
444

____________________________________________________________________________________________________________
evaluacin global del plan. En definitiva, para tener una visin holstica de los planes y las
polticas de igualdad hay que evaluar tanto su diseo, como su proceso de puesta en
prctica y sus resultados, analizando conjuntamente dichas fases o elementos de la
intervencin pblica.
2.6. La optimizacin de agentes externos en la evaluacin: las evaluaciones mixtas vs.

las evaluaciones externas
En este trabajo se ha utilizado la clasificacin de tipos de evaluacin segn el agente
evaluador -evaluacin interna, externa o mixta- para exponer los datos ya que sta era la
clasificacin bsica que implicaba procesos ms distintos entre s15. Segn esta
clasificacin, dos evaluaciones eran consideradas internas (Aragn y La Rioja), seis
externas (Andaluca, Canarias, Castilla-La Mancha, Castilla y Len, Galicia y Madrid) y
otras tres mixtas (IM, Catalua y Pas Vasco). En realidad, ya se haba sealado que las
evaluaciones mixtas eran en realidad procesos internos en los que se haba recurrido a
colaboraciones externas en alguna parte del proceso de evaluacin. En este punto se
establecen algunas razones sobre cul ha sido el tipo de evaluacin ms adecuado y por
qu.
Los procesos internos puros son poco frecuentes y muy probablemente, cada vez lo
sean menos an, debido principalmente a que los procesos de evaluacin requieren un
esfuerzo que, normalmente, la plantilla de los organismos de igualdad no est en
condiciones de asumir plenamente, adems de la tendencia general, cada vez mayor, de las
administraciones pblicas a concertar servicios externos. De hecho, de las dos experiencias
clasificadas como internas en este trabajo, La Rioja ha recurrido finalmente a
colaboraciones externas no slo en la parte que tena prevista inicialmente, como era la
evaluacin final, sino tambin en las ltimas evaluaciones anuales (la del ao 1999 y el ao
2000). Ya se justific en su momento por qu se decidi seguir clasificando dicha
experiencia como interna y teniendo en cuenta los datos de los primeros aos de vigencia
del plan que corresponden a una evaluacin netamente interna. En el caso de la otra
experiencia de evaluacin interna -Aragn-, se trat de una experiencia de dimensiones
pequeas y que se realiz en un momento en el que haba habido un fuerte cambio
organizativo y con una idea muy concreta de obtener una informacin descriptiva simple
que diera una idea de lo realizado hasta entonces y lo que quedaba por hacer.
Tambin ya se ha sealado como las evaluaciones mixtas son, en realidad, procesos
internos de evaluacin en los que se recurre a colaboraciones externas en alguna parte del
proceso de evaluacin. La cuestin es distinguir, dentro de las evaluaciones mixtas, otros
tipos. Y, en este caso, ya se vio como eran diferentes los casos de Catalua y el Pas Vasco
que, aunque internos, se pide colaboracin externa desde el inicio, en la propia definicin y
concepcin del proceso de evaluacin. Sin embargo, en el caso del IM central, la ayuda
externa es mucho ms concreta y delimitada en el tiempo, ya que la empresa externa que
15
Vase el punto 4.3.3 en el captulo 4.

_______________________________________________________________________________________
445

____________________________________________________________________________________________________________
colabora lo hace en el proceso de aplicacin y anlisis del cuestionario en la realizacin y

posterior anlisis de las entrevistas en profundidad y los grupos de discusin. Es decir,
mientras en las dos primeras la colaboracin externa se concibe ms como un proceso de
asesoramiento para la totalidad del proceso de evaluacin, en la ltima se trata de una
participacin en unas tareas concretas sin que eso implique una visin global del proceso
por parte del equipo externo.
Estableciendo una comparacin entre las evaluaciones mixtas y las externas se ve
que, en general y con la excepcin antes mencionada, las primeras han llevado a procesos
ms adaptados a los organismos de igualdad, su contexto, su realidad y sus necesidades y
parecen haber producido una mayor aprendizaje organizativo y una mayor implicacin de
los equipos internos en los procesos de evaluacin. En definitiva, en los casos de Catalua y
el Pas Vasco se ha producido un proceso de aprendizaje sobre evaluacin en el seno de los
respectivos institutos de la mujer, ms reciente en el caso de Catalua y ms continuado
desde hace tiempo (ya se haba realizado una evaluacin anterior en trminos parecidos) en
el Pas Vasco. En ambos casos se han utilizado las colaboraciones externas para orientar,
sugerir, ajustar y contrastar los procesos de evaluacin. Los equipos externos han trabajado
con y no para los organismos de igualdad. Esto ha producido un proceso de aprendizaje
organizativo mucho mayor que en el resto de los casos.
Este tipo de aprendizaje que se ha producido en estos dos casos de evaluacin mixta
es lo que nos hace concluir que, desde este punto de vista, los procesos mixtos son
preferibles a los externos. Es cierto que las evaluaciones externas tienen ms probabilidades
de ser coherentes desde un inicio, en el sentido de que pueden contar con especialistas en
evaluacin que ofrezcan una visin global. Sin embargo, este aprovechamiento de una
especializacin y autoridad de expertos en evaluacin tambin puede darse en procesos
mixtos, si as se concibe desde los organismos de igualdad. Tambin las evaluaciones
externas tienen, en principio, mayores probabilidades de ajustarse a un calendario y de
hacerse en tiempo, dado que no estn tan determinadas por las urgencias y los procesos
internos de las instituciones, pero esto no ha sido as ya que los problemas de calendario se
han dado tanto en los casos mixtos como en los externos. De hecho, uno de los procesos
con problemas de calendario ms graves ha sido la evaluacin del II Plan Andaluz,
concebida como externa desde un principio. Otra de las cuestiones clave de las
evaluaciones externas, y que normalmente se atribuye como ventaja sobre las internas o
mixtas, es la mayor credibilidad que aquellas tienen. Sin embargo, en los casos estudiados
ste no parece haber sido un factor determinante. De hecho, la colaboracin y el
asesoramiento en los procesos mixtos funcionan y se mencionan como un cierto aval en
este sentido.
Esta tendencia, sin embargo, no puede ser generalizable de forma absoluta. Creemos
que lo que hace preferible unos procesos sobre otros es el trabajo conjunto de un equipo
experto externo y un equipo interno que se implica en los procesos de evaluacin. As,
podemos encontrar, entre los casos externos estudiados, procesos en los que se ha dado un
mayor esfuerzo por implicar a los equipos internos, como es el caso de Galicia. Es decir, en
realidad, el xito en este sentido no depende tanto de que sean procesos externos o no, sino
de cmo sean stos concebidos. Salvo en el caso mencionado de Galicia y, en parte, en el
_______________________________________________________________________________________
446

____________________________________________________________________________________________________________
de Castilla-La Mancha, en el que se procur la participacin de todos los agentes

implicados en el plan (dado que se haca paralelamente al proceso de elaboracin del III
Plan), el resto de las experiencias han sido concebidas y llevadas a cabo como procesos
totalmente externos -a veces pecando de ajenos- a la realidad concreta del plan y de su
principal protagonista, el organismo de igualdad. Es decir, se conceba ms como un
estudio externo en el que slo exista interaccin con el organismo de igualdad para la
recopilacin de informacin y el establecimiento de fechas de entrega, y poco ms. Por lo
tanto, la tendencia que creemos que s puede generalizarse es la de a mayor implicacin
interna y mejor coordinacin de equipos externos e internos, mayor ajuste al contexto y a la
realidad de los procesos de evaluacin y mayor aprendizaje organizativo sobre evaluacin
en los respectivos organismos de igualdad.
2.7. La falta de claridad en el QU. La dictadura de la metodologa y las tcnicas en

los procesos de evaluacin
Uno de los pasos cruciales en evaluacin consiste en determinar qu es lo que se
quiere evaluar, una vez se ha clarificado el por qu y el para qu queremos evaluarlo. En
primer lugar, es importante ya que es lo que determina y gua el estudio, orientando la
recopilacin y el anlisis de la informacin; en definitiva, se trata de la identificacin y
definicin de las variables que se van a valorar. Pero adems, en evaluacin, se determinan
tambin los criterios de valor, es decir, a travs de la definicin de los criterios estamos
definiendo la base lgica con la que posteriormente vamos a emitir los juicios sobre el
programa o poltica evaluada. En definitiva, los criterios de evaluacin son los que van a
definir la perspectiva de valoracin a utilizar.
Por otro lado, la definicin de los criterios de evaluacin puede -y debe servir- para
realizar un proceso de revisin del propio programa o poltica a evaluar, es decir para
clarificar y reforzar los objetivos y para repasar o explicitar la teora de programas, en
otras palabras, las premisas, principios y mecanismos subyacentes al programa (por
ejemplo, qu es lo que hace pensar o por qu una campaa publicitaria sobre el reparto de
las responsabilidades domsticas va a contribuir a un cambio de actitudes en la
poblacin?). Y esto en la doble vertiente apuntada por Weiss, lo que ella llama las teoras
de cambio de un programa, que seran la combinacin de la teora de programas
(cules son los mecanismos por los que la transmisin de valores a travs de los medios de
comunicacin provoca cambios de actitud? y la teora de la implementacin del
programa (qu secuencia de distribucin debe darse o cmo debe hacerse una campaa
publicitaria, en definitiva, qu es lo que provoca que una campaa publicitaria sensibilice a
la sociedad?) (Weiss, 1998: 57-58).
Sin embargo, el anlisis de las experiencias de evaluacin metaevaluadas en este
trabajo permite detectar, en general, una cierta confusin respecto a la definicin de los
criterios de evaluacin. En parte esto tiene que ver con una cierta confusin respecto a la
teora de programas anteriormente mencionada. Esta teora de programas hay que
clarificarla y hacerla explcita, y esto requiere tiempo y reflexin previa al establecimiento
_______________________________________________________________________________________
447

____________________________________________________________________________________________________________
de los criterios de evaluacin. En general, pensar sobre qu se quiere evaluar -criterios de

evaluacin- es un paso clave y que, sin embargo, se suele obviar o se suele dar por hecho,
pareciendo que ya estn preestablecidos unos criterios para la evaluacin que son
generales, preexistentes y vlidos para cualquier situacin, pero que adems nadie explicita
de una forma clara.
Una primera cuestin detectada, pues, es que parece que no ha habido una reflexin
seria previa a los procesos de evaluacin sobre realmente qu se quiere evaluar. Es ms, en
muchas ocasiones da la impresin de que el QU evaluar (criterios de evaluacin) se ha
definido a travs del CMO evaluarlo (metodologa y tcnicas utilizadas), dando prioridad
a esto ltimo. Un ejemplo ilustrativo de esta circunstancia es la evaluacin del II Plan de
Igualdad central (y significativo ya que ha marcado pautas para algunas comunidades
autnomas) en la que se hace una distincin entre una evaluacin cuantitativa y una
evaluacin cualitativa. Son dos estudios totalmente diferenciados y el aspecto clave que
los diferencia, y por lo que se definen, no es su contenido sino por el tipo de tcnicas de
recopilacin y anlisis que se han utilizado en los mismos. El estudio cuantitativo analiza, a
travs de una encuesta, una serie de variables en la poblacin general (usos del tiempo,
valores, actitudes, estereotipos y calidad de vida antes y despus del plan), y como se ha
comentado en el captulo 5 de este trabajo, sin ninguna conexin real con el plan
supuestamente evaluado. El cualitativo recoge las opiniones sobre el plan de personas
implicadas y colectivos destinatarios del mismo: por lo que se define es porque se lleva a
cabo a travs de entrevistas en profundidad y grupos de discusin (por eso lo denominan
cualitativo) y no por qu tipo de opiniones (si son sobre el diseo, el desarrollo o los
resultados, sobre el papel de los planes en la sociedad o sobre cmo ha afectado dicho plan
a estas personas) ni por qu se ha recogido esa informacin y no otra. La falta de claridad
sobre los criterios de evaluacin queda ms patente an cuando se comprueba que el tercer
estudio que completa la evaluacin del II Plan central es denominado evaluacin de la
implementacin. En este caso la categora utilizada s tiene que ver con el contenido o fase
del plan que se evala y no con la metodologa utilizada. En general, definir el tipo de
evaluacin por el tipo de instrumentos que se utilizan en la recopilacin de informacin cualitativos o cuantitativos- parece una visin equivocada de la evaluacin de programas,
especialmente si tenemos en cuenta que, tanto la teora como la propia prctica de la
evaluacin aconsejan y abogan por la utilizacin conjunta y dialctica de diferentes
instrumentos, tanto cuantitativos como cualitativos. En el ejemplo que hemos escogido evaluacin del II Plan central- s se han utilizado ambos tipos de tcnicas, pero no se ha
hecho conjuntamente, sino de forma independiente, lo que resulta un indicador claro de que
el elemento organizador de la evaluacin ha sido el tipo de instrumentos de recopilacin y
anlisis de la informacin y no los criterios de evaluacin. Y esto, en nuestro parecer, es
confundir el propio sentido de la evaluacin: los instrumentos deben estar al servicio de los
criterios y no al contrario, es decir los instrumentos sirven para recopilar y analizar una
informacin sistemtica que va a ser la que nos va a permitir contestarnos a las preguntas o
criterios de evaluacin que se han formulado y valorar, entonces, el programa o poltica
evaluada segn dichos criterios.
_______________________________________________________________________________________
448

____________________________________________________________________________________________________________
El ejemplo escogido ilustra de forma evidente este factor que determina, desde su
propia concepcin, la experiencia de evaluacin mencionada. Pero en el resto de las
experiencias mencionadas tambin existe, en mayor o menor medida, esta tendencia.
Parece que lo ms importante son las tcnicas o instrumentos para recoger la informacin y
esto, en muchos de los casos, opaca pasos previos (definicin de los criterios de
evaluacin) y posteriores (valoracin, emisin de juicios y recomendaciones) de la
evaluacin. Creemos que esto est influido por factores anteriormente mencionados,
especialmente la falta de cultura de evaluacin y de experiencia y el hecho de que los
profesionales que han intervenido, salvo en algunas excepciones, son ms especialistas en
metodologa de investigacin social que en evaluacin de programas y polticas pblicas.
Otra de las carencias detectadas y que es otro indicador de esta falta de claridad en
qu se debe evaluar es, como ya se ha visto en el punto 9.2.5., que se tiende a separar los
diferentes tipos de evaluacin realizados -en caso de que se hagan diferentes tipos-, sin
integrarlos en un necesario anlisis y valoracin comn.
Por otro lado, uno de los criterios ms utilizados en prcticamente todas las
evaluaciones analizadas es el del grado de cumplimiento de las actuaciones del plan. Tal
y como se concibe este criterio en la mayora de las evaluaciones, este grado de
cumplimiento se suele referir a la ejecucin de cada una de las actuaciones propuestas en
el plan. Es decir, se trata simplemente de comprobar si se han realizado o no cada una de
las acciones o medidas propuestas. En muchos casos, ni siquiera se realiza una valoracin
global del plan, sino de cada una de las actuaciones. De esta manera, aunque algunas de las
experiencias se denominan evaluacin de la implementacin (que sera una evaluacin de
proceso), en realidad se trata ms de una simple evaluacin de outputs, analizando el
producto final -si se ha realizado o no- ms que el proceso por el cual se llega al mismo.
Esta tendencia hacia la evaluacin de los resultados de los planes es tambin general; se
tiende a pensar que lo que hay que evaluar son los productos, salidas o efectos de los
planes, es decir lo externo, ms que el diseo o los procesos, algo ms interno. El hipottico
ejemplo que antes hemos sealado en el punto 9.2.5. -evaluacin de la coordinacin, por
otro lado, elemento clave en un plan o poltica transversal- se seala como hipottico
porque no hemos encontrado nada parecido en ninguna de las experiencias analizadas, es
decir no se han evaluado prcticamente los procesos de coordinacin, a pesar de que las
responsables polticas y tcnicas coinciden en valorarlo como un elemento clave de las
Sin embargo, y a pesar de todas las limitaciones que se han sealado, en algunas
comunidades autnomas se han trabajado muy seriamente los criterios de evaluacin y se
ha avanzado mucho en la valoracin y reflexin sobre el tipo de actuaciones que se estaban
realizando. Dichas clasificaciones, que se han hecho sobre todo en el Pas Vasco, y tambin
en Galicia y Catalua aunque en menor medida, han ayudado, por un lado, a clarificar
algunos criterios de evaluacin (no slo se trata de comprobar si se han ejecutado o no las
_______________________________________________________________________________________
449

____________________________________________________________________________________________________________
actuaciones, sino qu tipos de actuaciones se realizan, por parte de quin y en qu medida),

a tener informacin que permita una cierta evaluacin del diseo de los planes (qu se esta
haciendo y por qu) y a reflexionar, en parte, sobre cmo se traduce en la prctica la
promocin de la igualdad, y quines hacen qu cosas y qu es lo que resulta ms fcil o
menos para los poderes pblicos.
Una vez realizada la reflexin sobre qu se ha evaluado en las evaluaciones

estudiadas, se propone aqu un ejercicio de anlisis ms global sobre QU habra que
evaluar de las polticas pblicas de igualdad de gnero. Parece evidente que, en ltimo
extremo, se tratara de saber si dichas polticas han modificado la situacin social de la
mujer, o mejor dicho, las relaciones entre los gneros. Sin embargo, ya se ha visto lo difcil
que resulta poder discernir lo que es el efecto neto de un plan o poltica, es decir lo que se
ha modificado a consecuencia del plan y slo del plan. Por otro lado, cuando se evala la
actuacin de los poderes pblicos, no slo se deben evaluar los resultados o efectos de
dicha actuacin, sino tambin qu es lo que hacen dichos poderes pblicos (y si lo hacen
bien y qu pueden hacer para hacerlo mejor) para abordar el problema pblico de la
desigualdad de gnero, en este caso concreto (es decir, hacer tambin evaluacin de cmo
estn diseadas las polticas y los planes y cmo se implementan o ponen en prctica). En
definitiva, se trata de evaluar muchos aspectos intermedios, antes de o adems de intentar
medir los efectos. Ms all, cuando se proponen objetivos ltimos tan abstractos (modificar
las relaciones de gnero y la situacin de la mujer y, por lo tanto, tambin la de los
hombres), es necesario establecer objetivos intermedios que normalmente vienen definidos
por las estrategias planteadas para abordar el problema pblico. As, se deben tambin
definir efectos intermedios, fundamentados en la teora de programas y, en general, en la
teora subyacente a las polticas pblicas de igualdad de gnero.
En esta lnea, ya se ha visto que una de las cuestiones tericas que se ha desarrollado
como principal estrategia y fundamento en las polticas de igualdad de gnero es el
mainstreaming o transversalidad normalizada de la perspectiva de gnero. Por lo tanto, si
la estrategia planteada es dicha transversalidad de la perspectiva de gnero y dado que
dichas polticas, a travs de los planes, son un conjunto de actuaciones coordinadas (es
decir, no es un sector o tema de mujeres sino un tema transversal amplio que implica a
todos los sectores - CAD, 1998: 38) no sera el efecto final de estas polticas la perspectiva
de gnero en el resto de las polticas pblicas? Esto implicara que, realmente, la forma de
evaluar los efectos finales de los planes y polticas de igualdad sera la valoracin del resto
de las polticas pblicas en el sentido de si estn formuladas, ejecutadas y evaluadas con
perspectiva de gnero. A este respecto, ha habido alguna experiencia interesante sobre la
valoracin del impacto de gnero en otras polticas (Gender Impact Assessment) en
Holanda, Nueva Zelanda y Blgica, aunque este tipo de instrumento se ha utilizado ms
como diagnstico o evaluacin ex-ante de las polticas ms que como evaluacin de las
polticas de igualdad16. Evidentemente, esto tambin implica que la evaluacin de las
polticas de igualdad de gnero debera cargar las tintas, adems de en la perspectiva de
16
Vanse Verloo (1998) y Meier (1998).

_______________________________________________________________________________________
450

____________________________________________________________________________________________________________
gnero de las otras polticas, en su diseo global y como instrumento de poltica, en su

proceso de puesta en prctica, sobre todo en lo referente a los procesos de coordinacin
intergubernamentales e interinstitucionales y en cuestiones relacionadas con el desempeo
organizativo de los planes y polticas, ms que en la exclusiva evaluacin de la ejecucin
de las diferentes acciones que se proponen.
2.8. Problemas en la recopilacin y los flujos de informacin: sistemas, cultura de

recopilacin, estructuras de coordinacin
Una de las grandes dificultades asociadas a los procesos de evaluacin, y que se
menciona reiteradamente por las responsables de los organismos de igualdad, es la
dificultad de recopilar la informacin sistemtica necesaria para realizar la evaluacin. Al
ser transversales los planes, una buena parte de la informacin que hay que recopilar para la
evaluacin no se encuentra en los propios organismos de igualdad, que es donde se origina
y desde donde se dirige la evaluacin, sino en otras unidades administrativas. Desde los
organismos de igualdad se debe pedir esa informacin y el resto de los organismos debe
responder y, adems, devolver la informacin. Para esta ardua tarea, los organismos de
igualdad necesitan de una buena dosis de autoridad y de persuasin, adems de unos
sistemas de informacin bien diseados, sencillos y comprensibles y un buen protocolo de
seguimiento de dicha informacin.
De hecho, lo que ha ocurrido es que normalmente se ha conseguido informacin ms
exhaustiva y completa de las acciones que dependan directamente de los organismos de
igualdad y, otras veces, tambin de las que provenan de unidades administrativas en las
que exista ya una cultura de recopilacin de informacin y/o con las que haba estrechas
relaciones con el organismo de igualdad (y que normalmente han venido dadas por la
existencia de profesionales con sensibilidad de gnero en las unidades en las que se tratara).
Pero, en general, uno de los grandes escollos con los que se han encontrado los
responsables de las evaluaciones ha sido la falta real de informacin y de datos
sistemticos. As, en algunos organismos de igualdad se tomaba una postura ms activa
respecto a dicha recopilacin para asegurarse alguna informacin: por ejemplo, en el
Instituto Aragons de la Mujer o el propio IM central, en lugar de enviar los registros a los
diferentes departamentos o unidades administrativas, se rellenaban en el propio
organismo de igualdad con la informacin que proporcionaban cada una de las unidades, a
travs de memorias (que muchas veces tambin resultaban difciles de conseguir) o incluso
telefnicamente. En otros casos, se han enviado los registros para que se rellenen en cada
unidad administrativa, cumpliendo el organismo de igualdad un papel de seguimiento y
orientacin (aclaracin de dudas, etc.) y, por supuesto, de motivacin para dicha
recopilacin de informacin (por ejemplo, en Emakunde, el Instituto Vasco de la Mujer).
En algunos casos, la dificultad en la recopilacin de informacin es, adems un
indicador de la falta de concrecin o de la ambigedad del plan. La informacin se pierde
en el camino porque la accin se haba desdibujado previamente. Es decir, en algunos casos
no se ha podido recoger bien la informacin de lo que se haba hecho correspondiente al
_______________________________________________________________________________________
451

____________________________________________________________________________________________________________
plan en tal Ministerio o Consejera, porque nadie saba identificar muy bien qu se haba
hecho al respecto y/o porque las responsabilidades respecto a tales acciones estaban
excesivamente diluidas o no identificadas. De hecho, en algn caso se han justificado
muchas acciones a posteriori, simplemente contabilizando el nmero de mujeres
participantes en una accin que en cualquier caso, existiera o no el plan, habra realizado
una determinada unidad administrativa.
Sin embargo, en otros casos, la dificultad en la recopilacin sistemtica y unificada de
informacin persiste, a pesar de que las acciones del plan se hayan llevado conscientemente
a cabo. Y esto tiene que ver no slo con la ausencia de una cultura de evaluacin y, en
general, de recopilacin sistemtica de informacin, sino tambin con la ausencia de
sistemas de informacin adecuados y de estructuras de coordinacin entre las diferentes
unidades administrativas implicadas. Un diseo y un funcionamiento adecuado de estos
sistemas de informacin y de estas estructuras de coordinacin son factores clave para el
xito de una evaluacin. Es ms, diramos que para que se d una recopilacin de
informacin realmente completa y fiable se tienen que dar estos dos elementos
mencionados: un mnimo sistema de informacin que organice la recopilacin de
informacin y una estructura de coordinacin que lo sustente, alimente y mantenga.
En realidad, para que un sistema de informacin sea vlido (que mida lo que quiere
medir, es decir, que la informacin recogida sea pertinente al objetivo con el que se ha
diseado, en este caso la evaluacin) y fiable (que lo mida bien, de forma completa y sin
errores) tienen que darse una serie de condiciones. Un sistema de informacin debe ser:
- Claro y definido: las categoras, items, variables y/o indicadores deben estar bien
definidos de forma que sean unvocos. Ya que distintos actores van a recopilar la
informacin, todos deben entender lo mismo para que dicha recopilacin sea
uniforme, comparable, vlida y fiable.
- Comprensible y lo ms sencillo posible: debido a que se tiene que implicar a
muchos actores en la recopilacin y dado que normalmente van a ser profesionales
que no van a estar dedicados en exclusiva a ello - y para lo que tampoco tengan
probablemente mucho tiempo- , hay que intentar que el sistema no resulte complejo y
adems que no ocupe mucho tiempo su cumplimentacin.
- Consensuado: cuanto ms se implique a los actores que tienen que recopilar la
informacin, desde la propia definicin y concepcin del sistema, mayores
probabilidades de xito tendr. Con un sistema de informacin que es percibido como
impuesto y ajeno es muy difcil que se identifiquen y se motiven los protagonistas de
la recopilacin de informacin.
Pero como se ha sealado antes, un buen sistema de informacin no basta. Hace falta
tambin una estructura de coordinacin. En el captulo quinto de este trabajo (punto 5.2.3.
referente a las estructuras institucionales para la evaluacin) se describen detalladamente
los tipos de estructuras de coordinacin en torno a las once experiencias de evaluacin
metaevaluadas. En general, se ve que dichas estructuras son todava muy dbiles y se
_______________________________________________________________________________________
452

____________________________________________________________________________________________________________
establecen una serie de tendencias, como son la importancia de los organismos autnomos
en los procesos de evaluacin y sus propias estructuras (Consejos Rectores), las ventajas y
desventajas de las estructuras creadas ad-hoc para el seguimiento y evaluacin de los
planes y de las estructuras no especficas, y la poca vinculacin real -salvo alguna
excepcin- de los Consejos de la Mujer y de los Parlamentos y Asambleas Legislativas.
En cualquier caso, s se puede extraer una conclusin general a este respecto, y es que
es bueno que existan vnculos y compromisos, respecto a la evaluacin, de:
- Las estructuras vinculadas a los planes y/o a los organismos de igualdad, y que
quienes tienen responsabilidades respecto a las polticas de igualdad, las tengan
tambin, aunque sea slo formalmente, con su evaluacin. Esto no obvia que puedan
darse, y que esto sea muy positivo, estructuras ad-hoc para la evaluacin, de
carcter ms operativo (y que siempre cuenten con el apoyo poltico necesario).
- Las estructuras vinculadas al poder legislativo: el rendimiento de responsabilidades
al poder legislativo, por parte del ejecutivo, funciona como acicate y elemento
provocador de la evaluacin y la recopilacin sistemtica de datos. En una de las
experiencias analizadas, esta tendencia se comprueba de forma contundente: el hecho
de que en la misma ley de creacin de Emakunde se establezca un rendimiento de su
gestin anual al Parlamento Vasco (que se materializa en la presentacin de una
memoria anual al Parlamento por parte de su Directora) ha generado todo un proceso
y una cultura de evaluacin en torno a los Planes de Accin Positiva del Pas Vasco.
- Las estructuras formales de participacin del movimiento de mujeres: esta es la gran
asignatura pendiente de la evaluacin de los planes de segunda generacin. La
participacin del movimiento de mujeres en los procesos de evaluacin ha sido
prcticamente nula. Entre otras cosas, no se ha establecido prcticamente ninguna
estructura de coordinacin en la que participe dicho movimiento (si hay alguna, como
son los casos canario y madrileo -la Comisin para la Igualdad Canaria y la
Comisin para el impulso y seguimiento del plan madrileo-, la participacin de
dichas estructuras en la evaluacin fue meramente formal y simblica). Las
estructuras formales de participacin del movimiento de mujeres, como son los
Consejos de la Mujer, no han tenido prcticamente ninguna participacin en los
procesos de evaluacin de esta segunda generacin.
Por lo tanto y en general, en esta segunda generacin de evaluaciones han existido
muchas dificultades vinculadas a las estructuras de coordinacin y eso ha ido en detrimento
de los procesos de evaluacin y, en particular, de los de recopilacin de informacin.
Adems, al no estar incorporada o normalizada la funcin de evaluacin en los organismos
especficos de igualdad, y salvo excepciones como en el Pas Vasco, las estructuras ya
existentes (Consejos Rectores, estructuras no especficas de seguimiento de los planes como
la Comisin de Igualdad de la Mujer de Canarias, Consejos de la Mujer, comisiones
legislativas, etc.) que formalmente podan cumplir un papel importante en dichos procesos,
cumplen una mera funcin simblica y, en muchos casos, ni siquiera tienen participacin
alguna en los mismos.
_______________________________________________________________________________________
453

____________________________________________________________________________________________________________
Como se ha sealado en el captulo anterior, las estructuras creadas ad-hoc para el

seguimiento de los planes, salvo en el caso de Galicia en el que se crea la comisin
especficamente para la evaluacin del Plan y por consejo del equipo evaluador externo, son
estructuras de tipo formal y que no se crean para evaluar el Plan, sino que poseen unas
atribuciones mucho ms generales de impulso, coordinacin y seguimiento del Plan. Y aqu
parece haber una tendencia: a mayor responsabilidad poltica de sus miembros (por ejemplo
en Andaluca, los integrantes deben ser viceconsejeros), mayor forma de arrancar
compromisos polticos transversales y mayor compromiso formal, pero menor operatividad
en la gestin de los procesos de evaluacin y de recopilacin de la informacin. Entre otras
cosas, para que una estructura de coordinacin apoye adecuadamente un proceso de
evaluacin y la creacin y mantenimiento de un sistema de informacin que la permita,
necesita de reuniones peridicas y de un sistema de trabajo al que hay que dedicarle tiempo
por parte de cada uno de sus miembros. Y esto es algo que normalmente no se ha dado, ya
que son comisiones que se renen pocas veces al ao y que normalmente tienen otras tareas
y cometidos adems de la evaluacin. En el caso de Galicia, nico caso en el que se crea
una comisin especficamente para el proceso de evaluacin, dicha comisin creada adhoc fue clave en el proceso de evaluacin -fue la forma en la que se pudo gestionar la
recopilacin de la informacin- pero tampoco funcion de forma ptima, entre otras cosas
por falta de apoyo poltico y por los propios cambios internos durante el proceso de
evaluacin.
Por ltimo, adems de a los problemas asociados directamente a la falta de una
cultura de evaluacin, se deben aadir las dificultades inherentes a la complejidad de
abordar el problema de la igualdad de gnero. En definitiva, si no se adquiere una profunda
perspectiva de gnero, es decir, si no se asumen como propios los objetivos propuestos por
los planes y las polticas de igualdad, es muy difcil que en el resto de las unidades
administrativas -diferentes al organismo especfico de igualdad- no se viva la recopilacin
de informacin que es necesaria para hacer evaluacin, como algo que se est haciendo
para otros. Esto aade mayor dificultad a conseguir un sistema de informacin fluido que
ya, de por s, es complejo por la cantidad de actores de los que necesita para que funcione.
Por eso resulta clave la existencia paralela de una estructura de coordinacin que implique,
motive y comprometa a los diferentes actores en esa recopilacin de informacin.
Por lo tanto, en el CMO de la evaluacin, ms que preocuparse directamente de los
instrumentos y tcnicas que se van a utilizar para recoger y analizar la informacin (que es
lo que se ha visto ha sido el principal elemento organizador de las experiencias analizadas),
hay que hacerlo previamente de las estructuras de coordinacin que van permitir que se
recopile informacin suficiente, sistemtica y fiable. Y esto es especialmente importante, al
menos, por dos razones:
- Por el carcter transversal y horizontal de las polticas: al ejecutarse las acciones por
parte de diferentes entidades y unidades administrativas, la informacin siempre va a
estar desperdigada y hay que disear unos sistemas que permitan centralizarla de
forma continua, estable y homognea.
_______________________________________________________________________________________
454

____________________________________________________________________________________________________________
- Porque en la evaluacin de programas en general, adems de la informacin que se

recoja ad-hoc para la evaluacin (utilizando normalmente fuentes primarias),
resulta clave la informacin producida por la propia puesta en prctica y gestin de
los programas a evaluar. Si de partida no est disponible una buena informacin de
este tipo, va a ser muy difcil conocer mnimamente el programa que hay que evaluar
y poder construir algo ms de conocimiento sobre el mismo.
2.9. La importancia de los tiempos y el calendario de los procesos: la temporalidad

como elemento clave de la evaluacin
Hay dos cuestiones relacionadas con el tiempo y que resultan cruciales en cualquier
proceso de evaluacin, y en los que las polticas de igualdad de gnero no van a ser una
excepcin. En primer lugar, el momento en el que se plante la evaluacin, ya que sta
resulta una herramienta mucho ms potente si se plantea de una forma continua. Esto no
quiere decir que se deba estar evaluando todo el tiempo sino que la evaluacin, para que se
aproveche en todas sus posibilidades, debe estar planteada desde el inicio, en la misma fase
de diseo y planificacin de los planes. Y esto es algo de lo que han adolecido todas las
experiencias analizadas, a excepcin de la evaluacin del Pas Vascoy La Rioja: se han
planteado las evaluaciones hacia finales del perodo de vigencia del plan que se quera
evaluar. Esta circunstancia, adems de ser un claro indicador de que los planes no haban
sido elaborados en trminos de resultados esperados (y, por lo tanto, muchos de los
objetivos y actuaciones estaban formulados vaga y ambiguamente), ha acarreado mltiples
dificultades: o bien no se haba recogido ninguna informacin previamente y si se haba
hecho la informacin recopilada no sola ser til para la evaluacin. De esta forma, una
buena cantidad de informacin necesaria -que se hubiera podido recoger si se hubiera
planteado la evaluacin con antelacin- resultaba imposible ya tenerla, simplemente por
criterios temporales.
La segunda cuestin es la del calendario de la evaluacin o, por decirlo ms
adecuadamente, la necesaria oportunidad en el tiempo o la temporalidad de los procesos de
evaluacin. Como se ha sealado en los captulos iniciales de este trabajo, los criterios de
evaluacin surgen en un contexto, situacin y momento determinado: si se tarda mucho
tiempo en contestar las preguntas de evaluacin, por muy bien contestadas que estn, es
posible que el debate que las gener ya no sea el mismo, que se hayan quedado obsoletas y
sean irrelevantes o que los destinatarios a los que se haba dirigido la evaluacin hayan
desaparecido. Por lo tanto, la capacidad de respuesta de la evaluacin est claramente
ligada al calendario. La utilidad de la informacin que arroja una evaluacin depende, en
gran medida, de que sta llegue a tiempo para la toma de decisiones sobre las mejoras, las
posibles modificaciones y el rendimiento de cuentas. La entrega tarda de un informe de
evaluacin puede significar la prctica inutilidad del mismo. Para Chelimsky, adems,
cuanto ms inestable e incierto polticamente sea el contexto en el que se encuentra el
programa o poltica a evaluar, ms acuciante es la necesidad de que la evaluacin cumpla
los criterios de temporalidad. As, el incumplimiento de plazos en un proceso de evaluacin
suele daar la reputacin y credibilidad de los evaluadores a largo plazo; adems del
_______________________________________________________________________________________
455

____________________________________________________________________________________________________________
incumplimiento de compromisos, los retrasos suelen entenderse como seal de

incompetencia o de que hay algo que ocultar (Chelimsky, 1998: 41).
Las evaluaciones analizadas son muy heterogneas respecto a los calendarios
utilizados en los procesos de evaluacin, yendo de los escasos tres o cuatro meses de la
evaluacin del II Plan castellano-manchego a los dos aos largos de la del II Plan andaluz.
De todas formas, se han dado problemas al respecto, habiendo retrasos sobre el calendario
previsto en prcticamente todas las evaluaciones. En algunas, lo retrasos no han sido tan
significativos, pero en otras, dichos retrasos pueden poner en duda la utilidad global del
estudio (como es el caso de Andaluca).
En cualquier caso, el tiempo ha sido una variable que ha condicionado enormemente
los procesos de evaluacin estudiados. Por lo tanto, el control de dicha variable (tanto del
momento en el que se plantea la evaluacin como de un calendario real ajustado) parece
esencial para una evaluacin de las polticas de igualdad.
2.10. El claro dficit de elaboracin prctica

En el anlisis realizado de las once experiencias metaevaluadas, se concluye que
existe un claro dficit de lo que denominamos traduccin o elaboracin prctica, que se
refiere a los dos ltimos niveles de anlisis mencionados en el captulo 1 de este trabajo17.
Adems de recopilar informacin, analizarla e interpretarla, en evaluacin tambin se debe
valorar dicha informacin (enjuiciamiento sistemtico) y, posteriormente, realizar
sugerencias para la accin (establecimiento de recomendaciones). La denominacin de
traduccin o elaboracin prctica viene dada por el hecho de que son estos dos ltimos
pasos los que confieren el necesario carcter aplicado de la evaluacin. En definitiva, la
recopilacin y anlisis sistemtico de informacin y datos se realiza para emitir juicios
sobre el programa a evaluar y para sugerir cmo mejorarlo.
Respecto al enjuiciamiento sistemtico, y como ya se ha mencionado, no se trata slo
de recopilar y analizar la informacin sino de valorarla a la luz de los criterios de
evaluacin previamente establecidos. Esto significa el carcter sistemtico de dicho
enjuiciamiento: en primer lugar, se hace con una perspectiva de valoracin previamente
establecida y que nace de una adecuada lectura del contexto y situacin de cada programa a
evaluar y de la teora subyacente a cada programa; y, en segundo lugar, se hace de forma
sistemtica y basndose en informacin sistemticamente recopilada y analizada.
Adems, la evaluacin, al ser una forma especialmente aplicada de indagacin ya que
se hace con la intencin de mejorar y rendir cuentas sobre el programa o plan a evaluar,
debe ser prctica y estar dirigida a la accin. En definitiva, las evaluaciones se hacen con la
clara y directa intencin de ser utilizadas, bien sea para tomar decisiones y modificar
17
Vase punto 1.2.1. del captulo primero, en el que se exponen los cuatro niveles de anlisis en evaluacin,
expuestos por Patton: resultados o hallazgos, interpretaciones, valoraciones y recomendaciones.
_______________________________________________________________________________________
456

____________________________________________________________________________________________________________
aspectos concretos del programa a evaluar, bien sea para contribuir al aprendizaje de las
organizaciones que tienen como una de sus misiones la funcin de evaluar sus actuaciones
pblicas. Por lo tanto parece evidente que uno de los productos de los procesos de
evaluacin debe ser un listado de recomendaciones que traduzca en trminos prcticos lo
que se ha concluido a travs de dicho proceso o estudio.
Adems, estas dos cuestiones mencionadas -enjuiciamiento sistemtico y
establecimiento de recomendaciones- que son los dos componentes de esa traduccin o
elaboracin prctica a la que nos referimos, son precisamente dos elementos especficos de
la evaluacin de programas y polticas y que la diferencian de otros tipos de anlisis o
indagacin.
A pesar de la importancia especfica de esta elaboracin prctica, tanto en lo que se
refiere al enjuiciamiento sistemtico como al establecimiento de recomendaciones,
prcticamente todas las experiencias analizadas son deficitarias al respecto, algunas de
forma ms evidente que otras. Aunque en el caso de las recomendaciones es unnimemente
deficitario: ninguno de los informes de las once experiencias analizadas contiene un
apartado especfico de recomendaciones o sugerencias, a pesar de la importancia que a este
elemento se le da en la teora de la evaluacin18.
Respecto a la valoracin o enjuiciamiento, se debe prestar atencin a los apartados de
conclusiones, ya que en esta redaccin es donde suelen verterse o emitirse los juicios
resultantes del proceso de evaluacin. En este sentido, s encontramos algunas diferencias:
Catalua, Galicia y el Pas Vasco son las que tienen un mayor grado de elaboracin de
dichas conclusiones. De las tres mencionadas, las conclusiones de la nica experiencia
externa -Galicia- son muy generales, aunque se realizan sobre la base de una sntesis de
todos los resultados obtenidos. En el caso de Catalua, se realiza una valoracin por reas
del Plan, en las que adems se incluyen algunas sugerencias (y que perteneceran al nivel de
anlisis siguiente, el establecimiento de recomendaciones), pero no se realiza ninguna
valoracin global del Plan. Finalmente, en el Pas Vasco, cuya experiencia ofrece una
mayor elaboracin prctica, se extraen conclusiones parciales y globales y adems tambin
se establecen conclusiones sobre el propio proceso de evaluacin y no slo sobre el plan
evaluado.
En el resto de las experiencias, la elaboracin de conclusiones es muy pequea o
prcticamente nula. De hecho, ya se ha comentado como en una de las experiencias (la de la
evaluacin del II Plan de la Comunidad de Madrid) se menciona expresamente, en el
informe de evaluacin, que no se hace ninguna valoracin para que sean los propios
lectores quienes las hagan (sic). En el caso de Andaluca y Canarias se establecen algunas
conclusiones al final de los informes, pero stas son de carcter general y ocupan muy poco
espacio en dichos informes. En la evaluacin de Castilla-La Mancha existen una serie de
conclusiones en cada uno de los tipos de evaluacin pero ninguna de carcter general ni
ningn apartado especfico en el informe. Ni en la sntesis de resultados de la evaluacin
18
Vase punto 1.3.3. del captulo 1, especialmente las referencias realizadas a Torres, Preskill y Piontek
(1996) y a Patton (1997).
_______________________________________________________________________________________
457

____________________________________________________________________________________________________________
del II Plan central ni en la de Castilla y Len, al igual que ocurre en la de Madrid, se realiza
ningn tipo de conclusin.
Desde nuestro punto de vista, existe pues, un clarsimo dficit de elaboracin prctica,
en algunos casos tan extremo, que esta circunstancia bastara para poner en duda si
realmente nos encontramos ante un proceso de evaluacin o ante otro tipo de anlisis o
investigacin: en cualquier caso, podran ser valorados como procesos de evaluacin
claramente incompletos. En general, s parece que puede concluirse que a los procesos de
evaluacin analizados se les podra haber sacado ms jugo o, al menos, se hubiera podido
profundizar ms en los mismos de forma que su utilidad prctica fuera mayor.
Esta circunstancia del dficit de elaboracin prctica es una de las que ms influye,
segn el punto de vista que aqu se expone, en la falta de utilidad y de impacto de las
evaluaciones realizadas. En un contexto en el que no existe cultura de evaluacin,
probablemente sea muy difcil que los potenciales destinatarios de dicha evaluacin sean
capaces de hacer dicha traduccin o elaboracin prctica por su cuenta, no por falta de
capacidad, sino por falta de costumbre, mtodo y, seguramente, tambin tiempo. Pretender
que los responsables polticos y tcnicos de un plan de igualdad -teniendo en cuenta todas
las unidades gubernamentales implicadas- hagan por s solos dicha traduccin es algo, al
menos, ingenuo. Esto se agrava ms an si se piensa que otros potenciales destinatarios de
la evaluacin de los planes deben ser el propio movimiento de mujeres, otros niveles
gubernamentales y hasta la propia ciudadana.
2.11. Los deficientes procesos de comunicacin y difusin de la evaluacin. La

accesibilidad de los informes.
Una de las primeras cuestiones a tener en cuenta en los procesos de comunicacin es
qu se comunica, es decir, si se refleja en los informes finales y de una forma completa, los
procesos de evaluacin que se han llevado a cabo. Lgicamente, el primer paso en ese
proceso de comunicacin es que se haga explcito lo que va a trasmitir y difundir. Y el
resultado o producto tangible de un proceso de evaluacin son los informes que se redactan,
en los que se exponen los resultados de dicho proceso. En este sentido, los informes de
evaluacin no son, por lo general, completos, aunque existen diferencias entre las once
experiencias, que se comentan ms adelante.
Un segundo paso en los procesos de comunicacin es la difusin que se hace de los
informes, cundo se hace y quines son los destinatarios. Tampoco parece haber habido una
gran difusin de los informes de evaluacin ni tampoco ha quedado claro quines eran los
destinatarios de los mismos; ms bien parece haber sido una cuestin ms bien interna y
restringida a los propios organismos de igualdad, salvo en el caso del Pas Vasco y en los
casos en los que los informes -resmenes de los mismos- han sido publicados.
Para que se d un buen proceso de comunicacin y difusin tienen que darse los dos
pasos descritos: que el informe sea completo y que se difunda bien. Por lo general, todas las
_______________________________________________________________________________________
458

____________________________________________________________________________________________________________
experiencias analizadas adolecen de una cosa o de la otra. En el caso de las evaluaciones

externas, la responsabilidad del primer aspecto (si los informes son completos) recae
principalmente sobre los equipos externos. La cuestin de la difusin, sin embargo, es ms
responsabilidad del organismo de igualdad correspondiente.
En general, los informes tienden a ser incompletos, aunque varan enormemente desde
los ms completos y exhaustivos, tanto en los procedimientos y la metodologa de
evaluacin como en las valoraciones y conclusiones, como es el caso vasco, a los ms
parcos, como es el caso madrileo, en el que se ofrecen directamente los resultados del
estudio sin ofrecer ninguna valoracin ni explicar nada sobre los procedimientos empleados
en el mismo. Adems de no desarrollar normalmente conclusiones generales, valoraciones
y, especialmente, recomendaciones, tampoco, salvo en alguna excepcin, son muy
explcitos respecto a la metodologa y al proceso seguido. De las experiencias internas
mixtas, ya se ha dicho que el Pas Vasco es la que produce informes ms completos (la
nica experiencia que ofrece informacin no slo de los resultados sino tambin del propio
proceso de evaluacin) y que mejor difusin tiene. En el caso cataln el informe es bastante
completo y, sin embargo, su difusin no parece haber sido muy alta. Justo al contrario que
la evaluacin del II Plan central, en la que se publica un resumen del estudio muy
incompleto. De las experiencias externas, la andaluza y la canaria son las que parecen estar
ms equilibradas respecto a informes ms o menos completos (en el caso canario las
limitaciones reflejadas en el informe son las que se dieron en el proceso de evaluacin, y en
el caso andaluz, se hace un buen resumen aunque sea pequeo aunque no refleje toda la
riqueza del proceso), y un mnimo proceso de difusin (publicacin andaluza y jornadas
canarias). En los casos restantes existe un desequilibrio entre los dos extremos: hay dos
casos en los que los informes son ms o menos completos -Castilla-La Mancha y Galiciapero en los que el proceso de difusin posterior es prcticamente inexistente. En los otros
dos (Castilla y Len y Madrid), aunque el proceso de difusin es relativamente bueno, los
informes que se difunden son muy incompletos. En general, adems, no suelen haberse
identificado previamente los destinatarios del informe, por lo que los procesos de difusin
suelen ser incompletos.
Adems de la difusin activa de los informes, tambin se ha querido valorar la
accesibilidad a la informacin arrojada por la evaluacin y existe una cierta ambigedad
sobre el carcter pblico de los mismos. En general, la accesibilidad a los informes de
evaluacin no es muy alta, exceptuando de nuevo al Pas Vasco, en la que no slo no
tuvimos ningn problema para obtenerlos, sino que stos tienen un claro carcter pblico.
Tambin son accesibles los resmenes de informes publicados por el IM, el Instituto
Andaluz de la Mujer y la Direccin General de la Comunidad de Madrid: en estos casos hay
que valorar si la informacin publicada en los resmenes es o no completa. En el resto de
los casos, sin embargo, la accesibilidad a los informes de evaluacin no est clara. En
algunos casos, los informes de evaluacin quedan en una situacin de uso interno19 y, a
veces, el acceso a los mismos est determinado por la interpretacin que de esta situacin se
19
En algunos casos, se pueden consultar los informes en las oficinas del organismo de igualdad, pero no se
pueden reproducir. En otros, como es el caso del IM, las copias estn disponibles en la oficina
correspondiente, pero no lo estn en el Centro de Documentacin.
_______________________________________________________________________________________
459

____________________________________________________________________________________________________________
hace por parte de las personas que tienen una responsabilidad tcnica o incluso, poltica. De
hecho, en ms de una Comunidad Autnoma hemos tenido problemas para obtener copias a
efectos de esta investigacin (que iba avalada por una universidad, en la que se aseguraba
que no se iban a utilizar los datos ms que en un anlisis general para la investigacin, y en
la que se deca que el objeto de la investigacin eran los procesos de evaluacin y no los
resultados obtenidos en los mismos). Lo curioso es que no parece existir un criterio comn
respecto al posible acceso a los informes de evaluacin. Como ancdota ilustradora de esta
falta de criterios a la que nos referimos, mientras en una comunidad autnoma tuvimos que
avalar nuestra peticin de informacin con la garanta de la Universidad Complutense, en
otra acabaron enviando la copia del informe a la direccin particular de la investigadora,
despus de muchos meses de espera y probablemente por temor a que la va oficial no
fuera la adecuada.
En definitiva, y con las excepciones mencionadas, en general, se hubieran podido
comunicar y difundir mucho mejor los resultados de las evaluaciones. Resulta evidente que
si los procesos de comunicacin y difusin de los resultados de la evaluacin han sido en
cierto modo deficientes y la accesibilidad a la informacin arrojada por las evaluaciones no
es muy alta, la utilidad de la evaluacin se ve tambin mermada.
Finalmente, respecto a la accesibilidad de los informes de evaluacin, creemos que
sera imprescindible discutir y poner en comn los criterios en lo que se refiere a dicha
accesibilidad. Esto creemos que no es algo especfico de la evaluacin de las polticas de
igualdad de gnero, sino que el acceso y el carcter pblico de los informes de evaluacin
realizados en el seno de o para las instituciones pblicas espaolas, no est siempre claro.
2.12. La escasez de recursos dedicados

Por ltimo, se seala aqu un factor que afecta de forma muy directa a los procesos de
evaluacin. En trminos generales, se han dedicado pocos recursos a la segunda generacin
de evaluaciones de los planes de igualdad. En el captulo quinto se realiza un anlisis de los
recursos invertidos en cada una de las once experiencias de evaluacin, y, teniendo en
cuenta dicho anlisis, se puede llamar la atencin sobre las siguientes circunstancias:
- Ha sido muy difcil obtener informacin sobre los recursos empleados en la
evaluacin. Aunque se han facilitado los gastos directos imputables a la evaluacin en los
casos de estudios externos, ha sido prcticamente imposible obtener datos fiables sobre los
gastos indirectos empleados y, en muchos casos, tampoco se tiene el dato de cul ha sido el
presupuesto global del plan objeto de la evaluacin.
- La cantidad y tipo de recursos invertidos en las evaluaciones de los planes ofrece un
panorama muy heterogneo. Esto no poda ser de otro modo ya que son tambin muy
heterogneas entre s las propias dimensiones de los organismos de igualdad autonmicos,
y de stos con el organismo central. Es decir que no son comparables entre s el IM central
con el Instituto Andaluz de la Mujer con la Direccin General de Bienestar Social de La
_______________________________________________________________________________________
460

____________________________________________________________________________________________________________
Rioja. Al ser muy diferentes entre s en presupuestos y estructura, tambin deben serlo
respecto a los recursos invertidos en la evaluacin.
- Respecto a los datos obtenidos, los gastos directos, los recursos empleados, en
trminos generales, han sido muy bajos: de las seis evaluaciones externas, slo hay dos
(Andaluca y Madrid) que hayan superado algo ms de los cinco millones de pesetas. Esto
si lo consideramos en trminos absolutos es poco, pero es mucho menos si lo hacemos en
trminos relativos. Como ya se indicaba en el captulo quinto aunque los gastos directos
puedan parecer altos, como es en el caso de Andaluca, no lo son en trminos relativos.
Teniendo en cuenta la evaluacin andaluza, que es la ms cara, (estudio para tres aos y
que inclua un estudio sobre la situacin social de la mujer andaluza, y que cost cincuenta
y seis millones aproximadamente), con mucha diferencia respecto a las dems, el monto
empleado representa slo el 0,07% del presupuesto total del Plan y el 0,97% del
presupuesto del Instituto Andaluz de la Mujer en los tres aos de vigencia del Plan.
- Para poder valorar en su justa medida los recursos dedicados a la funcin de
evaluacin, habra que tener en cuenta los gastos indirectos, sobre todo, los gastos
imputables a los recursos humanos internos dedicados a los procesos de evaluacin. Estas
cifras no estn calculadas ya que, como se comentaba en el captulo quinto, las
estimaciones que se puedan realizar a posteriori son muy poco fiables. De hecho, creemos
que este clculo es importante ya que probablemente los gastos indirectos en evaluacin
son mucho ms altos que los directos. Entre otras cosas, incluso aunque haya evaluaciones
externas, la implicacin de los equipos internos en los procesos de evaluacin es una clave
para su ajuste y su xito. Es decir, se tiene que dar un gasto interno importante. De esta
manera, y si se valoraran adecuadamente los gastos indirectos de la evaluacin, aparecera
como evidente que las evaluaciones externas no son comparativamente tan caras respecto a
las internas o mixtas, aunque sea el nico gasto reflejado en los presupuestos como tal. An
as, y sobre la base de estimaciones subjetivas, los gastos indirectos en la segunda
generacin de evaluaciones no han sido tampoco demasiado altos en general, aunque aqu,
como en muchas otras dimensiones, la variabilidad es muy alta.
- Teniendo todo lo mencionado en cuenta, creemos que todava se le podan, y se
deban dedicar muchos ms recursos a la evaluacin de las polticas pblicas de igualdad de
gnero. Suponiendo, y no es una cifra muy alta, que se emplea en la evaluacin el 5% del
total de presupuesto del plan a evaluar y el 15% del presupuesto del organismo de igualdad,
obtendramos unas cifras muchsimo ms altas de lo que se ha empleado en esta segunda
generacin de evaluaciones.
_______________________________________________________________________________________
461

____________________________________________________________________________________________________________
3. FACTORES RELACIONADOS CON EL IMPACTO DE LA

EVALUACIN
Adems de los factores que condicionan previamente la evaluacin y de los factores

que inciden directamente en dichos procesos, se identifican en este apartado dos factores
que se relacionan directamente con el impacto de dichas evaluaciones. En primer lugar, se
concluyen una serie de cuestiones relacionadas con la utilidad final y la pertinencia de las
evaluaciones, constatando la relativa mayor utilidad de los procesos respecto a los
resultados de la evaluacin. En segundo lugar, se sealan las dificultades para realizar una
sntesis de resultados de las evaluaciones de los planes de igualdad, pudindose aprovechar
muy poca informacin de las evaluaciones realizadas para poder dar una visin general
sobre las polticas pblicas de igualdad de gnero en Espaa. Sin embargo, en este ltimo
punto se concluye sobre la importancia de seguir realizando metaevaluaciones como un
instrumento til para la mejora y el desarrollo de la funcin de evaluacin de programas y
polticas pblicas.
3.1. La relativa utilizacin, utilidad y pertinencia de las evaluaciones

La utilizacin de los procesos evaluativos ha sido analizada en este trabajo respecto a
tres grandes puntos: 1) la pertinencia y utilidad de la informacin producida (y que
analizaba la pertinencia de los contenidos del estudio, as como el grado de elaboracin
prctica), 2) la comunicacin y difusin de los resultados (respecto a los contenidos del
informe, sus destinatarios y su difusin) y, 3) el impacto de los resultados y los procesos de
evaluacin en las polticas y en los organismos de igualdad.
Los dos puntos primeros han sido analizados como factores inherentes a los procesos
de evaluacin ya que forman parte de dichos procesos, aunque justamente creemos que son
los factores que condicionan de una forma ms directa la utilidad y la utilizacin posterior
de las evaluaciones.
En el primer punto, la pertinencia de la informacin producida, ya se ha destacado
la falta de claridad en el QUE se evala, lo cual se refleja de forma directa en la pertinencia
de los contenidos del estudio. El aspecto que se destacaba en el punto 9.2.7 de este captulo
es la falta de dedicacin y, por lo tanto, la falta de claridad, a la definicin previa de los
criterios de evaluacin que deben dirigir los procesos de evaluacin. Esta falta de
claridad se refleja en la mayora de los casos, lgicamente, en la inadecuacin o
impertinencia de los contenidos del estudio. Sin embargo, en este punto ponemos nfasis en
las dos cuestiones relacionadas con esta pertinencia de los contenidos de las evaluaciones y
que se han destacado en la parte III de esta tesis doctoral: el alcance de la informacin y la
globalidad de la misma.
_______________________________________________________________________________________
462

____________________________________________________________________________________________________________
Respecto a la globalidad de la informacin, ya se ha visto que en esta segunda

generacin de evaluaciones se han tendido, sobre todo, a evaluar los productos o outputs
de los planes. En algunos casos se ha hecho una mera descripcin de las actuaciones y, en
otros, como en el Pas Vasco, Catalua o Galicia, se ha hecho (o se ha intentado hacer) una
evaluacin ms completa de dichos outputs que ha permitido en parte hacer una evaluacin
del diseo de los planes y obtener algunos datos interesantes para una evaluacin de
proceso. En otros casos, se han diseado procesos de evaluacin ms globales, como en
Andaluca y Castilla-La Mancha -aunque luego haya sido problemtica la puesta en prctica
de los procesos de evaluacin- y, en otros, se ha pretendido hacer una evaluacin de unos
supuestos efectos de los planes (IM, Madrid y Castilla y Len). En estos ltimos casos, la
no adecuacin de los contenidos de la evaluacin aparece como evidente: el objeto de
estudio de dichas evaluaciones no es el plan a evaluar, sino la situacin social de las
mujeres supuestamente destinatarias, y sin ningn mecanismo que permita asignar a las
variables estudiadas la condicin de efectos netos de los planes. Inclusive, en algn caso los
supuestos efectos que se pretenden medir son relativamente parciales (por ejemplo, cambios
en valores, estereotipos y actitudes) si se tienen en cuenta el abanico de efectos que
normalmente se pretenden con un plan integral de igualdad de gnero.
El alcance de la informacin recopilada y analizada en muchos casos no ha sido
grande debido, sobre todo, a las dificultades encontradas para su recopilacin, al no
depender dicha recopilacin del organismo de igualdad correspondiente sino de mltiples
unidades administrativas, al tratarse de planes transversales. Sin embargo, en muchos de los
casos, se recoge informacin de otras fuentes diferentes a las administrativas (de
destinatarios de las medidas, por ejemplo) y a travs de otras tcnicas adems de la
recopilacin documental (por ejemplo, a travs de encuestas o cuestionarios). Por lo tanto,
el alcance de la informacin recopilada, es decir su cantidad y calidad, s es uno de los
aspectos que se ha intentado cuidar en prcticamente todos los procesos de evaluacin,
aunque en muchos casos no se haya conseguido, por factores externos a los organismos de
igualdad.
Tambin como parte de la pertinencia y utilidad de la informacin producida, en la
parte III de esta tesis, se analizaba el grado de elaboracin prctica, es decir, el grado en
que dicha informacin se traduce en conclusiones y recomendaciones para la prctica. El
dficit de esta elaboracin prctica es tan grande, evidente y generalizado, que aparece de
forma clara como uno de los factores clave que, segn nuestro punto de vista, determinan
los procesos de evaluacin estudiados (punto 9.2.10. de este captulo). Por lo tanto, en este
punto slo reiteramos la importancia y necesidad de este paso para la posterior utilizacin
de las evaluaciones. Aunque se recopile y analice una informacin adecuada, pertinente y
de calidad, si no se completan los pasos siguientes en el anlisis evaluativo (emisin de
conclusiones, valoraciones y recomendaciones), a la luz de los criterios previamente
establecidos, ser muy difcil que los resultados de la evaluacin sean tiles y utilizados.
Los procesos de comunicacin y difusin de los resultados de las evaluaciones son
otro paso ms hacia la utilizacin de los mismos. Tambin se analizan los, por lo general,
deficientes procesos de comunicacin como uno de los factores inherentes a los procesos de
evaluacin y que dificultan los mismos (punto 9.2.11. de este captulo).
_______________________________________________________________________________________
463

____________________________________________________________________________________________________________
Por lo tanto, lo que queda por analizar relacionado con la utilizacin de las
evaluaciones es el impacto de los resultados y los procesos de evaluacin en las polticas
y en los organismos de igualdad. Una primera cuestin es que resulta necesario
diferenciar entre el impacto de los resultados de la evaluacin y el impacto que pueden
generar los propios procesos de evaluacin. En general, el impacto de los resultados es ms
bajo que el impacto de los procesos en esta segunda generacin de evaluaciones.
La utilidad de los RESULTADOS de la evaluacin, por lo general, ha sido muy baja.
De hecho, los resultados de los estudios realizados no parecen haber sido demasiado
utilizados ni para la mejora de las polticas, ni para rendir responsabilidades ni para
iluminar acciones futuras. Si acaso, podemos encontrar en algunos casos, en trminos de
Weiss (Weiss 1998: 23), un cierto uso conceptual y un cierto uso persuasivo, y mucho
menos uso instrumental (utilizar los resultados de la evaluacin para tomar decisiones sobre
los planes). Un pequeo uso conceptual puede encontrarse en los casos de Catalua y el
Pas Vasco20, ya que se hace una reflexin sobre el tipo de actuaciones que se realizan al
amparo de los planes, realizando, en ambos casos, clasificaciones interesantes que permiten
ser ms consciente de en qu consisten las polticas de igualdad, a qu tipo de actuacin se
le da ms peso, cules son ms difciles de llevar a cabo y por qu. Tambin puede
encontrarse un cierto uso que podramos clasificar como persuasivo (se utiliza la evaluacin
para reclamar ms apoyos para el plan), ya que las evaluaciones sirvieron, en algunos casos,
para demostrar o sacar a la luz los diversos niveles de implicacin real en los planes (en
muchos casos muy baja) de las diferentes unidades administrativas que haban adquirido un
compromiso con el mismo, a travs de su aprobacin por parte de los correspondientes
gobiernos. Es decir, en cierto modo las evaluaciones han servido en parte para la funcin de
responsabilidad o rendimiento de cuentas y para recabar ms apoyos o, al menos, mayores
compromisos.
El poco uso instrumental de los resultados de las evaluaciones (que se haya hecho
algo, se haya tomado alguna accin o decisin, como consecuencia de dichos resultados) es
lgico si se tiene en cuenta el conjunto de cuestiones que han sido analizadas en puntos
anteriores: muchas veces se debe a un mal enfoque (pertinencia del contenido de la
evaluacin), unido, adems, a un mal aprovechamiento de la informacin recopilada (poca
elaboracin prctica y pobre comunicacin), que hace que la utilidad final para la toma de
decisiones sobre los planes haya sido muy baja.
Sin embargo, el impacto o la potencial utilizacin de los PROCESOS de evaluacin
ha sido relativamente ms alta, a pesar de que no existieran objetivos explcitos sobre ello.
Por supuesto, este impacto hubiera podido ser mucho mayor y, de hecho, creemos que una
de las mejores inversiones que los organismos de igualdad podran hacer en un futuro sera
empearse en sacarle el mximo rendimiento y aprendizaje a los propios procesos de
evaluacin, de forma que su funcin fuera consolidndose.
20
En Galicia, aunque existan unas ciertas condiciones para este uso conceptual, dado el contenido de los
resultados de la evaluacin realizada, el estudio de evaluacin fue posteriormente muy poco utilizado, en
general, por parte de las responsables del organismo de igualdad que recibieron el informe de evaluacin (y
que haban cambiado respecto a quienes lo haban encargado).
_______________________________________________________________________________________
464

____________________________________________________________________________________________________________
Recordando la clasificacin de usos de la evaluacin que hacen Torres, Preskill y

Piontek (1996: 2) en las acciones que se llevan a cabo como consecuencia de la evaluacin
(lo que hemos llamado uso instrumental), una mayor comprensin de un programa u
organizacin (uso conceptual) y, finalmente, los efectos de los propios procesos de
intervencin, vemos que incluyen, entre estos ltimos, una mayor comprensin y/o
apreciacin de la evaluacin, el fortalecimiento o institucionalizacin de la funcin de
evaluacin, tanto en los propios planes, como en las instituciones que los impulsan -los
organismos de igualdad-, adems del aprendizaje sobre dicha funcin de evaluacin, es
decir, que por efecto de la evaluacin, se hayan aprendido a evaluar mejor los planes de
igualdad.
A pesar de que en esta segunda generacin de evaluaciones, en la mayora de los
casos, falla la pertinencia de los procesos de evaluacin que se han llevado a cabo, y
tambin la comunicacin formal sobre dichos procesos (en los informes de evaluacin no se
trasmite prcticamente nada sobre los procesos y la metodologa de la evaluacin), en
general, el impacto de los procesos estudiados es, en cualquier caso, grande, ya que son los
primeros que se llevan a cabo y, por lo tanto, marcan pautas de actuacin en un terreno
nuevo como es la evaluacin e introducen una cierta cultura y saber hacer sobre
evaluacin. Este tipo de impacto al que nos referimos se hubiera producido, fueran como
hubieran sido dichos procesos, debido a la novedad, a la falta de referencias y al hecho de
que han sido las primeras experiencias de evaluacin para la mayora de los organismos de
igualdad.
La realizacin de estas evaluaciones supone que la evaluacin se vaya consolidando
como idea y como realidad, y que se aprecie algo ms que antes cuando no exista ninguna
referencia. Aunque todava se considere como una funcin marginal, y no se le otorguen los
suficientes recursos ni la centralidad necesaria, la funcin de evaluacin se empieza a
fortalecer. Y, sobre todo, a raz de estas experiencias se da un aprendizaje sobre la funcin
de evaluacin, sobre todo en lo que se refiere a las formas y mtodos de recopilar
informacin. Por ejemplo, los sistemas de informacin en torno a los planes mejoran mucho
a consecuencia de estas primeras evaluaciones. Este aprendizaje, sin embargo, es irregular
segn las experiencias, producindose mucho aprendizaje de los propios procesos en
algunas (por ejemplo, en el Pas Vasco) y mucho menos en otras (por ejemplo, IM o la
Comunidad de Madrid). El mejor indicador de que se produce este aprendizaje es la
introduccin de cambios o mejoras en los procesos de evaluacin en el planteamiento de las
evaluaciones de planes posteriores (o como en el caso del Pas Vasco, en un proceso
continuado desde la evaluacin del I PAPME). Creemos que este aprendizaje sobre
evaluacin se da en mayor medida cuanta mayor preocupacin, atencin y conciencia existe
sobre la misma, es decir, cuanta mayor actitud de bsqueda y aprendizaje existe por parte
del equipo tcnico de los organismos de igualdad. Si se vive la evaluacin como algo
externo que realiza un equipo especializado, o se tienen ideas fijas sobre cmo ha de
realizarse y no se cuestionan, menos probabilidad de aprendizaje existe.
_______________________________________________________________________________________
465

____________________________________________________________________________________________________________
En definitiva, las evaluaciones de la segunda generacin han tenido muy poco

impacto en lo que se refiere a sus resultados. En general, diramos que son evaluaciones
muy poco aprovechadas, tanto en su uso instrumental como en el conceptual y en el
persuasivo. Si el primero es importante en el sentido de que las evaluaciones tienen que
servir para tomar decisiones que mejoren los planes, los dos siguientes nos parecen
cruciales en el caso de las polticas pblicas de igualdad de gnero. El uso conceptual es
especialmente importante en polticas pblicas innovadoras, como son las que nos ocupan,
ya que la evaluacin representa una forma de ser ms consciente de dichas polticas,
comprender mejor su fundamentacin y puesta en prctica y obtener nuevas perspectivas
sobre dichas polticas y el marco institucional que las impulsa, es decir los organismos de
igualdad y el resto de unidades administrativas que estn transversalmente implicadas en las
mismas. Por ltimo, el uso persuasivo de la evaluacin parece especialmente adecuado en
estas polticas de carcter transversal y en las que hemos visto que la estrategia de
persuasin horizontal resulta clave para conseguir el fin ltimo a conseguir que sera una
perspectiva de gnero normalizada en el resto de las instituciones y polticas pblicas.
Aunque el impacto de los procesos de evaluacin ha sido algo mayor, se debe, sobre
todo, al hecho de haber sido las primeras experiencias de evaluacin en la mayora de los
casos. Tambin creemos que la evaluacin podra tener mucho ms impacto si se
desarrollara la funcin de evaluacin en los organismos de igualdad de una forma ms
consciente y otorgndole la centralidad que requiere.
3.2. La imposibilidad de una sntesis de evaluaciones de las polticas de igualdad

centrales y autonmicas: anlisis de los resultados
En captulos anteriores se diferencian los conceptos de metaevaluacin y de
sntesis de evaluaciones. La metaevaluacin es la evaluacin de evaluaciones y la sntesis
de evaluaciones, sin embargo, analiza los resultados de dichas evaluaciones. El foco de la
metaevaluacin se encuentra en los PROCESOS de evaluacin y el de la sntesis en los
RESULTADOS de dichas evaluaciones. Mientras el objeto de las metaevaluaciones son las
evaluaciones, en las sntesis de resultados son las polticas evaluadas. Por lo tanto, el
objetivo de una metaevaluacin es la valoracin de evaluaciones y la construccin de
conocimiento sobre la funcin de evaluacin en torno a determinadas polticas o programas.
El objetivo de la sntesis de evaluaciones es la valoracin de las polticas evaluadas y la
construccin de conocimiento sobre las mismas.
Esta tesis doctoral se circunscribe al mbito de la metaevaluacin como evaluacin de
varios procesos de evaluacin. Su objeto, por lo tanto, es la evaluacin de las polticas de
igualdad de gnero en Espaa, no las polticas. Por lo tanto, en ningn momento se pretende
extraer conclusiones sobre el estado de las polticas de igualdad de gnero, a travs de sus
evaluaciones. De hecho, no hemos estudiado los resultados obtenidos en cada una de las
once experiencias metaevaluadas ms que en su faceta de si stos han sido reportados,
informados, comunicados, difundidos y utilizados. Pero no nos hemos metido en el
contenido de dichos resultados.
_______________________________________________________________________________________
466

____________________________________________________________________________________________________________
Sin embargo, creemos que la sntesis de evaluaciones cumple una funcin muy
distinta a la de metaevaluacin, pero absolutamente complementaria y conveniente. En los
ltimos aos se ha visto como han aumentado las sntesis de investigaciones, los estudios
de meta-anlisis y tambin la sntesis de resultados de estudios de evaluacin,
especialmente en el mundo anglo-sajn (Cook, 1997: 31). De hecho, existe todo un
movimiento de reivindicacin de este tipo de estudios, ya que la racionalidad lo aconseja:
existen ya una buena cantidad de investigaciones y evaluaciones que pueden ser reanalizadas y re-utilizadas, aprovechando las sinergias de unas y otras e incluso eliminando
los posibles sesgos de los estudios individuales. En definitiva, esta tendencia significa
reconocer que existe una buena cantidad de informacin ya generada que puede ser
utilizada en un anlisis secundario para dar nueva luz a los problemas a afrontar. En el caso
de la sntesis de evaluaciones se propone analizar conjuntamente los resultados de varias
evaluaciones de programas similares para poder llegar a conclusiones sobre la efectividad
de los programas (Cook, 1997: 36-37).
La realizacin de una sntesis de evaluaciones permitira tener una informacin de
conjunto sobre las polticas y planes de igualdad de gnero, tanto de su diseo (sobre los
propios planes y sobre cmo es el diseo de su puesta en prctica), como de los procesos de
puesta en prctica (sobre todo en lo referido a la coordinacin con el resto de departamentos
y entidades, cmo se llega a los destinatarios, etc.), como de los resultados (tanto de
productos o outputs -tipos de actuaciones, destinatarios, gastos, etc.) como de efectos o
outcomes -qu se est consiguiendo y modificando por efecto de los planes). Pero para
poder realizar esta sntesis de evaluaciones se tendran que dar una serie de condiciones:
- Que se hayan realizado evaluaciones de planes de igualdad y se hayan reportado en
un informe que est disponible. Esta condicin es difcil si no existe una cultura evaluativa
y, sobre todo, tratndose de polticas innovadoras, con pocos precedentes tanto en los
instrumentos de poltica como en su evaluacin.
- Que las evaluaciones realizadas sean ms o menos homogneas, para que sus
resultados puedan ser sintetizados y comparados entre s. Las evaluaciones metaevaluadas
son experiencias completamente heterogneas entre s y cuyos resultados difcilmente
puede ser sintetizados en un cuerpo comn de criterios, variables y datos.
Ninguna de estas condiciones se ha producido todava en Espaa, por lo que resulta
muy poco probable la realizacin de una sntesis de resultados de evaluaciones de planes de
igualdad de gnero.
Esta es otra de las razones por las que creemos que puede ser especialmente til la
realizacin de metaevaluaciones como la que aqu se presenta. En cierto modo, se trata del
posible uso conceptual que de estas metaevaluaciones puede hacerse. Se trata de entender
mejor la funcin de evaluacin y el tipo de evaluaciones que pueden realizarse y es
conveniente realizar. De esta manera, se puede contribuir a un desarrollo ms pleno y
racional de dicha funcin de evaluacin, producindose ms y mejores estudios de
evaluacin que posteriormente podrn ser sintetizados.
_______________________________________________________________________________________
467
___________________________________________________________________________________
CONCLUSIONES
Sobre la evaluacin en el marco del anlisis de polticas pblicas

1. Desde la perspectiva del anlisis de polticas pblicas, la evaluacin ha sido
tradicionalmente la fase menos estudiada del ciclo de vida de una poltica. A pesar
de la poca atencin prestada, la evaluacin ha ido ampliando su objeto de estudio,
abandonando paulatinamente la idea de restringirse a una fase final que valora
exclusivamente resultados, y pasando a ser algo presente a lo largo de todo ciclo de
vida de la poltica. Mientras el anlisis de polticas pblicas se ocupa, en general, de
los problemas pblicos y de cmo los poderes pblicos los abordan, la evaluacin
de las polticas pblicas es una parte de ese anlisis general que se ocupa de valorar
la actuacin de los poderes pblicos en su intento de solucionar problemas.
2. De los dos componentes del anlisis de polticas pblicas descritos por Lasswell descriptivo y prescriptivo-, y que, aunque complementarios, han producido
tradiciones cientficas distintas policy making y policy analysis, la perspectiva
prescriptiva ha sido la ms trabajada en el campo concreto de la evaluacin. En
definitiva, cuando se han realizado estudios de evaluacin, se han hecho ms bien
evaluaciones con una intencin prescriptiva relacionada con la mejora la poltica
evaluada, ms que anlisis descriptivos de la fase de evaluacin de las polticas.
Esta tesis doctoral parti, precisamente, de dicha perspectiva descriptiva de
procesos de evaluacin para un caso concreto -las polticas pblicas de igualdad de
gnero en Espaa- incluyendo tambin el componente prescriptivo, ya que la
metaevaluacin se realiza con la intencin de prescribir mejoras en la funcin de
evaluacin que es objeto de estudio.
3. En el mbito de las polticas pblicas, se ha considerado tradicionalmente la
evaluacin como la fase final del ciclo de vida de una poltica. Esta caracterstica ha
provocado que se haya enfatizado un tipo de evaluacin finalista, con carcter
retrospectivo y exclusivamente centrada en los resultados de la poltica. Sin
embargo, los estudios de evaluacin han ido ampliado paulatinamente su objeto de
estudio en los ltimos aos. En los ltimos aos, se ha reconocido que la evaluacin
puede y debe tener como objeto de estudio y valoracin no slo los resultados de
una poltica sino tambin su diseo y conceptualizacin, as como sus procesos de
ejecucin y puesta en prctica.
_____________________________________________________
_________________
471
___________________________________________________________________________________
Sobre el concepto de evaluacin de polticas pblicas
4. Desde aqu se propone una definicin de evaluacin que refleje tanto lo referido al
objeto como lo referido a los procedimientos, adems de incluir en el mismo
concepto de evaluacin tambin cuestiones referidas a las funciones de la misma.
Respecto al objeto, la evaluacin de polticas pblicas se ocupa de cualquier
intervencin social que pretenda abordar un problema pblico, bien sea
globalmente (polticas) o bien de forma particular a travs de proyectos, programas,
planes, medidas, servicios, materiales, etc. Como adems, las intervenciones
(polticas, programas, etc.) no son estticas y tienen un ciclo de vida, el objeto
puede ir desde su diseo hasta los impactos a largo plazo que puedan producir. En
lo que se refiere a los procedimientos, como la evaluacin pretende emitir juicios
sobre el valor y mrito del objeto (programas, polticas, etc.) evaluado, adems de
la recopilacin y el anlisis sistemtico de informacin, se realiza un enjuiciamiento
tambin sistemtico. Por ltimo, las funciones deben ser incluidas en la definicin
ya que la evaluacin no se hace en abstracto sino con la intencin de mejorar los
programas y polticas evaluadas, rendir cuentas y/o ejemplificar o ilustrar acciones
futuras. As, el sentido ltimo de la evaluacin es su utilidad para el proceso de
intervencin social. Esta utilidad debe ser concebida, adems, en dos sentidos. Por
una lado, la evaluacin debe ser capaz de generar una informacin til para el
programa o poltica que esta evaluando, es decir, la informacin ha de ser
pertinente al objeto evaluado y a su contexto determinado. Por otro, debe ser una
informacin con carcter prctico, es decir, debe estar dirigida a la accin,
proponiendo cursos de accin futura (que pueden ir desde modificaciones concretas
a continuar o terminar el programa o poltica evaluada).
5. La primera de las funciones de la evaluacin, la de mejora o perfeccionamiento
(improvement)del programa o poltica evaluada, significa que la evaluacin se
concibe como un medio para la retroalimentacin y el aprendizaje sobre la propia
prctica. En este sentido, la evaluacin resulta imprescindible como garante de la
calidad de un servicio o programa. La segunda funcin bsica de la evaluacin, el
rendimiento de cuentas o responsabilidad (accountability) significa que la
evaluacin debe servir como instrumento que permita, en los diferentes niveles de
responsabilidad, rendir cuentas sobre la gestin y los resultados de un programa.
Esto adquiere an mayor sentido cuando se refiere a programas y polticas pblicas,
ya que el rendimiento de cuentas debe formar parte indiscutible del sistema
democrtico. La tercera funcin bsica, dar luz o iluminar acciones futuras
(enlightenment) hace referencia a que aunque las evaluaciones tienen que ver,
esencialmente, con el programa concreto evaluado en un contexto, situacin y
momento determinado de forma que se contribuya a su mejora y se rindan cuentas
sobre el mismo, las evaluaciones tambin ofrecen una informacin sistemtica que
contribuye al "acervo cientfico" no slo de ese programa, servicio o poltica
concreta sino tambin del abordaje general de determinados problemas pblicos.
Teniendo en cuenta estas funciones, tradicionalmente, se ha ligado a la
evaluacin al propsito principal de facilitar el proceso de toma de decisiones
_____________________________________________________
_________________
472
___________________________________________________________________________________
sobre el programa o poltica evaluada. Sin embargo, en los ltimos aos ha

aumentado la conciencia de que las organizaciones y agentes en torno a un
programa o poltica no aplican de forma directa e inmediata los resultados de una
evaluacin. Ms frecuentemente aprenden de la evaluacin y este aprendizaje
afecta a las decisiones de forma sutil y gradual. Por esta razn, en los ltimos
tiempos se ha ido reconociendo el importante papel que puede tener la evaluacin
como facilitadora del aprendizaje organizativo. Tambin hay que estar atentos a
posibles propsitos encubiertos que pueden aparecer en determinadas situaciones
evaluativas y que los evaluadores deben saber detectar y contrarrestar, como el
aplazamiento (llevar a cabo una evaluacin con el propsito de demorar una
decisin), la evitacin de responsabilidades (obligando a los oponentes a compartir
responsabilidades por decisiones impopulares), la legitimacin de una decisin ya
tomada, la utilizacin de la evaluacin como medio de hacer visible o darle
publicidad al programa o poltica evaluada, o el ofrecimiento de una imagen
determinada del programa (realizando estudios controlados polticamente).
6. Existen una serie de caractersticas especficas de la evaluacin y que la diferencian
de otros tipos de anlisis o indagacin, como son su marcado carcter poltico, su
elemento valorativo y de enjuiciamiento sistemtico y su fuerte carcter prctico y
aplicado a la accin, el cual le otorga un papel crucial a la utilizacin y al uso
posterior de la evaluacin.
6.1. En los ltimos aos de desarrollo de la disciplina de la evaluacin de
programas y polticas, se ha ido reconociendo, de forma paulatina y creciente, el
carcter poltico de la evaluacin por parte de la comunidad cientfica. Al fin y
al cabo, las polticas y programas que se evalan son resultado de decisiones
polticas, la evaluacin pretende alimentar el proceso de toma de decisiones y,
adems en s misma adopta una postura poltica ya que, por su misma naturaleza,
expone implcitamente la necesidad y la legitimidad de los programas evaluados.
La consideracin de la poltica como algo central en la evaluacin tiene
implicaciones especialmente importantes como la necesidad de flexibilidad,
temporalidad y credibilidad de los procesos de evaluacin, as como de que la
evaluacin se entienda desde una comprensin profunda de los procesos
polticos y de las polticas pblicas, ms all de una posicin tcnica
estrictamente metodolgica.
6.2. El reconocimiento del elemento valorativo de la evaluacin implica su
consideracin como elemento sistemtico en el proceso de evaluacin. Esto
significa que no slo hay que procurar que la informacin que se recopile sea de
calidad sino que se proporcione y clarifique una base lgica que justifique las
perspectivas de valoracin utilizadas para interpretar y valorar los resultados.
Por esta razn es tan importante que se definan bien los criterios de evaluacin
(qu se va a evaluar): por un lado, dichos criterios establecen las variables que
van a ser contempladas en el estudio, pero adems, por otro, son criterios de
valor, es decir, llevan implcitas las bases de valoracin con las que
posteriormente se emitirn los juicios. El carcter sistemtico del enjuiciamiento
se da tanto por esa explicitacin consciente y previa como por una recopilacin y
anlisis sistemtico de la informacin en la que posteriormente se basan los
juicios.
_____________________________________________________
_________________
473
___________________________________________________________________________________
6.3. Por la propia naturaleza de la evaluacin, sta debe contar con un ltimo
nivel de anlisis y exposicin de los resultados que consiste en la traduccin de
los resultados de la evaluacin en recomendaciones. Estas recomendaciones son
sugerencias sobre posibles lneas de accin a seguir respecto al programa o
poltica evaluada, cambios propuestos en el programa o cosas a mantener en el
mismo o consejos para la mejora dirigidos a los patrocinadores, responsables y/o
profesionales del programa. Evidentemente, estas recomendaciones deben seguir
la secuencia lgica y sistemtica de los niveles de anlisis anteriores
(recopilacin, anlisis o interpretacin y enjuiciamiento).
6.4. La preocupacin por la utilizacin y el uso de la evaluacin hace que su
xito no slo se mida por el grado en que sta contribuye al aumento o mejora
del conocimiento sino, sobre todo, por el grado en el que ha resultado valiosa
para cubrir las necesidades especficas de informacin de un cliente, destinatario
o usuario particular. Esto hace que, necesariamente, existan diferentes
necesidades de informacin y la evaluacin pueda tener distintos usos
(instrumental, conceptual, persuasivo, etc.).
7. La necesidad de caracterizar especficamente a la evaluacin, nos hace poner
especial nfasis en la diferenciacin entre investigacin y evaluacin en el marco
de las polticas pblicas. En nuestra opinin, es necesario distinguir la evaluacin
de la investigacin para otorgar a aquella un carcter e identidad propia. Las
diferencias se pueden establecer segn una serie de dimensiones. Segn su
naturaleza, siendo la investigacin un modo de indagacin ms acadmico y la
evaluacin uno ms prctico. La finalidad principal de la investigacin es la
construccin de conocimiento mientras que las de la evaluacin son la mejora las
polticas y el rendimiento de responsabilidades sobre las mismas. Esto implica que
la evaluacin tiene sentido mientras sea til para dichas finalidades y para esto debe
tener capacidad de respuesta y una temporalidad ajustada. La evaluacin es
dependiente del contexto y tiene por objetivo la respuesta a dicho contexto
especfico, que adems es marcadamente poltico. Adems, la evaluacin siempre
ocurre en un escenario de accin, es decir lo prioritario es el programa o poltica
evaluada y no su evaluacin. Tambin existen diferencias segn el objeto, siendo el
de la investigacin los problemas sociales a solucionar y el de la evaluacin la
manera en que los poderes pblicos abordan dichos problemas y si son efectivos o
no en ello. Mientras que los destinatarios primarios de la investigacin son grupos
abstractos de la comunidad cientfica, los de la evaluacin son grupos y personas
concretas, agentes crticos (stakeholders) en torno al programa o poltica evaluada.
Finalmente, respecto a los agentes, los investigadores y evaluadores requieren de
capacidades de alguna forma diferenciadas: la capacidad investigadora requiere
tener conocimientos bsicos sobre metodologa y exhaustivos del sector sobre el
que se investiga. Los evaluadores necesitan de conocimientos metodolgicos
amplios aunque el conocimiento sobre el sector sobre el que se evala no debe ser
tan exhaustivo y puede irse desarrollando a lo largo del proceso. Sin embargo, el
evaluador requiere de otras habilidades que le son necesarias como son el anlisis
de polticas pblicas y el conocimiento de los procesos polticos, el conocimiento y
la capacidad de trato con personas y grupos, as como habilidades de comunicacin.
_____________________________________________________
_________________
474
___________________________________________________________________________________
Sobre la historia de la evaluacin y los diferentes enfoques o modelos

propuestos
8. El estudio de los diferentes enfoques o modelos de evaluacin propuestos a lo largo

de la historia de la evaluacin, ofrece una idea no slo de las distintas propuestas de
los autores clave, sino tambin de la propia evolucin de la evaluacin como
actividad cientfica diferenciada. Realizando una breve historia de la evaluacin y
estudiando los factores que inciden en su evolucin, se entienden mejor las
respuestas que los especialistas han ido dando, proponiendo diferentes enfoques o
modelos para explicar y practicar la evaluacin de programas.
9. Uno de los factores que ha influido en el desarrollo de la evaluacin como mbito
acadmico y profesional ha sido el grado de institucionalizacin y consolidacin
profesional de la misma, que ha sido diferente en cada pas. La evaluacin se
produce principalmente en los pases en los que existe un desarrollo importante de
polticas de bienestar social. En Espaa dicho grado de institucionalizacin es muy
bajo (aunque ha ido aumentando paulatina y tmidamente en los ltimos aos), ya
que todava no existe cultura de evaluacin ni est normalizada su funcin en el
sistema poltico-administrativo.
10. El segundo factor que influye en la evolucin de la evaluacin como actividad
cientfica diferenciada y en la propuesta de modelos y enfoques es la propia
evolucin en el estudio y la concepcin de los problemas sociales. La confianza
reinante a principios de los aos sesenta en la capacidad del gobierno para afrontar
los problemas pblicos, se torna en una visin ms pesimista a partir de los aos
setenta, cuando los politlogos comenzaron a ser conscientes de que los problemas
pblicos rebasaban por mucho las polticas pblicas. Paralelamente, se empieza a
ser consciente de que las grandes evaluaciones de los programas sociales, bajo un
paradigma estrictamente positivista-experimentalista no resultaban tiles para la
mejora de las polticas reales. Qu haba que evaluar pues? Esta prdida general de
la ingenuidad y la fe ciega en la aplicabilidad directa de la ciencia, as como el
reconocimiento de la complejidad de los procesos polticos que intervienen en una
poltica pblica son tambin factores importantes para entender la evolucin y el
desarrollo de las propuestas terico-prcticas en el campo de la evaluacin.
11. Para la exposicin de los modelos o enfoques seguimos la clasificacin propuesta
por Stufflebeam (Stufflebeam y Shinkfield, 1987; Stufflebeam, 2001). Las cuasievaluaciones se determinan por su visin parcial de los programas y polticas y por
la ausencia del elemento valorativo y son el enfoque por objetivos y los enfoques
experimentales. Entre las evaluaciones verdaderas se encuentran el enfoque
orientado a la toma de decisiones (Cronbach, Weiss, Stufflebeam), el centrado en el
cliente (Stake), el centrado en el consumidor (Scriven), el orientado a la utilizacin
(Patton) y, finalmente, algunos enfoques participativos (evaluacin de cuarta
generacin -Guba y Lincoln-, evaluacin para el empoderamiento -Fetterman- y
evaluacin pluralista -Monnier-). Para cada enfoque se presentaronn, de forma
escueta, sus presupuestos bsicos, sus contribuciones ms representativas al campo
_____________________________________________________
_________________
475
___________________________________________________________________________________
de la evaluacin, as como algunas de sus fortalezas y debilidades para la prctica

evaluativa.
Sobre los tipos de evaluacin, los actores y agentes y sus implicaciones

ticas, en una perspectiva histrica
12. Respecto a los tipos de evaluacin, seleccionamos las cuatro tipologas bsicas
que nosotros consideramos clave para distinguir la naturaleza de la evaluacin.
Estas tipologas bsicas se construyen a partir de cuatro dimensiones. Segn el
papel que cumple la evaluacin, distinguimos entre evaluacin formativa -con la
intencin de ir modificando sobre la marcha el programa evaluado- y evaluacin
sumativa -con la intencin de hacer una recapitulacin y valoracin final al cabo
de un perodo de tiempo-. Segn el contenido o fase de la poltica o programa, se
puede realizar una evaluacin del diseo -cuyo objeto es el diseo o
conceptualizacin del programa-, de proceso -que se centra en el proceso de puesta
en prctica o ejecucin, y las cuestiones de gestin y funcionamiento de los
programas-, o de resultados -valora tanto los outputs o productos del programa, su
realizacin, cumplimiento y calidad, como los outcomes, efectos o impactos del
programa tanto sobre sus destinatarios o beneficiarios como a la comunidad en
general-. Segn el agente evaluador distinguimos entre evaluacin interna -la cual
se lleva a cabo por parte de los responsables o profesionales del programa o por una
unidad interna de la entidad que financia, planifica y/o ejecuta el programa, siendo
en realidad una (auto)evaluacin-, y evaluacin externa -se realiza por parte de
alguien ajeno al programa, y que no tiene nada que ver ni con su financiacin, ni
con su planificacin ni con su ejecucin-. Finalmente, segn el momento en el que
se evala existe la evaluacin ex-ante -que se realiza antes de que el programa se
ponga en marcha- y la evaluacin ex-postfacto -que se realiza una vez el programa
se ha puesto en marcha o ha terminado-.
13. Una de las caractersticas de los contextos evaluativos es la presencia de diferentes
personas y colectivos que tienen algo que ver con el programa o poltica que se
pretende evaluar. Aunque el cliente o comanditario de la evaluacin, es decir, quien
encarga la evaluacin y decide que hay que realizarla porque tiene unas
determinadas necesidades de informacin, sea slo uno, los destinatarios de la
evaluacin, es decir a quin va dirigida y quines son los posibles usuarios de la
evaluacin, son muchos ms. Esta realidad significa que existe un elenco amplio de
potenciales agentes crticos (stakeholders) en la evaluacin. Todos los agentes
crticos en un programa, por el hecho de serlo, seran susceptibles de tener inters
en su evaluacin y, por lo tanto, ser destinatarios y posibles usuarios de los
procesos evaluativos. Se pueden establecer cuatro grandes categoras: 1)
Patrocinadores, formuladores de polticas y responsables polticos; 2) Directores de
los programas, gestores pblicos y profesionales en general; 3) Destinatarios
directos e indirectos (por ejemplo, padres de nios en programas educativos),
usuarios potenciales del servicio, programa o poltica evaluada y el pblico o
_____________________________________________________
_________________
476
___________________________________________________________________________________
comunidad en general; 4) Otros: profesionales y responsables polticos de

programas similares, expertos del sector o poltica que se evala, cientficos
sociales en general. La eleccin de unos u otros agentes crticos como destinatarios
principales de la evaluacin depende del enfoque que se adopte. En cualquier caso,
se cree conveniente insistir en la pluralidad de actores potenciales de un proceso de
evaluacin y en su necesaria participacin e inclusin en el mismo ya que a mayor
participacin de diferentes actores en la evaluacin, mayor probabilidad de uso de
la misma. Por otro lado, la implicacin de los principales actores es condicin para
un cierto pluralismo y para la integracin de todas las informaciones,
interpretaciones y juicios pronunciados en el marco del proceso evaluador.
14. El papel del evaluador o evaluadora vara sustancialmente dependiendo de la
orientacin, el tipo de evaluacin a realizar y el tipo de evaluador del que se trate
(evaluador en el staff u organigrama de una organizacin, organizaciones externas
especializadas en estudios de evaluacin -empresas consultoras privadas,
departamentos o institutos universitarios de investigacin, expertos o consultores
individuales-). En cualquier caso, caben dos posibilidades que se podran situar en
los extremos de un continuo:
a. El evaluador distanciado o despegado: este es el papel que se le ha otorgado
tradicionalmente al evaluador. Aqu el evaluador procura situarse por encima
de la situacin y mantener la mxima autonoma y objetividad posible. Este
evaluador busca los hechos y pone toda su confianza en la metodologa.
b. El evaluador comprometido o apegado: el evaluador trata de responder de
forma sensible e interactiva a las preocupaciones e intereses de los grupos de
agentes crticos. En este caso, el evaluador interacta de forma cotidiana
durante el proceso de evaluacin, emplea un tiempo considerable en el lugar
en el que se ejecuta el programa a evaluar y se implica con el grupo de
profesionales.
El segundo tipo de papel se ha reforzado mucho con los ltimos enfoques en
evaluacin y a raz del fracaso de muchas experiencias de evaluacin que defendan
a ultranza un papel absolutamente distanciado para el evaluador en aras de la
objetividad.
15. En los ltimos aos se le ha prestado mucha atencin a las cuestiones ticas
relacionadas con la evaluacin. Esta preocupacin es paralela al reconocimiento del
carcter poltico de la evaluacin y, por lo tanto, al poder que sta puede tener y a la
necesidad de que el evaluador interacte en el contexto en el que debe intervenir.
Muchos de los ms recientes manuales en evaluacin de programas y polticas
contienen un captulo especfico en cuestiones ticas, y se han elaborado algunos
cdigos deontolgicos (Joint Committee y asociaciones americana, canadiense y
australasitica). Estos cdigos, adems de ser, a la vez, un indicador y un elemento
generador o provocador de una mayor consolidacin institucional y profesional de
la evaluacin y fomentar un sentido de pertenencia e identificacin entre los
profesionales, acotan y regulan la prctica profesional. Pero el aspecto ms
caracterstico de estos cdigos deontolgicos es que permiten la introduccin y
desarrollo de los temas ticos, que resultan clave en la prctica de la evaluacin. En
_____________________________________________________
_________________
477
___________________________________________________________________________________
definitiva, se trata de orientar ante los conflictos y dilemas ticos que se van a
producir, inevitablemente, en cualquier situacin evaluativa.
Sobre las polticas de igualdad de gnero en Espaa
16. Las polticas pblicas de igualdad de gnero se definen, en este trabajo, como el
conjunto de intenciones y decisiones, objetivos y medidas adoptadas por los
poderes pblicos en torno a la promocin de la situacin de la mujer y de la
igualdad de gnero entre mujeres y hombres. As, se incluyen todas las acciones
impulsadas por los poderes pblicos y que tienen por objetivo conseguir una mayor
igualdad de oportunidades entre mujeres y hombres, incidiendo sobre las
condiciones socio-econmicas y culturales que impiden y obstaculizan dicha
igualdad. Su origen se encuentra en la idea o el reconocimiento de que el Estado o
los poderes pblicos pueden y deben hacer algo para paliar las desigualdades de
gnero y la discriminacin de la mujer. Aunque las relaciones de las mujeres con
el Estado han sido casi siempre difciles y, de alguna forma, contradictorias, el
impulso esencial para que el tema de la desigualdad de gnero se convirtiera en una
cuestin pblica, entrara en la agenda de los poderes pblicos y se comenzaran a
formular medidas al respecto, se debe al movimiento feminista de segunda ola de
la dcada de los aos sesenta y la de los setenta.
17. El desarrollo de las polticas pblicas de igualdad en Espaa est estrechamente
conectado, al igual que en otros pases occidentales, al desarrollo del llamado
feminismo institucional, que se generaliza a partir de la dcada de los aos setenta
y la de los ochenta en la mayora de los pases occidentales, y que consiste en la
institucionalizacin de organismos pblicos que promueven una agenda de igualdad
de la mujer. Tambin se utiliza el trmino femcratas o feministas de Estado
para designar a las personas que dirigen y trabajan en dichos organismos de
igualdad. El feminismo institucional, que nace como una respuesta a la presin de
los movimientos de mujeres y a la buena acogida que tienen estas demandas en los
organismos internacionales, ha sido y sigue siendo, en la mayora de los casos, el
principal protagonista e impulsor de las polticas de igualdad de gnero.
18. En Espaa es especialmente importante reflejar en los estudios de las polticas
pblicas de igualdad de gnero el nivel autonmico, adems del central, no slo
por la escasez de estudios especficos sobre las polticas de igualdad en dicho nivel
gubernamental, sino por el crucial desarrollo del Estado de las autonomas en los
ltimos quince aos y la importancia que las polticas sociales han adquirido en las
comunidades autnomas.
19. Las polticas de igualdad de gnero en Espaa han tenido un rpido crecimiento
desde la creacin del Instituto de la Mujer (IM) central, a finales del ao 1983. El
rpido desarrollo del feminismo institucional en Espaa cristaliza en la creacin
generalizada de organismos de igualdad autonmicos, en los ltimos aos de la
_____________________________________________________
_________________
478
___________________________________________________________________________________
dcada de los ochenta y los primeros de los noventa. Entre los factores que
configuran ese feminismo institucional y que son el marco institucional de las
polticas de igualdad, se identifican el tipo de organismo y la posicin en le
organigrama gubernamental de ducho organismo, concluyendo que el marco
institucional ms es el que consiste en:
organismos autnomos, creados por ley y con una autonoma presupuestaria y
de gestin importantes, normalmente denominados Institutos de la Mujer,
adscritos al rea gubernamental de presidencia, ya que esta adscripcin
permite una posicin ms cercana a los centros de poder que permite hacer
mejor la tarea transversal ecomendada de persuasin, y una visin ms
global de los temas de gnero no escorada hacia los problemas de los que se
ocupan determinadas reas gubernamentales.
20. La definicin del problema de la desigualdad de gnero ha ido evolucionando en
los ltimos aos, aportndose nuevas definiciones y principios subyacentes al
concepto de igualdad de gnero (igualdad de hecho e oportunidades y resultadosy no slo de derecho, igualdad entre y no a, foco en las relaciones de gnero y
no en las diferencias biolgicas, etc.), as como nuevas estrategias de intervencin,
como es el planteamiento de la transversalidad y normalizacin de la perspectiva de
gnero (gender mainstreming) en todas las polticas pblicas. Esto implica
diferentes respuestas por parte de los poderes pblicos y, por lo tanto, una
evolucin tambin en las polticas pblicas.
21. En la entrada del problema de la desigualdad en la agenda de actuacin de los
poderes pblicos y en la formulacin de las polticas de igualdad de gnero en
Espaa contribuyen una serie de actores entre los que destacan el propio feminismo
institucional, los partidos polticos especialmente importante fue la contribucin
del PSOE en los inicios del feminismo institucional en Espaa-, las organizaciones
internacionales y supranacionales especialmente la ONU y la UE-, el movimiento
de mujeres, y el feminismo acadmico.
22. El principal instrumento con el que se articulan las polticas objeto de estudio son
los planes de igualdad, que consisten en un conjunto de medidas y objetivos que
son aprobados por consejo de gobierno. Los planes fomentan potencialmente una
visin estratgica y de conjunto y tienen como principio subyacente la
transversalidad de la perspectiva de gnero, al menos tericamente; tambin se
identifican y analizan algunas de las debilidades de estos planes de igualdad, como
son el posible mimetismo en su elaboracin, su gran dependencia del poder de
persuasin de las femcratas que estn al frente de los organismos de igualdad que
los impulsan, y el peligro de quedarse en un plano meramente simblico y formal.
23. La articulacin de las polticas de igualdad en planes se ha generalizado en Espaa,
tambin en el nivel autonmico adems de en el central, a lo largo de la primera
mitad de la dcada de los noventa. Esto hace que se haya comenzado tambin a
pensar en trminos de evaluacin de planes y polticas de igualdad y, por lo tanto,
la evaluacin de dichos planes se convierta en un interesante objeto de estudio, el
cual se aborda en este trabajo y se desarrolla en los captulos siguientes.
_____________________________________________________
_________________
479
___________________________________________________________________________________
Sobre la metaevaluacin como marco para el anlisis y la valoracin de

las evaluaciones de los planes de igualdad de gnero
24. La fase de evaluacin es la menos estudiada desde el anlisis de polticas pblicas.

En general, no existen muchos estudios sobre los procesos de evaluacin de las
polticas pblicas, en los cules se estudie el desarrollo de la funcin de evaluacin
en torno a una determinada poltica y que describan, analicen y valoren las
evaluaciones que se llevan a cabo. La metaevaluacin es un enfoque adecuado y
novedoso para ello.
25. La metaevaluacin se define como evaluacin de evaluaciones y consiste en
analizar y valorar procesos de evaluacin. Se debe distinguir de la sntesis de
evaluaciones, que consiste en realizar anlisis comparados de los resultados de
varias evaluaciones y del meta-anlisis, que es una sntesis de evaluaciones o
investigaciones que utiliza especficamente una tcnica cuantitativa definida para
dicho tipo de estudios.
26. La metaevaluacin tiene un primer significado, vinculado al anlisis de polticas
pblicas, como descripcin, anlisis y valoracin de los procesos de evaluacin,
y que es la perspectiva con la que se realiza este trabajo de investigacin, y que se
inscribira en el componente, descrito por Lasswell, del conocimiento del proceso
de la poltica (knowledge of) cuyo objetivo es conocer el proceso de la poltica as
como de hecho sucede. De esta manera, la metaevaluacin sirve para analizar y
valorar la fase de evaluacin del ciclo de vida de la poltica. El segundo significado,
ms desarrollado en el campo de la evaluacin de programas, de la metaevaluacin
es su funcin como control de calidad de las evaluaciones, tratndose de un
seguimiento, fomento y comprobacin de la calidad de un servicio profesional
como es, en este caso, la evaluacin. Con esta idea de fondo, se le asigna a la
metaevaluacin una funcin de control del sesgo del evaluador siendo tambin una
forma de asegurar la credibilidad de una evaluacin a travs de la acreditacin.
27. La metaevaluacin es, en realidad, una evaluacin que tiene por objeto de estudio,
en lugar de un programa o poltica pblica, la evaluacin de un programa o poltica.
Esto quiere decir que puede ser clasificada, como cualquier otra evaluacin y, por
lo tanto, es posible establecer una tipologa de (meta)evaluaciones basndose en
las mismas clasificaciones bsicas ya mencionadas: 1) Formativa o sumativa, segn
se trate de mejorar la evaluacin sobre la marcha o si se realiza una recapitulacin
de la globalidad de un proceso de evaluacin para rendir cuentas sobre el mismo o
mejorar otras evaluaciones subsiguientes.2) De diseo, proceso y/o resultados,
segn la metaevaluacin tenga por objeto de estudio el diseo de la evaluacin, su
proceso puesta en prctica (cmo se ha llevado la evaluacin a cabo), o sus
resultados (principalmente el informe, la comunicacin de resultados y su posterior
utilizacin). 3) Interna o externa, segn se haga por los propios agentes que han
realizado la evaluacin o por agentes ajenos a la misma, y 4) Exante o expostfacto
segn se realice antes o despus de que el estudio de evaluacin haya concluido.
_____________________________________________________
_________________
480
___________________________________________________________________________________
28. Los criterios que se proponen en la literatura especializada de evaluacin de

programas para realizar metaevaluaciones tienen que ver con la relevancia y
adecuacin(utilidad) de la evaluacin, con la utilizacin de una metodologa
adecuada y con la obtencin de unos resultados de calidad, as como con su
viabilidad y su propiedad tica. Nosotros tomamos estos criterios como referencia
y, dando prioridad a la metaevaluacin como descripcin, anlisis y valoracin de
los procesos de evaluacin en torno a una determinada poltica pblica,
establecimos los criterios para nuestra metaevaluacin, organizndolos en tres
grandes dimensiones:
1) El planteamiento de las evaluaciones: Cmo se han planteado las
evaluaciones y cules han sido las estrategias evaluativas planteadas? Para
esto analizamos el contexto evaluativo, la claridad o ambigedad en los
propsitos y las funciones de las evaluaciones, las estructuras
institucionales de la evaluacin, los tipos de evaluacin realizados y los
recursos empleados en los procesos de evaluacin.
2) Elementos clave de las evaluaciones: Cul ha sido el papel de algunos
elementos clave en la evaluacin?, centrndose el estudio en los agentes y
los participantes de la evaluacin, sus momentos y sus tiempos, los criterios
e indicadores, as como procedimientos e instrumentos de recopilacin y
anlisis de la informacin utilizados.
3) La utilizacin de las evaluaciones: Cul ha sido la utilizacin de las
evaluaciones?, analizando la pertinencia y utilidad de la informacin
producida, la comunicacin de los resultados y el impacto de los resultados
de la evaluacin en la poltica.
29. Centrndonos en las polticas de igualdad de gnero, en Espaa, el feminismo de
Estado ha sido eficaz en la definicin de problemas y en la introduccin de los
mismos en la agenda poltica, pero no lo ha sido tanto ni en la fase de formulacin y
ejecucin de dichas polticas ni, sobre todo, en la funcin de control de dicha
ejecucin. Las femcratas, conscientes de la importancia de dicha funcin de
control y el papel que los organismos de igualdad pueden cumplir respecto a la
misma, comienzan a dirigir e impulsar, de forma creciente, procesos de evaluacin
de los planes de igualdad. Por lo tanto, resulta interesante un anlisis de dichos
procesos de evaluacin, valorando la respuesta por parte del feminismo de Estado
para el cumplimiento de la funcin de control de las polticas pblicas de igualdad.
Sobre las experiencias de evaluacin de planes de igualdad de gnero en

Espaa y los criterios de seleccin para la metaevaluacin
30. De todo el conjunto de evaluaciones realizadas en Espaa de

planes de igualdad en los niveles central y autonmico,
establecemos una clasificacin en primera, segunda y tercera
_____________________________________________________
_________________
481
___________________________________________________________________________________
generacin, La primera generacin de evaluaciones, realizadas

en la primera mitad de la dcada de los aos noventa, consisti
nicamente en cuatro experiencias de evaluacin (la del primer
plan central y las de los primeros planes andaluz, cataln y
vasco) que, en general, fueron muy limitadas. La tercera
generacin de evaluaciones est todava por definir de forma
exacta, ya que consiste en los proyectos la mayora de ellos
todava sin concretar en el momento en el que se realiza esta
investigacin- de procesos de evaluacin que tenan previsto
concluir a partir del ao 2001. Por lo tanto, el objeto de la
metaevaluacin que aqu se presenta es la segunda generacin
de evaluaciones que integra once experiencias de evaluacin,
todas ellas realizadas y concluidas entre los aos 1995 y 1999.
Una vez aplicado el criterio cronolgico, decidimos incluir todas
las experiencias existentes de evaluacin de los planes en los
niveles central y autonmico.
Sobre el planteamiento de las evaluaciones de la segunda generacin
31. Teniendo en cuenta el conjunto de experiencias metaevaluadas,

los tipos de evaluacin predominantes son las evaluaciones
sumativas, de resultados (en lo referente a los productos o
outputs), expost facto y externas. En concreto:
-
Segn el papel que cumple la evaluacin: Salvo en el caso de

la evaluacin del plan aragons (que se realiza
expresamente para re-dirigir el plan evaluado, antes de su
finalizacin) y el del vasco que se concibe como un proceso
continuado con la intencin de ser utilizado sobre la
marcha, el resto tiene un claro carcter sumativo, dejando
para la evaluacin el papel de hacer recapitulacin global
de lo que ha sido el plan evaluado. En el caso riojano,
aunque se concibe como una evaluacin continua, sta se
hace ms con la intencin de seguimiento y se deja para el
final la valoracin. Este es un buen ejemplo de cmo el hecho
de recopilar informacin desde un principio y con carcter continuado no tiene
por qu implicar necesariamente una evaluacin formativa, ya que sta viene
determinada por el papel que se le otorga a la misma para ir modificando el
plan sobre la marcha.
Segn el contenido o fase evaluada del plan: Con la

excepcin de la evaluacin andaluza y la castellanomanchega, ningn estudio de evaluacin se plantea una
_____________________________________________________
_________________
482
___________________________________________________________________________________
evaluacin de diseo del plan. En los casos vasco y cataln,

se recopil informacin que, por su naturaleza, pudo dar
lugar a algunas conclusiones relacionadas con el diseo de
los planes (tipos de actuaciones), pero de una forma parcial.
Lo que, en muchos casos, se denomina evaluacin de
proceso se refiere a una evaluacin del grado de
cumplimiento de las acciones del plan: en la mayora de los
casos, esto se refiere a la simple comprobacin de que las acciones propuestas
se han ejecutado. Si esto se queda slo en eso, sera ms bien una muy simple
evaluacin de producto (resultados). Sin embargo, la evaluacin de proceso es
la que valora el proceso de puesta en prctica del plan, incluido el proceso de
progresin en la ejecucin de las acciones, el ajuste al calendario, si se llega a
las personas destinatarias previstas, las dificultades que se presentan en dicho
proceso (problemas de informacin, tiempo o desplazamientos) y todo lo
referente al funcionamiento de dicha puesta en prctica incluyendo, sobre
todo, los procesos de coordinacin con otros departamentos y entidades. Por
ltimo, respecto a la evaluacin de resultados, la parte de los productos o
outputs queda bastante ms cubierta que la de efectos o outcomes, que slo
pretende ser cubierta de forma ms completa por la evaluacin andaluza (y
que precisamente, al final del proceso, tuvo muchos problemas para concluir
esta parte).
En general, otro problema aadido adems de las carencias concretas, es que
las evaluaciones realizadas no han tenido un carcter global, desde el
punto de vista de su contenido. En muchos casos se ha
escogido un tipo de evaluacin y, en otros, aunque se haya
hecho ms de uno, no se aprovechan las sinergias de un
anlisis ms global, combinando los resultados de una y otra
evaluacin (el caso ms ilustrativo es la evaluacin del II
plan central).
Ms all, podemos concluir que, en las experiencias analizadas, se han
practicado muy poco los tipos de evaluacin que, en nuestra opinin, seran
ms interesantes para una evaluacin de las polticas de igualdad de gnero que
tuviera relevancia en la actualidad. Esos tipos de evaluacin son, por un lado,
una evaluacin del diseo de los planes que permitiera valorar si los planes son
el instrumento de poltica adecuado, si estn bien diseados y si responden a la
definicin de (des)igualdad de gnero que se pretende. Por otro, una verdadera
evaluacin de proceso, que analizara de forma especial los mecanismos de
coordinacin transversales necesarios para la aplicacin del mainstreaming.
-
Segn el momento en el que

evaluaciones son expost facto.
se
evala,
todas
las
Segn el agente se distinguen seis evaluaciones externas,

tres mixtas (que en realidad son procesos internos en los
que se recurre, en algn momento, a colaboraciones
externas) y dos internas. Esta clasificacin, al ser la ms
_____________________________________________________
_________________
-
483
___________________________________________________________________________________
ilustrativa, fue la que se escogi para la exposicin de los

datos. Esto sirvi tambin para poder concluir que el
modelo mixto es el que parece producir evaluaciones ms
enraizadas en (y, por lo tanto, ms relevantes para) el
organismo de igualdad que las impulsa. En definitiva, este
modelo mixto permite potencialmente colaboraciones
externas adecuadas, pero dirigidas y contextualizadas por
los equipos internos que, adems, adquieren una fuerte
implicacin en la evaluacin. De hecho, de las tres
experiencias mixtas, la que utiliza una colaboracin externa
ms concreta y mecnica (la intervencin externa en la
evaluacin del plan central del IM consiste exclusivamente
en ejecutar la recopilacin y el anlisis de los instrumentos
diseados internamente), es decir la ms interna de las
tres, es la que peores resultados obtiene a este respecto,
haciendo un claro contraste con las otras dos.
32. En general, se puede afirmar que el contexto en el que se generaron las
experiencias de evaluacin era favorable a las mismas, aunque, como ocurre con
todas las dimensiones estudiadas, los contextos son bastante heterogneos entre s.
Hay variables que s parecen afectar algo ms a las situaciones de evaluacin como
es el cambio de responsables de los organismos, dndose procesos de evaluacin
ms completos y coherentes en los contextos ms estables; tambin el hecho de
haber tenido una experiencia previa en evaluacin. Otras, como es que sean
impulsadas desde un marco institucional ms fuerte (desde organismos autnomos
adscritos al rea de presidencia) afectan de una forma ms indirecta.
33. Los propsitos de la evaluacin no suelen estar claramente explicitados. En esto
hay una diferencia, siendo las evaluaciones externas las que han producidos ms
declaraciones escritas sobre los mismos, dado que suele existir un convenio o un
pliego de condiciones tcnicas que rigen la colaboracin del equipo externo con el
organismo de igualdad. Sin embargo, en algunos casos, los propsitos iniciales
escritos no concuerdan de forma clara con los procesos de evaluacin que
posteriormente se llevan a cabo. En cualquier caso, los propsitos que se explicitan,
bien en los proyectos iniciales o bien en las justificaciones posteriores
(intervenciones parlamentarias o presentaciones en foros pblicos), son bastante
heterogneos entre s.
34. Respecto a las estructuras institucionales para la evaluacin, existe una
diferencia clara entre esta segunda generacin de evaluaciones y la siguiente ya que
los compromisos explcitos (mencin explcita a la evaluacin en el propio plan
aprobado) aumentan sustancialmente en la tercera generacin de planes. Con esto
podemos concluir que esta segunda generacin de evaluaciones sirve, al menos,
para que la realidad de la evaluacin est presente y los poderes pblicos se sientan
comprometidos con ella. Aunque, como se ha visto al analizar esta segunda
generacin, tampoco la existencia de una mencin explcita asegura necesariamente
que exista un compromiso real ni que se cumpla dicho compromiso. En general,
tambin es importante la estructura del personal de los organismos de igualdad:
_____________________________________________________
_________________
484
___________________________________________________________________________________
en muchos casos, los procesos de evaluacin se han llevado a cabo con poca
inversin de recursos humanos en los mismos, en algunos casos porque la plantilla
del organismo es objetivamente muy pequea. En general, adems de una mayor
dedicacin, se necesita una mayor formacin tcnica en evaluacin de programas.
En lo que se refiere a las estructuras para la coordinacin de las evaluaciones,
parece haber estructuras ms adecuadas que otras para asegurar una evaluacin. Sin
nimo de establecer unas conclusiones definitivas, creemos que se pueden observar
las siguientes tendencias:
1) Los fundamentales garantes de los procesos de evaluacin son los propios
organismos de igualdad. Cuanto ms fuerte sea la estructura de dichos
organismos, mayores posibilidades de que la estructura institucional para la
evaluacin sea tambin ms fuerte.
2) Las estructuras creadas ad-hoc para coordinar, impulsar, seguir y evaluar los
planes son ventajosas porque implican formalmente al resto de los
departamentos en una tarea en la que su aportacin de informacin va a ser
clave. Pero se corre el peligro de que queden en una mera estructura formal
adems de ser menos estables institucionalmente.
3) Las estructuras no especficas para los planes tienen, a veces, una fortaleza
institucional mayor que las estructuras ad-hoc (son incluso, ms
permanentes), pero tambin tienen otras funciones que cumplir, lo que puede
hacer que la funcin de evaluacin de los planes se diluya.
4) Por ahora, la presencia de la sociedad civil y el movimiento de mujeres (a
travs de los Consejos de la Mujer u otras estructuras) en los procesos de
seguimiento y evaluacin de los Planes es meramente simblica.
5) Los vnculos con el poder legislativo en los procesos de seguimiento y
evaluacin son siempre impulsores de los mismos. Si el grado de compromiso
es importante y est vinculado directamente al organismo de igualdad, como
es en el caso del Pas Vasco, se convierte en un factor crucial para impulsar,
desarrollar y mantener procesos de evaluacin.
35. La medicin de los recursos econmicos dedicados a las experiencias de
evaluacin es muy difcil de obtener, dado que habra que obtener datos fiables de
los costes indirectos de las mismas y stos son muy difciles de ponderar si no se
han ido recogiendo datos desde el principio de las evaluaciones y de forma
sistemtica. Sin embargo, podemos concluir que los recursos invertidos en las
evaluaciones analizadas son, a todas luces, escasos, especialmente si se analizan los
costes directos de las evaluaciones externas. Lo que en trminos absolutos pueden
parecer altas sumas, en trminos relativos son muy bajas. La evaluacin andaluza,
que fue la que ms dinero cost representa slo el 0,97% respecto al presupuesto
del IAM y 0,07% respecto al presupuesto del plan evaluado.
Sobre los elementos clave de las evaluaciones

_____________________________________________________
_________________
485
___________________________________________________________________________________
36. Respecto a los agentes y participantes en las evaluaciones, concluimos la

importancia de los equipos tcnicos, tanto los externos como los internos, as como
la coordinacin existente entre ellos. De la sensibilidad y empeo de los equipos
tcnicos internos (que en muchos casos se componen de una sola persona) depende,
en muchas ocasiones, que la evaluacin vaya delante de forma adecuada. Por eso es
especialmente importante la formacin especfica de este personal porque, en esta
segunda generacin de evaluaciones, se ha dependido ms de la buena voluntad y el
sentido comn de dicho personal tcnico interno, que de su formacin tcnica en
cuestiones de evaluacin. En general, aunque la voluntad poltica es absolutamente
necesaria para el xito de los procesos de evaluacin, se necesitan tambin equipos
tcnicos preparados, sensibilizados y entusiastas respecto a la evaluacin. En lo que
se refiere a los participantes en las evaluaciones, el gran caballo de batalla ha
sido la participacin de los gestores de otras unidades administrativas implicadas
en la ejecucin del plan evaluado, ya que sta ha sido, normalmente, muy escasa y
ha sido, precisamente, una de las cuestiones que ms ha dificultado la recopilacin
de informacin. Por ltimo, la participacin de agentes no gubernamentales ha sido
inexistente en la evaluacin pero, de alguna manera, acorde con la tambin escasa
participacin en la fase de ejecucin de los planes evaluados.
37. El calendario y los momentos de las evaluaciones estudiadas han supuesto
tambin algunas dificultades importantes, sobre todo en lo referente al momento del
periodo de vigencia del plan en el que se plantea la evaluacin que, con las
excepciones del Pas Vasco y La Rioja, es siempre muy tardo. No haberse
planteado la evaluacin ni la recopilacin de informacin desde un principio ha
acarreado dificultades posteriores insalvables. La duracin de los procesos de
evaluacin ha sido muy heterognea y los retrasos han supuesto tambin
dificultades en algunos casos (especialmente Andaluca).
38. El contenido de las evaluaciones se concreta a travs de los criterios e indicadores
de evaluacin que representan dos cuestiones fundamentales: por un lado, las
variables estudiadas y, por otro, la base lgica en la que se fundamentan los juicios
de valor que se establecen posteriormente en el proceso de evaluacin. En general,
en la prctica totalidad de las experiencias de evaluacin metaevaluadas era muy
dbil la fundamentacin de la concreta eleccin y definicin de los criterios e
indicadores utilizados. En muchos casos, tuvimos que recurrir a los instrumentos de
recopilacin utilizados para poder extraer (suponer) las variables estudiadas, ya que
en los informes de evaluacin no se haban especificado los criterios de evaluacin.
En general, uno de los indicadores de la poca importancia concedida a la definicin
previa de los criterios de evaluacin (qu se va a evaluar) es cmo, en muchos de
los informes de evaluacin, en los captulos correspondientes al diseo y
metodologa de la evaluacin, no suele aparecer un apartado especfico para ello.
39. De forma similar, los procedimientos utilizados tampoco estaban profusamente
fundamentados en los informes; es decir, prcticamente, no encontramos una
justificacin de por qu se eligi un determinado instrumento y no otro. S
encontramos, en algn caso, especificaciones muy detalladas sobre los instrumentos
en s: estas especificaciones son siempre de carcter tcnico y versan sobre las
_____________________________________________________
_________________
486
___________________________________________________________________________________
caractersticas intrnsecas de dichos instrumentos, no tanto sobre su vala o

adecuacin para la situacin concreta en la que se aplica. En algunos de los casos
estudiados, se entiende la metodologa y los procedimientos empleados de una
forma ms amplia (algo ms que los instrumentos para recopilar y analizar la
informacin) y se especifican en los informes los pasos dados y las estructuras de
coordinacin utilizadas para la recopilacin de informacin, como parte de dichos
procedimientos. Los casos en los que parece existir esta concepcin metodolgica
ms amplia (o al menos se refleja en los documentos e informes resultantes de los
procesos de evaluacin), son la evaluacin del I Plan canario, y el II castellanomanchego en cierta medida, y del II Plan cataln, el II PAPME vasco y el II Plan
gallego, en mayor medida. En estos casos, cuando se describen los procedimientos,
se explica de alguna manera y de forma ms o menos sistematizada, a travs de qu
mecanismos se ha recopilado la informacin, adems de explicar las tcnicas
concretas utilizadas.
Sobre la utilizacin de los procesos de evaluacin
40. Una de los criterios que se analizaron, referidos a la utilizacin de los procesos de
evaluacin fue el de la pertinencia y utilidad de la informacin producida por la
evaluacin. Para ello, se analiz y valor la globalidad y el alcance de la
informacin, as como el grado de elaboracin prctica, es decir, si la informacin
analizada se traduce en conclusiones, valoraciones y recomendaciones para la
mejora de los planes. En general, la informacin producida por las evaluaciones no
es demasiado completa o, por decirlo de otro modo, no contempla los planes de
forma global. La excepcin en este caso es el caso andaluz, aunque la globalidad
era mayor en el proyecto de evaluacin inicial que lo que luego realmente fue. Hay
tres casos Catalua, Galicia y Pas Vasco- en el que la informacin es completa
dentro de un tipo de evaluacin (outputs). El alcance de la informacin es algo
mejor, aunque es muy heterogneo segn los casos. Finalmente, el grado de
elaboracin prctica es muy bajo, siendo prcticamente inexistente en muchos de
los casos. Como indicador de este bajo grado de elaboracin prctica, podemos
mencionar el hecho de que ni un solo informe de los consultados contiene unas
recomendaciones claras que orienten la mejora de los planes evaluados. Aqu, de
nuevo, la excepcin es la evaluacin del plan vasco ya que, aunque sin
recomendaciones, en las memorias anuales hay una parte importante de
conclusiones que, adems, incluyen conclusiones sobre el propio proceso de
evaluacin y no exclusivamente sobre los resultados.
41. Respecto a la comunicacin de los resultados, los informes suelen ser bastante
incompletos, aunque varan enormemente desde los ms exhaustivos, tanto en los
_____________________________________________________
_________________
487
___________________________________________________________________________________
procedimientos y la metodologa de evaluacin como en las valoraciones y

conclusiones, como es el caso vasco, a los ms parcos, como es el caso
madrileo, en el que se ofrecen directamente los resultados del estudio sin ofrecer
ninguna valoracin ni explicar nada sobre los procedimientos empleados en el
mismo. En general, los informes tienden a ser incompletos, sobre todo en lo que se
refiere a la exposicin de conclusiones generales, valoraciones y, especialmente,
recomendaciones. Tampoco, salvo alguna excepcin, son muy explcitos respecto a
la metodologa y al proceso seguido. En lo que se refiere a la accesibilidad a los
informes, tambin existe una gran variabilidad, habiendo algn caso en el que
result muy difcil tener acceso a los mismos, incluso a efectos de esta
investigacin. Esta heterogeneidad va desde la prcticamente nula difusin del
informe gallego (a pesar de que las intenciones iniciales eran su publicacin y su
carcter pblico) a la total accesibilidad de los mltiples informes en los que se
reflejan los procesos de evaluacin llevados a cabo por el Instituto Vasco de la
Mujer (Emakunde). Con esta excepcin de transparencia respecto al proceso de
evaluacin del Pas Vasco, y como es normal que ocurra en un pas con escasa
cultura y experiencia evaluativa, no suelen identificarse previamente los
destinatarios del informe, y existe, por lo general, una cierta ambigedad sobre el
carcter pblico de los informes de evaluacin. Tambin es interesante analizar el
calendario de entrega y difusin de informes. En algunos casos, el calendario ha
dificultado mucho la utilizacin de la evaluacin, al menos su uso instrumental para
la mejora del plan siguiente. Se han dado casos en los que la difusin del mismo ha
coincidido en el tiempo o ha sido incluso posterior a la aprobacin del siguiente
plan (las publicaciones de los resultados de la evaluacin son simultneas e incluso
posteriores a las aprobaciones de los III sendos planes a nivel central y en la
Comunidad de Madrid). En uno de los casos, como es el de la evaluacin del II
Plan castellano-manchego, la propia entrega del informe final se hace despus de
que el III Plan haya sido aprobado.
42. El impacto de las evaluaciones no slo se analiz respecto al uso que se ha hecho
de los resultados de la evaluacin, sino tambin a los usos de los procesos de
evaluacin, sirviendo stos para introducir una cultura y una metodologa de
evaluacin y para generar una mayor comprensin de la intervencin pblica en
general adems de una mayor conciencia sobre cmo se abordan los problemas
pblicos. De esta manera, concluimos sobre los siguientes tres aspectos:
1) Efectos sobre los propios procesos de evaluacin. Estas experiencias iniciales
de evaluacin han hecho que se empiece a hablar de la evaluacin como algo
normalizado, que haya alguien que asuma las responsabilidades de evaluacin en
los organismos de igualdad, que se dedique un apartado sobre evaluacin en los
planes siguientes y que nadie se cuestione la necesidad de evaluar. En algunos
casos, como por ejemplo el vasco, se ha generado una cultura evaluativa que ha
trascendido, adems, el caso concreto y se ha convertido en modelo para otras
evaluaciones.
2) Una mayor comprensin o nuevas perspectivas en una situacin, programa u
organizacin. Es evidente que la reflexin sobre los planes que, en algunos casos,
proporcionan las evaluaciones ayudan a tener una visin ms global, consciente y
profunda de lo que se est haciendo y cules son las principales dificultades y
_____________________________________________________
_________________
488
___________________________________________________________________________________
fortalezas de las polticas de igualdad. Aunque creemos que, en este sentido, el

impacto no ha sido tan grande o, al menos, no ha sido generalizado. Existen
muchas diferencias entre las experiencias analizadas, habiendo procesos de
evaluacin que realmente han producido aprendizaje organizativo (como es el
caso del Pas Vasco y Catalua) y otros en los que se han obtenido visiones
mucho ms parciales que no han tenido tanta influencia (como es el caso de la
Comunidad de Madrid y el propio Instituto de la Mujer).
3) Las acciones que se llevan a cabo como resultado de la evaluacin. Este tipo
de uso instrumental se ha dado, creemos, en menor medida de lo que habra
podido darse si los estudios de evaluacin hubieran estado orientados a una
verdadera utilizacin de los mismos. En muchos casos, las acciones tomadas como
consecuencia de la evaluacin, tienen ms que ver con la propia estructuracin del
plan (concretar ms las acciones, asignarles una delimitacin temporal y unos
responsables concretos para su ejecucin) y con su posterior evaluacin (adquirir
compromisos, aunque generales, respecto a la misma en los subsiguientes planes),
que con la modificacin de contenidos o estrategias, tanto en un plano global (por
ejemplo, dar ms peso a un tipo de acciones que a otras) como en uno concreto de
cada actuacin (modificando cualquier aspecto de cada actuacin o actividad a
realizar).
Sobre el discurso de las responsables sobre la evaluacin y las polticas de

igualdad de gnero
43. En general, se aprecia que el discurso sobre la evaluacin por parte de las
responsables polticas de los organismos de igualdad no es un discurso
previamente construido. Esto es lgico si se tiene en cuenta que la prctica
evaluativa es muy novedosa y que, adems, no existe cultura de evaluacin ni
referencias tericas o prcticas en torno a las polticas de igualdad y, por lo general,
ni siquiera tampoco en el entorno institucional de las administraciones pblicas
espaolas. En este caso, el discurso sobre su evaluacin est inextricablemente
ligado al de las polticas de igualdad de gnero y ste, a travs de los objetivos y
estrategias de dichas polticas, a los conceptos de acciones positivas, perspectiva de
gnero, transversalidad de las polticas, etc. De hecho, en muchos casos, la falta de
discurso elaborado sobre evaluacin se suple con uno sobre las polticas que se
pretenden evaluar. Otra conclusin general del anlisis realizado es que no se
puede hablar de un discurso comn o monoltico ante la evaluacin. Sin
embargo s se pueden encontrar algunas ideas comunes y tendencias en los
posicionamientos y, tambin, algunas diferencias discursivas que pueden ser
categorizadas, de forma general, en cinco polos o factores: 1) Las responsables en
cuyo organismo se ha hecho evaluacin y ellas han tenido implicacin en ello vs.
las responsables en cuyo organismo no se ha hecho evaluacin o ellas no han tenido
implicacin en ello, 2) Las responsables con ms tiempo en el cargo vs. las que
llevan menos tiempo en l, 3) Las responsables que tienen un pasado y/o feminista
_____________________________________________________
_________________
489
___________________________________________________________________________________
vs. las que no lo tienen, 4) Las responsables en gobiernos de los partidos

conservadores vs. otros partidos, y 5) El bagaje profesional de las responsables
polticas. De esta manera, el discurso sobre las polticas de igualdad de gnero, en
general y de su evaluacin, en particular, aparece como ms elaborado el de las
responsables cuyo organismo ha hecho evaluacin y ellas han estado implicadas en
ello, que llevan ms tiempo en el cargo, que tienen un pasado de militancia
feminista, que estn en partidos no conservadores (aunque esto creemos que est
ms relacionado con haber llegado de nuevas a la cuestin de gnero, ya que el
cleveage derecha-izquierda, o la ideologa, no parece influir tanto en los temas de
gnero) y que tienen un bagaje profesional relacionado con las ciencias sociales
(sociologa, trabajo social, ...).
44. Entre las ideas asociadas a la evaluacin y las actitudes ante la misma nos
encontramos algunas ideas generalizables al discurso de todas las responsables
como, por ejemplo, que la evaluacin de las polticas de igualdad de gnero es algo
propio de los organismos de igualdad. Existe tambin una cierta tendencia general a
considerar la evaluacin como algo tcnico, que debe centrarse en los resultados y
que debe ser sobre todo cuantitativa. Entre las ideas asociadas que generan mayores
diferencias discursivas destacamos la existencia de ciertas expectativas mgicas
sobre evaluacin (la evaluacin lo soluciona todo), especialmente si en los
organismos de igualdad no se tiene experiencia evaluadora (a mayor experiencia y a
mayor implicacin de la responsable poltica en la evaluacin, visin ms realista y
ajustada de los procesos evaluativos).
45. Adems de las funciones clsicas de mejora, responsabilidad e iluminacin para
acciones futuras, se identifican otros propsitos y fines que asignan a la evaluacin
las responsables de los organismos. Entre ellas destacamos la de obtener datos e
informacin que justifique la existencia y la necesidad de las acciones pblicas en
pro de la igualdad, as como la de documentar los planes, difundirlos y hacerlos ms
visibles. Respecto al para qu de la evaluacin, querramos mencionar lo que hemos
denominado la ilusin de utilidad, que consiste en que las responsables tienen
una clara tendencia a decir que utilizan la evaluacin ms de lo que en realidad
parecen hacerlo. Esto tiene que ver tambin con la poca capacidad de sorpresa
que las responsables otorgan a la evaluacin.
46. El discurso de las responsables denota muy poca claridad respecto a QU se quiere
evaluar. En general, las responsables apelan a la falta y a la necesidad de
indicadores preestablecidos, pero no sealan cules. Al no existir, en la mayora
de los casos, una reflexin previa sobre qu se debe evaluar, se suple esta carencia
apelando a criterios metodolgicos o tcnicos, pasando a hablar de instrumentos
para recopilar la informacin. Y otro fenmeno que ocurre al referirse a los
contenidos de la evaluacin es que existe la tendencia a confundir la necesidad de
datos sobre el problema de la igualdad con la informacin sobre los planes y cmo
se aborda dicho problema. En algunos casos, las responsables ms experimentadas
s parecen haber hecho una reflexin algo ms seria sobre el tipo de acciones que se
realizan en los planes, preguntndose sobre qu es y qu no es una accin positiva.
Pero, en general, cuestiones como el diseo de los planes, si stos son o no el
instrumento adecuado y si se consigue la perspectiva de gnero en el resto de las
polticas pblicas, no aparecen realmente como objeto de la evaluacin en el
_____________________________________________________
_________________
490
___________________________________________________________________________________
discurso de las responsables. Ni siquiera la implicacin del resto de las unidades

gubernamentales, y su propia capacidad de persuasin y convencimiento, que es
algo que les preocupa enormemente, se concibe como algo a evaluar, algo que
pueda ser convertido en criterio de evaluacin.
47. Las responsables sealan una serie de dificultades a la hora de evaluar que
clasificamos en tres factores. Dificultades relacionadas 1) con la falta de cultura de
la evaluacin, 2) con la propia complejidad de los planes de igualdad y, 3) con la
transversalidad o concepcin de horizontalidad de las polticas de igualdad de
gnero. Curiosamente, casi todas las dificultades mencionadas no tienen que ver
con los procesos de evaluacin en s, sino con factores previos o en torno a la
misma (o bien falta de cultura o costumbre de hacer evaluacin, o bien dificultades
que provienen por los propios planes y polticas y no por su evaluacin).
-
Entre las dificultades relacionadas con la inexistencia de una cultura de la

evaluacin, las responsables mencionan la falta de referencias y de
experiencias previas de evaluacin, de equipos tcnicos preparados y, en
general, de una cultura de sistematizacin de la informacin y de la carencia
de buenos sistemas para ello en las administraciones pblicas.
Tambin detectan la dificultad de evaluar planes complejos y que tienen un

alto grado de abstraccin. Algunas responsables reclaman que especialmente
difcil medir los impactos y los costes econmicos de las acciones planteadas.
El hecho de que sean planes transversales que requieren de la implicacin de

otros actores en la administracin pblica, hace especialmente costosa la
recopilacin de informacin necesaria y la necesaria participacin de esos
otros agentes en la evaluacin. La perspectiva de gnero como fin y el
mainstreaming como estrategia son conceptos difciles de explicar y de
aplicar. Las responsables se valen de mltiples estrategias formales e
informales para esa aplicacin. La evaluacin de esas estrategias, a veces poco
convencionales y dependientes de factores de tipo personal, resulta todo un
reto sobre el que, creemos, hay que seguir investigando y discutiendo.
Sobre los factores que facilitan y dificultan la evaluacin y como

conseguir evaluaciones de las polticas de igualdad de gnero ms
eficaces
48. Identificamos, en primer lugar, una serie de factores previos a los propios procesos
de evaluacin, pero que tienen influencia sobre los mismos, tanto negativa como
positiva. Estos factores tienen que ver, por ejemplo, con las caractersticas
especficas de las polticas de igualdad de gnero (por ejemplo, la existencia de los
planes como instrumento de poltica o la idea de polticas transversales y
horizontales) o con caractersticas de tipo institucional (por ejemplo, falta de cultura
y experiencia previa en evaluacin de programas o la fortaleza institucional relativa
_____________________________________________________
_________________
491
___________________________________________________________________________________
de los organismos de igualdad). En nuestro anlisis, se sealan cinco factores que

facilitan la evaluacin: la concepcin y estructuracin de las polticas de igualdad
en planes, la creciente institucionalizacin de compromisos de los poderes pblicos
respectos a los planes y a su evaluacin, el aval y el grado de acuerdo internacional
tanto de la necesidad de las polticas como de la estrategia a utilizar
(mainstreaming), la fortaleza institucional de los organismos de igualdad, as como
el reconocimiento simblico que ha ido adquiriendo la evaluacin en los ltimos
aos. Entre los factores previos que dificultan se encuentran el alto grado de
generalidad y abstraccin de los planes, su carcter horizontal e integral, su carcter
no sancionador que hace que la estrategia principal sea de persuasin, la falta de
cultura y experiencias previas de evaluacin, as como de equipos preparados y, por
ltimo, el hecho de que la funcin de evaluacin no est normalizada en las
administraciones pblicas espaolas y su repercusin en que la evaluacin no se
piensa a tiempo.
49. En segundo lugar, se analizan los principales problemas identificados en los
procesos de evaluacin metaevaluados y que tienen que ver con la propia
concepcin, diseo y ejecucin de las respectivas evaluaciones -factores
inherentes a la misma-.Se identificaron doce factores que han influido
negativamente en el desarrollo y el xito final de las experiencias de evaluacin.
Lgicamente, estos factores no influyen de igual manera en todos los casos e
incluso, la identificacin de los mismos, a veces se ha verificado por el contraste
positivo en alguna de las experiencias.
1) La falta de definicin y de claridad de los propsitos de la evaluacin se
traduce en una alta probabilidad de no acertar con las necesidades del
contexto concreto en el que debe producirse. Especialmente, en algunos casos,
no se distingue bien entre lo que significa investigar y hacer seguimiento sobre
la desigualdad de gnero, su evolucin y sus mltiples manifestaciones, y lo
que es evaluar las acciones que los poderes pblicos impulsan para paliar
dicho problema. Es necesario distinguir estas dos funciones investigacin y
evaluacin- dado que ambas son imprescindibles para una mejor formulacin
de las polticas de igualdad. El hecho, por ejemplo, de que existan
observatorios de igualdad que investiguen de forma peridica y continuada
el problema de la desigualdad de gnero sobre el que hay que intervenir,
facilita no slo una mejor formulacin de los planes y polticas (se conoce
mejor el problema que hay que solucionar) sino tambin la propia evaluacin,
ofreciendo una informacin sistematizada sumamente til para la misma (y
que haga ms fcil tambin identificar qu influencia tiene la intervencin
pblica sobre la evolucin del problema). Pero su existencia por s sola no
asegura la evaluacin de las polticas y los planes. Por otro lado, la evaluacin
sistemtica de planes y polticas puede ayudar a identificar nuevas formas de
concebir el problema, nuevas manifestaciones de la desigualdad de gnero que
puedan ser posteriormente investigadas. Por lo tanto, investigacin y
evaluacin son dos funciones necesarias y complementarias.
2) En general, no se ha tenido una visin global de las polticas de igualdad de
gnero a la hora de realizar las evaluaciones. Casi todas las experiencias han
hecho ms nfasis en la evaluacin de las acciones que componan los planes
_____________________________________________________
_________________
492
___________________________________________________________________________________
evaluados que en una visin de conjunto del plan y de la poltica a la que

responde dicho plan. Es necesario, por lo tanto, globalizar las evaluaciones
de forma que haya una mayor conciencia tanto por parte de los poderes
pblicos como del resto de actores crticos- de lo que son y significan y el
papel que pueden cumplir las polticas pblicas de igualdad de gnero.
3) La falta de reconocimiento del carcter poltico de la evaluacin repercute
directamente en una inadecuada lectura y respuesta del y al contexto
determinado en el que se desarrollan los planes y las polticas a evaluar. Y
esto, a su vez, afecta de lleno a la utilidad y eficacia de los procesos de
evaluacin. Pretender que la evaluacin es algo exclusivamente tcnico
significa abocarla al fracaso.
4) La percepcin de la evaluacin como una funcin secundaria en las
administraciones pblicas es una realidad hoy en da. Esta circunstancia ha
provocado que, en la mayora de los organismos de igualdad no se le haya
dado la suficiente centralidad a la evaluacin. Sin embargo, en nuestra
opinin, y dado el carcter de rganos impulsores y coordinadores, ms que
ejecutores, en los organismos de igualdad se debera otorgar un papel crucial a
la evaluacin de los planes y las polticas de igualdad de gnero. Creemos que
las responsables de dichos organismos deberan dar prioridad alta a los
procesos de evaluacin, ya que sta debera ser una de las funciones
principales. En este sentido, siendo una conclusin vlida igualmente para el
nivel gubernamental central y el autonmico, creemos que el IM central podra
tener potencialmente un papel especfico sobre la evaluacin de las polticas, y
que podra consistir en coordinacin e intercambio de experiencias, apoyo
tcnico y documental, apoyo a la coordinacin de los sistemas de informacin,
coordinacin de foros y grupos especializados, etc. Sin embargo, no ha
ejercido apenas liderazgo en este sentido.
5) Al no existir referentes ni apenas experiencias previas en evaluacin, ni
equipos preparados especficamente en evaluacin, en las evaluaciones
metaevaluadas no se ha hecho, por lo general, una buena gestin de los
recursos evaluativos disponibles. Una de las cuestiones que ms destaca al
respecto es la mala utilizacin que se ha hecho de los diferentes tipos de
evaluacin, separando de forma casi absoluta cuando se realizaba ms de un
tipo de evaluacin (de proceso y de resultados, por ejemplo), y sin aprovechar
las sinergias de un anlisis conjunto.
6) Las evaluaciones mixtas parecen, por lo general, ms eficaces que las
puramente externas o internas. En este caso, no creemos que se deba a la
limitacin de la colaboracin externa sino, sobre todo, a la implicacin de los
equipos internos en los procesos de evaluacin. En las situaciones de
evaluacin externa, se tenda a delegar en exceso en el equipo externo, entre
otras por concebirse la evaluacin como algo tcnico y perteneciente a los
expertos. Sin embargo, en las evaluaciones mixtas, los equipos internos
estaban fuertemente implicados y las colaboraciones externas les servan no
slo como gua y va de legitimacin tcnica, sino tambin como acicate
para el cumplimiento de las tareas y los calendarios. En definitiva, tambin las
_____________________________________________________
_________________
493
___________________________________________________________________________________
evaluaciones externas son potencialmente eficaces, siempre y cuando cuenten

con la implicacin y participacin activa en los procesos de evaluacin de los
equipos internos. Y, dada la falta de preparacin especfica en evaluacin y los
pocos recursos humanos internos asignados a las funciones de evaluacin en
los organismos de igualdad, creemos muy conveniente recurrir a
colaboraciones externas.
7) La valoracin de las experiencias denota la falta de reflexin y trabajo previo
tcnico y poltico- para establecer y definir los criterios de evaluacin. Esto
se ha suplido, en muchos casos, por una metodologa de investigacin social
que se ha centrado ms en los instrumentos de recopilacin y anlisis de la
informacin necesaria. Es necesario saber qu se quiere evaluar y por qu, y
luego decidir cul es la mejor manera de contestarse a las preguntas que, de
forma consciente, se hayan establecido previamente.
8) Uno de los mayores problemas detectados han sido las dificultades en la
recopilacin de informacin, debidas, especialmente a la transversalidad de los
planes lo que provoca que la informacin necesaria est diluida en mltiples
unidades administrativas y existan diversas responsabilidades en la gestin de
dicha informacin. Por lo tanto, ms que centrarse en los instrumentos
concretos, se debe tener como prioridad el establecimiento de unas buenas
estructuras de coordinacin con la participacin necesaria de los agentes
implicados- y unos buenos sistemas de informacin que permitan que la
informacin fluya y pueda ser recogida de forma fiable.
9) La temporalidad es un aspecto clave en cualquier proceso de evaluacin y,
como tal, hay que tenerlo en cuenta. El aspecto temporal que ms ha
dificultado las evaluaciones analizadas ha sido el hecho de que la mayora se
plantearon muy tarde en el tiempo y esa circunstancia limita enormemente las
posibilidades de recopilar la informacin necesaria para evaluar. Tambin hay
que evitar los retrasos en los procesos de evaluacin porque estos aumentan
mucho las probabilidades de que la evaluacin llegue tarde o se quede
obsoleta.
10) El hecho de que las evaluaciones se hayan centrado especialmente en la
recopilacin y anlisis de la informacin producida por los instrumentos
elegidos, tambin ha provocado que los pasos posteriores (valoraciones y
recomendaciones) prcticamente no se hayan resuelto. El dficit de
elaboracin prctica de la informacin sistemticamente recopilada es
evidente en prcticamente todos los casos. Incluso en el caso en el que ha
existido un mayor grado de elaboracin prctica Pas Vasco-, ste hubiera
podido ser mucho mayor. Raramente se ha entendido que la evaluacin
incluye tambin el anlisis global, la extraccin de conclusiones, la emisin
sistemtica de juicios de valor y las sugerencias para la accin posterior. Es
una lstima que no se hayan aprovechado ms los procesos de evaluacin,
traducindolos sistemticamente a unos resultados ms aplicables.
11) Tambin los procesos de comunicacin de los resultados de la evaluacin han
sido normalmente deficitarios. En este sentido destacamos la variabilidad
_____________________________________________________
_________________
494
___________________________________________________________________________________
encontrada respecto al acceso a los informes de evaluacin. El carcter pblico

de los informes de evaluacin no est claro en muchos casos. Esto nos sugiere
una lnea de investigacin sobre la difusin y acceso a la informacin
producida por las evaluaciones. Qu criterios se estn siguiendo en las
administraciones pblicas espaolas? Y cules se deberan seguir?
12) Por ltimo, un factor importante es la escasez de recursos dedicados a la
evaluacin, tanto en trminos directos partidas presupuestarias especficas
para la evaluacin- como indirectos, especialmente a travs de la dedicacin
de recursos humanos internos de los organismos de igualdad a la funcin de
evaluacin. En nuestra opinin, sera lgico que los organismos de igualdad
dedicaran al menos un 15% de sus presupuestos a la funcin de evaluacin, y
que se dedicara un mnimo del 5% del presupuesto total de cada plan a su
evaluacin. Esto significara una inversin mucho mayor de lo que se ha
dedicado en esta segunda generacin de evaluaciones.
50. Respecto a los factores relacionados con el impacto de la evaluacin, valoramos
en su conjunto la relativa utilidad y pertinencia de las evaluaciones. La utilidad de
los RESULTADOS de las evaluaciones, por lo general, ha sido muy baja (en el
sentido de uso instrumental que consiste en utilizar los resultados de la evaluacin
para tomar decisiones sobre los planes). De hecho, no parece haber indicios claros
de utilizacin directa para la mejora de las polticas, el rendimiento de
responsabilidades o la ilustracin para acciones futuras. Si acaso, podemos
encontrar, en algunos casos, un cierto uso conceptual (la evaluacin sirve para
establecer tipologas de acciones y reflexionar sobre las mismas en Catalua y el
Pas Vasco) y un cierto uso persuasivo (tambin sirve para demostrar o sacar a la
luz los diversos niveles de implicacin real en los planes de las diferentes unidades
administrativas que haban adquirido un compromiso). Sin embargo, el impacto o la
potencial utilizacin de los PROCESOS de evaluacin ha sido relativamente ms
alta, a pesar de que no existieran objetivos explcitos sobre ello. A pesar de que este
impacto hubiera podido ser mucho mayor, estas primeras experiencias marcan
pautas de actuacin e introducen una cierta cultura y saber hacer sobre
evaluacin. Este tipo de impacto al que nos referimos se hubiera producido, fueran
como hubieran sido dichos procesos, debido a la novedad, a la falta de referencias y
al hecho de que han sido las primeras experiencias de evaluacin para la mayora de
los organismos de igualdad. En general, la realizacin de estas evaluaciones supone
que la evaluacin se vaya consolidando como idea y como realidad. Aunque
todava se considere como una funcin marginal, y no se le otorguen los suficientes
recursos ni la centralidad necesaria, la funcin de evaluacin se empieza a
fortalecer. Y, sobre todo, a raz de estas experiencias se da un aprendizaje sobre la
funcin de evaluacin, sobre todo en lo que se refiere a las formas y mtodos de
recopilar informacin. Por ejemplo, los sistemas de informacin en torno a los
planes mejoran mucho a consecuencia de estas primeras evaluaciones. Este
aprendizaje sobre la evaluacin, sin embargo, es irregular segn las experiencias y
creemos que se da en mayor medida cuanta mayor preocupacin, atencin y
conciencia existe sobre la misma, y cuanta mayor actitud de bsqueda abierta existe
por parte del equipo tcnico de los organismos de igualdad.
_____________________________________________________
_________________
495
___________________________________________________________________________________
Sobre el grado de verificacin de las hiptesis iniciales
51. La primera hiptesis (existen una serie de factores que facilitan y dificultan la
evaluacin de las polticas de igualdad de gnero) se verifica, diferencindose
adems entre los factores previos que condicionan la evaluacin, los factores
inherentes a los propios procesos de evaluacin y que inciden de forma
determinante en el xito o fracaso de la misma, y algunos factores relativos al
impacto global de las evaluaciones, como son la relativa pertinencia y utilidad de
los procesos o la imposibilidad de realizar una sntesis de los resultados de las
evaluaciones.
52. La segunda hiptesis se confirma igualmente en todos los extremos planteados: las
evaluaciones ms eficaces son las que se plantean de una forma ms global,
planificndose desde un principio, con ayuda de agentes externos y fuerte
implicacin interna, con una mayor elaboracin o traduccin prctica, y con una
mejor comunicacin y publicidad de sus resultados.
53. Respecto a la tercera hiptesis, el grado de verificacin es menor que en las dos
anteriores, entre otras cosas, por las dificultades inherentes a la recopilacin de
informacin sobre el impacto de las evaluaciones. En cualquier caso, y dada la
informacin obtenida, la relacin entre las variables planteadas en la hiptesis
admite algunos matices. Siguiendo la conclusin n 50, podemos decir que se
confirma el hecho de que la propia existencia de procesos de evaluacin ha
contribuido a introducir una cierta cultura de evaluacin en los organismos de
igualdad, pero esta cultura no parece haberse extendido a otras unidades
administrativas. Tambin parece que las evaluaciones realizadas han generado una
relativa mejora de los sistemas de informacin en los organismos de igualdad y, en
algunos casos concretos, pero no en todos, una mayor conciencia y comprensin de
las polticas. Sin embargo, salvo algunas excepciones, las evaluaciones estudiadas
no han sido realmente tiles para los propios planes (para introducir mejoras en
ellos y rendir responsabilidades sobre los mismos).
Sobre lneas abiertas para futuras investigaciones
Respecto a la evaluacin
53. La evaluacin debe ser evaluada y los evaluadores evaluados. Por eso es necesario
que se desarrolle el enfoque de la metaevaluacin en su acepcin ms concreta de
control de calidad de las evaluaciones. Aqu se abre una discusin sobre quines
deben o pueden ser los metaevaluadores y cules deben ser las instancias que
acrediten la calidad de las evaluaciones realizadas en las administraciones pblicas.
_____________________________________________________
_________________
496
___________________________________________________________________________________
54. La prctica de la evaluacin en Espaa es todava incipiente pero est claramente en

alza. Ya que se estn empezando a realizar evaluaciones de muy diverso carcter, es
conveniente su estudio, anlisis y valoracin. En este sentido, queda abierta la
posibilidad de realizar otras metaevaluaciones de otras polticas pblicas que
permitan, adems, la mejora de la funcin de evaluacin en diferentes sectores.
55. A pesar de que la prctica de la evaluacin va aumentado todava tiene que crecer
sustancialmente. Pero no slo hay que hacer ms evaluaciones sino que hay que
investigar ms sobre las mismas. Hay que saber traducir la prctica profesional de
la evaluacin en trminos cientficos y realizar anlisis e investigaciones que tengan
por objeto la funcin de la evaluacin en el sector pblico.
Respecto a las polticas de igualdad de gnero
56. Hay que seguir profundizando en lo que se debe evaluar de las polticas de igualdad
de gnero. En nuestra opinin, en la actualidad sera prioritaria una evaluacin que
abordara los planes de igualdad como instrumento de poltica y su adecuacin a los
objetivos y estrategias de las polticas de igualdad de gnero. Tambin resulta
necesario la evaluacin de las estrategias planteadas (mainstreaming) y que incluya
una visin global sobre su diseo, su implantacin y puesta en prctica y sus
resultados.
57. Las polticas de igualdad de gnero y el feminismo institucional en Espaa han sido
estudiadas en el nivel central, pero menos en el autonmico y, sobre todo, en el
local. Es necesario realizar estudios de caso sobre cada una de las polticas de
igualdad autonmicas (slo se ha hecho de la poltica andaluza y, parcialmente, de
algunos aspectos de la vasca) y tambin, sobre todo, de las polticas y las
instituciones locales cuyo objetivo sea conseguir una mayor igualdad de gnero.
_____________________________________________________
_________________
497
BIBLIOGRAFA
____________________________________________________________________________________
BIBLIOGRAFIA
Aguilar, M. J. y E. Ander-Egg (1992). Evaluacin de servicios y programas sociales.

Madrid, Siglo XXI.
Aguilar Villanueva, L. F., (Ed.). (1996). El estudio de las Polticas Pblicas. Coleccin
Antologas de Poltica Pblica. Mexico, Miguel Angel Porra. Grupo Editorial.
Aguilar Villanueva, L. F. (1996). "Estudio Introductorio 1". En L. F. A. Villanueva,
(Ed.). El estudio de las Polticas Pblicas. Mxico, Miguel Angel Porra. Grupo
Editorial. 15-74.
Aguilar Villanueva, L. F. (1996). "Estudio introductorio 2". En L. F. A. Villanueva,
(Ed.). La hechura de las Polticas Pblicas. Mxico, Miguel Angel Porra. Grupo
Editorial. 15-84.
(Ed.). Problemas Pblicos y Agenda de Gobierno. Mxico, Miguel Angel Porra.
Grupo Editorial. 15-72.
(Ed.). La implementacin de las polticas Mxico, Miguel Angel Porra. Grupo
editorial. 15-92.
Aguilar Villanueva, L. F., (Ed.). (1996). La Hechura de las Polticas Pblicas.
Coleccin Antologas de Poltica Pblica. Mxico, Miguel Angel Porra. Grupo
Editorial.
Aguilar Villanueva, L. F., (Ed.). (1996). La implementacin de las Polticas. Coleccin
Antologas de Poltica Pblica. Mxico, Miguel Angel Porra. Grupo Editorial.
Aguilar Villanueva, L. F., (Ed.). (1996). Problemas Pblicos y Agenda de Gobierno.
Coleccin Antologas de Poltica Pblica. Mxico, Miguel Angel Porra. Grupo
Editorial.
Aja, E. (1999). El Estado autonmico. Federalismo y hechos diferenciales. Madrid,
Alianza Editorial.
Alba, C. y F. J. Vanaclocha (1997). El sistema poltico local : un nuevo escenario de
gobierno. Madrid, Universidad Carlos III de Madrid: Boletn Oficial del Estado.
Alberdi, C. (1997). "Estrategias para conseguir la igualdad". En E. U. y. A. Elizondo,
(Ed.). Mujeres en Poltica. Anlisis y prctica. Barcelona, Ariel. 303-311.
Alberdi, I., P. Escario, et al. (1996). Lo personal es poltico. El movimiento feminista en
la transicin. Madrid, Ministerio de Asuntos Sociales. Instituto de la Mujer.
____________________________________________________________________________________
499
BIBLIOGRAFA
____________________________________________________________________________________
Alker, H. R. (1996). "Political Methodology, Old and New". En R. Goodin y H.-D.

Klingemann, (Ed.). A new Handbook of Political Science. Nueva York, Oxford
University Press. 787-799.
Alkin, M. C. (1985). A Guide for Evaluation Decision Makers. Beverly Hills, CA, Sage.
Alkin, M. C., (Ed.). (1990). Debates on Evaluation. Newbury Park, CA, Sage.
Alkin, M. C., R. Daillak, et al. (1979). Using Evaluations: Does Evaluation Make a
Difference? Beverly Hills, CA, Sage.
Allison, G. T. ([1969] 1996). "Modelos conceptuales y la crisis de los misiles cubanos.
Apndice: el bloqueo norteamericano a Cuba en ocasin de la crisis de los misiles
cubanos. Un estudio de caso.". En L. Aguilar, (Ed.). La hechura de las polticas.
Mxico, Miguel Angel Porra. Grupo Editorial. 119-200.
Altschuld, J. W. y M. Engle, (Ed.). (1994). The Preparation of Professional Evaluators:
Issues, Perspectives, and Programs. New Directions for Program Evaluation. San
Francisco, Jossey-Bass.
Alvaro, M. (1996). Los usos del tiempo como indicadores de la discriminacin entre
gneros. Madrid, Ministerio de Asuntos Sociales., Instituto de la Mujer.
Alvira, F. (1991). Metodologa de la evaluacin de programas. Madrid, CIS.
Alvira, F. (1997). Metodologa de la evaluacin de programas: un enfoque prctico.
Buenos Aires, Lumen/Hvmanitas.
Amors, C., (Ed.). (1995). 10 Palabras Clave sobre Mujer. Estella, Verbo Divino.
Anduiza, E., I. Crespo, et al. (1999). Metodologa de la Ciencia Poltica. Madrid,
Centro de Investigaciones Sociolgicas.
Arenillas, M. y J. M. Canales, (Ed.). (1999). Gobierno y pacto local. Madrid, BOE.
Arranz, F., (Ed.). (2000). Las Polticas Pblicas en favor de las mujeres. Madrid,
Instituto de Investigaciones Feministas. Universidad Complutense de Madrid.
Arteaga, T. (1997). "Planes de Accin Positiva en la Comunidad Autnoma del Pas
Vasco". En E. U. y. A. Elizondo, (Ed.). Mujeres en Poltica. Anlisis y Prctica.
Barcelona, Ariel. 319-324.
Ascher, W. ([1986]1996). "La evolucin de las ciencias de polticas". En L. Aguilar,
Editorial. 181-196.
Astelarra, J., (Ed.). (1990). Participacin poltica de las mujeres. Madrid, Centro de
Investigaciones Scoiolgicas.
____________________________________________________________________________________
500
BIBLIOGRAFA
____________________________________________________________________________________
Astelarra, J. (1998). "Alcance y limitaciones de las polticas de gnero". En P. d.

Villota, (Ed.). Las mujeres y la ciudadana en el umbral del siglo XXI. Madrid,
Editorial Complutense. 213-224.
Bachi, C. L. (1996). The Politics of Affirmative Action. London, Sage.
Baena, M. (1985). Curso de Cienica de la Administracin. Madrid, Tecnos.
Ballart, X. (1992). Cmo evaluar programas y servicios pblicos? Aproximacin
sistemtica y estudios de caso. Madrid, Ministerio para las Administraciones
Pblicas.
Ballart, X. (1993). Evaluacin de polticas. Marco conceptual y organizacin
instituconal. Revista de Estudios Polticos 80(Abril-Junio 1993): 199-224.
Ballart, X. (1996). "Modelos tericos para la prctica de la evaluacin de programas".
En Q. Brug y J. Subirats, (Ed.). Lecturas de Gestin Pblica. Madrid, Ministerio
para las Administraciones Pblicas. 323-351.
Ballart, X. (2000). "La Administracin de un Presidente: Catalua 1980-1997". En J. L.
Paniagua Soto, (Ed.). Gobierno y Administracin en las Comunidades
Autnomas. Andaluca, Canarias, Catalua, Galicia y Pas Vasco. Madrid,
Tecnos. 169-203.
Ballart, X. y C. Rami ( 2000). Ciencia de la administracin. Valencia, Tirant lo
Blanch.
Bamberger, M. (1999). "Ethical Issues in Conducting Evaluation in International
Settings". En J. L. Fitzpatrick y M. Morris, (Ed.). Current and Emerging Ethical
Challenges in Evaluation, Jossey-Bass. 89-98.
Bamberger, M. (2000). The Evaluation of International Development Programas: A
View from the Front. The American Journal of Evaluation 21(1): 95-101.
Ban, R. (1993). La modernizacin de la administracin pblica espaola: balance y
perspectivas. Poltica y Sociedad 13.
Ban, R. (1997). "Los enfoques para el estudio de la administracin pblica: orgenes
y tendencias actuales". En R. Ban y E. Carrillo, (Ed.). La nueva Administracin
Pblica. La nueva Administracin Pblica Madrid, Alianza Universidad. 17-50.
Ban, R. y E. Carrillo (1995). "Evaluacin de la calidad de los servicios pblicos". En
R. Ban, A. Halachmi y G. Bouckaert, (Ed.). La productividad y la calidad en la
gestin pblica. La productividad y la calidad en la gestin pblica Santiago de
Compostela, EGAP.
Ban, R. y E. Carrillo, (Ed.). (1997). La nueva Administracin Pblica. Madrid,
Alianza Universidad.
____________________________________________________________________________________
501
BIBLIOGRAFA
____________________________________________________________________________________
Ban, R. y J. L. Paniagua (2000). "Gobierno y Administracin en el Estado de las

Autonomas y en las Comunidades Autnomas". En J. L. Paniagua Soto, (Ed.).
Gobierno y Administracin en las Comunidades Autnomas. Andaluca,
Canarias, Catalua, Galicia y Pas Vasco. Madrid, Tecnos. 265-284.
Barbier,
J.-C.
(1999).
Inter-govermental
Evaluation:
Balancing
Stakeholders'Expectations with Enlightenment Objectives. Evaluation 5(4):
373-386.
Bardach, E. ([1981] 1996). "Problemas de la definicin de problemas en el anlisis de
polticas". En L. Aguilar, (Ed.). Problemas pblicos y agenda de gobierno.
Barzelay, M. y B. J. Armajani (1992). Breaking Through Bureaucracy. A New Vision
for Managing in Government. Berkeley, University of Califormia Press.
Barzelay, M. y J. M. O'Kean (1992). Gestin Pblica Estratgioca. Conceptos, anlisis
y experiencias: el caso IPIA. Madrid, Instituto de Estudios Fiscales.
Behn, R. D. ([1981]1996). "El anlisis de polticas y la poltica". En L. Aguilar, (Ed.).
El estudio de las Polticas Pblicas. Mxico, Miguel Angel Porra. Grupo
Editorial. 239-274.
Berk, R. y P. Rossi (1990). Thinking About Program Evaluation. Newbury Park, Sage.
Berman, P. ([1978] 1996). "El estudio de la macro y la micro-implementacin". En L.
Aguilar, (Ed.). La implementacin de las Polticas. Mxico, Miguel Angel Porra.
Bickman, L., (Ed.). (1990). Advances in Programa Theory. New Directions for
Program Evaluation, 47. San Francisco, Jossey-Bass.
Bickman, L. (1994). An Optimistic View of Evaluation. Evaluation Practice 15(3):
255-59.
Birckmayer, J. D. y C. H. Weiss (2000). Theory-Based Evaluation in Practice. What
Do We Learn? Evaluation Review 24(4. August 2000): 407-431.
Bologh, R. (1991). Love or Greatness: Max Weber and Masculine Thinking. Londres,
Unwin Hyman.
Borchost, A. y B. Siim (1987). "Women and the advanced welfare state -a new kind of
patriarchal power?". En A. Showstack Sassoon, (Ed.). Women an te State: The
Shifting Boundaries of public and private. Women an te State: The Shifting
Boundaries of public and private Londres, Unwin Hyman. 128-157.
Bustelo Garca del Real, C. (1990). "Estrategias futuras en la intervencin de la
administracin". En J. Astelarra, (Ed.). Participacin poltica de las mujeres.
Madrid, Centro de Investigaciones Scoiolgicas. 269-280.
____________________________________________________________________________________
502
BIBLIOGRAFA
____________________________________________________________________________________
Bustelo Ruesta, M. (1998). Deontologa de la evaluacin: el modelo de los cdigos

ticos anglosajones. Gestin y Anlisis de Polticas Pblicas 1112(Enero/Agosto 1998): 141-156.
Bustelo Ruesta, M. (1999). Diferencias entre evaluacin e investigacin: una distincin
necesaria para la identidad de la evaluacin de programas. Revista Espaola de
Desarrollo y Cooperacin 4(Primavera-verano 1999): 9-29.
Bustelo Ruesta, M. (1999). "Polticas Pblicas de Igualdad de Gnero en Espaa:
evolucin y evaluacin". En M. Ortega, C. Snchez and C. Valiente, (Ed.).
Gnero y ciudadana. Revisiones desde el mbito privado. Madrid, Ediciones de
la Universidad Autnoma de MAdrid. 367-389.
Bustelo Ruesta, M. (2000). El reto de la evaluacin de las polticas de igualdad: Hacia
una evaluacin de la perspectiva de gnero. Cuadernos de Ctedra Abierta
13(Noviembre 2000): 7-50.
CAD (1997). Evaluating programs promoting participatory development and good
governance. Synthesis Report. Grupo de Expertos en Evaluacin de la Ayuda del
CAD-OCDE. Pars.
CAD (1998). Directrices y gua de conceptos del CAD (OCDE) sobre la igualdad entre
mujeres y hombres. Madrid, Ministerio de Asuntos Exteriores. Secretara de
Estado para la Cooperacin Internacional y para Iberoamrica.
Campbell, D. T. (1969). Reforms as Experiments. American Psychologist 24: 40929.
Campbell, D. T. (1991). Methods for the Experimenting Society. Evaluation
Practice 12(3): 223-60.
Campbell, D. T. y J. C. Stanley (1963). Experimental and Quasi-Experimental Designs
for Research. Chicago, Rand McNally.
Camps, V. (1998). El siglo de las mujeres. Madrid, Ctedra.
Canales Aliende, J. M. (1987). Panorama actual de la Ciencia de la Administracin.
Madrid, INAP.
Caracelli, V. J. y H. Preskill, (Ed.). (2000). The Expanding Scope of Evaluation Use.
New Directions for Program Evaluation, n. 88. San Francisco, Jossey-Bass.
Cardenal, V. e. a. (1994). Evaluacin de programas de reinsercin social. Mlaga,
Miguel Gmez Ediciones.
Carter, N. y. G., P. (1993). Evaluating Agencies: Next Steps and Performance
Indicators. Public Administration 71(Autumn 1993): 407-416.
Experiencias en Gran Bretaa con la Reforma del sector pblico
____________________________________________________________________________________
503
BIBLIOGRAFA
____________________________________________________________________________________
Castells, C. (1996). "Introduccin". En C. C. (comp.), (Ed.). Perspectivas feministas en

teora poltica. Barcelona, Paids. 9-30.
Castells, C. c., (Ed.). (1996). Perspectivas feministas en teora poltica. Paids Estado y
Sociedad. Barcelona, Paids.
Caudle, S. L. (1989). "Evaluating Program Results and Success". En R. E. C. y. N.
Henry, (Ed.). Managing Public Programs. Balancing Politics, Administration and
Public Needs. San Francisco, Jossey-Bass. 231-254.
Cavana, M. L. (1995). "Diferencia". En C. Amors, (Ed.). 10 Palabras Clave sobre
Mujer. Estella, Verbo Divino. 85-118.
Chelimsky, E., (Ed.). (1985). Program Evaluation: Patterns and Directions.
Washington, DC, American Society for Public Administration.
Chelimsky, E. (1987). What We Have Learned About the Politics of Program
Evaluation. Educational Evaluation and Policy Analysis 9: 199-213.
Chelimsky, E. (1989). "Evaluating Public Programs". En J. L. Perry, (Ed.). Handbook of
Public Administration. Handbook of Public Administration San Francisco,
Jossey-Bass. 259-273.
Chelimsky, E. (1992). "Expanding Evaluation Capabilities in the General Accounting
Office". En C. Wye y R. C. Sonnichsen, (Ed.). Evaluation in the Federal
Government: Changes, Trends and Opportunities. San Francisco, Jossey-Bass.
Chelimsky, E. (1995a). "Comments on the AEA Guiding Principles for Evaluators". En
W. Shadish, D.L. Newman, M.A. Scherirer y C. Wye, (Ed.). Guiding Principles
for Evaluators. Guiding Principles for Evaluators Washington, DC, American
Society for Public Administration. 53-54.
Chelimsky, E. (1995b). The Political Environment of Evaluation and What it Means
for the Development of the Field. Evaluation Practice 16(3): 215-225.
Chelimsky, E. (1997). "The Coming Transformations in Evaluation". En E. Chelimsky
y W. R. Shadish, (Ed.). Evaluation for the 21st Century. A Handbook. Evaluation
for the 21st Century. A Handbook Thousand Oaks, Sage. 1-26.
Chelimsky, E. (1998). The role of Experience in Formulating Theories of Evaluation
Practice. American Journal of Evaluation 19(1): 35-55.
Chelimsky, E. y W. R. Shadish, (Ed.). (1997). Evaluation for the 21st Century. A
Handbook. Thousand Oaks, Sage.
Chen, H. T., Rossi, P.H. (1983). Evaluating with Sense: The Theory-Driven
Approach. Evaluation Review 7: 283-302.
____________________________________________________________________________________
504
BIBLIOGRAFA
____________________________________________________________________________________
Chen, H. T. (1990). Theory-Driven Evaluation: A Comprehensive Perspective.

Newbury Park, Sage.
Chen, H. T. (1994). Theory-Driven Evaluations: Needs, Difficulties, and Options.
Evaluation Practice 15(1): 79-82.
Chen, H. T. (1996). A Comprehensive Typology for Program Evaluation. Evaluation
Practice 17(2): 121-130.
Cirujano, P. (2000). Beijing + 5: Hacia el cumplimiento de los compromisos con las
mujeres. Revista Espaola de Desarrollo y Cooperacin n 6
Primavera/Verano 2000: 113-128.
Cobo Bedia, R. (1995). "Gnero". En C. Amors, (Ed.). 10 Palabras Clave sobre
Cohen, E. y R. Franco (1988). Evaluacin de proyectos sociales. Buenos Aires, Grupo
Editor Latinoamericano.
Cohen, E. y. F., R. (1988). Evaluacin de Proyectos Sociales. Buenos Aires, Grupo
Editor Latinoamericano.
Conrad, K. J., (Ed.). (1994). Critically Evaluating the Role of Experiments. New
Directions for Program Evaluation, n.63. San Francisco, Jossey-Bass.
Cook, T. D. (1997). "Lessons Learned in Evaluation Over the Past 25 Years". En E.
Chelimsky y W. R. Shadish, (Ed.). Evaluation for the 21st Century. A Handbook.
Evaluation for the 21st Century. A Handbook Thousand Oaks, Sage. 30-52.
Cook, T. D. y D. T. Campbell (1979). Quasi-experimentation: Design and Analysis
Issues for Field Settings. Chicago, Rand McNally.
Cook, T. D. y C. Reichart (1986). Mtodos cualitativos y cuantitativos en investigacin
evaluativa. Madrid, Morata.
Cooper, P. J. e. a. (1998). Public Administration for the Twenty-First Century. Fort
Worth, Harcourt Brace College Publishers.
Cordray, D. S., Lipsey, M.W. (1987). Evaluation Studies for 1986: Program
Evaluation and Program Research. Evaluation Studies Review Annual
11(1986): 17-44.
Cordray, D. S. (1993). "Strengthening Causal Interpretations of Nonexperimental Data:
The Role of Meta-analysis". En L. Sechrest, (Ed.). Programa Evaluation: A
pluralistic Enterprise. Programa Evaluation: A pluralistic Enterprise San
FRancisco, Jossey-Bass. 59-97.
Cotarelo, R. (1987). Del Estado del Bienestar al Estado del Malestar. Madrid, Centro
de Estudios Constitucionales.
____________________________________________________________________________________
505
BIBLIOGRAFA
____________________________________________________________________________________
Cotarelo, R. (1990). En torno a la teora de la democracia. Madrid, Centro de Estudios

Constitucionales.
Council, of, et al. (1998). Gender Mainstreaming. Conceptual framework, methodology
and presentation of good practice. Final Report of Activities of the Group of
Specialists on Mainstreaming (EG-S-MS). Estrasburgo, Council of Europe
Publishing.
Covert, R. e. a., (Ed.). (1988). Evaluation Utilization. New Directions for Program
Evaluation, 39. San Francisco, Jossey-Bass.
Cronbach, L. J. (1982). Designing Evaluations of Educational and Social Programs.
San Francisco, Jossey-Bass.
Cronbach, L. J. y Associates (1980). Toward the Reform of Program Evaluation. San
Dahlerup, D. (1987). "Confusing concepts- confusing reality: A theoretical discussion
of the patriarchal state". En A. S. Sassoon, (Ed.). Women and the state: The
shifting boundaries of public and private, Unwin Hyman. 93-127.
Dancausa, C. (1997). "Las polticas de igualdad en los ltimos veinte aos: logros y
lmites". En E. U. y. A. Elizondo, (Ed.). Mujeres en poltica. Anlisis y Prctica,
Ariel. 312-318.
Datta, L.-e. (1999). "The Ethics of Evaluation Neutrality and Advocacy". En J. L.
Fitzpatrick y M. Morris, (Ed.). Current and Emerging Ethical Challenges in
Evaluation. San Francisco, Jossey-Bass. 77-88.
Datta, L.-e. (2000). Seriously Seeking Fairness: Strategies for Crafting Non-partisan
Evaluation in a Partisan World. The American Journal of Evaluation 21(1): 114.
Denzin, N. K. y Y. S. Lincoln (1994). Handbook of Qualitaive Research. Thousand
Oaks, CA, Sage.
Dez Lpez, M. A. (2000). La evaluacin de la poltica regional: propuestas para
evaluar las nuevas polticas regionales. Bilbao, Universidad del Pas Vasco.
Downs, A. ([1972] 1996). "El ciclo de atencin a los problemas sociales. Los altibajos
de la ecologa". En L. Aguilar, (Ed.). Problemas pblicos y agenda de gobierno.
Dror, Y. ([1964] 1996). "Salir del paso "Ciencia" o inercia?". En L. Aguilar, (Ed.). La
hechura de las polticas. Mxico, Miguel Angel Porra. Grupo Editorial. 255-264.
____________________________________________________________________________________
506
BIBLIOGRAFA
____________________________________________________________________________________
Dror, Y. ([1970]1996). "Prolegmenos para las ciencias de polticas". En L. Aguilar,

Editorial. 119-148.
Dunn, W. N. (1981). Public Policy Analysis: An Introduction. Englewood Cliffs, N.J.,
Prentice-Hall.
Dunn, W. N., (Ed.). (1986). Policy Analysis: Perspectives, Concepts, and Methods.
Public Policy Studies: A Multi-Volume Treatise. Greenwich, CT., Jai Press Inc.
Dye, T. R. (1975). Understanding Public Policy. Englewood Cliffs, Prentice Hall.
Elder, C. D. y R. W. Cobb ([1984] 1996). "Formacin de la agenda. El caso de la
poltica de acianos". En L. Aguilar, (Ed.). Problemas pblicos y agenda de
gobierno. Mxico, Miguel Angel Porra. Grupo Editorial. 77-104.
Elizondo, A. y. y E. Martnez (1995). Presencia de mujeres y polticas para la igualdad
entre los sexos: el caso de las instituciones polticas vascas (1980-1994). Revista
de Estudios Polticos 89: 345-368.
Elmore, R. ([1978] 1996). "Modelos organizacionales para el anlisis de la
implementacin de programas sociales". En L. Aguilar, (Ed.). La implementacin
de las Polticas. Mxico, Miguel Angel Porra. Grupo Editorial. 185-250.
Elmore, R. ([1979-80] 1996). "Diseo restrospectivo: la investigacin de la
implementacin y las decisiones polticas". En L. Aguilar, (Ed.). La
implementacin de las Polticas. Mxico, Miguel Angel Porra. Grupo Editorial.
251-280.
Espinoza, M. (1983). Evaluacin de Proyectos Sociales. Buenos Aires, Hvmanitas.
Etzioni, A. ([1967] 1996). "La exploracin combinada: un tercer enfoque de la toma de
decisiones". En L. Aguilar, (Ed.). Mxico, Miguel Angel Porra. Grupo Editorial.
265-286.
Evans, G. (1993). Is gender on the "new agenda"? A comparative analysis of the
politicization of inequality between men and women. European Journal of
Political Research 24: 135-158.
Ferguson, K. (1984). The feminist Case Against Bureaucracy. Philadelphia, Temple
University Press.
Fernndez Ballesteros, R., (Ed.). (1995). Evaluacin de programas. Una gua prctica
en mbitos sociales, educativos y de salud. Madrid, Sntesis.
Fernndez Sierra, J. y M. A. Santos Guerra (1992). Evaluacin cualitativa de
programas de educacin para la salud. Una experiencia hospitalaria. Mlaga,
Aljibe.
____________________________________________________________________________________
507
BIBLIOGRAFA
____________________________________________________________________________________
Ferree, M. M. (1995). "Making Equality. The Women's Affairs Offices in the Federal
Republic of Germany". En S. y. Mazur, (Ed.). Comparative State Feminism.
Comparative State Feminism Londres, Sage. 95-113.
Fetterman, D. M. (1994). Empowerment Evaluation. American Evaluation Assotiation
Presidential Address. Evaluation Practice 15(1): 1-15.
Fetterman, D. M. e. a., (Ed.). (1996). Empowerment Evaluation. Knowledge and Tools
for Self-Assessment and Accountability. Thousand Oaks, Sage.
Fitz-Gibon, C. T. y L. L. Morris (1978). How To Design a Program Evaluation.
Beverly Hills, Sage.
Fitzpatrick, J. L. (1999). "Ethics in Disciplines and Professions Related to Evaluation".
En J. L. Fitzpatrick and M. Morris, (Ed.). Current and Emerging Ethical
Challenges in Evaluation. San Francisco, Jossey-Bass. 5-14.
Fitzpatrick, J. L. y M. Morris, (Ed.). (1999). Current and Emerging Ethical Challenges
in Evaluation. New Directions for Program Evaluation, n. 82. San Francisco,
Jossey-Bass.
Forbes, I. (1991). "Equal Opportunity: Radical, Liberal and Conservative Critiques". En
E. Meehan y S. Sevenhuijsen, (Ed.). Equality Politics and Gender. London, Sage.
17-35.
Forester, J. ([1984] 1996). "La racionalidad limitada y la poltica de salir del paso". En
L. Aguilar, (Ed.). La hechura de las polticas, Miguel Angel Porra. Grupo
Editorial. 315-340.
Fournier, D. M., (Ed.). (1995). Reasoning in Evaluation: Inferential Links and Leaps.
Gallego Mndez, M. T. (1998). "Visin del Estado y ciudadana: los derechos
polticos". En P. d. Villota, (Ed.). Las mujeres y la ciudadana en el umbral del
siglo XXI. Madrid, Editorial Complutense. 83-90.
Gardiner, F. (1997). "La Unin Europea: hada madrina para las mujeres?". En E. U. y.
A. Elizondo, (Ed.). Barcelona, Ariel. 246-270.
Garson, G. D. ([1986]1996). "De la ciencia de polticas al anlisis de polticas:
veinticinco aos de progreso". En L. Aguilar, (Ed.). El estudio de las Polticas
Pblicas. Mxico, Miguel Angel Porra. Grupo Editorial. 149-180.
Gil Ruiz, J. M. (1996). Las polticas de igualdad en Espaa: Avances y retrocesos.
Granada, Universidad de Granada.
Gilligan, C. (1982). In a Different Voice, Psychological Theory and Women's
Development. Cambridge, Mass., Harvard University Press.
____________________________________________________________________________________
508
BIBLIOGRAFA
____________________________________________________________________________________
Gispert, C. (1990). "Polticas pblicas a favor de las mujeres". En J. Astelarra, (Ed.).

Participacin poltica de las mujeres. Madrid, Centro de Investigaciones
Scoiolgicas. 241-251.
Gom, R. and J. Subirats, (Ed.). (1998). Polticas pblicas en Espaa : contenidos,
redes de actores y niveles de gobierno. Barcelona, Ariel.
Goodin, R. and I. Waldner ([1979] 1996). "Pensar en grande, pensar en pequeo y
simplemente no pensar". En L. Aguilar, (Ed.). La hechura de las polticas.
Goodin, R. E. and H.-D. Klingemann, (Ed.). (1996). A New Handbook of Political
Science. Nueva York, Oxford University Press.
Granados Vaquero, E. (1997). El Instituto Andaluz de la Mujer: organizacin,
presupuesto y actuaciones. III Congreso Espaol de Ciencia Poltica y de la
Administracin, Salamanca.
Granados Vaquero, E. (1999). "El Instituto Andaluz de la Mujer: La creacin de un
rgano autonmico para la igualdad entre los gneros". En M. Ortega, C. Snchez
y C. Valiente, (Eds.). Gnero y ciudadana. Revisiones desde el mbito privado.
Madrid, Ediciones de la Universidad Autnoma de Madrid. 391-405.
Granados Vaquero, E. (1999). La poltica Pblica de Igualdad entre los Gneros en la
Comunidad Autnoma de Andaluca (1989-1998). Granada, Universidad de
Granada.
Greene, J. y V. Caracelli, (Ed.). (1997). Advances in Mixed-Method Evaluation: The
Challenges and Benefits of Integrating Diverse Paradigms. New Directions for
Program Evaluation. San Francisco, Jossey-Bass.
Greene, J. C. (1988). Stakeholder participation and utilization in program evaluation.
Evaluation Review 12(2): 96-116.
Greene, J. C. (1990). Technical Quality Versus User Responsiveness in Evaluation
Practice. Evaluation and Program Planning 13(3): 267-74.
Greene, J. C. (1997). Evaluation as Advocacy. Evaluation Practice 18(1): 22-35.
Gregory, A. (2000). Problematiziing Participation: A Critical Review of Approaches to
Participation in Evalation Theory. Evaluation 6(2): 179-200.
Guba, E. (1990). The Paradigm Dialog. Newbury Park, Sage.
Guba, E. y Y. Lincoln (1981). Effective Evaluation: Improving the Usefulness of
Evaluation Results Through Responsive and Naturalistic Approaches. San
____________________________________________________________________________________
509
BIBLIOGRAFA
____________________________________________________________________________________
Guba, E. y Y. Lincoln (1987). The Countenances of Fourth-Generation Evaluation:

Description, Judgment, and Negotiation. Evaluation Studies Review Annual
11(1986): 70-88.
Guba, E. y Y. Lincoln (1989). Fourth Generation Evaluation. Newbury Park, Sage.
Gudio, F. (1999). El sistema de evaluacin de la cooperacin espaola. Revista
Espaola de Desarrollo y Cooperacin 4(Primavera-verano 1999): 31-49.
Guy Peters, B. y V. Wright (1996). "Public Policy and Administration, Old and New".
En R. Goodin and H.-D. Klingemann, (Ed.). A new Handbook of Political Science
Nueva York, Oxford University Press. 628-641.
Heclo, H. (1972). Policy Analysis. Bristish Journal of Political Science 2: 83-108.
Heclo, H. ([1978] 1996). "Las redes de asuntos y el poder ejecutivo". En L. Aguilar,
(Ed.). Problemas pblicos y agenda de gobierno. Mxico, Miguel Angel Porra.
Henry, G. T. (2000). "Why Not Use?". En V. J. Caracelli y H. Preskill, (Ed.). The
Expanding Scope of Evaluation Use. San Francisco, Jossey-Bass. 85-99.
Hernndez Bravo, J. (2000). "Gobierno y Administracin en la Comunidad Autnoma
de Canarias". En J. L. Paniagua Soto, (Ed.). Gobierno y Administracin en las
Comunidades Autnomas. Andaluca, Canarias, Catalua, Galicia y Pas Vasco.
Madrid, Tecnos. 205-263.
Hernes, H. M. (1990). El poder de las mujeres y el Estado de bienestar. Madrid,
Vindicacin Feminista. Original en ingls. Oslo: Universitetsforlaget (1987).
Hofferbert, R. I. y D. L. Cingranelli (1996). "Public Policy and Administration:
Comparative Policy Analysis". En R. Goodin y H.-D. Klingemann, (Ed.). A new
Handbook of Political Science. Nueva York, Oxford University Press. 593- 609.
Hogwood, B. W. y L. W. Gunn (1984). Policy Analysis for the Real World. Oxford,
Oxford University Press.
House, E. (1990). Trends in Evalaution. Educational Researcher 20(6): 2-9.
House, E. (1994). Evaluacin, tica y poder. Madrid, Morata.
House, E. (1996). In-House Reflection: Internal Evaluation. Evaluation Practice
7(1): 63-64.
House, E. R. (1993). Professional Evaluation. Social Impact and Political
Consequences. Newbury Park, CA, Sage.
Howlett, M. y M. Ramesh (1995). Studying Public Policy. Policy Cycles and Policy
Subsystems. Oxford, Oxford University Press.
____________________________________________________________________________________
510
BIBLIOGRAFA
____________________________________________________________________________________
Jackson, J. E. (1996). "Political Methodology: An Overview". En R. Goodin y H.-D.

Klingemann, (Ed.). A new Handbook of Political Science. Nueva York, Oxford
University Press. 717-748.
Jaggar, A. (1988). Feminist Politics and Human Nature. Totowa, Rowman & Littlefield
Publishers Ltd.
Jaggar, A. M. (1996). "Etica feminista: algunos temas para los aos noventa". En C. C.
(comp.), (Ed.). Perspectivas feministas en teora poltica. Barcelona, Paids. 167184.
Jerez Mir, M. (1992). Business and politics in Spain: form francoism to democracy.
Barcelona, Institut de Cincies Poltiques i Socials, Working Papers, 52.
Jerez Mir, M. (1999). Ciencia Poltica, un balance de fin de siglo. Madrid, Centro de
Estudios Constitucionales.
Jimnez Perona, A. (1995). "Igualdad". En C. Amors, (Ed.). 10 Palabras Clave sobre
Joint Committee on Standards for Educational Evaluation (1994). The Program
Evaluation Standards. 2nd ed. How to Assess Evaluations of Educational
Programs. Thousand Oaks, Sage.
Joint Committee on Standards for Educational Evaluation (1988). Normas de
Evaluacin para programas, proyectos y material educativo. Mexico, Trillas.
Jones, K. (1993). Compassionate Authority: Democracy and the Representation of
Women. Londres, Routledge.
King, J. (1988). Research on Evaluation Use and Its Implications for the Improvement
of Evaluation Research and Practice. Studies in Educational Evaluation 14:
285-99.
King, J., L. L. Morris, et al. (1987). How To Assess Program Implementation. Newbury
Park, CA, Sage.
Knott, T. (1998). A Whiz of a Way to Remember the Five Guiding Principles for
Evaluators. American Journal of Evaluation 19(1 Winter 1998): 135-139.
Knox, C. y. M., D. (1995). Policy Evaluation: Incorporating Users' Views. Public
Admnistration 73(Autumn 1995): 413-436.
Dificultad e inters de incorporar la perspectiva de los usuarios. Condiciones para
ello.
Lagarde, M. (1997). Gnero y feminismo. Desarrollo humano y democracia. Madrid,
Horas y horas.
____________________________________________________________________________________
511
BIBLIOGRAFA
____________________________________________________________________________________
Landau, M. ([1977]1996). "El mbito propio del anlisis de polticas". En L. Aguilar,

Editorial. 275-280.
Lasswell, H. ([1951]1996). "La orientacin hacia las polticas". En L. Aguilar, (Ed.). El
estudio de las Polticas Pblicas. Mxico, Miguel Angel Porra. Grupo Editorial.
79-104.
Lasswell, H. ([1971]1996). "La concepcin emergente de las ciencias de polticas". En
L. Aguilar, (Ed.). El estudio de las Polticas Pblicas. Mxico, Miguel Angel
Porra. Grupo Editorial. 105-118.
Leeuw, F., R. Rist, et al., (Ed.). (1993). Comparative Perspectives on Evaluation and
Organizational Learning. New Brunswick, NJ, Transaction.
Lijphart, A. (1971). Comparative Politics and the Comparative Method. American
Science Review 65: 682-93.
Lijphart, A. (1975). The comparables cases strategy in comparative research.
Comparative Political Studies 8: 157-75.
Lincoln, Y. (1991). The Arts and Sciences of Program Evaluation. Evaluation
Practice 12(1): 1-7.
Lincoln, Y. y E. Guba (1985). Naturalistic Inquiry. Beverly Hills, Sage.
Lincoln, Y. y E. Guba (1986). Research, Evaluation, and Policy Analysis: Heuristics
for Disciplined Inquiry. Policy Studies Review 5 (February 86)(3): 546-565.
Lindblom, C. (1991). El proceso de elaboracin de polticas pblicas. Madrid, MAP.
Lindblom, C. ([1959] 1996). "La ciencia de "salir del paso"". En L. Aguilar, (Ed.). La
Lindblom, C. ([1979] 1996). "Todava tratando de salir del paso". En L. Aguilar, (Ed.).
La hechura de las polticas. Mxico, Miguel Angel Porra. Grupo Editorial. 227254.
Linz, J. y J. R. Montero (1999). The party sistems of Spain: old cleveages and new
challenges. Madrid, Instituto Juan March de Estudios e Investigaciones. Centro de
Estudios Sociales Avanzados. Estudios/Working Papers, 1999/138.
Lipsey, M. (1988). Practice and
EvaluationPractice 9(4): 5-24.
Malpractice
in
Evaluation
Research.
Llera, F. (1994). Los vascos y la poltica: el proceso poltico vasco, elecciones,

partidos, opinin pblica y legitimacin en el Pas Vasco, 1977-1992. Bilbao,
Universidad del Pas Vasco.
____________________________________________________________________________________
512
BIBLIOGRAFA
____________________________________________________________________________________
Llera, F. (1998). Los rendimientos de los sistemas electorales de las Comunidades

Autnomas: el predominio del partidismo imperfecto. Revista Espaola de
Investigaciones Sociolgicas 82: 127-158.
Llera Ramo, F. (2000). "Gobierno y Administracin en Euskadi". En J. L. Paniagua
Soto, (Ed.). Gobierno y Administracin en las Comunidades Autnomas.
Andaluca, Canarias, Catalua, Galicia y Pas Vasco. Madrid, Tecnos. 11-66.
Lpez, I. (2000). Empoderamiento y mainstreaming: estrategias para la igualdad entre
los gneros. Revista Espaola de Desarrollo y Cooperacin n 6
Primavera/Verano 2000: 59-84.
Love, A. (1991). Internal Evaluation: Building Organizations From Within. Newbury
Park, Sage.
Love, A. (1994). "Should evaluators be certified?". En J. Altschuld y M. Engle, (Ed.).
The Preparation of Professional Evaluators: Issues, Perspectives, and Programs.
San Francisco, Jossey-Bass. 29-40.
Lovenduski, J. (1997). "Feminismo institucional: Gnero y Estado". En E. U. y. A.
Elizondo, (Ed.). Mujeres en poltica. Anlisis y prctica. Barcelona, Ariel. 201210.
Lowi, T. ([1964] 1996). "Polticas pblicas, estudios de caso y teora poltica". En L.
Aguilar, (Ed.). La hechura de las polticas. Mxico, Miguel Angel Porra. Grupo
Editorial. 89-118.
MacKinnon, C. (1995). Hacia una Teora feminista del Estado. Madrid, CtedraUniversidad de Valencia-Instituto de la Mujer. Original en ingls en Harvard
Univ. Press (1989).
Madaus, G. F., M. Scriven, et al., (Ed.). (1983). Evaluation Models: Viewpoints on
Educational annd Human Services Evaluation. Boston, Kluwer-Nijhoff.
Majone, G. (1989). Evidence, Argument, and Persuasion in the Policy Process. New
Haven, Yale University Press.
Majone, G. (1996). "Public Policy and Administration: Ideas, Interests and Institutions".
En R. Goodin and H.-D. Klingemann, (Ed.). A new Handbook of Political
Science. Nueva York, Oxford University Press. 610- 627.
Majone, G. ([1975] 1996). "La factibilidad de las polticas sociales". En L. Aguilar,
(Ed.). La hechura de las polticas. Mxico, Miguel Angel Porra. Grupo Editorial.
393-432.
Majone, G. ([1978] 1996). "Los usos del anlisis de polticas". En L. Aguilar, (Ed.). La
____________________________________________________________________________________
513
BIBLIOGRAFA
____________________________________________________________________________________
Mark, M. y L. Shotland, (Ed.). (1987). Multiples Methods in Program Evaluation. New

Directions for Program Evaluation, n.35. San Francisco, Jossey-Bass.
Martnez Fernndez, C. y M. J. Montero Corominas (1996). Qu ha supuesto la
Conferencia de Beijing para las Mujeres? Aproximacin a os acuerdoa
adoptados en la IV Conferencia Mundial de Naciones Unidas sobre las Mujeres.
Beijing (China), 4-15 de sptiembre de 1995. Madrid, Ministerio de Asuntos
Sociales, Instituto de la Mujer.
Martnez Hernndez, E. (1997). "Polticas Pblicas para la igualdad entre los sexos:
reflexiones sobre el caso espaol (1975-1997)". En E. U. y. A. Elizondo, (Ed.).
Mujeres en poltica. Anlisis y prctica. Barcelona, Ariel. 211-232.
Martnez Hernndez, E. (1998). Construyendo la agenda: reflexiones en torno a la
formacin de polticas pblicas para la igualdad entre los sexos. Inguarak
22(Diciembre 1998): 149-162.
Mas Sabat, J. y C. Rami Matas (1997). La auditora operativa en la prctica :
Tcnicas de mejora organizativa. Barcelona, Marcombo.
Mathison, S. (1999). "Rights, Responsabilities, and Duties: A Comparison of Ethics for
Internal and External Evaluyators". En J. L. Fitzpatrick and M. Morris, (Ed.).
Current and Emerging Ethical Challenges in Evaluation. San Francisco, JosseyBass. 25-34.
May, P. J. ([1981] 1996). "Claves para disear opciones de polticas". En L. Aguilar,
(Ed.). Problemas pblicos y agenda de gobierno. Mxico, Miguel Angel Porra.
McCraken, G. (1988). The Long Interview. Newbury Park, CA, Sage.
McGraw, K. (1996). "Political Methodology: Research Design and Experimental
Methods". En R. Goodin y H.-D. Klingemann, (Ed.). A new Handbook of Political
Science. Nueva York, Oxford University Press. 769-786.
McInstosh, M. (1978). "The State and the oppresion of women". En A. Kuhn y A.
Wolpe, (Ed.). Feminism and materialism: Women and the modes of production.
Londres, Routledge and Kegan Paul. 254-289.
Meehan, E. (1993). Citizenship in the European Community. Londres, Sage.
Meehan, E. y S. Sevenhuijsen, (Ed.). (1991). Equality Politics and Gender. London,
Sage.
Meer, F. B. v. d. (1999). Evaluation and the Social Construction of Impacts.
Evaluation 5(4): 387-406.
Meier, P. (1998). Policy innovation in terms of mainstreaming? The development of
Gender Impact Assessment in Flanders, Belgium. ECPR 26th Joint Sessions of
____________________________________________________________________________________
514
BIBLIOGRAFA
____________________________________________________________________________________
Workshops. Workshop on "Gender Innovations in Public Policy: Generalizability,

Impact and Effectiveness", Warwick (UK).
Meltsner, A. ([1972] 1996). "La factibilidad poltica y el anlisis de polticas". En L.
Aguilar, (Ed.). La hechura de las polticas. Mxico, Miguel Angel Porra. Grupo
Editorial. 367-392.
Meny, I. y J. C. Thoenig (1992). Las polticas pblicas. Barcelona, Ariel.
Mertens, D. M. (1994). "Training Evaluators: Unique Skills and Knowledge". En J.
Altschuld y M. Engle, (Ed.). The Preparation of Professional Evaluators: Issues,
Perspectives, and Programs. San Francisco, Jossey-Bass. 17-28.
Michavila, F., (Ed.). (1998). Experiencias y consecuencias de la evaluacin
universitaria. Madrid, Fundacin Universidad-Empresa. Consejera de Educacin
y Cultura. Embajada de los EE.UU. de Amrica.
Miguel, A. D. (1995). "Feminismos". En C. Amors, (Ed.). 10 Palabras Clave sobre
Miles, M. B. y A. M. Huberman (1994). Qualitative Data Analysis. Thousand Oaks,
Sage.
MinisterioAsuntosExteriores (1998). Metodologa de evaluacin de la Cooperacin
Espaola. Madrid, Ministerio de Asuntos Exteriores. SECIPI.
MinisterioAsuntosExteriores (2001). Metodologa de evaluacin de la Cooperacin
Espaola II. Madrid, Ministerio de Asuntos Exteriores. SECIPI.
Monnier, E. (1990-91). Objetivos y destinatarios
Documentacin Administratva 224-225: 131-152.
de
las
evaluaciones.
Monnier, E. (1995). Evaluacin de la accin de los poderes pblicos. Madrid, Instituto

de Estudios Fiscales. Ministero de Economa y Hacienda.
Montabes Pereira, J. y F. Olvera Porcel (2000). "Gobierno y Administracin en la
Comunidad Autnoma de Andaluca". En J. L. Paniagua Soto, (Ed.). Gobierno y
Administracin en las Comunidades Autnomas. Andaluca, Canarias, Catalua,
Galicia y Pas Vasco. Madrid, Tecnos. 67-127.
Moore, M. H. ([1976] 1996). "Anatoma del problema de la herona: un ejercicio de
definicin de problemas". En L. Aguilar, (Ed.). Problemas pblicos y agenda de
gobierno. Mxico, Miguel Angel Porra. Grupo Editorial. 189-218.
Morata, F. (1991). Polticas pblicas y relaciones
Documentacin Administrativa 224-225: 153-166.
intergubernamentales.
Moreno, L. (1997). La federalizacin de Espaa. Madrid, Siglo XXI.

____________________________________________________________________________________
515
BIBLIOGRAFA
____________________________________________________________________________________
Morris, L., (Ed.). (1978). Program Evaluation Kit. Beverly Hills, Sage.
Morris, L. L. y C. T. Fitz-Gibbon (1978). How To Deal Wth Goals and Objectives.
Newbury Park.
Morris, M. (1999). "Research on Evaluation Ethics: What Have We Learned and Why
Is It Important?". En J. L. Fitzpatrick y M. Morris, (Ed.). Current and Emerging
Ethical Challenges in Evaluation. San Francisco, Jossey-Bass. 15-24.
Morris, M. y L. R. Jacobs (2000). You Got A Problem With That? Exploring
Evaluators' Disagreements About Ethics. Evaluation Review 24(4. August
2000): 384-406.
Navarro, A. (1990). Eficacia de las terapias psicolgicas: Meta-anlisis de estudios en
paises de habla hispana. Revista de Psicologa Social y Personalidad 6: 87-89.
Nelson, B. ([1978] 1996). "La formacin de una agenda. El caso del maltrato a los
nios". En L. Aguilar, (Ed.). Problemas pblicos y agenda de gobierno. Mxico,
Miguel Angel Porra. Grupo Editorial. 105-140.
Nelson, B. J. (1996). "Public Policy and Administration: An Overview". En R. Goodin
y H.-D. Klingemann, (Ed.). A new Handbook of Political Science. Nueva York,
Oxford University Press. 551-592.
Newman, D. (1999). "Education and Training in Evaluation Ethics". En J. L. Fitzpatrick
y M. Morris, (Ed.). Current and Emerging Ethical Challenges in Evaluation. San
Francisco, Jossey-Bass. 67-76.
Nigro, F. A. y. N., L.G. (1989). "Program evaluation". En F. A. y. N. Nigro, L.G., (Ed.).
Modern Public Administration. Modern Public Administration Nueva York,
Harper Collins Pub. 194-210.
Muy interesante las propuestas para la mejora de la evaluacin
NORAD (1997). Evaluacin de proyectos de ayuda al desarrollo. Manual para
evaluadores y gestores. Madrid, IUDC-UCM y CEDEAL.
O'Toole, L. J. ([1989] 1996). "Recomendaciones prcticas para la implementacin de
las polticas que involucran a mltiples actores: una evaluacin de campo". En L.
Aguilar, (Ed.). La implementacin de las Polticas. Mxico, Miguel Angel Porra.
Olias de Lima Gete, B., (Ed.). (2001). La nueva gestin pblica. Madrid, Prentice Hall.
ONU (1996). Declaracin de Beijing y Plataforma para la Accin. Madrid, Ministerio
de Trabajo y Asuntos Sociales. Instituto de la Mujer.
ONU (1999). Convencin sobre la eliminacin de todas las formas de discriminacin
contra la mujer y el protocolo opcional a la convencin. Madrid, Ministerio de
Trabajo y Asuntos Sociales. Instituto de la Mujer.
____________________________________________________________________________________
516
BIBLIOGRAFA
____________________________________________________________________________________
Osborne, D. y T. Gaebler (1994). La reinvencin del gobierno. Barcelona, Paids.

Osborne, R. (1995). "Accin Positiva". En C. Amors, (Ed.). 10 Palabras Clave sobre
Osuna, J. L. y C. Mrquez (2000). Gua para la evaluacin de polticas pblicas.
Sevilla, Instituto de Desarrollo Regional. Fundacin Universitaria.
Outshoorn (1991). "Is This What We Wanted? Positive Action as Issue Perversion". En
E. Meehan y S. Sevenhuijsen, (Ed.). Equality Politics and Gender London, Sage.
104-121.
Palumbo, D. J., (Ed.). (1987). The Politics of Program Evaluation. Newbury Park,
Sage.
Paniagua Soto, J. L., (Ed.). (2000). Gobierno y Administracin en las Comunidades
Autnomas. Andaluca, Canarias, Catalua, Galicia y Pas Vasco. Madrid,
Tecnos.
Parsons, W. (1995). Public Policy. An Introduction to the Theory and Practice of Policy
Analysis. Cheltenham, UK, Edward Elgar.
Parvikko, T. (1991). "Conceptions of Gender Equality: Similarity and Difference". En
E. Meehan and S. Sevenhuijsen, (Ed.). Equality Politics and Gender. London,
Sage. 36-51.
Pateman, C. (1996). "Crticas feministas a la dicotoma pblico/privado". En C. C.
(comp.), (Ed.). Perspectivas feministas en teora poltica. Barcelona, Paids. 3152.
Patton, M. Q. (1980). Qualitative Evaluation Methods. Beverly Hills, Sage.
Patton, M. Q. (1981). Creative Evaluation. Beverly Hills, Sage.
Patton, M. Q. (1982). Practical Evaluation. Beverly Hills, Sage.
Patton, M. Q. (1985). Culture and Evaluation. San Francisco, Jossey-Bass.
Patton, M. Q. (1990). Qualitative Evaluation and Research Methods. Newbury Park,
Sage.
Patton, M. Q. (1994a). Developmental Evaluation. Evaluation Practice 15(3): 31120.
Patton, M. Q. (1994b). The Program Evaluation Standards Reviewed. Evaluation
Practice 15(2): 193-99.
____________________________________________________________________________________
517
BIBLIOGRAFA
____________________________________________________________________________________
Patton, M. Q. (1996). A world Larger Than Formative and Summative. San Francisco,
Jossey-Bass.
Patton, M. Q. (1997). Utilization-Focused Evaluation. The New Century Text. 3rd. ed.
Thousand Oaks, Sage.
Payne, D. A. (1994). Designing Educational Project and Program Evaluations. Boston,
Kluwer Academic Publishers.
Prez del Ro, T. (1996). La accin posistiva. Justificacin jurdico-consitucional.
Jvenas 4-5: 82-91.
Prez Snchez, M. (1997). Formacin y empleo en Espaa : anlisis y evaluacin de la
poltica de formacin ocupacional. Granada, Universidad de Granada.
Pollit, C. (1993). El gerencialismo y los servicios pblicos. La expriencia angloamericana. Madrid, Instituto de Estudios Fiscales.
Pollit, C. y G. Bouckaert (1995). Quality Improvement in European Public Services.
Londres, Sage.
Posavac, E. J. y R. G. Carey (1980). Program Evaluation. Methods and Case Studies.
Englewood Cliffs, Prentice-Hall.
Preskill, H. y R. T. Torres (1999). Bulding Capacity for Organizational Learning
Through Evaluative Inquiry. Evaluation 5(1): 42-60.
Preskill, H. y R. T. Torres (2000). "The Learning Dimension of Evaluation Use". En V.
J. Caracelli y H. Preskill, (Ed.). The Expanding Scope of Evaluation Use. The
Expanding Scope of Evaluation Use San Francisco, Jossey-Bass. 25-38.
Pressman, J. y A. WIldavsky (1984). Implementation. Berkeley, CA., University of
California Press.
Putt, A. D. y J. F. Springer (1989). Policy Research. Concepts, Methods, and
Applications. Englewood Cliffs, Prentice Hall.
Quade, E. J. (1989). Anlisis de formacin de decisiones polticas. Madrid, Instituto de
Estudios Fiscales.
Quade, E. S. (1989). Anlisis de formacin de las decisiones polticas. Madrid, Instituto
de Estudios Fiscales.
Ragin, C. C., D. Berg-Schlosser, et al. (1996). "Political Methodology: Qualitative
Methods". En R. Goodin y H.-D. Klingemann, (Ed.). A new Handbook of Political
Science. Nueva York, Oxford University Press. 749-768.
Rami, C. (1999). Teora de la organizacin y administracin pblica. Madrid, Tecnos,
D.L.
____________________________________________________________________________________
518
BIBLIOGRAFA
____________________________________________________________________________________
Regonini, G. (1991). El estudio de las polticas pblicas. Documentacin

Administrativa 224-225(Oct.90-Mar.91): 59-88.
Reichart, C. S. y S. F. Rallis, (Ed.). (1994). The Qualitative-Quantitative Debate: New
Perspectives. New Directions for Program Evaluation, n.61. San FRancisco,
Jossey-Bass.
Rein, M. y F. Rabinovitz ([1978] 1996). "La implementacin: una perspectiva terica.
Entre la intencin y la accin.". En L. Aguilar, (Ed.). La implementacin de las
Polticas. Mxico, Miguel Angel Porra. Grupo Editorial. 147-184.
Restrepo, P. (1990). Evaluacin del trabajo y resultados (Aproximacin a los Servicios
Sociales). Madrid, Comunidad de Madrid. Consejera de Integracin Social.
Direccin Gnal. de Planificacin de los Servicios Sociales.
Rist, R. C., (Ed.). (1990). Program Evaluation and the Management of Government.
Patterns and Prospects across Eight Nations. New Brunswick, Transaction
Publishers.
Rittel, H. W. y M. M. Webber ([1973] 1996). "Dilemas de una teora general de
planeacin". En L. Aguilar, (Ed.). Problemas pblicos y agenda de gobierno.
Rog, D. y D. Fournier, (Ed.). (1997). Progress and Future Directions in Evaluation:
Perspectives on Theory, Practice, and Methods. New Directions for Program
Evaluation. San Francisco, Jossey-Bass.
Rogers, P., T. Hacsi, et al., (Ed.). (2000). Program Theory in Evaluation: Challenges
and Opportunities. New Directions for Program Evaluation, n. 87. San Francisco,
Jossey-Bass.
Rose, R. (1984). Understanding Big Government. The Programme Approach. Londres,
Sage.
Rossi, P. H. F. H. E. (1989). Evaluacin. Un enfoque sistemtico para programas
sociales. Mxico, Trillas.
Ruiz Miguel, A. (1996). Discriminacin inversa, acciones positivas e igualdad.
Jvenas 4-5: 92-108.
Sabatier, P. y D. Mazmanian ([1981] 1996). "La implementacin de la poltica pblica:
un marco de anlisis". En L. Aguilar, (Ed.). La implementacin de las Polticas.
Saltzman, J. (1989). Equidad y Gnero. Una teora integrada de estabilidad y cambio.
Madrid, Ctedra.
____________________________________________________________________________________
519
BIBLIOGRAFA
____________________________________________________________________________________
Sassoon, A. S. (1996). Las mujeres y el Estado: los lmites cambiantes de lo pblico y

lo privado. Madrid, Vindicacin feminista. Original en ingls en Londres: Unwin
Hyman. 1987.
Sassoon, A. S. (1998). "Igualdad, Diferencia, Ciudadana". En P. d. Villota, (Ed.). Las
mujeres y la ciudadana en el umbral del siglo XXI. Madrid, Editorial
Complutense. 33-45.
Sawer, M. (1995). ""Femocrats en Glass Towers?": The Office of the Status of Women
in Australia". En D. M. Stetson y A. G. Mazur, (Ed.). Comparative State
Feminism. Comparative State Feminism Londres, Sage. 22-39.
Scanlon, G. M. (1990). "El movimiento feminista en Espaa, 1900-1985: Logros y
dificultades". En J. Astelarra, (Ed.). Participacin poltica de las mujeres. Madrid,
Centro de Investigaciones Scoiolgicas. 83- 100.
Schwandt, T. A. (1989a). The Politics of Verying Trustworthiness in Evaluation
Auditing. Evaluation Practice 10(4): 33-40.
Schwandt, T. A. (1989b). Recapturing Moral Discourse in Evaluation. Educational
Researcher 19(8): 11-16.
Schwandt, T. A. y E. S. Halpern (1988). Linking Auditing and Metaevaluation.
Enhancing Quality in Applied Research. Nerwbury Park, Sage.
Scriven, M. (1967). The methodology of evaluation. Perspectives on Curriculum
Evaluation (AERA Monograph Series in Curriculum Evaluation No.1): 3983.
Scriven, M. (1991). "Beyond formative and summative evaluation". En M. M. D. C.
Philips, (Ed.). Evaluation and education: At quarter century. Chicago. IL,
Universityof Chicago Press.
Scriven, M. (1991). Evaluation Thesaurus. Newbury Park, Sage.
Scriven, M. (1993). Hard-Won Lessons in Program Evaluation. San Francisco, JosseyBass.
Scriven, M. (1994). The Final Synthesis. Evaluation Practice 15(3): 367-82.
Scriven, M. (1995). "The Logic of Evaluation and Evaluation Practice". En D. M.
Fournier, (Ed.). Reasoning in Evaluation: Inferential Links and Leaps. San
Scriven, M. (1998). Minimalist Theory: The Least Theory That Practice Requires.
The American Journal of Evaluation 19(1): 57-70.
Sechrest, L., (Ed.). (1993). Program Evaluation: A Pluralistic Enterprise. New
Directions for Program Evaluation, n. 60. San Francisco, Jossey-Bass.
____________________________________________________________________________________
520
BIBLIOGRAFA
____________________________________________________________________________________
Sechrest, L. B. y A. G. Scott, (Ed.). (1993). Understanding Causes and Generalizing

About Them. New Directions for Program Evaluation, n. 57. San Francisco,
Jossey-Bass.
SECIPI (1998). Metodologa de evaluacin de la Cooperacin Espaola. Madrid,
Ministerio de Asuntos Exteriores. Secretara de Estado para la Cooperacin
Internacional y Para Iberoamrica (SECIPI).
Shadish, W., T. Cook, et al. (1991). Foundations of Program Evaluation. Theories of
Practice. Newbury Park, Sage.
Shadish, W. e. a., (Ed.). (1995). Guiding Principles for Evaluators. New Directions for
Program Evaluation. San Francisco, Jossey-Bass.
Sierra, B. (2000). Criterios para la evaluacin con perspectiva de gnero. Revista
Espaola de Desarrollo y Cooperacin n 6 Primavera/Verano 2000: 95-112.
Siim, B. (1991). "Welfare State, Gender Politics and Equality Polices Women's
Citizenship in the Scandinavian Welfare States". En E. Meehan y S. Sevenhuijsen,
(Ed.). Equality Politics and Gender. London, Sage. 175-192.
Sjoberg, G. (1983). "Politics, Ethics and Evaluation Research". En M. B.
StrueningE.yBrewer, (Ed.). Handbook of Evaluation Research. Handbook of
Evaluation Research Beverly Hills, Sage. 65-88.
Smith, E. R. y R. W. Tyler (1942). Appraising and recording student progress. Nueva
York, Harper & Row.
Smith, N. L., (Ed.). (1981). Metaphors for Evaluation. Beverly Hills, CA, Sage.
Solana, Y., R. Rodrguez, et al. (1997). La larga marcha hacia la Igualdad. IV
Conferencia Mundial sobre las mujeres. Beijing 95. Evaluacin del proceso en
Espaa. Madrid, Ministerio de Trabajo y Asuntos Sociales. Instituto de la Mujer.
Sonnichsen, R. C. (1988). Advocacy Evaluation: A Model for Internal Evaluation
Offices. Evaluation and Program Planning 11(2): 141-48.
Stake, R. (1995). The Art of Case Research. Newbury Park, Sage.
Stake, R. E. (1967). The Countenance of Educational Evaluation. Teachers College
Record 68: 523-40.
Starling, G. (1988). Strategies for Policymaking. Chicago, The Dorsey Press.
Stevens, C. J. y M. Dial, (Ed.). (1994). Preventing the Misuse of Evaluation. New
____________________________________________________________________________________
521
BIBLIOGRAFA
____________________________________________________________________________________
Stoker, R. ([1989] 1996). "Un marco de anlisis para el rgimen de implementacin:

cooperacin y reconciliacin entre los imperativos federalistas". En L. Aguilar,
(Ed.). La implementacin de las Polticas. Mxico, Miguel Angel Porra. Grupo
Editorial. 373-412.
Struening, E. y M. B. Brewer, (Ed.). (1983). Handbook of Evaluation Research.
Beverly Hills, Sage.
Stufflebeam, D. (1994). Empowerment evaluation, Objectivist Evaluation, and
Evaluation Standards: Where the Future of Evaluation Sholud Not Go and Where
It Needs to Go. Evaluation Practice 15(3): 321-38.
Stufflebeam, D. (2000). Lessons in Contracting for Evaluations. The American
Journal of Evaluation 21(3): 293-314.
Stufflebeam, D. y A. Shinkfield (1987). Evaluacin sistemtica. Gua terica y
prctica. Madrid, Paids/MEC.
Stufflebem, D. (2001). Evaluation Models. San Francisco, Jossey-Bass.
Subirats, J. (1990). Modernizing the spanish public administration or reform in
disguise. Barcelona, Institut de Cincies Poltiques i Socials.
Subirats, J. (1992). Anlisis de polticas pblicas y eficacia de la administracin.
Madrid, Ministerio para las Administraciones Pblicas, Instituto Nacional de
Administracin Pblica.
Subirats, J. (1992). Un problema de estilo. La formacin de polticas pblicas en
Espaa. Exploracin sobre los elementos distintivos de nuestro "policy style"
(una aportacin al anlisis del sistema poltico espaol). Madrid, Centro de
Estudios Constitucionales.
Subirats, J. (1994). Policy instruments, public deliberation and evaluation processes.
Madrid, Instituto Juan March de Estudios e Investigaciones.
Subirats, J., (Ed.). (1999). Existe sociedad civil en Espaa? : responsabilidades
colectivas y valores pblicos. Coleccion Estudios de la Fundacin Encuentro ; 5.
Madrid, Fundacin Encuentro.
Suchman, E. (1967). Evaluative Research: Principles and Practice in Public Service
and Social Action Programs. New York, Russell Sage.
Threlfall, M. (1990). "Patriarca, palanca, paraguas? Planteamientos feministas en torno
al Estado asistencial". En J. Astelarra, (Ed.). Participacin poltica de las mujeres.
Madrid, Centro de Investigaciones Scoiolgicas. 215-233.
Threlfall, M. (1994). "Polticas Pblicas para la igualdad de sexos: luces, sombras y
retos". En I. d. l. Mujer, (Ed.). Foro Internacional "Mujer, poder poltico y
____________________________________________________________________________________
522
BIBLIOGRAFA
____________________________________________________________________________________
desarrollo". Foro Internacional "Mujer, poder poltico y desarrollo" Madrid,

Ministerio de Asuntos Sociales. 29-40.
Torgerson, D. ([1986]1996). "Entre el conocimiento y la poltica: tres caras del anlisis
de polticas". En L. Aguilar, (Ed.). El estudio de las Polticas Pblicas. Mxico,
Miguel Angel Porra. Grupo Editorial. 197-238.
Torres, R., H. Preskill, et al. (1996). Evaluation Strategies for Communicating and
Reporting. Thounsand Oaks, Sage.
Torres, R. T. y H. Preskill (1999). "Ethical Dimensions of Stakeholder Participation and
Evaluation Use". En J. L. Fitzpatrick y M. Morris, (Ed.). Current and Emerging
Ethical Challenges in Evaluation. San Francisco, Jossey-Bass. 57-66.
Ungo Montenegro, U. A. (2000). Para cambiar la vida: Poltica y pensamiento del
feminismo en Amrica Latina. Panam, Instituto de la Mujer.
Uriarte, E. (1997). "Estudios de mujeres y poltica en Espaa". En E. U. y. A. Elizondo,
(Ed.). Mujeres en Poltica. Anlisis y Prctica. Barcelona, Ariel. 15-32.
Uriarte, E. y. E., A., (Ed.). (1997). Mujeres en Poltica. Anlisis y Prctica. Barcelona,
Ariel.
U.S. General Accounting Office (1987). Federal Evaluations: fewer Units, reduced
resources, different studies from 1980. Washington, DC, U.S. General Accounting
Office.
Valcrcel, A., (Ed.). (1994). El concepto de igualdad. Madrid, Editorial Pablo Iglesias.
Valcrcel, A. (1997). La poltica de las mujeres. Madrid, Ctedra.
Valiente, C. (1995). "The Power of Persuasion. The Instituto de la Mujer in Spain". En
D. M. Stetson y A. Mazur, (Ed.). Comparative State Feminism. Comparative State
Feminism Thousand Oaks, Sage. 221-236.
Valiente, C. (1996). El feminismo institucional en Espaa: El Instituto de la Mujer,
1983-1994. Revista Internacional de Sociologa 13(Enero-Abril 1996): 163204.
Valiente, C. (1997). "State feminism and gender equality policies. The case of Spain
(1983-95)". En F. Gardiner, (Ed.). Sex Equality Policy in Western Europe. Sex
Equality Policy in Western Europe London, Routledge. 127- 141.
Valiente, C. (1998a). Gnero, mercado de trabajo y Estado de bienestar: el caso de
Espaa. Sociologa del Tarabajo Nueva poca, nm. 32(Invierno 1997/1998):
53-79.
Valiente, C. (1998b). An overview of the state of research on women and politics in
Spain. European Journal of Political Research 33(1998): 459-474.
____________________________________________________________________________________
523
BIBLIOGRAFA
____________________________________________________________________________________
Valiente, C. (1999a). "La importancia de la poltica simblica: la prohibicin del acoso

sexual en el trabajo en Espaa". En M. Ortega, C. Snchez y C. Valiente, (Ed.).
Gnero y ciudadana. Revisiones desde el mbito privado. adrid, Ediciones de la
Universidad Autnoma de Madrid. 485-508.
Valiente, C. (1999b). El feminismo de Estado en los ayuntamientos de la Comunidad
Autnoma de Madrid: creacin y actuaciones. Gestin y Anlisis de Polticas
Pblicas 13-14(Septiembre 1998/Abril 1999).
Valiente, C. (1999c). El feminismo de Estado y los debates polticos: la formcin
ocupacional en Espaa (1983-1998). Revista Espaola de Ciencia Poltica
1(1): 127-147.
Valiente, C. (2000). "Gnero y ciudadana: los organismos de igualdad y el Estado del
Bienestar en Espaa". En M. Prez Ledesma, (Ed.). Ciudadana y Democracia.
Ciudadana y Democracia Madrid, Editorial Pablo Iglesias. 199-230.
Van Meter, D. y C. Van Horn ([1975] 1996). "El proceso de implementacin de las
polticas. Un marco conceptual". En L. Aguilar, (Ed.). La implementacin de las
Polticas. Mxico, Miguel Angel Porra. Grupo Editorial. 97-146.
Vaux, A., M. S. Stockdale, et al., (Ed.). (1992). Independent Consulting for Evaluators.
Newbury Park, CA, Sage.
Vedung, E. (1997). Evaluacin de Polticas Pblicas y Programas. Madrid, Ministerio
de Trabajo y Asuntos Sociales. Instituto Nacional de Servicios Sociales.
Verloo, M. (1998). Policy design and frame alignment: the case of mainstreaming.
ECPR 26th Joint Sessions of Workshops. Workshop on "Gender Innovations in
Public Policy: Generalizability, Impact and Effectiveness", Warwick (UK).
Vilas Nogueira, J. (2000). "Gobierno y Administracin en la Comunidad Autnoma de
Galicia". En J. L. Paniagua Soto, (Ed.). Gobierno y Administracin en las
Comunidades Autnomas. Andaluca, Canarias, Catalua, Galicia y Pas Vasco.
Madrid, Tecnos. 129-167.
Villota, P. d., (Ed.). (1998). Las mujeres y la ciudadana en el umbral del siglo XXI.
Madrid, Editorial Complutense.
Weiss, C. H. (1983). "Evaluation Research in the Political Context". En M. B.
StrueningE.yBrewer, (Ed.). Handbook of Evaluation Research. Handbook of
Evaluation Research Beverly Hills, Sage. 31-45.
Weiss, C. H. (1987). "Where Politics and Evaluation Research Meet". En D. J.
Palumbo, (Ed.). The Politics of Program Evaluation. The Politics of Program
Evaluation Newbury Park, Sage. 47-69.
____________________________________________________________________________________
524
BIBLIOGRAFA
____________________________________________________________________________________
Weiss, C. H. (1988). Evaluation for Decisions: Is Anybody There? Does Anybody

Care? Evaluation Practice 9(1): 5-19.
Weiss, C. H. (1997). "Theory-Based Evaluation: Past, Present, and Future". En D.
RogD.yFournier, (Ed.). Progress and Future Directions in Evaluation:
Perspectives on Theory, Practice, and Methods. New Directions for Program
Evaluation, 76 San Francisco, Jossey-Bass.
Weiss, C. H. (1998). Evaluation. Methods for Studying Programs and Policies. Second
Edition. Upper Saddle River (NJ), Prentice Hall.
Weiss, C. H. (1998b). Have We Learned Anything new About the Use of Evaluation?
American Journal of Evaluation 19(1): 21-33.
Whitemore, E., (Ed.). (1998). Understanding and Practicing Participatory Evaluation.
Wholey, J., (Ed.). (1983). Evaluation and Effective Public Management. Boston, Little,
Brown and Company.
Wholey, J., H. Hatry, et al., (Ed.). (1994). Handbook of Practical Program Evaluation.
San Francisco, Jossey-Bass.
Wildavsky, A. (1979). Speaking Truth to Power. Boston, Little Brown.
Wildavsky, A. (1985). "The Self-Evaluating Organization". En E. Chelimsky, (Ed.).
Program Evaluation: Patterns and Directions. Washington, DC, American
Society for Public Administration.
Wilson, E. (1977). Women and the Welfare State. Londres, Tavistock.
Wisler, C., (Ed.). (1996). Evaluating and Auditing: Prospects for Convergence. New
Woodward, A. E. (1998). "El Estado y la ciudadana Quin constituye el Estado? Qu
lugar ocupa la mujer?". En P. d. Villota, (Ed.). Las mujeres y la ciudadana en el
umbral del siglo XXI. Madrid, Editorial Complutense. 47-63.
Worthen, B. R. (1994). "Is Evaluationa Mature Profession That Warrants the
Preparation of Evaluation Professionals?". En J. Altschuld y M. Engle, (Ed.). The
Preparation of Professional Evaluators: Issues, Perspectives, and Programs. San
Francisco, Jossey-Bass. 3-16.
Worthen, B. R. y K. R. White (1987). Evaluating Educational and Social Programs.
Guidelines for Proposal Review, Onsite Evaluation, Evaluation Contracts and
Technical Assistance. Boston, Kluwer-Nijhoff Publishing.
Yin, R. K. (1997). "Case Study Evaluations: A Decade of Progress?". En D. Rog, y
Fournier, (Ed.). Progress and Future Directions in Evaluation: Perspectives on
____________________________________________________________________________________
525
BIBLIOGRAFA
____________________________________________________________________________________
Theory, Practice, and Methods. New Directions for Evaluation. Progress and
Future Directions in Evaluation: Perspectives on Theory, Practice, and Methods.
New Directions for Evaluation San Francisco, Jossey-Bass. 69-78.
____________________________________________________________________________________
526
ANEXO A
DOCUMENTACIN CONSULTADA
DOCUMENTACIN GENERAL
-
4 Programa de Accin Comunitaria a Medio Plazo para la Igualdad de

Oportunidades entre Hombres y Mujeres (1996-2000). Documento de la Comisin
Europea. Direccin Gnal. V (Empleo, Relaciones Laborales y Asuntos Sociales.
Unidad para la Igualdad de Oportunidades)
DEL INSTITUTO DE LA MUJER

1.
2.
3.
4.
5.
6.
I Plan de Igualdad de Oportunidades entre Mujeres y Hombres 1988-90

II Plan de Igualdad de Oportunidades de las Mujeres 1993-95
III Plan de Igualdad de Oportunidades entre Mujeres y Hombres 1997-2000
I Plan. Evaluacin
Sntesis de resultados de la evaluacin del II PIOM. 7 Marzo 1997. Documento
Sntesis de Resultados de la Evaluacin del II Plan de Igualdad de Oportunidades de
las MUjeres (1993-1995). Instituto de la Mujer. Madrid, 1997. Publicacin.
7. La evaluacin de los planes de igualdad de oportunidades entre hombres y mujeres
(PIOM) del Instituto de la Mujer: referencia obligadda al segundo de ellos Mariano
Alvaro Page (Consejero Tcnico de Estudios del Instituto de la Mujer), Miguel de la
Fuente Snchez (Director de Estudios de CUANTER, S.A.) y M Teresa Aranda
Jaquotot (Tcnica de Estudios de CAUNTER, S.A.). Ponencia presentada al
seminario sobre Evaluacin de Polticas de Igualdad de Oportunidades entre
Mujeres y Hombres, celebrado en Santander los das 29, 30 de junio y 1 de Julio de
1998, en el marco de los cursos organizados por la Universidad Internacional
Menndez Pelayo.
8. Carta para la Igualdad de Oportunidades de las Mujeres en el mbito rural. Las
mujeres protagonistas en el desarrollo rural 1994-1995. 1995.
9. 10 aos del Instituto de la Mujer. Publicacin de 1994.
10. Entrevista a Concha Dancausa en 8 de Marzo, revista de la CAM, n 27, 1997
11. Instituto de la Mujer. Ley de Creacin (M de Cultura)
12. Beijng 1995. IV Conferencia Mundial sobre las Mujeres.1995.
13. Qu ha supuesto la Conferencia de Beijing para las Mujeres? Aproximacin a los
acuerdos adoptados en la IV Conferencia Mundial de naciones Unidas sobre las
Mujeres. 1996.
14. Revista Mujeres: n 21 (1er trimestre 96), n 23 (3er trimestre 96).
15. La Mujer en cifras. 1987
ANDALUCA
1. Plan de Igualdad de Oportunidades de las Mujeres 1990-92. Publicacin. 70 pp.
2. Las Mujeres en Andaluca. Estrategias para avanzar. II Plan Andaluz para la
Igualdad de las Mujeres 1995-1997.
3. Plan de Igualdad de Oportunidades de Andaluca: Avances y Resultados del Plan.
Publicacin. 14 pp.
4. Informe de Evaluacin del Plan para la Igualdad de Oportunidades 1990-93. Marzo
de 1994.
5. Anexo al Informe
6. Proyecto de Evaluacin del II Plan de Igualdad de Oportunidades de las Mujeres,
1995-1996. Instituto de Estudios Sociales Avanzados -Andaluca- del CSIC
(Crdoba). Fotocopias. 11 pp.
7. II Plan Andaluz para la Igualdad de las Mujeres. Avance del Informe de Evaluacin.
Julio 1997 Instituto de Estudios Sociales Avanzados de Andaluca. Consejo
Superior de Investigaciones Cientficas. Documento. 68 pp.
8. Indicadores del Plan Documento interno.
9. Ley 10/98, de 29 de Diciembre, de presupuesto de la Comunidad Autnoma de
Andaluca para 1989, en la que se crea el Instituto Andaluz de la Mujer. (BOJA n
106, 30/12/88 y BOE n 33, 8/2/89)
10. Decreto 1/1989, de 10 de Enero, por el que se aprueba el reglamento del Instituto
Andaluz de la Mujer. (BOJA n 4, 17/1/89)
11. Decreto 120/1997, de 22 de Abril, por el que se modifica el Reglamento del
Instituto Andaluz de la Mujer, aprobado por el Decreto 1/89, de 10 de Enero (BOJA
n 49, 26/4/97)
12. Cuadro de presupuestos Junta de Andaluca e Instituto Andaluz de la Mujer para
1995-1998.
13. Cuadro presupuesto del II Plan de Igualdad correspondiente al IAM y a otros
organismos
14. Presupuestos II Plan de Igualdad
15. Granados Vaquero, Elena (1997) El Instituto Andaluz de la Mujer: Organizacin,
presupuesto y actuaciones Ponencia presentada en el III Congreso de la AECPA en
Salamanca (2-4 de Octubre de 1997).
ARAGN
1. Plan de Accin Positiva para las mujeres en Aragn 94-96 (aprobado 21/11/94).
Documento fotocopiado. Diciembre de 1994
2. Plan de Accin Positiva para las mujeres en Aragn. Volumen I. Documento
fotocopiado. Junio 1994. Documento introductorio y general de justificacin del
Plan (concepto de accin positiva, planes, marco jurdico,, demografa y datos sobre
mujeres y recursos).
3. Acortando distancias. Memoria 1996 (Instituto Aragons de la Mujer)
4. La Mujer Aragonesa en cifras. 1997.
5. II Plan de Accin Positiva para las Mujeres en Aragn. Documento para el debate.
Junio de 1997.
6. II Plan de Accin Positiva para las Mujeres en Aragn. Publicacin. 64 pp.

7. Informe sobre el grado de cumplimiento del Plan de Accin Positiva para las
mujeres de Aragn. 1994-1996. Enero de 1997.
8. 2 Plan de Accin Positiva para las Mujeres en Aragn 1997-2000. Proceso de
elaboracin. Octubre 1997. Documento fotocopiado.
9. Ficha de evaluacin de las acciones del Plan de Accin Positiva para las mujeres en
Aragn 1994-96
CANARIAS
1. I Plan de Igualdad de Oportunidades 1995-1996. Instituto canario de la Mujer.
Documento interno 90 pp.
2. II Plan Canario de Igualdad de Oportunidades de las Mujeres 1997-2000.
(Documento para el debate. 8 de Julio de 1997). 70 pp.
3. II Plan Canario de Igualdad de Oportunidades de las Mujeres 1997-2000.
Publicacin. 89 pp.
4. Auditora del I Plan de Igualdad de oportunidades para las mujeres canarias 19951996. Instituto canario de la Mujer. Realizado por Asesores en Imagen Corporativa
S.A. Valencia, 20-10-96. 265pp.
5. Memoria del Instituto Canario de la Mujer Ao 1996. Documento interno. 114 pp.
6. Ley 1/1994 de 13 de Enero, sobre creacin del Instituto Canario de la Mujer
7. Decreto 1/1995, de 13 de Enero, por el que se desarrolla la Ley
8. Folleto: Qu es el Instituto Canario de la Mujer? Gobierno de Canarias.
Consejera de Empleo y Asuntos Sociales.
CASTILLA-LEN
1. Plan Integral de Igualdad de Oportunidades para la Mujer en Castilla y Len (19941996). Publicacin 236 pp. 1994.
2. Orden de 28 de Febrero de 1996, de la Consejera de Bienestar Social, por la que se
crea el Consejo Regional de la Mujer y orden de 5 de Julio de 1996 por la que se
modifica la del 28 de Febrero. Fotocopia
3. Resumen de la Evaluaci del Plan Integral de igualdad de Oportunidades para la
Mujer en Castilla y Len 1994-1996. Documento interno . 34 pp. y 44 tablas.
4. Anteproyecto del II Plan de Igualdad de Oportunidades para la Mujer en CastillaLen (1997-2000). Fotocopia. Junio 1997.
5. Folleto sobre el II Plan Integral de Igualdad de Oportunidades ara la Mujer en
castilla y Len
6. Anteproyecto para la Evaluacin del Plan Integral de Igualdad para las Mujeres en
Castilla y Len (1994-1996). Eurodoxa, s.a. Fotocopia 14 pp.
7. Resumen de la Evaluacin del Plan Integral de Igualdad de Oportunidades para la
Mujer en Castilla y Len 1994-1996. Junta de Castilla y Len. Consejera de
Sanidad y Bienestar Social. Secretara Regional de la Mujer. Documento entregado
en el Seminario sobre Evaluacin de Polticas de Igualdad de Oportunidades entre
Mujeres y Hombres, celebrado en Santander los das 29, 30 de junio y 1 de Julio de
1998, en el marco de los cursos organizados por la Universidad Internacional

Menndez Pelayo.
CASTILLA-LA MANCHA
1. 2 Plan de Igualdad de Oportunidades. Las Mujeres de Castilla-La Mancha hacia el
S. XXI (1995-1999). Publicacin 41 pp. 1995.
2. Decreto 35/1990, de 13 de Marzo, por el que se crea el Consejo Regional de la
Mujer de Castilla-La Mancha
3. Decreto 79/1995, de 29 de Agosto por el que se establece la estructura de la
Consejera de Bienestar Social de la Junta de Comunidades de Castia-La Mancha
4. Datos globales de evolucin del presupuesto. Ejercicio 1989-1998. Programa
Promocin de la Mujer
5. Organigrama Direccin General
6. Informe previo de evaluacin del II Plan de Igualdad de Oportunidades Las
Mujeres de Castilla-La Mancha hacia el siglo XXI. Borrador. 84 pp.
7. Proyecto de evaluacin del II Plan de Igualdad de Oportunidades. Las mujeres de
Castilla-La Mancha hacia el siglo XXI. Octubre de 1998. Fundacin Mujeres
8. Primer Instrumento para recogida de datos. Evaluacin del II Plan de Igualdad de
Oportunidades: Las Mujeres de Castilla-La Mancha hacia el siglo XXI. WG,
Consultoras para el Desarrollo. 3 de Diciembre de 1998.
9. III Plan para la Igualdad de Oportunidades entre Hombres y Mujeres de Castilla-La
Mancha (1999-2003). Un compromiso con nuestro futuro. Direccin General de la
Mujer. Consejera de Bienestar Social. Junta de Comunidades de Castilla-La
Mancha.
CATALUA
1. Plan de Actuacin del Gobierno de la Generalitat de Catalua para la Igualdad de
Oportunidades para las Mujeres 1989-1992. Edicin trilinge de la Comisin
Interdepartamental de lPromocin de la Mujer, Departamento de Presidencia.
1989.
2. Plan de Actuacin del Gobierno de la Generalitat de Catalua para la Igualdad de
Oportunidades para las Mujeres 1994-1996. Edicin cuatrilinge del ICD y de la
Comisin Interdepartamental para la Igualdad de Oportunidades para las Mujeres.
Departamento de Presidencia. 1994
3. Decreto 25/87 del 29 de Enero, sobre la creacin de la Comisin Interdepartamental
de la Mujer
4. Ley 11/89 del 10 de Julio de creacin del Instituto Cataln de la Mujer
5. Decreto 209/1993 del 31 de Agosto por el que se establece la estructura orgnica del
organismo autnomo administrativo Instituto Cataln de la Mujer y se modifican los
decretos que lo regulan y la organizacin y nomenclatura de la Comisin
Interdepartamental de Promocin de la Mujer
6. Comparecencia de la presidenta del Instituto Cataln de la Mujer en la Comisin de

Seguimiento del proceso de equiparacin Hombre-Mujer (Parlamento de Catalua,
6 de Mayo de 1997). Comparecencia sobre la evaluacin del II Plan
7. Informe davaluaci del II Pla dctuaci del Govern per a la igualtat doportunitats
per a les dones. Versi revisada 25/4/1997. 242 pp.
8. Polticas de los Ayuntamientos de Catalua a favor de las Mujeres. Publicacin del
ICD (coleccin estudios)
EXTREMADURA
1. Copia del Plan para la Igualdad de Oportunidades de las Mujeres de Extremadura.
2. Evaluacin del Plan para la Igualdad de Oportunidades de las Mujeres de
Extremadura. Informe interno
3. Folleto sobre el SERFIDEM (Servicio de Dinamizacin, Informacin y Formacin
para el Empleo de la Mujer). Direccin General de la Mujer.
GALICIA
1. (I) Plan para la Igualdad de Oportunidades de las Mujeres Gallegas 1992-1994.
Publicacin bilinge. 34 pp. por 2. 1992.
2. II Plan para la Igualdad de Oportunidades de las Mujeres Gallegas 1995-1997.
Publicacin bilinge. 54 pp. por 2. 1995.
3. Trptico sobre el II Plan.
4. Folleto sobre el Servicio Galego de igualdade (Servicios que presta)
5. Trptico fotocopiado sobre Evaluacin del II Plan de Igualdad de Oportunidades
para las Mujeres Gallegas. Informacin
6. Diagrama 1.1: Relacin entre planificacin/intervencin y evaluacin
7. Composicin de la ComisinTcnica de seguimiento del plan (con nombres
borrados)
8. Informe de evaluacin del II Plan para la Igualdad de Oportunidades de las Mujeres
Gallegas 1995-1997 (Amparo Almarcha). Marzo 1998.
9. Ficha de seguimiento de acciones
10. Evaluacin. II Plan de Igualdad de Oportunidades de las Mujeres Gallegas.
Seminario de Evaluacin de Polticas de Igualdad entre mujeres y hombres.
Intervencin de MCarmen Girn Davia (Servicio Galego de Igualdade. Xunta de
Galicia).
11. Diseo de propuesta de indicadores para el II Plan de Igualdad de Oportunidades
para las Mujeres Gallegas. Avance 1 fase. Amparo Almarcha y Benjamn
Gonzlez. La Corua, Noviembre de 1996.
12. Diversas fichas utilizadas en el proceso de la evaluacin: Principis fontes de
informacin para as 5 areas, Doc.1 Informacin de base sobre Asociaciones de
Mujeres Doc. 2. Informacin de base sobre educacin y cultura, Doc. 3.
Informacin de base sobre formacin y empleo, Doc. 4. Informacin de base
sobre ordenamiento jurdico, Doc. 5. Informacin de base sobre servicios sociales
y salud, Ficha-gua para a recollida de informacin, Ficha de visita,
Valoracin global de los temas relativos al Plan de Igualdad, por Areas

Temticas.
13. Memoria 1991-94. Servicio Galego de Promocin da Igualdade do Home e da
Muller.
14. Memoria 1995. Promocin da Muller.
15. Memoria 1996. Servicio Galego de Promocin da Igualdade do Home e da Muller.
MURCIA
1. Plan de Igualdad de Oportunidades para las Mujeres 1993-1995. Regin de Murcia.
Editado por la Direccin general de la Mujer. Consejera de Asuntos Sociales.
1993.
2. II Plan de Igualdad de Oportunidades entre Hombres y Mujeres 1997-2000. Regin
de Murcia. Editado por la Direccin General de poltica Social y Familia.
Consejera de Sanidad y Poltica Social. 1997.
LA RIOJA
1. Primer Plan de Igualdad de Oportunidades de las Mujeres en la Rioja 1991-95.
Editado por el Centro Asesor de la Mujer. 1991.
2. Plan Integral de la Mujer 1996-1999. Elaborado por el CAM y editado por la
Direc. Gnal.
3. Listado de indicadores de evaluacin para el Plan Integral de la Mujer (1996-99).
Documento interno de la Direccion Gnal.
4. Ficha de temporalizacin de objetivos
5. Ficha de evaluacin de medidas y acciones
6. Instrucciones para la cumplimentacin de los documentos de evaluacin (1 folio):
Criterios a seguir para la cumplimentacin de los documentos de seguimiento y
evaluacin de los planes integrales de personas con discapacidad y de mujer (199699).
PAS VASCO
1. Ley sobre creacin del Instituto Vasco de la Mujer. Publicacin bilinge (27 pp.)
2. (I) Plan de Accin Positiva para las mujeres en la Comunidad Autnoma de
Euskadi. 1991-1994. Publicacin bilinge (122pp. por 2)
3. Propuesta de Acuerdo por el que se aprueba el II Plan de Accion Positiva para las
mujeres en la Comunidad Autnoma de Euskadi (29/12/95).Fotocopia. 2pp.
4. II Plan de Accin Positiva para las mujeres en la Comunidad Autnoma de Euskadi.
Publicacin bilinge (158 pp. por 2)
5. II Plan de Accin Positiva para las mujeres en la Comunidad Autnoma de Euskadi:
CATEGORIAS. Documento interno. 113 pp. Emakunde y UPV (Dpto. de
Psicologa Social y metodologa de las Ciencias del Comportamiento).
6. II Plan de Accin Positiva para las mujeres en la Comunidad Autnoma de Euskadi:
ACCIONES E INDICADORES DE EVALUACION. Documento interno. 1O2 pp.
Emakunde y UPV (Dpto. de Psicologa Social y metodologa de las Ciencias del

Comportamiento).
7. INSTRUMENTOS DE EVALUACION DEL II P.A.P.M.E. (II Plan de Accin
Positiva para las mujeres en la Comunidad Autnoma de Euskadi). Documento que
recoge los instrumentos de evaluacin de las 7 categoras. Emakunde y UPV (Dpto.
de Psicologa Social y metodologa de las Ciencias del Comportamiento).
8. Memoria de actuacin de los Poderes Pblicos en 1997 en ejecucin del II Plan de
Accin Positiva para las mujeres en la Comunidad Autnoma de Euskadi.
Documento interno. 121 pp. Emakunde y UPV (Dpto. de Psicologa Social y
metodologa de las Ciencias del Comportamiento.)
9. Memoria de actuacin de los Poderes Pblicos en 1996 en ejecucin del II Plan de
Accin Positiva para las mujeres en la Comunidad Autnoma de Euskadi. Borrador.
Documento interno. 159 pp. + Anexos (fichas) Emakunde .
10. Evaluacin del (I) Plan de Accin Positiva para las Mujeres en la Comunidad
Autnoma de Euskadi (1991-94). Documento interno. 138pp.
11. Emakunde. Instituto Vasco de la Mujer, PAPMES y Evaluacin. Comunicacin
presentada por Ana Alberdi al seminario sobre Evaluacin de Polticas de Igualdad
de Oportunidades entre Mujeres y Hombres, celebrado en Santander los das 29, 30
de junio y 1 de Julio de 1998, en el marco de los cursos organizados por la
Universidad Internacional Menndez Pelayo.
VALENCIA
1. Orden del 14 de febrero de 1995, de la Conselleria de Cultura, por la que se
determina la composicin y funcionamiento del Consejo Asesor del Institut
Valenci de la Dona.
2. (I) Pla per a la Igualtat doportunitats de les Dones. Comunitat Valenciana 19891991. Publicacin 86 pp. 1989.
3. (II) Plan de Actuacin del Gobierno de la Generalitat Valenciana para la Igualdad
de Oportunidades entre Hombres y Mujeres (1997-2000). Documento interno 107
pp.
4. Decreto 29/1988, de 7 de marzo, del Consell de la Generalitat Valenciana, por el
que se crea el Instituto Valenciano de la Mujer.
5. Ley 5/1992, de 30 de Junio, de la Generalitat Valenciana, del Institut Valenci de la
Dona y Ley 6/1993, de 31 de diciembre, de Presupuestos de la Generalitat
Valenciana para el ejercicio 1994, en la que se suprime el Institut.
ANEXO A
ENTREVISTAS REALIZADAS
Directora
Entrevistada
Partido
gobernante
Organismo
Fecha de
entrevista
Antigedad
en cargo
Concha Dancausa
(PP)
Instituto de la Mujer
13/5/1998
1996
Carmen Olmedo
(PSOE)
Instituto Andaluz de la Mujer
12/12/1997
1988
Cristina Sanromn
(PP)
Instituto Aragons de la Mujer
25/11/1997
1996
Secretara Regional de la Mujer

(Asturias)
Comisin Interdepartamental
de la Mujer (Baleares)
Instituto Canario de la Mujer
7/8/1997
1995
12/5/1997
1995
26/11/1997
1995
30/4/1998
1997
9/7/1997
1995
22/12/1997
1989
29/9/1998
1995
24/7/1997
1995
21/8/1997
1995
29/1/1998
1995
25/6/1997
1995
21/7/1997
1988
27/5/1998
1995
Inmaculada Gonzlez (PP)

Pilar Mir
(PP)
Eusebia Nuez
(CC)
Angela Sanroma
(PSOE)
Ana Parra
(PP)
Nuria Llorach
(CiU)
Josefa Caraballo
(PSOE)
Carmen Bianchi
(PP)
Asuncin Miura
(PP)
Beln Fernndez
(PP)
Sagrario Loza
(PP)
Txaro Arteaga
(PNV)
Esther Fonfra
(PP)

(Castilla-La Mancha)
Secretara Regional de la Mujer
(Castilla y Len)
Instituto Cataln de la Mujer
(Extremadura)
Servicio Gallego de Promocin de
Igualdad del Hombre y la Mujer
(Comunidad de Madrid)
Direccin General de Juventud,
Mujer y Familia (Murcia)
Direccin General de Bienestar
Social (La Rioja)
Instituto Vasco de la Mujer
(Emakunde)
(Comunidad Valenciana)

Politicas de Igualdad

Cargado por

Información del documento

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Politicas de Igualdad

Cargado por

Copyright:

Formatos disponibles

UNIVERSIDAD COMPLUTENSE DE MADRID

FACULTAD DE CIENCIAS POLTICAS Y SOCIOLOGA

LA EVALUACIN DE LAS POLTICAS PBLICAS

MEMORIA PARA OPTAR AL GRADO DE DOCTOR

Bajo la direccin del doctor

UNIVERSIDAD COMPLUTENSE DE MADRID

LA EVALUACIN DE LAS POLTICAS PBLICAS DE

Elaborada por: MARA BUSTELO RUESTA

Madrid, mayo de 2001

A Carlota Bustelo Garca del Real,

El Centro Superior de Estudios de Gestin, Anlisis y Evaluacin de la UCM, que me

LA EVALUACIN DE LAS POLTICAS PBLICAS DE IGUALDAD DE

LA EVALUACIN DE LAS POLTICAS PBLICAS DE IGUALDAD DE

1.2. Factores que influyen en la evolucin de la evaluacin ............................................. 76

3.4. Fortalezas y debilidades de los planes...................................................................... 186

Introduccin ....................................................................................................................... 249

4.2. Procedimientos y metodologa de las evaluaciones mixtas...................................... 340

5.3. Dificultades relacionadas con la estrategia de la transversalidad

LA EVALUACIN DE LAS POLTICAS PBLICAS DE IGUALDAD DE

Instrumentos de recopilacin de informacin utilizados. Evaluaciones externas.................. 339

En el mbito del anlisis de polticas pblicas, la fase de la evaluacin ha sido la

la accin de los poderes pblicos durante un perodo determinado. Por lo tanto,

investigacin no se limita a estudiar cmo se ha resuelto tcnicamente la recopilacin y

La evaluacin de polticas pblicas se enmarca en esta investigacin en el

psicologa y las ciencias de la salud, la economa o el trabajo social, por no mencionar

Se deben sealar tambin aqu las razones de relevancia y oportunidad

problema (Moore, 1976; Bardach, 1981) y de la entrada en agenda (Cobb y Elder,

La eleccin del estudio de caso, las polticas de igualdad de gnero autonmicas

y medidas de accin positiva en algunas organizaciones internacionales y

Adems de los fundamentos tericos, su relevancia cientfica y las razones de

evaluaciones estudiadas requerira de un estudio de caso propio en profundidad; sin

OBJETIVOS E HIPTESIS DE LA INVESTIGACIN

Los objetivos generales de esta tesis doctoral son:

c) Utilizando agentes externos simultneamente a una fuerte implicacin de

Para la realizacin de la investigacin que aqu se presenta hemos seguido el

Si se tiene en cuenta el valor que normalmente se le otorga a los estudios de caso

La unidad de anlisis, por lo tanto, son las evaluaciones de los planes de

Vase el anexo correspondiente a la documentacin consultada.

directora del Instituto de la Mujer. Posteriormente, se realiz un anlisis del discurso

La tesis doctoral se estructura en cinco partes diferenciadas. En la primera parte

La parte I, La evaluacin de las polticas pblicas, consta de dos captulos. En

especficas de la evaluacin: su carcter poltico y su carcter prctico y aplicado a la

agentes crticos (stakeholders)- b) el papel del evaluador dependiendo de los diferentes

La parte II, Las polticas pblicas de igualdad de gnero en Espaa, consta

La parte III, La prctica de la evaluacin de las polticas pblicas de igualdad

definiendo los criterios que se utilizan para el anlisis y la valoracin de las

que se enjuician dichos planes. Finalmente, se sealan y analizan tambin los

La parte IV de la tesis doctoral, La valoracin de la evaluacin. El reto de la

El anlisis global de la metaevaluacin realizada, as como la valoracin que del

Finalmente, la parte V consiste en las conclusiones de la tesis. En ellas

PARTE I: LA EVALUACIN DE POLTICAS PBLICAS

En este primer captulo se exponen las referencias tericas sobre evaluacin de

PARTE I: LA EVALUACIN DE POLTICAS PBLICAS

PARTE I: LA EVALUACIN DE POLTICAS PBLICAS

1. EL ANLISIS DE POLTICAS PBLICAS: EL PAPEL DE LA

1.1. Concepto y caractersticas del anlisis de polticas pblicas

El anlisis de polticas pblicas se ocupa, en general, de los problemas pblicos y

PARTE I: LA EVALUACIN DE POLTICAS PBLICAS

1.2. El componente descriptivo y prescriptivo del anlisis de las

Harold D. Lasswell, padre de la perspectiva de las polticas pblicas, en su primer

PARTE I: LA EVALUACIN DE POLTICAS PBLICAS

1.3. La necesidad de la evaluacin en el ciclo de vida de la poltica

Adems de los actores, el estilo de los procesos decisorios, la estructura de los

PARTE I: LA EVALUACIN DE POLTICAS PBLICAS