Libro PDF

Ramón Pérez Juste
Colección: MANUALES DE METODOLOGÍA DE INVESTIGAC IO N l•'. l >ll<:A l I\',\

Dirección: Juan Etxeberria y Javier Tejedor
Cubierta: José Parreño
Para mantener su información actualizada, consulte:

www.arcomuralla.com
© Editorial La Muralla, S.A., 2006

Constancia, 33 - 28002 Madrid
ISBN: 84-7133-755-X
Depósito Legal: M. 564-2006
Impreso por Lave!, Industria Gráfica, S.A. (Madrid)
ÍNDICE
PRESENTACIÓN, Ramón Pérez]uste ...... ............ ..... ... ............................ Pág. 15
PARTE I. LA EVALUACIÓN.
PRECISIONES CONCEPTUALES
CAPÍTULO l. EVALUACIÓN. CONCEPTO Y FUNCIONES DE LA EVALUACIÓN

PEDAGÓGICA UNA CONCEPCIÓN INTEGRAL, INTEGRADA E INTEGRADORA 21
1.1. INTROD UCCIÓN.............. ..... ......... ............................................. .. 22
l. l. l. Educación y evaluación . . . . . . .. . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.2. EVOLUCIÓN DEL CONCEPTO.... ............ ...................................... .. 23
1.2.1. El salto cualitativo de la evaluación.... .. ....... ... .... .. ........... 24
1.2.2. Ampliación de los sujetos evaluadores ............................. 25
1.2.3. Ampliación de los momentos............................................ 27
1.2.4. Una evaluación continua ... ... ....... ................................... 27
1.3. REPERCUSIONES PARA LA EVALUACIÓN EDUCATIVA .... ........ ........... 28
1.3.1. Evaluación integral.. .......................... .. ........... ................ 28
1.3.2. Evaluación integrada ..................................................... 29
1.3.3. Evaluación integradora................................................... 30
1.4. NUESTRO CONCEPTO DE EVALUACIÓN......................................... 31
.-\ 1.4.1. Los momentos o etapas...... .. ........... .. ..... ..... ..................... 32
1.4.2. El núdeo de la evaluación............................................... 33
1.4.3. Institucionalización de la evaluación .............................. 41
1.5. EVALUACIÓN Y MEJORA................................................................ 42
1.5.1. Precisiones conceptuales... .. .... .. .... .... .. .. .... ........................ 42
1.5.2. La mejora: una cuestión de actitud y de información........ 44
1.5.2.1. La actitud........................................................ 44
1.5.2.2. La información aportada .................. ...... ...... 45
1.5.3. La información necesaria................................................ 46
CAPÍTULO II . EL OBJETO DE IA EVALUACIÓN: DE LA EVALUACIÓN DEL APREN-

DIZAJE A LA EVALUACIÓN DEL PROFESORADO, LOS PROGRAMAS Y LOS CEN-
TROS EDUCATIVOS................................................................................. 49
2. l. E1. OBJETO A EVALUAR .. ...................... .. ..... ... ......... ..................... 50
2.1.1. ¿Qué objetos evaluar?....................................... .. ......... 50
2.1.2. ¿Sólo los alumnos?.......... ...... ................ .. .................... 51
6 EVALUACIÓN DE PROGRAMAS EDUCATIVOS
2.1.3. Y una contradicción.... ......... ................. ... ......... .......... 52

2.2. AMPLIACIÓN DEL OBJETO DE EVALUACIÓN................................... 53
2. 2. l. El profesorado como objeto de evaluación.......................... 54
2.2.2. La evaluación de programas............................................ 54
2.2.3. La evaluación de centros educativos.............................. 55
2.3. EL PROGRAMA COMO OBJETO DE EVALUACIÓN............................... 61
CAPÍTULO III. INFORMACIÓN: TÉCNICAS E INSTRUMENTOS............................. 63

3.1. INFORMACIÓN Y DATOS EN EL MARCO DE LA EVALUACIÓN.............. 64
3.1.1. Calidad de los objetivos...................................................... 64
3.1.2. Diversidad y complejidad de los objetivos de los programas
educativos .. ... .. ... ... ..... .... .... ... ... ... ... ... ... ... .. ... .. .... ... ... ..... ... . 66
3.1.3. De los objetivos a la información. .................... ..... ........... 68
3.1. 4. Planificación de la recogida de información...................... 69
3.2. TÉCNICAS PARA LA RECOGIDA DE INFORMACIÓN............................. 70
3.2.1. Técnicas de observación....................... .... .. .... ...... ..... .. ....... 71
3.2.2. Técnicas de análisis .... ... ............. ~············· · ·········· ······ ·· 73
3.2.3. Técnicas de encuesta ...... ...................... ... ...... ..... .. ......... ..... 74
3.2.4. Técnicas de consulta ..... ....... .............................................. 76
3.2.5. Técnicas de prueba............................................................ 77
3.2.6. Complementariedad de las técnicas..................................... 78
3.3. Los INSTRUMENTOS DE RECOCIDA DE INFORMACIÓ N...................... 79
CAPÍTULO IV. CRITERIOS Y REFERENCIAS PARA EVALUAR............................. . ... 81

4.1. VALORACIÓN DE LA INFORMACIÓN............................... .................. 82
4.2. Los CRITERIOS... ............... .......... ........... ...... . .... ................. ........... 83
4.2.1. Las necesidades y su evaluación......................................... 83
4.2.2. Los objetivos del programa.............................................. 87
..----¡-J .2.3. El programa................................................................. 88
4.2.4. La implantación e implementación del programa................ 89
4.2.5. Los resultados del programa............................................ 91
4.2.6. Las nuevas ediciones del programa..................................... 92
4.3. LAs REFERENCIAS.......................................................................... 92
4.3.1. Referencia normativa......................................................... 93
4.3.2. Referencia criterial............................................................. 94
4.3.3. Referencia idiosincrática .................................................... 95
4.3.4. Compatibilidad de referencias............................................. 96
CAPÍTULO V. MODELOS Y METODOLOGÍAS PARA LA EVALUAC IÓN... ..... .. .. .. ...... 97

5.1. CONFIGURACIÓN DE PROPUESTAS O MODELOS................................ 98
5.1.1. Principales ejes para organizar la información.................... 99
5. 1.1.1. Las funciones de la evaluación........................ 99
5.1.1.2 Amplitud del objeto evaluado .......................... 102
ÍNDICE 7
5.1.1.3. E l enfoque metodol ógico .. .. . ... .. .. ...... ...... ....... . 103
5.1.1.4. Util izaci ón de l a eval uación . .......... ................ . 106
5.2. PRINCIPALES MODELOS EVALUATIVOS ................. .. .. ....... .. ... ....... .... . 107
_. 5. 2. l. Modews evaluativos centrados en la eficacia de ws programas 108
5.2.1.1. La propu esta de R a l p h Tyl er. .... .. .... .. .. .. . ... .. ... . 108
5.2.1.2. Las propuestas exp e rim e ntal es ....... ............... . 11 0
5.2.2. Modelos orientados a los procesos ........ ........ ........ .... ........ ... . 11 2
5.2.3. Modelos compf,ejos ................ .................................. ....... . 11 4
5.2.3.1. La propuesta de Stake ........................... ......... . 114
5.2.3.2. E l modelo C I PP: l a aportación de Stufflebeam.
~3.
~
a propuesta de Pérezjuste .............. ......... ... . 11§ _'.?'
5.2.4. Los modelos cualitativos ... ...................... ... ........................ . 122
5.3. PROBLEMAS PENDIENTES ..... . .... .... ....... .................................. . ....... . 124
5.3.1. La existencia de expertos .......... ........................... ........... . 125
5.3.2. La factibilidad ............................. ........................ .......... ... . 126
5.3.3. ¿Juicios expertos o juicios democráticos? ....................... ...... . 127
5.3.4. Los planteamientos éticos ......................... ... ...... .... .. .......... . 128
5.3.5. La comparabilidad de los datos ......... ........ ........................ . 129
CAPÍTULO VI. Los ESTÁNDARES PARA LA INVESTIGACIÓN EVALUATIVA ..... ...... . 133
6.1. ESTÁNDARES PARA LA EVALUACIÓN DE PROGRAMAS ..... ........ . ... ..... .. 134
6.2. CONCEPTOS GENERALES SOBRE LOS ESTÁNDARES . ........................ .. 135
6.3. ORGANIZACIÓN Y CONTENIDO DE LOS ESTÁNDARES ... ... ....... . ......... . 137
6.3.1. Estándares de utilidad .................................................. . 138
6.3.2. Estándares de viabilidad o factibilidad .............. ... ....... ...... . 142
6.3.3. Estándares de Honradez o Probidad ......... ............ ....... ...... . 144
6.3.4. Estándares de precisión ..................................................... . 147
6.4. ALGUNAS REFLEXIONES SOBRE LOS ESTÁNDARES .......................... .. 154
6.4.1. Separación entre programa y su evaluación ...................... . 155
6.4. 2. Definirión de estándares en un contexto diferente ............... . 156
6.4.3. Ausencias y propuesta de modificaciones ....... ................... . 156
PARTE 11 . EL P R OCESO D E EVALUACI ÓN D E P R OGRAMAS
CAPÍTULO VII. NECESIDADES, CARENCIAS Y DEMANDAS. LA EVALUACIÓN DE

NECESI DADES ......................... ........ ................ .. . ................. .......... .... ...... 163
7.1. NECESIDADES, CARENCIAS Y DEMANDAS .. ........ .. ....... ... .................... 164
7.2. EVALUACIÓN DE NECESIDADES........ . ... ..... ........................ ..... .. ....... 168
7. 2.1 . Detección e identificación ..... .. ... ... .... .... ... .. .. .. . ... .. .. .. ... .. .. . .. . 169
7. 2. 2. Valoración de las necesidades .. .. .. .. .... ... ... ... .. .. ... ... .. . .. .. .. . . .. . 172
7.2.3. Toma de decisiones.............................. ............................... 175
7.3. CALIDAD DE LA EVALUACIÓN DE NECESIDADES.............. ........ ... ... ... 177
CAPÍTULO VIII. EL PROGRAMA. CONCEPTO, COMPONENTES, ALCANCE........... 179

8.1. CONCEPTO DE PROGRAMA............................................................. 180
8.1.1. Diversidad de programas .................................................... 180
8.1.2. Complejidad del programa.................................................. 182
8.2. ESTRUCTURA Y COMPLEJIDAD DE LOS PROGRAMAS EDUCATIVOS...... 183
8.2.1. Los programas ordinarios en el ámbito académico ............... 183
8.2.1.1. La complejidad ................................................. 184
8.2.1.2. La estructura .................................................... 186
8.2.2. Algunos programas específicos............................................ 188
8.2.2.1. Un programa específicamente académico ..... 188
8.2.2.2. El programa Fomento de actitudes contrarias al
consumo de tabaco y alcohol en un marco interacti-
vo con los principios de la vida activa.................. 190
8.2.2.3. El programa Construyendo salud....................... 193
8.2.2.4. Peces. Un programa para padres .................... 194
8.2.2.5. Guía de educación sexual para padres y
maestros de niños deficientes mentales ......... 197
8.3. Los COMPONENTES BÁSICOS DE UN PROGRAMA .............................. 198
8.3.1. El contexto.................................................................... 198
8.3.2. Los comjJonentes mínimos .................................................. 199
8.3.3. Los requisitos......................... ........................................... 200
CAPÍTULO IX. PLANEAMIENTO DE IA EVALUACIÓN .............. ........ .................. 203

9.1. DE I A EVALUACIÓN SOBREVENIDA A LA EVALUACIÓN INTEGRADA.... 204
9.2. EL PROCESO DE EVALUACIÓN ......................................................... 206
9.2.l. Evaluaciones únicas de un jJrograma ................................. 206
9.2.2. Institucionalización de la evaluación................................. 209
9.3. APORTACIONES Y RIESGOS DE UNA EVALUACIÓN INTEGRADA ........... 209
9.3.1. Aportaciones ...................................................................... 209
9.3.2. Riesgos.............................................................................. 211
CAPÍTULO X. EVALUACIÓN INICLAL DE PROGRAMAS........................................ 213

10.l. DISEÑO DE PROGRAMAS ................................................................. 214
10.l.l.De las necesidades a los objetivos ..................................... 214
10.1.2.De los objetivos al programa en cuanto tal .......................... 216
10.2. EVALUACIÓN INICIAL DEL PROGRAMA ............................................. 218
1O.2. l. Finalidad de la evaluación inicial...................................... 219
10.2.2.Dimensiones de la roaluación ............................................. 219
10.2.2.l. Calidad intrínseca del programa ........ ............ 220
10.2.2.2. Adecuación al contexto.................................. 222
10.2.2.3. Adecuación a las circunstancias: viabilidad ... 223
10.3. CRITERIOS PARA IA EVALUACIÓN INI CIAL...................... ................. 224
10.3.1. Criterios para valorar la calidad intrínseca del programa... 224
ÍNDICE 9
10.3.2. Para la adecuación al contexto.............. .. ......... ..... ..... .. .. . 225

10.3.3. Para la adecuación a /,as circunstancias............................. 226
10.4. METODOLOGÍA BÁSICA.................................................................. 226
10.4.1. Análisis d,e contenido..................................................... 226
10.4.2.Eljuiciodeexpertos ....................................................... 227
10.4.3. La observación.................................................................. 228
CAPÍTULO XI. DESARROLLO DEL PROGRAMA. EVALUACIÓN FORMATIVA DEL

PROGRAMA 229
11.1. IMPL ANTACIÓN, IMPLEMENTAC IÓN Y DESARROLLO DEL PROGRAMA
Y EVN,UACIÓN FORMATIVA .... ..... ............ ...... ....................... ... .. ... ... 230
11.1.1. Implantación........... ........... ... ... .. .................................. ..... 230
ll.l.2.lmpl,ementación ................................................................. 232
11.2. DIMENSIONES Y OBJETO DE LA EVALUACIÓN................................... 232
11.2.1. Ejecución del programa...................................................... 232
11.2.2. Marco del programa........................................................... 237
11.3. CRITE:RIOS PARA LA VALORACIÓN................................................... 239
11.4. METODOLOGÍA BÁSICA .................................................................. . 242
CAPÍTULO XII. CONCLUSIÓN DEL PROGRAMA. EVALUACIÓ FINAL DEL PRO-

GRAMA. l NSTITUC IO NAL.IZAC IÓN DE LA EVN .UACIÓN .. .. ........... ... ........ ... ... 245
12.l. EVALUACIÓN DEL PROGRAMA EN SUS RESULTADOS ................... .... ... 246
12. l.l. Finalidad y objetivos de La evaluación final del programa... 247
12.1.2. Principa!,es dimensiones.................................................. 24 7
12.1.2.1. Los resultados ................................................. 248
12.1.2.2. Valoración ....................................................... 249
12.2. CRITERJOS PARA LA VALORACIÓN................................................... 250
12. 2 .1. Eficacia objetiva............................................................ 250
12.2.2. l!,jicacia subjetiva............................................................... 251
12.2.3. El impacto como criterio................. .. .................... ... ........... 252
12.3. METODOLOGÍA............................................................................. 252
12.3.l.Alternativas metodológicas .............................................. 253
12.3.2 La medida. Pruebas....................................................... 253
12.3.3. Observación y prueba......................................................... 254
12.3.4. Otras técnicas para la recogida de información ................... 255
12.3.5.Enfoques experimenta/,es ..................................................... 256
12.4. I NSTITUCIONALIZAC IÓ N DE LA EVALUACIÓN................................... 256
CAPÍTULO XIII. EL INFORM E DE EVALUACIÓN DEL PROGRAMA....................... 261

13.1. 262
EL INFORME ..................................................................................
13.2. CUALIDADES DEL INFORME ............................................................ 263
13.2.1. Cualidades técnicas....................................................... 264
13.2.1.1. Informe completo ......... ............ ...... .... .. ... ...... 264
13.2.1.2. Informe accesible..... ... ... .. .......................... .... 264

13.2.1.3. Informe objetivo ................................... .......... 266
13.2.2. Cualidades éticas ................................................ .. ... ....... ... 267
13.3. CONTENIDO DEL INFORME...................................... ... .... .......... ..... . 268
13.4. ESTRUCTURA DEL INFORME.................................... .. .... .. ............... 269
BIBLI OGRAFÍA BÁSICA...... ............. ........................................ ......... ......... . 270
PARTE JII. FUENTES DE INFORMACIÓN, TÉCNICAS

E INSTRUMENTOS PARA LA EVALUACIÓN DE PROGRAMAS
DE EDUCACIÓN SOCIAL
CAPÍTULO XIV. EL PRINCIPIO DE COMPLEMENTARIEDAD. COMPLEMENTARIE-

DAD DE MÉTODOS Y TÉCN ICAS................................................................. 277
14.1. PLANTEAMIENTOS GENERALES SOBRE METODOLOGÍA ...................... 278
14. l. l. ¿Un método general de investigación?.............................. 279
14.1.2. La investigación y los diversos ámbitos de conocimiento...... 280
14.1.3. La educación como campo de conocimiento........ .... .. .. ......... 282
14.2. LA CUESTIÓN ¿IRRESUELTA? DE LOS PARADIGMAS ......... .................. 283
14.2.1. El concepto de paradigma. ........ .. ................... ..................... 283
14.2.2. Caracterización de los paradigmas. .................................. 284
14.2.3. Vawración de los paradigmas............................................. 286
14.3. LA SITUACIÓN ACT~A~. COMPLEMENT-A~EDAD METODOLÓGICA ..... 288
14.3.1. Nuestra poszczon sobre el tema............. ..... .. ... .. ............ .. ..... 291
14.3.1.1. Naturaleza y complejidad del acto educativo. 291
14.3.1.2. La respuesta metodológica ............................ 295
14.4. LA COMPLEMENTARIEDAD COMO CUESTIÓN DE FONDO................... 295
14.5 LA COMPLEMENTARIEDAD DE MÉTODOS Y TÉCNICAS EN LA EVALUA-
CIÓN DE PROGRAMAS..................................................................... 296
14.6. EL PROBLEMA DE LA INTEGRACIÓN DE INFORMACIONES.................. 298
CAPÍTULO XV. Los DATOS DISPONIBLES. ESTADÍSTICAS, INDICADORES, DOCU-

MENTOS Y ARCHIVOS........................................... .. ..................... .. ........... 301
15.1. ESTADÍSTICAS ............................................... .... ...... .. ..................... 302
15.2. INDICADORES... ...... ........................... .. ....... . ........................... ... .. .. 305
15.2.1. Concepto ........................ ....... ...... ....................................... 305
15.2.2. Algunos sistemas de indicadores................................ ... ... ... 307
15.2.3. Sentido de los indicadores en nuestro contexto de referencia.. 310
15.3. ARCHIVOS Y DOCUMENTOS....... .... ................ .......... ....................... 311
15.3.1.Documentos .................................... ..................... .............. 311
15.3.1.1. Organismos y entidades nacionales públicas .. 312
15.3.1.2. Organismos y entidades nacionales privadas .. 314
15.3.1.3. Documentos internacionales......................... 317
15.3.2. Archivos......... ...... .. ................. .. ........................................ 318
ÍNDICE 11
CAPÍTULO XVI. LAS APORTACIONES DE LOS EXPERTOS. LA TÉCNICA DELPHI. : 321
16.1. LA CONSULTA A EXPERTOS .................................. .......... ... .... ... ..... .. 322
16.2. ADECUACIÓN DE LA TÉCNICA DELPl-11 ............................................. 324
16.2.1. Delphi y la evaluación de necesidades............................... 324
16.2.2. Delphi y la evaluación de la calidad intrínseca del programa 325
16.2.3. Del phi y la calidad de los instrumentos de recogida de infor-
mación ......................................................................... 326
16.214. Delphi y la interpretación y valoración de la información
recogida............................................................................. 326
16.3. CONCEPTO Y CARACTERÍSTICAS ...................................................... 327
16.4. PROCESO.... ............. .... .. . ..................... ............................. ...... ...... 328
16.4.1. Planificación. ........................... .... ..... .. ........ ...... ........... 329
16.4.2.Elaboración del documento .......... .................... .. ................. 329
16.4.3. Se/,ecciórt de los informantes................................................ 330
16.4.4. Contacto con los informantes.............................................. 330
16.4.5. Condiciones de aplicación............................................... 331
16. 4. 6. Los envíos .. . . . . . . . . .. . . . . . . . . .. . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 331
16.4. 7. Informe.......... ...................................................... .. ............ 333
16.5. APORTACIONES Y LIMITACIONES DE DF.LPHI .................................... 334
CAPÍTULO XVII. EL ANÁLISIS DE CONTENIDO................................................ 337

17. l. CONCEPTO Y CARACTERÍSTICAS...................................................... 338
17.2. OBJETIVOS............. .............. ........................... ........... ................... 340
17.3. NIVELES ........................................................................................ 341
17.4 PROCESO........................................................................................ 343
17.4.1. Establecimiento de los objetivos........................................ 343
17.4.2. Fijación del contenido a analizar..................................... 344
17.4.3. Decisiones sobre las unidades de análisis.......................... 344
17.4.4. Establecimiento de las categorías...................................... 345
17.4.5. Categorización, codificación, cuantificación............. ..... .. .... 348
17.4.6. Interpretación de los resultados........................................... 349
17.5. ALGUNOS PROBLEMAS TÉCNICOS.................................................... 349
CAPÍTULO XVIII. LA OBSERVACIÓN EN sus DIVERSAS MODALIDADES. Los

AUTOINFORMES ...................................................................................... 351
18. J. LA OBSERVACIÓN EN EL MARCO DE LA EVALUACIÓN DE PROGRAMAS. 352
18.2. LAS DIMENSIONES NO COGNITIVAS DE LA EDUCACIÓN..................... 353
18.2.1. La aportación de UNESCO................................................ 357
18.2.2. Los objetivos del dominio afectivo....................................... 358
18.3. CONCEPTOS BÁSICOS EN LA EVALUACIÓN DE ACTITUDES Y VALORES 360
18.3. l. El concepto de actitud....................................................... 360
18.3.2.El concepto de valor ................... ............... ... ...................... 361
18.3.3. Planteamiento evaluativo de actitudes y valores.................. 363
18.3.4. El problema de /,a integración de ÚJs resultados y juicios de valor. 368

18.4. EVi;\-LUACIÓN DE LOS OBJETIVOS AFECTIVOS. TÉCNICAS FUNDAMJ,'.N-
TALES ......... ........ ........................................................................... 369
18.4.1. La observación como técnica para la evaluación................. 370
18.4.1.1. Evitar juicios precipitados .............................. 371
18.4.1.2. Responder a un plan sistemático.................. 372
18.4.1.3. Estar fundamentada: una observación "ilus-
trada" ...... ......... ....... ........................................ 372
18.4.2. Cuestionarios, inventarios, escalas..................................... 373
18.5. ANÁLISIS DE LAS DI FERENTES TÉCNICAS.......................................... 373
18.5.1. Técnicas genera/,es para el registro de datos de observación ...... 374
18.5.1.1. El registro de incidentes críticos .. .. ............... 374
--¡ 18.5.1.2. Listas y escalas de observación ...................... 375
18.5.2. Técnicas esjJecíficas para evaluar actitudes y valores........... 379
18.5.2.1. Técnicas y procedimientos ............................ 380
18.5.2.2. Recogida de datos sobre actitudes ................ 381
18.5.2.3. Recogida de datos sobre valores ................... 384
18.6. AUTOEVALUACIÓN...................... .............. . .................... ................ 388
CAPÍTULO XIX. ENCUESTAS Y CUESTIONARIOS. LA ENTREVISTA..................... 391

19.1 LA ENCUESTA................................................................................. 393
19. l. l. Aspectos a considerar..................................................... 394
19.1.1.1. Cualidades de Ta'i,_nformación ....................... 394
19.1.1.2. Preguntas y tipos de respuestas ..................... 395
19.1.1.3. Las preguntas ................................................. 396
19.1.1.4. Tipos de respuestas ........................................ 397
19.1.1.5. Registro de la información ............................ 398
19.1.2.Modalidades ... ........................... ...... ............................. 399
19.1.3. El proceso....................... .. ..................... ................ ............. 400
19.2. EL CUESTIONARIO ......................................................................... 401
19.2.1. El cuestionario como modalidad de encuesta....................... 402
19.2.2. Tipologia de las preguntas................................................. 404
19.3. LA ENTREVISTA.............................................................................. 404
19.3.1. Principales modalidades..................................................... 404
19.3.2. Registro de información...................................................... 405
CAPÍTULO XX. Los DATOS DE PRUEBA. TESTS y ESCALAS.............................. 407

20.1. Los OBJETIVOS EDUCATIVOS .......................................................... 408
20.1.l.Diversidad y complejidad ................................................ 409
20.1.2.El principio de complementariedad metodológica aplicado a
la evaluación: diversidad de fuentes, técnicas e instru-
mentos...................................................... ................... 411
20.2. EVALUACIÓN DEL APREND IZAJE: OBJETIVOS COGN ITIVOS ................. 413
ÍNDICE 13
20.2.1. Principal.es técnicas en el ámbito de los objetivos cognitivos.. 413

20.2.1.1. Construcción de pruebas para evaluar apren-
dizajes cognoscitivos y cognitivos .................. 414
20.2.2.Evaluación de objetivos compf.ejos ..... ....................... ...... ..... 418
20.2.2.1. Los exámenes tradicionales 420
20.2.2.2. Evaluación de la composición escrita ........ ... 423
20.2.2.3. Los "trabajos" de elaboración personal 428
20.3. CONSTRUCCIÓN DE PRUEBAS............................... .......... .... ..... ....... 431
20.3.1. Construcción de pruebas normativas...... ...... .......... ........ .... 431
20.3.2. Construcción de pruebas crilerial.es ................... ....... ...... .... . 434
CAPÍTULO XXI. TRATAMIENTO Y ANÁLIS IS DE DATOS. l. DATOS CUANTITATI-

VOS .................... ........ .. ... .................... .. ................... .. . ........ ... ... ............. 441
21. l. DEL PROGRAMA A LOS DATOS.......................... .......... .. .. .. .............. 442
21.2. LAS GRANDES MODALIDADES DE TRATAM IENTOS DE DATOS: ANÁLJS IS
DE DATOS CUANTITATIVOS . ......... ...... .. .. .. .. ..... .. ......................... ..... 443
21.2.1 Nivel.es o escalas de medida................... .... ... .... ............... 443
21.2.2 Tratamiento de los datos....... .............................................. 446
21.3. TRATAMIENTO DESCRJPTIVO DE DATOS ..................... ...................... 447
21.3.l. Tratamiento de una sola variabl.e ... ................................. 447
21.3.1.1. Organización de los datos. .... ... ..................... 447
21.3.1.2. Reducción de datos... ................................... .. 450
21.3.l.3. Representación gráfica de los datos ............. 455
21.3.2. Tratamiento de dalos bivariados o mullivariados.......... . .. ... 461
21.4. TRATAMIENTO INFERENCIAL DE DATOS................................ ........... 467
21.4.1. Inferencias sobre asociación y correlación.......................... 467
21.4.2. Inferencias sobre diferencias................................................ 469
21.4.3. Inferencias sobre diferencias de medias. ................ ............... 4 71
21.4.4. Significación estadística y tamaño de efecto........ ... .. ............ 475
CAPÍTULO XXII. TRATAMIENTO Y ANÁLISIS DE DATOS. II. DATOS CUALITATI-

VOS .................................................................................................... .. . . 481
22.1. EL DATO CUALITATIVO ................................... ....... .................. .... . . 482
22.2. RECOGIDA Y ANÁLISIS DE DATOS.................................................... 483
22.2.1.Conceplo ................................................ .............. .. ...... 483
22.2.2. Proceso....................................................................... .... ... 484
22.2.2.1. La reducción de datos ........................... .. .. .. .. 485
22.2.2.2. La presentación de los datos............ ... .. ........ 487
22.2.2.3. La obtención y validación de conclusiones.. 489
22.3. APORTACIONES DE LA INFORMÁTICA ....... ................................. .. .... 491
22.3.1. El programa Aquad ........ .. ... .... .. ............... ...................... .. 491
22.3.2. El programa Nudist ................................................... ....... 492
~ 22.4. DE LOS DATOS A LA TEORÍA........................................................... 493
CAPÍTULO XXIII. LA METODOLOGÍA EXPERIMENTAL.. .. ................................. 495

23.1 EL DISEÑO Y LOS DISEÑOS .. .... .. ....... ... . .. ................ ......................... 496
23.1.1. El diseño como plan general de acción.............................. 496
23.l.2.Losdiseños ..... ...... .... ....... ........... .............. ......................... 498
23.2 EL DISEÑO EXPERJMENTAL ................ ........... ................................... 498
23.2.l. Un principio básico ..... .. ... ... .. .......... ................................... 500
23.2.3. ¿Son posib/,es los diseños experimenta/,es en evaluación de
programas?...... ... .. ... .......................... ..... ...... ... ...... .. .......... 502
23.3 ALTERNATIVAS RAZONABLES Y POSIBLES........ ...... ................... .......... 505
23.3.1. Diseño con grupo de control no equiva/,ente... .. ..... ............... 506
23.3.2. Diseños de series cronológicas.......... ........................ ............ 507
23.3.3. Diseños N = 1...... .............................................................. 509
BIBLIOGRAFÍA.................................... .. ......... .. .. .... .. .... .. ....................... .. .. ...... 511

ANEXOS
ANEXO l: PAUTA PARA LA EVALUACIÓN DE PROGRAMAS EDUCATIVOS. ...... 527
ANEXO Il: GLOSARJO .............................................. ............. ········ ·· ········ 535
PRESENTACIÓN'
La presente monografía aborda uno de los temas de mayor

valor y utilidad para la mejora de la práctica pedagógica, tanto en
el marco de los centros educativos como en las diversas modali-
dades de intervención pedagógica, se trate de educación social,
de orientación, de animación sociocultural o de educación en
general. En efecto, la evaluación de programas y la investigación
evaluativa tal vez sean, o deban serlo, una de las modalidades de
investigación pedagógica2 más utilizadas y, desde luego, con
mayores posibilidades y aplicaciones.
Tal afirmación es fácilmente defendible si tenemos en cuenta
que la educación, por su propia naturaleza, es una actividad orga-
nizada y sistemática cuya finalidad no es sino la mejora o perfec-
cionamiento del ser humano, una concepción plenamente cohe-
rente y armónica con la d e programa en el ámbito educativo, que
no es sino un plan sistemático de actuación al servicio de metas
pedagógicamente valiosas.
De hecho, los educadores, en sus diversas tareas, funciones y
compromisos, encarnan sus planteamientos educativos en progra-
mas de mayor o menor amplitud, complejidad y duración. Por
tanto, diseñar proyectos y programas de calidad, implantarlos e
implementarlos adecuadamente, mejorarlos sistemáticamente
durante su implantación y desarrollo, y tener conocimiento de
sus resultados como base para las decisiones de mantenimiento,
1
El autor desea dejar constancia de su reconocimiento al Director del Máster
en Educación a Distancia de la UNED por permitir servirse de alguno de los mate-
riales publicados allí por el autor de Ja monografía, si bien debidamente adaptados
a un contexto diferente: el de la evaluación de programas.
2
No entramos ahora en precisiones sobre las diferencias entre investigación y
evaluación . Utilizamos aquí el término investigación en un sentido Jato: un proce-
dimiento riguroso, exigente y sistemático, para resolver problemas educativos, en
este caso problemas eminentemente prácticos.
modificación o eliminación, son aportaciones de enorme tras-

cendencia para la mejora de la acción educativa; y es justamente
aquí donde se inscribe la evaluación de programas, se entienda
en su sentido más restrictivo y limitado, como lo es la autoevalua-
ción por parte de los profesionales responsables de sus progra-
mas, sean profesores, educadores o formadores en diversos ámbi-
tos, o en su acepción más profunda y rigurosa, como lo es la deno-
minada investigación evaluativa.
Una y otra modalidad, uno y otro enfoque, tendrán su pre-
sencia en esta monografía; y ello, porque estamos convencidos de
que, más allá de la investigación evaluativa, la evaluación de pro-
gramas ordinarios por los profesionales de la educación -profe-
sores, orientadores, animadores socioculturales, educadores
sociales- nos sitúa ante una de las actuaciones con mayores
potencialidades de mejora tanto de la educación que se da en
nuestro sistema educativo como de cualquier otro servicio de for-
mación y ayuda relacionado con la educación, aunque se le pres-
te poca atención y se le tenga en menos estima. Y es que, en efec-
to, un planteamiento sistemático de la evaluación de programas
ordinarios puede dar lugar a un conocimiento técnico de gran
relieve y utilidad tanto para la mejora de la actividad educativa
como de la metodología de la evaluación de los programas edu-
cativos.
Eso sí: para la evaluación de los P!ogramas ordinarios es pre-
ciso elaborar planteamientos metodcJtógicos sencillos y asequi-
bles, que puedan ser asumidos por Jos diferentes profesionales de
la educación; de otra manera, no incorporarán la evaluación a sus
comportamientos ordinarios, perdiéndose de este modo el poten-
cial de mejora que acompaña a la evaluación.
El valor de la evaluación, tanto de los aprendizajes como de
los programas y hasta de las organizaciones y de los centros edu-
cativos, encuentra un amplio respaldo en la investigación sobre
escuelas eficaces y, más recientemente, sobre programas de mejora de
la escuela. En esa línea van, también, los movimientos de calidad,
con sus diversos modelos más o menos elaborados e implantados,
al reconocer en la evaluación la principal estrategia o herramien-
ta al servicio de uno de sus principios fundamentales: el de la
mejora continua.
La monografía se estructura en tres grandes unidades temáti-
cas; la primera se dedica al estudio de los conceptos fundamen-
tales, en particular al de evaluación: su evolución, naturaleza,
PRESENTACIÓN 17
funciones y modelos, así como a las normas sobre su calidad. La
segunda aborda el proceso de evaluación de programas; por últi-
mo, la tercera se centra en la presentación y análisis de las fuen-
tes de información y de las técnicas e instrumentos para la eva-
luación de programas. La monografía concluye con una biblio-
grafía, primero para cada una de sus partes y, después, con otra
de carácter general, y con dos anexos. En el primero se ofrece al
lector una pauta a modo de guía, que deberá acomodarse a las
peculiaridades de la evaluación concreta de que se trate; el segun-
do recoge un glosario con los conceptos fundamentales de la
monografía; el lector podrá acudir al mismo cuando aparezca un
concepto sin definir por haberlo sido previamente en otro lugar
de la misma.
Parece conveniente dejar clara constancia, desde este primer
momento, de la preferencia del autor por una concepción inte-
gral, integrada e integradora de la evaluación, concepción que
parte del reconocimiento de la evolución y enriquecimiento de la
evaluación desde su consideración como actividad restringida a
quienes se encuentran en situación de autoridad, de superioridad
y, por ello, con responsabilidades de control, -a funciones de
mejora, que afectan a todos los implicados, evidentemente con
aportaciones e intereses diferentes según la posición de cada una
de las partes interesadas.
Del mismo modo, defiendo una metodología que tome en
consideración la especificidad del hecho educativo, con sus pecu-
liaridades según la naturaleza de las diversas profesiones pedagó-
gicas.
Junto a ello, y dada la complejidad de los programas, con su
correspondencia en los planteamientos evaluativos, mantengo la
conveniencia de respetar, hasta donde las posibilidades lo permi-
tan, el principio de complementariedad metodológica, que no hace sino
reconocer la necesidad de acudir a metodologías, fuentes de
información y técnicas de recogida y análisis de datos diferentes
en función de su naturaleza y de los objetivos de cada caso. De
cualquier modo, los fenómenos complejos piden, por pura cohe-
rencia, planteamientos metodológicos complejos, si bien, como
parece obvio, la importancia de cada tipo de dato o información
varía en función del objetivo al que sirven.
Por último, y antes de abordar la temática de los diferentes
capítulos, dejaremos constancia de que si bien será frecuente
referirnos al profesor como persona responsable de la aplicación
de los programas, conferimos a este término un significado muy
amplio, de forma que sea aplicable a personas que imparten pro-
gramas no académicos, como los del ámbito de la educación

social. Es más: bajo tal denominación, y por motivos de facilidad
de comunicación, pretendemos acoger a todas aquellas personas
encargadas de impartir los contenidos destinados a alcanzar los
objetivos generales y específicos del programa objeto de evalua-
ción.
Sólo resta en esta presentación hacer notar que la limitación

de espacio3 hará necesario que el autor remita a obras de mayor
profundidad para el dominio de ciertos temas, en especial los de
carácter técnico relacionados con los datos, su análisis y trata-
miento.
RAMÓN PÉREZ J USTE

Madrid, abril de 2005
3
La colección tiene unas normas, entre otras las referidas a la extensión de las
monografías.
PARTE I
LA EVALUACIÓN.
PRECISIONES CONCEPTUALES
(
CAPÍTULO 1
EVALUACIÓN. CONCEPTO Y FUNCIONES

DE LA EVALUACIÓN PEDAGÓGICA. UNA CONCEPCIÓN
INTEGRAL, INTEGRADA E INTEGRADORA
OBJETIVOS
Tras el estudio del presente capítulo el lector debería ser

capaz de:
• Establecer la relación entre educación y evaluación y las

implicaciones derivadas de la misma.
• Conocer la evolución del concepto de evaluación y las

consecuencias de su enriquecimiento conceptual.
• Definir con precisión la evaluación pedagógica.
• Precisar el sentido y alcance de los términos integral, inte-

grada e integradora, referidos a la evaluación.
• Conocer, comprender y valorar las implicaciones de la

mejora como meta de toda evaluación pedagógica.
22 EVALUACIÓN DE PROGRAMAS EDUCATfVOS
1.1. INTRODUCCIÓN
En general, la evaluación es reconocida en la actualidad

como una herramienta, potente eso sí, pero sólo herramienta,
puesta al servicio de la realidad evaluada; en el caso de la edu-
cación es un poderoso instrumento cuya principal meta ha de
consistir no tanto en la constatación de la eficacia de las actua-
ciones educativasl como en su contribución al logro de los obje-
tivos planteados.
1.1.1. Educación y evaluación
La Educación puede ser analizada desde muy diversas pers-

pectivas. Es frecuente su consideración como el resultado de un
proceso sistemático e intencional al servicio de unos objetivos que
confluyen en una finalidad general, unificadora y armonizadora
de todos ellos y que, por lo general, se traduce en la denominada
educación integral.
Como su propio nombre indica, una educación integral tras-
ciende concepciones más limitadas y reductivas de la educación,
como son aquellas que reducen el campo de intervención de los
educadores a la transmisión y adquisición de los conocimientos
que la Humanidad ha ido descubriendo y elaborando en su largo
devenir histórico.
La educación integral abarca el perfeccionamiento y la mejo-
ra de todas las dimensiones específicamente humanas para que
las nuevas generaciones puedan abordar, con razonables posibili-
dades de éxito, los desafíos con que deberán enfrentarse, tanto
en el ámbito de lo personal como de lo social, en las relaciones
humanas familiares, amicales o cívicas, en el ocio y en la profe-
sión ...
' Esta es la que ha venido siendo considerada tradicionalmente como la fun-

ción o tarea principal de la evaluación. Y, obviamente, sigue siendo necesaria; lo
que mantenemos aquí es que tal función no es radical y esencialmente educativa,
sirviendo en mayor medida a objetivos propios de los responsables de los progra-
mas, sean o no políticos.
EVALUACIÓN. CONCEPTO Y FUNCIONES DE LA EVALUACIÓN PEDAGÓGICA 23
Un proceso educativo así concebido es complejo y duradero

en el tiempo, por lo que requiere la actuación rigurosa, sistemá-
tica y planificada de un amplio grupo de educadores a lo largo de
varias etapas como sustento y base de los futuros procesos de
autoeducación y de educación permanente.
Pues bien, en ese largo proceso formativo confluyen actuacio-
nes educativas de muy diversa naturaleza: desde el acercamiento
al conocimiento de los alumnos y del medio, propio del diagnós-
tico o de la evaluación inicial -necesidades, carencias, demandas-
ª la constatación de los resultados de la intervención de los edu-
cadores y las decisiones de mejora subsiguientes, pasando por el
diseño de los programas, la selección de medios y recursos, el uso
de las adecuadas técnicas de motivación y de las correspondientes
metodologías y, claro está, de la evaluación.
Sin embargo, es preciso reconocer que la forma de entender
la acción educativa, el diseño de planes y programas o la propia
evaluación, difiere según cuáles sean las teorías pedagógicas de
quien habla o escribe, y eso mismo ocurre con la evaluación, obje-
to de nuestra reflexión.
Parece, por tanto, conveniente, clarificar nuestros conceptos
como una forma de avanzar y de entendernos en un tema de
tanta importancia para la calidad de la educación como para ser
considerado una de las herramientas fundamentales a su ser-
vicio.
1.2. EVOLUCIÓN DEL CONCEPTO

Decíamos para comenzar que la evaluación se considera en la
actualidad un poderoso instrumento para el logro de los objetivos
planteados. Sin embargo, no siempre ha sido así, ni lo es todavía,
de hecho, en muchas ocasiones y ámbitos. Y es que el de la eva-
luación es uno de los conceptos que ha sufrido mayores cambios,
fruto, sobre todo, del gran enriquecimiento conceptual que ha
venido experimentando.
Inicialmente, la evaluación fue una actividad desempeñada
por quienes se encontraban en posición de poder, autoridad o
superioridad sobre las personas evaluadas, bien en cuanto tales,
bien en sus realizaciones. De esta forma, la evaluación ha servido
-y sirve, y puede y debe seguir sirviendo- para la selección de per-
sonas, para la calificación de los aprendizajes, para la promoción
dentro del sistema o para la certificación de titulaciones social-

mente reconocidas.
Esta posición se ha concretado en una clara función de control,
en su discontinuidad a pesar de la continuidad de la realidad eva-
luada2, en su formalización al final de determinados periodos de
tiempo tras la realización de las actividades evaluadas, y en la asig-
nación de juicios de valor a partir de criterios diversos, no siem-
pre explícitos, transparentes ni públicos y, en cualquier caso y por
lo general, desconocidos en el momento en que se desarrollan las
actividades y los comportamientos que luego serán objeto de eva-
luación.
1.2.1. El salto cualitativo de la evaluación
El salto cualitativo se produce cuando a la evaluación se le

asigna, o se le reconoce, la función de mejora, una función, por
cierto, plenamente coherente con la esencia de los actos educati-
vos: no olvidemos que la educación es una actividad intencional y
sistemática al servicio de la mejora o perfeccionamiento de las
personas.
La función de mejora, propia de la evaluación conocida desde
Scriven como formativa, representa:
• La ampliación de los "objetos" evaluados, pasando a incorporar no

sólo la enseñanza al lado de los aprendizajes, sino todo el conjunto
de e lementos que contribuyen al aprendizaje: los medios, los con-
textos en que se lleva a cabo y hasta los educadores, el medio fun-
damental junto a las actividades programadas al servicio de los obje-
tivos, como mantienen García Hoz y Yinger.
• La ampliación de los "sujetos" o evaluadores ; no son sólo las perso-
nas investidas de poder o autoridad, sino todas aque llas que pue-
dan aportar información relevan,tey adecuada para promover las
2 La enseñanza y el aprendizaje son dos procesos que deben ir en paralelo y que

se desarrollan a lo largo del tiempo escolar. El hecho de que esa continuidad no
tenga su correspondencia en la evaluación conduce a que mientras la enseñanza
sigue su propio ritmo, el aprendizaje devenga en una realidad discontinua, concre-
tada en la proximidad de las pruebas, con lo que se pervierte su sentido que, con
frecuencia, pasa a ser una actividad, un trabajo orientado a superar las pruebas en
lugar de destinarse a asimilar los saberes de que se trate.
mejoras. Por tanto, no debe sorprender que hasta los alumnos pue-
dan ser evaluadores, y no sólo de sus propias actividades y logros
sino de la actividad y resultados de quienes son sus educadores3.
• La ampliación de los momentos: la evaluación no se limita a los
momentos en que algo ha concluido sino que se extiende a los pro-
cesos, en la medida en que tales procesos pueden ser objeto de
mejora y en que, de su mejora, se derivarán necesariamente mejo-
ras en los productos o resultados. Es más: siguiendo estos plantea-
mientos, la evaluación puede plantearse con finalidades preventi-
vas, teniendo lugar antes de iniciar determinados procesos con la
finalidad de adelantarse a errores y carencias de planteamiento y
planificación.
• La continuidad frente a la discontinuidad: dado que los propios
procesos educativos son continuos, no parece adecuado relegar la
actuación evaluadora al momento final de tales procesos, cuyo tro-
ccamiento con frecuencia es artificial (un trimestre, un cuatrimes-
tre, un curso académico), sino que puede y debe realizarse tan en
paralelo como sea posible a fin de extraer los máximos beneficios
de la actividad.
Dejando de lado, por ser objeto del siguiente capítulo, lo que

representa la ampliación de los objetos de evaluación, analizare-
mos a continuación algunos de los aspectos anteriores.
1.2.2. Ampliación de los sujetos evaluadores

Desde una perspectiva de Ja evaluación con funciones de puro
control parece no haber dudas de que es una actividad reservada a
quien ocupa una posición de poder y autoridad.
Sin embargo, cuando la función es Ja mejora-que no excluye el
control- se abre el abanico no ya de informadores, que también,
sino de personas que pueden emitir juicios de valor, aunque el uso
que se dé a tales juicios pueda variar según las situaciones.
En tal sentido puede entenderse el espinoso asunto de la eva-
3 Un problema diferente, y digno de análisis, es el del para qué de tal evaluación.

En líneas generales, y sin los matices necesarios por falta de espacio, considero con-
traproducente que de las evaluaciones de los alumnos se sigan consecuencias direc-
tas -positivas o negativas- para el profesorado, ya que ello podría alterar las actua-
ciones de los profesores, pudiendo llegar a pervertir la relación con el alumnado.
Sin embargo, estas evaluaciones pueden tener extraordinario valor formativo para el
profesor, convirtiéndose en información valiosa para su auloevaluación.
luación del profesorado por parte de los alumnos y, desde luego,

el de la autoevaluación o el de la coevaluación.
La evaluación del profesorado por parte del alumnado, aspec-
to este cuyo tratamiento requiere mayor espacio y tiempo para un
mínimo análisis, no tiene sentido, en función de lo que pudiéra-
mos denominar efectos no planeados, si se traduce en sanciones
-positivas o negativas- para los profesores. Estas consecuencias
pueden llegar a alterar su comportamiento docente y, desde
luego, el evaluador. Sin embargo, pocas valoraciones pueden ser
tan úti.les para un profesor como aquellas que, de forma sincera
y desinteresada, puedan hacerle llegar sus alumnos, el espejo
natural de su actividad docente y educativa.
Aun en el caso de que estas valoraciones no respondan plena-
mente a la realidad, no dejan de ser la percepción de esa realidad por
los destinatarios de la acción educativa del profesor y, como se afir-
ma en sociología, "Cuando los individuos definen las situaciones
como reales, son reales en sus consecuencias" (Merton, 1964:
419ss.).
Por otro lado, y en la medida en que la evaluación representa
un notable potencial de mejora, nada mejor que estimular en los
alumnos Ja internalización de la actitud evaluadora, que les per-
mita llegar a conocerse, a aceptarse y a plantearse metas realistas,
en consonancia con sus verdaderas posibilidades. Por otra parte,
teniendo en cuenta la dimensión social de la persona, y dada la
conveniencia, utilidad y necesidad de aprender a relacionarse, a
convivir y a trabajar en equipo, parece conveniente y necesario
estimular la coevaluación y facilitar su aprendizaje.
Autoevaluación y coevaluación tienen un eminente sentido for-
mativo: contribuyen a la adquisición por parte de los educandos
de ciertas habilidades de gran importancia y utilidad para sus
vidas. Otra cosa será el valor que se conceda a los resultados de
tales evaluaciones a la hora de otorgar calificaciones académicas
por parte del profesorado4.
,,----
4 Personalmente, considero que cuando la evaluación toma forma de califica-
ción con valor social (promoción de curso, superación de asignaturas, logro de una
titulación) la responsabilidad es exclusiva del profesorado. Eso sí: en el ejercicio de
tal responsabilidad, grave, el profesor puede acudir a diferentes fuentes de infor-
mación para configurar su juicio; pero eso es muy diferente de atribuir a las auto y
coevaluaciones un determinado % del total a la hora de decidir la calificación.
1.2.3. Ampliación de los momentos

De ordinario, las actuaciones orientadas al control suelen
concentrarse en los momentos finales de los diversos procesos;
en aquellos casos en que se efectúan controles durante el pro-
pio proceso, su sentido no es tanto el de mejora cuanto el de
supervisión o de vigilancia, por lo que se realizan por lo general
de forma no regular y previsible sino en momentos inesperados
y hasta por sorpresa.
Sin embargo, si la evaluación se orienta a la mejora, dado
que esta se produce como consecuencia de las decisiones deri-
vadas de la propia evaluación5, cuanto más ligadas a los proce-
sos educativos, mejor.
No debe extrañar, por tanto, que podamos hablar de evalua-
ción de los procesos, además de la clásica evaluación de los resul-
tados, ni que sea perfectamente posible, y hasta recomendable,
hacerlo de una evaluación inicial, previa a los procesos educati-
vos, con mentalidad netamente preventiva.
1.2.4. Una evaluación continua

El planteamiento anterior encuentra su mejor expresión en el
conocido concepto de evaluación continua, si bien es preciso seña-
lar que tal concepción sólo alcanza todo su potencial de mejora
cuando, además de tal continuidad, adquiere una naturaleza for-
mativa o para la mejora6.
Dado que el proceso educativo es una realidad prolongada en
el tiempo, pero continua y regular, parece conveniente que lleve
asociada una acción evaluativa que permita tomar las decisiones,
sean correctivas, potenciadoras o preventivas, con la mayor inme-
diatez posible a los acontecimientos y al devenir de la realidad
evaluada, de la educación.
5 Tendremos ocasión de comprobar que la toma de decisiones forma parte de un

· concepto pedagógico de la evaluación.
6 Teó1icamente, y en la práctica está constatado, es posible realizar una evaluación
continua desde una perspectiva de puro control, sin un decidido compromiso con la
mejara, lo que, obviamente, tiene poco sentido en una concepción educativa de la eva-
luación.
La eficacia de la evaluación alcanza en tales casos las mayores

cotas, algo a lo que no es extraña la actitud de ayuda que repre-
senta y el impulso a unir los procesos de enseñanza y de aprendi-
zaje, que, cuando la evaluación no cumple estos requisitos, tien-
den a disociarse con frecuencia por parte del alumnado7.
1.3. REPERCUSIONES PARA LA EVALUACIÓN EDUCATIVA
Asumir estos planteamientos nos conduce a una reconsidera-

ción conceptual de la evaluación, que puede quedar sintetizada y
hasta definida por los tres adjetivos siguientes: integral, integrada e
integradora.
1.3.1. Evaluación integral
El carácter de herramienta o instrumento que atribuimos a la

evaluación hace de ella un poderoso medio al servicio de los obje-
tivos educativos. Por tanto, en la medida en que una educación
de calidad se plantea la formación integral de las personas, la eva-
luación no puede resultar disfuncional, esto es, no puede sugerir
a quienes en determinados momentos son objeto de evaluación
que ciertos objetivos son los que, de verdad, importan, mientras
el resto sólo tienen una presencia testimonial. Una actuación tal
altera el currículo al orientar el esfuerzo y el trabajo hacia aque-
llos objetivos que son objeto de evaljción, dejando al resto en
un segundo planos.
Si la educación integral representa la necesidad de cultivar,
promover, estimular y favorecer el logro de objetivos no sólo cog-
noscitivos y hasta cognitivos, sino los afectivos, sociales, morales,
estéticos y hasta religiosos, la evaluación no puede centrarse en
7 El autor ha podido constar esta realidad a través de la dirección de una tesis

doctoral (Abraira, C. ( 1994). EjPrlos de la evaluación formativa en alumnos de matemá-
ticas de Escuela Universitaria de Formación de Profesorado de Educación General Básica),
defendida en la UNED.
s Vale la pena señalar que algo parecido puede suceder como consecuencia de
la inadecuación de las técnicas utilizadas para la recogida de información. Cada téc-
nica resulta especialmente idónea para algunos objetivos pero inadecuada y hasta
contraproducente para otros.
los dos primeros ni, mucho menos, como la investigación revela,

en los cognoscitivos. Es más, Ja posición reduccionista lleva en
muchas ocasiones a limitar la atención, dentro de estos, a los de
las categorías inferiores de las taxonomías9.
Piense lo que puede representar el hecho de que, si bien nuestro sistema

educativo plantea objetivos conceptuales, procedimentales y actitudina-
les, muchas de las evaluaciones del sistema se limiten a los dos primeros
y, dentro de ellos, en muchas ocasiones, a los objetivos menos complejos
(conocer, comprender, aplicar) y no de todas las materias del currícu-
lum, concentrándose por lo general en Lengua y Matemáticas.
Por último, y en la medida en que la educación se pone al servi-

cio de la mejora de la persona, nada mejor que acudir a la autoeva-
lución como medio de promover la capacidad de metacognición, de
toma de conciencia de las propias posibilidades y limitaciones, de
aceptación de sí mismo y de compromiso autónomo y libre con de-
terminadas metas libre y autónomamente seleccionadas y asumidas.
1.3.2. Evaluación integrada
El carácter formativo concedido a la evaluación hace de ella

una actividad en perfecta sintonía y armonía con la actividad edu-
cativa; no cabe, por tanto, que, en cuanto tal, la evaluación sea
una actuación añadida, yuxtapuesta, al servicio de finalidades o
funciones no educativaslü.
La integración armónica de la evaluación con la actividad
educativa la convierte en un medio más, junto al resto de los pro-
gramados, diseñados y desarrollados por el profesorado y
demás responsables de programas para alcanzar los objetivos
9 En algunos estudios con la taxonomía de Bloom como elemento de compa-

ración y contraste, la investigación ha evidenciado la tendencia de los evaluadores
a limitarse a objetivos de conocimiento, comprensión y aplicación. Raramente se
llegaba a los de análisis, síntesis y evaluación. Esta realidad ha podido apreciarse en
sendas tesis doctorales dirigidas por el autor, una en la Universidad Complutense y
otra en la UNED.
10 Entiéndase bien la afirmación: no cabe tal forma de actuar si de evaluación
pedagógica hablamos. Ello no impide que existan otras funciones no pedagógicas,
como la sumativa (social), la sociopolítica (rendición de cuentas) o la administrativa
(control), todas ellas legítimas pero puestas al servicio de metas de otra naturaleza.
de sus programas (el programa en cuanto plan a su servicio).

Incluso la evaluación sumativa puede Jormativizarse y extraerse
de ella las conclusiones pertinentes para la mejora del apren-
dizaje, de la enseñanza y hasta del propio profesor, educador o
formador.
Así las cosas, no parece que deba extrañar el conceder a la
evaluación un papel diagnóstico a la hora de asignar programas
-evaluación inicial, preventiva- o de diseñar actuaciones correc-
tivas o de mejora.
1.3.3. Evaluación integradora
En la medida en que la evaluación responde a las anteriores

características, se convierte en una realidad que juega un papel
activo y no meramente pasivo, como el que suele corresponderle
cuando se limita a emitir juicios de valor sobre los resultados
alcanzados.
La evaluación así entendida dinamiza las actuaciones de pro-
fesores y alumnos, promueve la reflexión, el análisis y la autocrí-
tica, fomenta la innovación y estimula el deseo de mejora conti-
nua, base de cualquier actuación pedagógica de calidad.
De hecho, la evaluación viene a decidir el verdadero currícu-
lo de la institución educativa, tanto en relación con lo que se
enseña y se aprende como en lo relativo a la perspectiva o enfo-
que -objetivos- de tales enseñanza y aprendizaje. Los profesores
hacen saber a sus alumnos, incluso sin proponérselo de modo
expreso, lo que consideran más importante, y hacia esa dirección
se encaminan decididamente lo"'S'€sfuerzos y el trabajo de su
alumnado.
Estas ideas ya fueron expuestas con toda claridad por
Calonghi (1978) y, posteriormente, por Hills (1981). El primero
de ellos afirma taxativamente:
Los criterios de evaluación, pronto o tarde, consciente o incons-

cientemente, explícita o implícitamente, se constituyen de hecho en
los fines de la educación ...
Por su parte, Hills mantiene:

Las preguntas de las pruebas surten un importante efecto sobre

la índole del verdadero currículo de la escuela, quizá en oposición al
currículo nominal, debido a un principio psicológico fundamental
del aprendizaje: los individuos aprenden lo que se premia. [ ... ] Son
las pruebas y otras formas de evaluación las que realmente determi-
nan el contenido del currículo.
El carácter integrador, o desintegrador, de la evaluación pare-

ce claro.
1.4. NUESTRO CONCEPTO DE EVALUACIÓN
Para llegar a nuestro concepto haremos una referencia previa a

una importante síntesis sobre el tema. Se trata de la aportación de
Nevo (1986: 15-30), que indica las diez cuestiones fundamentales
que configuran el concepto de evaluación. Se trata de las siguientes:
- ¿Cómo se define?
- ¿Cuáles son sus funciones?
- ¿Cuáles son los objetos de evaluación?
- ¿Qué tipo de información debe recogerse?
- ¿Qué criterios se deben utilizar para apreciar el mérito o valor del
objeto evaluado?
- ¿A quién debe servir la evaluación?
- ¿Cuál es el proceso a seguir?
- ¿Qué métodos se deben utilizar?
- ¿Quién debe realizar la evaluación?
- ¿Qué estándares de calidad deben servir para valorar las evaluaciones?
No pretendemos dar una respuesta sistemática a todas y cada

una de las diez cuestiones anteriores pero sí a las más importan-
tes. De inmediato, nos detendremos en las dos primeras, las fun-
damentales a nuestro juicio. En el siguiente capítulo lo haremos
con la tercera. Sin embargo, debe quedar claro que, al presentar
nuestra concepción de la evaluación, estaremos ya dando res-
puesta a algunas de las demás cuestiones, como ocurre con el
caso de los criterios.
Pues bien, hora es ya de presentar el concepto de evaluación
que responde a nuestros anteriores planteamientos y en el que se
basa la presente monografía dedicada a la evaluación de progra-
mas. Helo aquí:
La evaluación pedagógica es la valoración, a partir de criterios y de refe-

rencias preespecificadas, de la información técnicamente diseñada y sis-
temáticamente recogida y organizada, sobre cuantos factores relevantes
integran los procesos educativos para faci litar la toma de decisiones de
mejora.
La definición anterior se puede apreciar de forma intuitiva en

el cuadro l.
La comparación entre lo indicado en la definición formal y lo
recogido en el cuadro 1 pone de relieve que aquella se concreta
en lo que aquí denominamos núcl.eo de la evaluación; el hecho de
que aquí se incluyan dos momentos diferentes, uno previo y otro
posterior, merece una explicación.
l. 4.1. Los momento} o etapas

r
La evaluación en sí misma, sea en su función de control sea en
la de mejora, es una actividad técnica de carácter instrumental. Esta
afirmación es importante dado que viene a representar su subor-
dinación a algo, en concreto a la realidad a la que sirve.
CUADRO 1. Concepto de evaluación pedagógica.
FUNCIÓN ESENCIAL: LA MEJORA

MOMENTOS ELEMENTOS
Previo • Los objetivos
- Del objet~ evaluado
- Del propi sistema de evaluación
Núcleo de la • Recogida de información .
evaluación • Valoración de la información:
- Criterios
- Referencias
• Toma de decisiones orientadas a la mejora
(planes)
Posterior • Seguimiento de los planes de mejora
Pues bien, en el cuadro 1 tal hecho queda reflejado en el

denominado momento previo, en el que situamos los objetivos como
elemento directriz. Estamos queriendo afirmar que son los obje-
tivos de la realidad evaluada, se trate de los objetivos del Proyecto

educativo, del programa o del aprendizaje de los educandos, los
que deciden en primera instancia sobre la calidad de la evalua-
ción.
Desde esta perspectiva, la evaluación es de calidad si resulta
coherente, adecuada y armónica con tales objetivos, lo que no asegu-
ra la calidad de estos, cuya valoración tiene que ver con los fun-
damentos de tales proyectos y programas.
Queremos afirmar que la evaluación puede ser de calidad al
servicio de objetivos irrelevantes o inadecuados, y que caben obje-
tivos cualitativamente elevados, completos, dignos y, sin embargo,
un planteamiento evaluativo carente de calidad.
Este planteamiento, decíamos, sirve tanto a una evaluación en
funciones de control como a aquella que se orienta a la mejora. Sin
embargo, no parece difícil argumentar que, en este segundo caso,
la exigencia debe ser mayor, si cabe . En efecto, si en el primero
cualquier evaluación que no resulte incoherente con los objetivos
puede aceptarse como adecuada para apreciar si se están logran-
do las metas previstas, en el segundo se debe ser más exigente
dado que no cualquier tipo de información va a permitir decisio-
n es de mejora. Pero esto lo apreciaremos mejor al hablar de la
recogida de información.
En cuanto al momento posterior, es fácil argumentar su
n ecesidad . La mayoría de las decisiones derivadas de la eva-
luación representan planes de naturaleza más o menos com-
pleja que necesitan de suficiente tiempo para dar sus frutos.
En cuanto planes, pueden haberse diseñado adecuadamente o
no; es más, incluso si se diseñaron correctamente, no está
garantizada su eficacia, dado que pueden surgir circunstancias
imp revistas que pueden dar al traste con la mejor de las previ-
siones.
No debe parecer inútil, sino todo lo contrario, seguir de cerca
su desarrollo para comprobar su corrección y eficacia y, si fuera
preciso, para introducir los cambios que fueran necesarios.
1.4.2. El núcleo de la evaluación
Centrando ahora nuestra atención en el núcleo de la evalua-

ción, esto es, en nuestro concepto o definición, merece la pena
analizar con la suficiente atención los tres grandes elementos que

lo integran.
Pero antes conviene hacer mención explícita de las funciones.
Nevo habla de cuatro grandes funciones: sumativa, formativa,
sociopolítica y administrativa. Todas tienen su sentido y utilidad y,
en la medida en que se acuda a ellas para la finalidad que les es
propia, deben ser tenidas en buena consideración.
En el caso del profesorado y de los diversos formadores, como
ya hemos reseñado, parece claro que la función que le es propia
es la formativa, dada su coherencia con la naturaleza misma del
acto educativo. Es evidente que el profesorado realiza con mucha
frecuencia -más de lo que debiera- evaluaciones de tipo sumati-
vo, pero conviene dejar constancia de que, en tales ocasiones, está
ejerciendo una evaluación que no está intrínsecamente ligada a
la naturaleza de su profesión, sino la resultante de una delegación
social: dar fe ante la comunidad de los niveles de aprendizaje de
los alumnos o de la eficacia de los programas, como forma de res-
ponder a las inversiones en educación.
En definitiva: mantenemos la posición de que la función esencial de la

evaluación pedagógica es la formativa, esto es, la destinada a la mejora
(del aprendizaje y de la enseñanza, de los alumnos y los profesores, de los
materiales, de Jos recursos, de la organización ... de las instituciones y de
los centros educativos como unidad).
Y ahora analicemos los tres elementos integrantes del núcleo

de la evaluación:
• La información
No hay evaluación mejor que la información en que se base.

Sea cualquiera que sea la concepción que se tenga de la evalua-
ción, siempre hay que partir de este elemento: la información dis-
ponible o recogida ex profeso, que es, en la práctica, algo así como
los cimientos de todo el edificio de la evaluación.
Ahora bien, ¿qué condiciones, características o exigencias
podríamos formular para que tal información mereciera ser con-
siderada como de calidad? La respuesta la tenemos en el primero
de los momentos, el denominado "previo", en el que hemos desta-
EVALUACIÓN. CONCEPTO Y FUNCIONES DE lA EVALUACIÓN PEDAGÓGICA 35
cado el papel directriz que deben jugar los objetivos (del

Proyecto, del programa, del aprendizaje). Pues bien: si, como
hemos señalado, los objetivos de una educación de calidad son
tan amplios, tan variados, tan complejos, no deberíamos limitar la
recogida de información a uno o a varios de ellos sino a toda la
tipología y variedad de los mismosll.
Pero esta afirmación lleva implícita otra: si tenemos en cuen-
ta que cada tipo de objetivos necesita de técnicas específicas ade-
cuadas, cualquier reduccionismo en este punto, aparentemente
inocuo por ser claramente una cuestión técnica, puede tener con-
secuencias muy negativas.
En efecto: es fácil comprender que no se enseña, ni se evalúa,
del mismo modo a calcular que a razonar, a comprender que a valo-
rar, a analizar que a relacionar, a observar que a clasificar, a resolver
problemas que a argumentar, a relacionarse socialmente que a rechazar
intentos de manipulación, a ... En tales condiciones, cualquier plan-
teamiento sesgado en las técnicas, cualquier falta de armonía
entre el objetivo y la técnica para valorarlo, conduce, de hecho, al
abandono de aquel, dada la tendencia reconocida de los estu-
diantes a orientar su trabajo hacia los objetivos que destaca el
educador mediante las pruebas que utiliza.
El caso más evidente lo tenemos con los objetivos de expresión
oral, normalmente relegados a un segundo plano en la enseñanza y
casi por completo olvidados en la evaluación. Su no cultivo en las
aulas y su ausencia en las pruebas está conduciendo a manifiestas
carencias, como se aprecia en cuantos informes evaluativos se llevan
a cabo en nuestro país y en otros lugares del mundo.
Junto a esta exigencia irrenunciable de coherencia y armonía entre
los objetivos a evaluar y las técnicas para recoger la información per-
tinente, es preciso reseñar otra importante cuestión de tipo técnico,
a la que nos referiremos más adelante al hablar de las técnicas en la
tercera parte. Estamos aludiendo a la necesidad de que los instru-
mentos en que toma cuerpo la evaluación sean fiables y válidos,
1 1 No pretendemos afirmar que haya que evaluar "todo" sino que todos los tipos
de objetivos son objeto potencial de la evaluación . Como veremos, al confeccionar los
instrumentos d e evaluación debe asegurarse al máximo su representatividad: el con-
tenido de los mismos debe ser una muestra representativa, ponderada, de todo el
objeto de evaluación.
ofreciendo así una información útil y valiosa, lo que implica deci-

siones y actuaciones técnicas destinadas a lograrlo. ·
Antes de concluir este punto conviene dejar constancia de una
importante cuestión: la información a recoger no siempre debe
serlo a través de pruebas. Los educadores tienen a su disposición for-
mas muy variadas de apreciar el progreso y los logros de los alum-
nos, desde la observación a las actividades de aula, pasando por el
análisis de sus trabajos o las preguntas e intervenciones que tienen
lugar en el proceso ordinario de aprendizaje.
La conclusión, pues, parece clara: es necesario asegurar la
coherencia entre la naturaleza de los objetivos, la metodología y
actividades durante el proceso de enseñanza-aprendizaje y las
técnicas e instrumentos utilizados en la evaluación, con el fin de
que ninguno de aquellos quede olvidado y, de este modo, altera-
do el currículo de la institución.
• La valoración
Sin información de calidad no es posible una evaluación de

calidad. Ahora bien, la mera información, por sistemática y técni-
camente correcta que sea, no es, todavía, evaluación.
Para hablar de evaluación debemos valorar la información reco-
gida, y ello implica contar con criterios y con referencias. Unos y otras
deben estar especificados de antemano, tanto para dirigir la activi-
dad de los educadores como para orientar la de los alumnos.
En efecto: los criterios y las referencias deben estar especifi-
cados incluso en el momento de planificación de la actividad edu-
cativa, en el diseño del programa; además, han de darse a cono-
cer para evitar que la actividad de sus destinatarios, los alumnos,
su esfuerzo personal, pueda resultar poco fructífero como conse-
cuencia de orientarlo en una dirección inadecuada1 2.
Los criterios de evaluación permiten atribuir valor, valorar en
definitiva, los trabajos, las actividades, los comportamientos o, en
12 Un alumno, en efecto, puede estud iar de forma memorística y enco ntra rse
ante una prueba en la que se valora la capacidad de e laboración personal, o esfo r-
zarse mucho en e l puro cálculo y ten er que resolver una prueba centrada en la
interpretación de los resultados; en tales situaciones, obviamente, su esfuerzo no
enco ntrará la recompensa del éxito.
su caso, las pruebas que deban realizar los destinatarios del pro-
grama, realizados bien en el marco ordinario de la enseñanza /
aprendizaje bien en el específico de la evaluación.
Obviamente, la forma fundamental de valorar con criterios
una producción realizada por los destinatarios del programa
tiene que ver con la naturaleza misma del objetivo que está sien-
do evaluado. Si ante una cuestión enunciada como Demuestre el
teorema de Pitágoras, el alumno se limita a enunciarlo, es evidente
que no pone de manifiesto la superación o logro del objetivo en
cuestión ... , aunque pudiera ser que lo dominara.
Ahora bien: puede demostrar el teorema y hacerlo correctamen-
te o no; puede dar una definición y hacerlo con precisión y claridad
o no; puede resolver un problema y llegar a unos resultados exac-
tos o no; puede redactar y hacerlo con mayor o menor grado de
originalidad, corrección ortográfica y sintáctica y riqueza de léxico ...
Todos estos términos nos sitúan ante lo que denominamos cri-
terios, esto es, normas o reglas que permiten asignar valor a la rea-
lidad evaluada. Los criterios deberían estar ftjados en el diseño
del programa, del que forma parte Ja propia evaluación; de no
ser así, debería hacerlo el evaluador, teniendo en cuenta la natu-
raleza de Ja realidad evaluada.
Ni que decir tiene que la ftjación de los criterios y su publi-
cidad ayuda tanto a llevar a cabo valoraciones con mayor grado
de objetividad como a orientar las decisiones que deban tomar-
se de cara a la mejora. En el primero de los sentidos, hay datos
que ponen de relieve la inconsistencia de muchas calificacio-
nes, presumiblemente como consecuencia de una valoración
basada en criterios implícitos y no expresos. Se sabe, por ejem-
plo, que un mismo profesor puede no coincidir en sus valora-
ciones más allá de un 60% de los casos cuando califica los mis-
mos ejercicios en dos momentos convenientemente distancia-
dos; o que las calificaciones de varios profesores mantienen
bajas correlaciones, esto es, que tienen como base patrones
muy diferentes13.
El autor ha podido apreciar, con un grupo de unos 60 profe-
sores de enseñanza media, cómo Ja falta de especificación de los
criterios de valoración se tradujo en un rango de calificaciones
13 Puede consultarse Bomboir (1974: 115-142).

entre 3 y 9 al valorar una redacción de alumnos de COU, y cómo,

una vez fijados y explicitados, el mismo grupo de profesores con-
cedía calificaciones entre 5 y 7.
Si los criterios ayudan a valorar más objetivamente la infor-
mación recogida, facilitando así la equidad de las calificaciones y
su comparabilidad, las referencias hacen posible juicios globales
sobre la realidad evaluada.
No debemos olvidar que la valoración de muchos de los "obje-
tos" educativos carece de unidades precisas que hagan inteligible
lo que significa un número concreto. Todos entendemos lo que
representa un edificio de 20 pisos o de 58 m . de altura, porque
tenemos claro lo que mide un piso ordinario o lo que es un
metro. Pero, ¿qué significan 23 puntos en una prueba?
La valoración de 23 puntos, evidentemente, depende de cuán-
tas cuestiones conformen la prueba, de cómo se valora cada una
de ellas, de si se restan o no puntos cuando las respuestas son
erróneas, de quiénes resuelven la prueba .. . Así, no es lo mismo
23 puntos sobre un máximo de 50 que sobre uno de 25; no es lo
mismo si cada ítem vale un punto que si varía la puntuación de
unos a otros; si la prueba se hizo para niños más jóvenes o más
mayores que el que obtuvo los 23 puntos ...
Es por ello que se debe contar con referencias concretas, y fun-
damentalmente se puede acudir a tres:
• Referencia normativa. ¿Dónde se sitúa una puntuación con-

creta (de un alumno, de un grupo, de un programa, de un
centro educativo) en un continuo de puntuaciones del
mismo tipo?
Una puntuación concreta se pone en relación con el conti-
nuo de puntuaciones obtenidas por las de sujetos (alum-
nos, programas, centros) de la misma clase. De esta forma,
podríamos afirmar que la puntuación de 23 supera al 68%
de todas ellas, que está entre las 5 mejores, o en el centro
de la distribución, o en el 25% inferior o entre las diez más
bajas ... Las puntuaciones que sirven de referencia constitu-
yen el baremo, que no es sino la regla que permite la inter-
pretación.
• Referencia criterial. Los diseñadores del programa -profe-
sores, educadores, formadores- deben establecer con la
debida precisión una serie de metas que deben ser supera-
das por los alumnos para alcanzar una evaluación positiva.

Como señala Popham, la evaluación criterial sitúa a un
alumno en relación con un dominio de conducta perfectamente
definido. Quienes alcanzan el criterio (ese dominio perfec-
tamente definido), pasan, esto es, alcanzan la valoración
positiva. Quienes no llegan, no pasan, y deben trabajar de
nuevo para conseguirlo.
Si en el caso normativo, la valoración es relativa (cada uno
se sitúa en relación con los demás), en este es "absoluta":
ftjado el criterio, se llega o no. En el primer caso, un alum-
no puede ser el mejor de los peores, y siempre habrá alum-
nos situados por encima y por debajo de la media; en este
segundo caso, cabe tanto que pasen todos la línea imagina-
ria del criteriol4 como que ninguno lo logre.
No parece difícil argumentar que, desde una perspectiva
pedagógica, esta segunda opción parece especialmente
adecuada.
• Referencia personalizada. En este caso, lo que se plantea es
la valoración de Ja información tomando como referencia a
la propia persona, situación que puede tomar modalidades
diferentes.
Cabe, en efecto, apreciar si se da o no progreso o supera-
ción con respecto a situaciones anteriores; o cabe hacer
apreciaciones sobre si lo alcanzado está en relación con las
posibilidades y limitaciones de cada uno, atendiendo a sus
características y circunstancias personales, familiares y
sociales.
La evaluación personalizada tiene especial importancia en
las primeras etapas educativas (infantil, primaria), pero
también puede utilizarse, eso sí, con carácter complemen-
tario, en los niveles posteriores.
En efecto, aunque la calificación represente fracaso -sus-
penso- la valoración personalizada supone la posibilidad de
reconocer al alumno su esfuerzo -cuando lo ha puesto-
para que pueda apreciar que se tiene en cuenta su situa-
14 Comprenderá el lector que el término "criterio" no tiene aquí un significa-
do idéntico al que le dimos al hablar de criterios y referencias. Aquí lo utilizamos

en el sentido de punto o nivel fijado para alcanzar una valoración global positiva.
CIOn, que se le considera como persona y no sólo como

estudian te IS.
La referencia personalizada aplicada al alumnado tiene su
equivalente cuando se aplica a programas o a instituciones.
Puede denominarse idiosincrática, y consiste en valorar el
programa o el centro educativo teniendo en cuenta su con-
texto, situación, características ... En general lo que se hace
es apreciar si el programa ha mejorado en relación con apli-
caciones anteriores o si la institución o centro educativo se
viene superando tomando como referencia su propio his-
torial.
• La toma de decisiones
Volviendo a nuestra idea fundamental sobre el carácter instru-

mental de la evaluación, comprenderemos de inmediato la necesi-
dad y la importancia de este componente de nuestro concepto.
Con frecuencia, nos encontramos ante juicios de valor -evaluacio-
nes- que se quedan en ello, bien sea porque son puras apreciacio-
nes, bien porque a quien las emite sólo se le pide tal juicio, gene-
ralmente experto, dejando el resto en manos de quien lo solicitó.
Ejemplos del primer tipo las tenemos en múltiples situaciones
de la vida ordinaria: cuando vamos al cine, vemos una exposición
de pintura, nos presentan a una persona, leemos un libro ... hace-
mos valoraciones que quedan en sí mismas. La película ha sido inte-
resante, los cuadros son horrorosos, la persona es agradable, el libro es
útil...
Manifestaciones del segundo tipo las tenemos cuando acu-
dimos a personas expertas para que nos tasen un piso, nos
orienten sobre Ja calidad y el precio de una joya, nos ilustren a
la hora de ir o no a un estreno teatral. .. El tasador del piso o de
la joya, el crítico teatral, nos dan su opinión valorativa y, con
ella, acaba su tarea. Algo similar corresponde al juez quien, ante
las pruebas y argumentos del fiscal y del abogado defensor,
juzga y emite sentencia.
15 Con ello se estaría dando una adecuada respuesta a las necesidades básicas
del ser humano, una de las cuales es la de valer para alguien, según la propuesta de
Yela, o de ser reconocido, según Maslow.
EVALUACIÓN. CONCEPTO Y FUNCIONES DE lA EVALUACIÓN PEDAGÓGICA 41
Pero no parece que esperemos eso mismo de un médico:

cuando nos diagnostica que tenemos gripe, paperas o una úlce-
ra esperamos de inmediato un tratamiento con el que curar la
enfermedad.
Parece fácil argumentar que la situación de educadores y
profesores está más cerca del médico que del tasador de joyas.
En definitiva: que la evaluación no puede quedar en un mero
juicio de valorI6 sino que este debe ser el fundamento de las
acciones pedagógicas posteriores. Podríamos afirmar que son
estas decisiones las que dan sentido pedagógico a la evaluación,
pues es en ellas y no en la mera información valorada en las que
se reconoce el profesor, el educador, el formador. No olvidemos
que su función no es la de juzgar sino la de contribuir a mejo-
rar, a educar, a los alumnos y, en general, a los destinatarios del
programa de que se tratel7.
Las decisiones revierten sobre los objetivos, bien dándolos
por superados bien incidiendo con nuevos medios y planes para
su logro.
Ahora bien, como señalábamos más arriba, estas decisiones,
con frecuencia, no producen un cambio inmediato; ni siquiera
estamos seguros de que darán lugar a los cambios deseados.
Pueden aparecer circunstancias no previstas ni previsibles y alte-
rar la realidad. De ahí ese momento posterior al que nos hemos
referido, entendido como seguimiento de los planes de mejora.
1.4.3. Institucionalización de la evaluación
La evaluación a la que nos venimos refiriendo no es una

actuación que se realiza por una sola vez, dejando una "foto füa"
de la realidad, sino una actuación que, dado su servicio a la mejo-
ra -de la persona, de los profesionales, de sus programas, de los
16 Sin embargo, cuando el profesorado se limita a calificar una prueba o a apro-

bar/ suspender en una asignatura (evaluación sumativa), está actuado de esta
manera. Socialmente es necesario y se le exige, pero no debería limitarse a ello, en
la medida en que, al hacerlo, no está ejerciendo su papel educativo.
17 La profesión educadora bien podría caracterizarse como de ayuda: el apren-
dizaje sólo puede realizarlo el aprendiz, pero el profesor puede contribuir a que lo
logre prestándole la adecuada ayuda técnica, el estímulo, el apoyo necesarios.
centros educativos- debe integrarse en el cortjunto de la actividad

educativa.
En tal sentido, la evaluación se debe inscribir como un proce-
so continuo y armónico con la realidad educativa, de forma que
las tradicionales denominaciones de evaluación inicial, continua y
final dejan de tener el sentido que se les suele atribuir: la evalua-
ción final de un ciclo evaluador sirve de base -debe servir- para
un nuevo ciclo educativo y así sucesivamente.
1.5. EVALUACIÓN Y MEJORA
El término mejora lo venimos uniendo de forma sistemática

al de evaluación. Y ello porque hemos concedido a la evaluación
un carácter instrumental o de herramienta al servicio de los
objetivos educativos, cuya naturaleza o esencia no es sino la mejo-
ra de las personas y de cuanto contribuye a ello: los educadores,
los centros, las organizaciones, los materiales y recursos, los pro-
gramas ...
Analizaremos a continuación las implicaciones de esta tan rei-
terada relación.
1.5.1. Precisiones conceptuales
Establecer una vinculación entre evaluación y mejora nos obli-

ga a reflexionar sobre el alcance de ambos conceptos.
Habiéndolo hecho ya con suficiente detalle sobre el concepto de
evaluación corresponde hacerlo ahora con el de mejora.
Mejorar es "hacer una cosa mejor de lo que era", y también,
superarla, esto es, lograr metas más amplias, ricas o profundas.
Un atleta mejora su registro personal; un país eleva su renta per
capita; una empresa aumenta su productividad; un centro educa-
tivo obtiene mejores resultados ... En todos estos casos, se están
produciendo mejoras.
Pero también es verdad que el atleta puede mejorar su técni-
ca y su estilo; el país puede mejorar sus sistemas de control del
gasto público; la empresa puede optimizar su sistema de gestión;
el centro educativo puede hacer más eficiente la coordinación
del profesorado y la del profesorado con las familias ... También
en este caso se están produciendo mejoras; unas mejoras, por
cierto, que están íntimamente ligadas a las primeras. Es más: se

trata de unas mejoras que, muy probablemente, están en el ori-
gen de las segundas: depurar la técnica, optimizar los sistemas de
control, de gestión o de coordinación puede dar lugar a una
mejora de los resultados esperados.
La mejora de los resultados es la meta directa a lograr; opti-
mizar los sistemas aludidos es el medio para conseguirlo. Pero lle-
var a cabo actuaciones específicas para mejorar la técnica, el con-
trol, la gestión, Ja coordinación ... implica saber que es ahí preci-
samente donde hay que incidir, porque es en tales puntos donde
se dan deficiencias, carencias o actuaciones inadecuadas.
Las mejoras se establecen en relación con algún tipo de refe-
rencia. En los casos anteriores la referencia proviene de registros
previamente establecidos para el atleta, el país, la empresa o el
centro educativo. Estaríamos en el marco de la denominada refe-
rencia personalizada o idiosincrática a la que aludíamos al presentar
el concepto de evaluación
La mejora es un anhelo común a todos los seres humanos: así
lo reconoce Yela al hablar de una necesidad radical dentro de su
propuesta sobre las necesidades básicas; o Maslow cuando se
refiere a la autorrealización en ese mismo contexto IS.
Precisamente por el hecho de incardinarse en lo profundo
del ser humano, la mejora o el perfeccionamiento es la esencia de
todo acto educativo: los seres humanos llegan al mundo en una
situación de total dependencia y en un estado inacabado , algo
que, precisamente, les permitirá un mayor recorrido en su pro-
ceso de hacerse plenamente personas que al resto de los seres
VIVOS.
Pero para ese hacerse personas, para ese ir superándose y
mejorando, le resulta necesario y de gran utilidad el apoyo, la
ayuda, la orientación de sus semejantes ya desarrollados: la acción
sistemática perfectiva que es la educación.
Y la educación, como acción sistemática que es, se concreta en
los proyectos y programas. Pero, como hemos tenido ocasión de ana-
lizar, estos programas se caracteri,zan por su enorme complejidad
y por las dificultades que se deben superar para ir de las necesi-
dades, carencias y demandas a los resultados.
IB Volveremos sobre este tema en la segunda parte, al hablar de la evaluación

de necesidades.
Ante tal complejidad, y ante la dificultad para llevar a buen

puerto los programas, aparece la evaluación como una actividad
técnica capaz de ayudar al logro de los objetivos a la vez que de
mejorar técnicamente los programas para que, edición tras edi-
ción, sus resultados sean mejores a través de la optimización de
todos y cada uno de sus elementos.
Conviene insistir en esta doble perspectiva: la evaluación ayuda a conse-

guir los objetivos, pero también contribuye a la mejora técnica del pro-
grama para que sea más eficaz, eficiente y satisfactorio.
1.5.2. La mejora: una cuestión de actitud y de información
¿De dónde proviene esta virtualidad de la evaluación? ¿Cuál es

la razón de tan importantes aportaciones?
Dos son, a mi juicio, las razones que explican esta importante
contribución de la evaluación: una, de carácter técnico, concre-
tada en la información que aporta, y otra, de naturaleza actitudi-
nal, encarnada en la predisposición de las personas a implicarse
en sus actuaciones y en sus consecuencias.
1.5.2.1. La actitud
La condición básica para emprender mejoras consiste en asu-

mir que cualquier realidad, en nuestro caso el programa, por bien
realizada que esté, siempre podrá ser mejorada. Esta actitud, que
implica una notable carga de humildad y una disposición a asu-
mir responsabilidades, no siempre se da entre las personas: hay
quienes conviven sin problemas con la chapuza o quienes, una
vez alcanzado un mínimo, no sienten deseos ni necesidad de
superarlo.
Todavía puede darse una situación más negativa: la de quienes
suelen ver las cosas mal pero sitúan fuera de su ámbito de res-
ponsabilidades las causas de tal realidad: son los otros, o fuerzas
ajenas, como el azar o la casualidad, las causantes de lo que va
mal.
La actitud evaluadora no se corresponde con ninguna de las
dos situaciones anteriores: se valoran las realidades de modo rea-
lista, reconociendo que hay aspectos positivos o puntos fuertes

pero que también se encuentran puntos débiles, elementos mejo-
rables, áreas de mejora. Y se acepta que uno puede estar implica-
do, en mayor o menor medida, según el grado de responsabilidad
que le corresponda en la tarea, tanto en los aspectos positivos
como en los elementos susceptibles de mejora.
Poseer esta actitud de mejora, como cualquier actitud positi-
va, implica una predisposición favorable, predisposición que faci-
lita la implicación personal en cuantas acciones de mejora deri-
ven del proceso evaluador.
Como hemos señalado, esta actitud positiva, de superación,
enlaza con las necesidades del ser humano y con la esencia de los
actos educativos; como bien afirma García Hoz ( 1988: 226) "sólo
lo bien hecho educa", y propone un modelo de actuación al que
denomina Sistema de la Obra Bien Hecha, una obra que debe
cumplir los siguientes requisitos:
• Bien ideada
• Bien preparada
• Bien realizada
• Bien acabada
• Bien valorada
1.5.2.2. La información aportada
Pero la actitud por sí sola no basta. Con frecuencia, muchas

buenas intenciones terminan en nada o dan lugar a consecuen-
cias indeseables o poco eficaces. Y ello se debe a que no se cuen-
ta con los elementos necesarios para que esa positiva disposición
dé frutos también positivos.
Pues bien,justamente esta puede ser la gran aportación téc-
nica de la evaluación: proporcionar a quien corresponda, en
particular a quienes tienen responsabilidades en el programa, o
a quienes deben tomar decisiones a partir del mismo, la infor-
mación adecuada y suficiente para que estas sean eficaces. Y es
aquí donde aparecen las cuestiones técnicas que permiten, difi-
cultan o impiden disponer de una información de esta natura-
leza.
(
1.5.3. La información necesaria
Los iniciales modelos evaluativos se centraban en la constata-

ción del grado de eficacia de los programas, para lo cual se po-
nían en relación los objetivos formulados con los resultados
alcanzados.
Es evidente que una información de esta naturaleza resulta
útil para tomar decisiones como las de mantener o retirar el pro-
grama en función de sus niveles de eficacia. Si al plantear el pro-
grama se han establecido unos niveles de logro, la evaluación se
limita a establecer si tales niveles se han alcanzado o no, y ello en
general o para los diversos tipos de objetivos.
Aunque parezca lo contrario, este tipo de evaluación es difícil
y complejo ya que implica la selección de técnicas adecuadas, la
construcción de los instrumentos necesarios con la debida fiabili-
dad y validez; la recogida de la información, su tratamiento y aná-
lisis, y la elaboración de las oportunas conclusiones.
Sin embargo, esta dificultad se acrecienta notablemente cuan-
do de lo que se trata es de promover la mejora del programa y,
como consecuencia, la de sus resultados. Aquí no basta saber si se
alcanzaron o no los objetivos y en qué medida, sino que es preci-
so contar con información suficie nte como para tomar las deci-
siones pertinentes.
Pues bien: tal información recorre todos y cada uno de los
componentes del programa, desde las actuaciones tendentes a
identificar y delimitar las carencias y necesidades a las que pre-
tende dar la debida respuesta el programa hasta los resultados
alcanzados en los diversos tipos de objetivos, pasando por la for-
mulación y diseño del programa y su implantación e implemen-
tación, sin olvidar todos y cada uno de los elementos técnicos.
En primer lugar, no basta conocer el grado de logro de los
objetivos, sino que es preciso identificar esta información aten-
diendo a su tipología. En efecto: no es lo mismo que un progra-
ma sea ineficaz para objetivos de tipo cognoscitivo, cognitivo, acti-
tudinal o de comportamientos; las acciones precisas para modifi-
car la situación, para mejorarla, son muy diferentes, como muy
bien ha puesto de relieve Gagne al hablar de las condiciones del
aprendizaje y sus diversos tipos.
La naturaleza de las carencias e insuficiencias detectadas al
valorar la eficacia del programa nos sitúan ante procesos diferentes,
que bien podrían haber sido mal o inadecuadamente diseñados,

ejecutados o evaluados. Del mismo modo, bien podría ocurrir
que esos procesos, adecuada o inadecuadamente diseñados, eje-
cutados o evaluados, hayan contado o no con los medios y recur-
sos necesarios y suficientes, durante el tiempo necesario. Y que se
hayan llevado a cabo en ambientes favorables, indiferentes u hos-
tiles ...
Naturalmente, tales procesos responden a objetivos, traduc-
ción de unas necesidades, carencias, expectativas o demandas de
los destinatarios y de otras personas o grupos interesados. Este
proceso de transformación ha podido ser realizado de forma
correcta y adecuada o no.
Pues bien, cuando la meta de la evaluación es la mejora, toda
esta información es necesaria para que las decisiones que se
tomen puedan llegar a ser efectivas y eficaces. Ahora bien: esta
información puede haberse ido acumulando, mediante un pro-
ceso de documentación de las actuaciones, a la espera de una eva-
luación final , para incorporarlas al Informe realizado por los eva-
luadores, por lo general externos, o bien, irse llevando a cabo con
el fin de tomar sobre la marcha y a tiempo las decisiones precisas
para asegurar que los resultados sean los esperados. En este
segundo sentido, la evaluación se convierte en un medio excelen-
te para la mejora de los programas y de su eficacia final.
CAPÍTULO 2
EL OBJETO DE LA EVALUACIÓN: DE LA ~VALUACIÓN
DEL APRENDIZAJE A LA EVALUACION DEL
PROFESORADO, LOS PROGRAMAS Y LOS CENTROS
EDUCATIVOS
OBJETIVOS

capaz de:
• Conocer y justificar las implicaciones de la función forma-

tiva de la evaluación en la definición del objeto de evalua-
ción.
• Conocer y comprender la amplitud, naturaleza y caracte-

rísticas del objeto de evaluación pedagógica.
• Identificar y justificar los objetos fundamentales de la eva-

luación pedagógica: aprendizajes, enseñanza (programas)
centros y profesores/ responsables de los programas.
• Comprender e l sentido unitario y armónico de la evalua-

ción de los diferentes objetos a evaluar.
Resaltábamos en el capítulo anterior la evolución que se ha

producido en el concepto de evaluación, una evolución que se
ha concretado en un enriquecimiento del término, traducida en
la ampliación de los "objetos" a evaluar y de los sujetos evalua-
dores, de los momentos en que se debe dar la evaluación e ínti-
mamente ligado a ello, en la necesidad de que la evaluación
adquiera un carácter continuo frente a la discontinuidad habi-
tual. E indicábamos que tal enriquecimiento tiene como base
un cambio en las funciones, que se han ampliado desde la tradi-
cional, centrada en el control, a la radicalmente pedagógica de la
mejora, justamente una función en plena armonía y coherencia
con la acción educativa, que no es sino un proceso sistemático y
planificado al servicio de metas que se concretan en la forma-
ción integral de las personas.
Pues bien, analizaremos a continuación uno de tales elemen-
tos: en concreto, el correspondiente al objeto de la evaluación.
2.1. EL OBJETO A EVALUAR
En el campo educativo, y teniendo como trasfondo una

visión reductiva de la educación, limitada a la transmisión de
conocimientos, y un papel de claro protagonismo por parte del
profesorado, la evaluación se ha venido concretando en la cons-
tatación de los resultados alcanzados por los alumnos, esto es,
en su aprendizaje, a fin de tomar las oportunas decisiones en lo
relativo a la superación de las materias, promoción de curso y
titulaciones académicasl.
Sin embargo, esta concepción adolece de simplicidad y hasta
resulta un tanto contradictoria en algunos puntos. Veamos:
2. l. l. ¿Qué objetos evaluar?
Si admitimos que la evaluación es un mero aunque importan-

te instrumento, una herramienta al servicio de la realidad evalua-
1 Recordemos que, aunque hablemos generalmente de profesores y alumnos,
damos a estos términos una significación amplia, de forma que puedan aplicarse a
cualquier persona que está implicada en la implantación e implementación de un
programa y a sus destinatarios o beneficiarios.
EL OBJETO DE LA EVALUACIÓN 51
·da, deberemos hacer objeto de evaluación todos los objetivos edu-

cativos, y no sólo algunos de ellos.
En tal sentido, basta leer las formulaciones recogidas tanto en
los ordenamientos legales como en los proyectos educativos de las
organizaciones dedicadas a la educación para comprobar la
amplitud, riqueza y entidad de los objetivos asignados y asumidos.
Los objetivos, en efecto, abarcan conocimientos, sí, pero tam-
bién hábitos, destrezas, habilidades, estrategias ... , y trascienden
la dimensión intelectual del ser humano para incidir sobre todas
las demás: la afectiva o emocional, la social, la física, la estética o
la ética, y ello tomando como referencia el mundo del trabajo, el
de las relaciones humanas, el comportamiento cívico, el ocio ... y,
para los creyentes, el de la fe.
Pues bien, la necesaria armonía y coherencia entre educa-
ción y evaluación, exige, de entrada, que todos y cada uno de
estos objetivos educativos sean objeto de evaluación. No hacer-
lo así conduce a los educandos a pensar que aquellos que que-
dan fuera de la evaluación tienen una importancia secundaria,
debiendo concentrar su esfuerzo justamente en aquellos que
son objeto de evaluación.
La conclusión parece fácil: evítese este primer reduccionismo y asegúre-

se la máxima coherencia entre objetivos y evaluación.
2.1.2. ¿Sólo los alumnos?
Pero limitar la evaluación a la constatación de los niveles de

logro alcanzados por los alumnos nos sitúa, siquiera sea implíci-
tamente, en la posición de entender que su éxito o fracaso es una
realidad atribuible a ellos en exclusiva. En el fondo subyace una
explicación muy simple del éxito y del fracaso escolar, centrada
en los factores psicológicos, y en concreto y fundamentalmente
en los intelectivos: el alumno que fracasa es torpe o no quiere
esforzarse, y el que triunfa lo hace porque es inteligente y se
esfuerza al menos lo suficiente.
Este planteamiento equivale a mantener una posición ya muy
antigua, como la defendida por Breed (1922) en el primer cuar-
to del pasado siglo, según la cual la inteligencia es el factor prin-
cipal, muy por encima de los demás, entre los que explican el ren-
(
dimiento educativo. Por ello, y en la medida en que la inteligen-
cia no es fácilmente modificable a corto plazo2, lo importante
sería centrar la evaluación en el alumno en cuanto aprendiz, en
definitiva, en su rendimiento académico.
Pero si de una explicación simplista del rendimiento pasamos
a otras más complejas, como aquellas que ponen de relieve el
papel condicionante de los grupos -familia, amigos, sociedad,
clase social. .. - el de Jos medios de comunicación, información y
distracción, y, desde luego, las que reconocen al propio profeso-
rado y sus intervenciones niveles de eficacia más o menos eleva-
dos, parece que se debe concluir la implicación de todos estos fac-
tores y la necesidad de mejorarlos como un medio que, indirec-
tamente, contribuye, y lo puede hacer con notable eficacia, a faci-
litar el éxito de los alumnos. De ahí a reconocer la necesidad de
evaluar nuevos objetos -programas, materiales, ambientes, orga-
nización ... - sólo hay un paso.
2.1.3. Y una contradicción ...
No parece coherente conceder al profesorado un papel des-

tacado, de claro protagonismo en los sistemas educativos, y que
éste no asuma las correspondientes responsabilidades.
Si los profesores, al igual que cualesquiera otros profesionales
responsables de programas, juegan un importante papel, cabe
pensar que lo pueden ejercer con corrección, eficacia, ilusión,
competencia ... , en grados más o menos elevados. Lo contrario
equivaldría a dar por hecho que su actuación, técnica y profesio-
nal, se desarrolla con tal perfección que en modo alguno es nece-
sario someterla a evaluación porque no se van a encontrar aspec-
tos susceptibles de mejora3.
2 Hay programas específicos qu e parecen ser eficaces tras actuaciones sistemá-

úcas prolongadas, tales como el Proyecto Inteligencia, de la Universidad de Harvard, o
el Prograrna de Enriquecirniento Instrumental, debido a Reuven Feuerstein .
3 Sin embargo, aunque de forma explícita no conozco a nadie que se atreva a
mantener esta postura, en la prácúca son muchos los comportamientos compatibles
con ella.
Es más, y en este punto la afirmación se puede hacer extensiva a los alumnos:
es frecuente que las personas asignemos las responsabilidades a los demás, sin asu-
mir las nuestras (estamos ante el denominado "locus de control externo"). Así lo pudo
Cabe, en definitiva, pensar que el desempeño de su tarea
pueda ser objeto de evaluación y no tanto para ser calificado o
valorado -positiva o negativamente- sino para disponer de la
información precisa que le permita mejorar profesionalmente y,
de este modo, contribuir a la mejora de sus alumnos.
En efecto: una explicación más compleja del rendimiento
-éxito y fracaso- nos hará ver que, incluso en el marco de los fac-
tores psicológicos4, el profesor puede intervenir con eficacia for-
taleciendo la voluntad de sus alumnos y despertando la motiva-
ción, bien a través de técnicas y metodologías, bien por medio de
un trato personalizado, bien estimulando y facilitando el éxito en
pequeñas tareas adecuadas a la situación y al alcance de sus posi-
bilidades ... 5
2.2. AMPLLACIÓN DEL OBJETO DE EVALUACIÓN
Acabamos de mantener que la evaluación debe ir más allá de

su tradicional objeto de atención: el aprendizaje de los alumnos.
Nuestro planteamiento incluye todo tipo de objetivos educativos
y reconoce la necesidad de hacerlo extensivo a una serie de fac-
tores condicionantes de tales aprendizajes, desde la sociedad al
profesorado y las familias, en la medida que en ellos pueden
encontrarse causas del fracaso escolar o, al menos, elementos
relacionados en mayor o menor grado con el mismo.
constatar el autor en una investigación realizada con alumnos y profeso res de la

UNED. Mientras aquellos asignaban las causas del fracaso a la dificultad de los tex-
tos, a la falta de atención del profesorado y al elevado nivel de exigencia en las
pruebas, los profesores lo hacían a la carencia de base, a las limitaciones en técni-
cas de estudio y trabajo y a la falta de suficiente esfuerzo y estudio por parte del
alumnado. Pocos eran, en uno y otro bando, los que asumían su cuota de respon-
sabilidad.
4 El profesor Mariano Yela indicaba que el rendimiento de los alumnos se expli-
caba en función de tres amplios factores: según puede, esto es, en función de sus apti-
tudes; según sabe, o lo que es lo mismo, atendiendo a sus conocimientos básicos y téc-
nicas de estudio y trabajo intelectual; y según quiere, destacando el importante papel
de los intereses y de la motivación.
5 Y qué duda cabe de que es el profesor el qu e puede detectar-e intentar corre-
gir- las carencias en conocimientos básicos, y el que debe formar a su alumnado en
las técnicas específicas para el estudio de su materia.
2.2.1. El profesorado como objeto de evaluación
En nuestra exposición se ha hecho una especial referencia al

profesorado, factor esencial en todo planteamiento educativo.
Los dos grandes factores de una educación de calidad son per-
sonales: los alumnos y los profesores. Aquellos, porque son la
razón misma de la educación, de todo el sistema diseñado a su
servicio, y sin su implicación y colaboración nada es posible; estos,
porque están encargados por el cuerpo social, a través de su capa-
citación y su hacer profesional, de contribuir decisivamente a la
formación de aquellos.
Hace ya algún tiempo, con motivo del JI Encuentro
Internacional sobre Educación Superior a Distancia (Tucumán,
Argentina), tuve la ocasión de manifestar que
... cualquier reforma o innovación educativa, triunfa o fracasa según
que logre o no ser asumida por el profesorado. Sin menospreciar
otros elementos, algunos tan fundamentales como los recursos eco-
nómicos, las reformas o innovaciones son, de hecho, lo que sea el
profesorado encargado de llevarlas a cabo. (Pérezjuste, 1986: 29)
Pues bien: el talante del profesorado, la ilusión con la que se

enfrenta a la tarea, su capacitación científica y técnica, sus habili-
dades para el trato y la relación con los demás, para el trabajo en
equipo, su capacidad de empatía, sus percepciones, sus propios
problemas personales y profesionales ... configuran una realidad
personal compleja que entra en relación con los demás profeso-
res, con las familias y con los educandos, e incide necesariamen-
te en los resultados de estos.
Dejar de lado esta importante realidad puede suponer una
temeridad; cuando menos, se debería ser consciente de que
tomarla en consideración puede contribuir, a través de su co-
nocimiento, a su mejora y, de ahí, a la mejora de los propios edu-
candos. El profesorado, pues, debe ser objeto de evaluación.
2.2.2. La evaluación de programas
Pero junto a esta importante dimensión humana, los profesores

son los encargados de llevar a cen.tros y aulas los grandes principios
de los sistemas educativos, convirtiéndolos en Proyectos (educativos y
curriculares) y en programas, además de contribuir con su presencia

y su actividad a hacer de los centros unos ámbitos especialmente
relevantes para el logro de los objetivos educativos.
Los profesores seleccionan, organizan y estructuran los con-
tenidos, les dan una determinada orientación a través de los obje-
tivos, diseñan actividades, enseñan, motivan, evalúan ... , en defi-
nitiva: diseñan los prog;amas en que se concreta su intervención
en las aulas y centro .
Un programa es un documento técnico, elaborado por el prcr
fesorado, en el que quedan reflejados tanto sus planteamientos
docentes cuanto sus propias intenciones y metas educativas. El prcr
grama es la integración de los objetivos educativos, a lograr a través
de determinados contenidos, con un plan de acción a su servicio,
plan en el que incluimos la evaluación de carácter formativo como
n medio más, en sintonía y armonía con todos los demás.
No parece que tenga demasiado sentido desligar la evaluación
del aprendizaje -tradicional objeto de evaluación- de la corres-
pondiente a la enseñanza, siendo, como son, dos caras de una
misma moneda, si entendemos que ésta sólo cobra sentido en
aquélla, esto es, si admitimos que no se da verdadera enseñanza
si no se plasma en el correspondiente aprendizaje.
En consecuencia, y al margen de la investigación evaluativa,
con otras finalidades como objeto, cabe perfectamente integrar
de modo armónico la evaluación de programas con la evaluación
del aprendizaje de los alumnos. Con ella no sólo se mejorará el
aprendizaje del alumno sino el programa del profesor y la propia
actividad profesional de éste.
2.2.3. La evaluación de centros educativos
Pero la explicación del rendimiento de los alumnos como el

fruto de su trabajo y esfuerzo ante las propuestas educativas de los
profesores es en exceso simplista, como ya hemos reseñado. En
efecto: sin dejar de lado que esa relación privilegiada puede ser,
es de hecho, un elemento fundamental para explicar lo que
aprenden los alumnos, la investigación ha puesto de relieve una
realidad mucho más compleja.
Sin pretender en modo alguno una presentación mínimamente
detallada de los resultados de la investigación sobre eficacia escolar,
sí sei'ialaremos, a continuación, algunos elementos que n'os permi-

tan tomar conciencia de la complejidad del fenómeno. Para ello,
recogemos a continuación algunos de los resultados de la investiga-
ción ligada a la línea conocida como de "las escuelas eficaces"6.
Uno de los principales trabajos es la síntesis debida a Edmons
( 1982), según la cual este tipo de escuelas:
Cuentan con un liderazgo fuerte.

Configuran un clima de expectativas incompatible con el fracaso.
Logran un clima o ambiente del centro ordenado sin ser rígido.
Ordenan su actividad a la consecución de las destrezas y habilida-
des básicas.
Disponen de un sistema de evaluación constante y regular de los
progresos de los alumnos.
Una mínima reflexión sobre los aspectos anteriores pone de

relieve la implicación de una serie de variables que trascienden
con mucho los factores ligados al alumno e, incluso, a la relación
entre profesores y alumnos.
En efecto: aspectos como el "clima escolar"? o el "clima de
expectativas incompatibles con el fracaso" representan la necesidad
de que el profesorado como grupo participe de una determinada
filosofía; la ordenación de la actividad en pro de determinadas des-
trezas y habilidades implica una necesidad de acuerdo y hasta de tra-
bajo cooperativo, al igual que la existencia de ese sistema de evalua-
ción; por otra parte, la importancia concedida al liderazgo tiene que
ver con el papel armonizador, unificador, de las acciones del perso-
nal al servicio de un proyecto común, que trasciende e integra los
programas de cada materia, de cada profesor. En definitiva: el cen-
tro escolar y, cabe pensar, cualquier organización de naturaleza simi-
lar comprometida en acciones educativas, con lo que comporta de
unidad al servicio de un proyecto es, como la lógica pide, una reali-
dad implicada en los resultados de sus alumnos y, por tanto, debe-
ría ser objeto de evaluación, una evaluación orientada principal-
6 Nos apoyamos, en especial , en la aportación de A. Fuentes, Procesos funciona-

les y eficacia de la Escuela. Un modelo causal, tesis defendida en la Universidad
Complutense en 1986.
7 Personalmente prefiero el término "ambiente" por considerarlo más adecua-
do cuando nos referimos a organizaciones e instituciones educativas.
mente a su mejora, aunque, como hemos señalado reiteradamente,

quepan evaluaciones con funciones diferentes.
En línea con la aportación de Edmons, Purkey y Smith publi-
caron en 1983 su retrato de una escuela eficaz, diferenciando
entre las variables de Ja organización y las de proceso. He aquí los
puntos fundamentales:
l. VARIABLES DE ORGAN IZACIÓN-ESTRUCTURA
• Autonomía de la dirección.
• Liderazgo institucional.
• Estabilidad del personal docente.
• Currículo ordenado y articulado hacia objetivos claros y concretos.
• Desarrollo y perfeccionamiento del profesorado.
• Implicación familiar.
• Reconocimiento del éxito académico.
• Aprovechamiento máximo del tiempo.
• Apoyo de las autoridades.
2. VARIABLES DE PROCESO
• Planificación compartida y trabajo cooperativo.

• Sentido de comunidad
• Objetivos claros y expectativas elevadas. Evaluación constante de
los progresos.
• Orden y disciplina: reglas claras, razonables y aplicadas de modo
consistente.
Por su parte, Mackenzie publicó, también en 1983, un trabajo

en el que se recogían las dimensiones de una escuela eficaz.
Reseñamos a continuación tales dimensiones y algunos de sus com-
ponentes:
l. DIMENSIONES DE LIDERAZGO
Entre sus elementos se encuentran: el clima positivo y las acti-

vidades orientadas hacia objetivos claros y alcanzables.
A su servicio, el consenso de los profesores sobre los valores y

objetivos que deben informar la vida del centro, la planificación
y coordinación y la estabilidad del personal clave.
2. DIMENSIONES DE EFICACIA
Entre sus elementos cabe destacar: las elevadas expectativas

de rendimiento, el reconocimiento del éxito académico, la ftja-
ción de niveles adecuados de dificultad para la tarea o la empatía
en las relaciones entre profesores y estudiantes.
A su servicio: la importancia concedida al trabajo en casa y las
estrategias para evitar la repetición de cursos.
3. DIMENSIONES DE EFICIENCIA
Se identificaron los siguientes elementos: utilización eficaz

del tiempo, diagnóstico y evaluación continuas o énfasis en el
logro de habilidades básicas.
A su servicio, el ofrecimiento de diversidad de oportunidades
para aprender y la posibilidad de realizar trabajo individualizado.
Como se puede apreciar, además de una notable sintonía con
la aportación de Edmons, hay algunas otras más elaboradas, pero
que vienen a coincidir en esa implicación del centro educativo
como unidad en el éxito de sus alumnos.
Entre las aportaciones nuevas, tal vez convenga resaltar Ja refe-
rencia a la implicación familiar y al respaldo institucional, así como
ciertos factores ligados al propio personal, donde es de destacar el
valor que se concede a su formación y a la estabilidad.
Concluiremos este punto reseñando una importante aporta-
ción, posterior a las anteriores y que se ha beneficiado de sus con-
clusiones. Nos referimos a la propuesta integral debida a Scheerens
(1992) y que se concreta en el cuadro 1, en el que los factores o
variables aparecen organizados en una red de relaciones.
Por último, haremos referencia a la aportación de Reynolds y
colaboradores, dada a conocer en nuestro país en 1997, en la que
se recoge la importancia de la buena gestión del aula, el adecua-
do sistema de recompensas, la oportunidad de asumir responsa-
bilidades o el liderazgo de la dirección.
CUADRO l. Modelo integral de eficacia de un centro educativo
(Scheerens, 1992: 66).
CONTEXTO
• Estímulos al logro de los niveles elevados de la administración
• Desarrollo de la demanda educativa
• Ca-variables: tamaño de la escuela, composición del grupo,
tipo de escuela
i
ENTRADAS PROCESOS RESULTADOS
Experiencia de Nive l de centro Logros de los

los profesores estud iantes,
Gasto por Política orientada en relación con:
alumno al logro. • Su nivel previo
Apoyo de los Liderazgo educativo • Inteligencia
padres Consenso y p_l ~nificación • Nivel socio-
en co~erac10n por económico
tarte el profesorado.
alidad del currículo
(contenidos ·~
1 - y estructura formal).
Ambiente tranquilo
¡
Nivel de aula
Tiempo dedicado a la
tarea, incluido
el de casa.
Enseñanza estructurada
Oportunidades para
Atrender
tas expectativas en
relación con e l
~roRres?, del alumnado
va uac10n y control
del progreso de los
alumnos
Refuerzo
Podemos concluir, pues, afirmando que los resultados de los

alumnos son fruto, desde luego, de una serie de factores de su
propia personalidad, y de la acción específica de sus profesores,
tanto humana como académica y pedagógicamente, pero, tam-
bién, de un conjunto más complejo de factores que incluso pue-
den ir más allá de la propia institución educativa.
En estas condiciones, ¿tiene sentido limitar la evaluación a los
aprendizajes de los alumnos o, incluso, a los profesores y su acti-
vidad técnica, concretada en los programas? La pregunta parece
ociosa si Ja función primordial de Ja evaluación la situamos en la
mejora, dado que aquello que no sometamos a evaluación no
podrá beneficiarse de las decisiones de mejora derivadas de la
información recogida y valorada.
Aunque los centros educativos, al igual que los programas,
pueden ser objeto de evaluación desde muy diversas perspectivas
y al servicio de metas diversas, no cabe duda de que tales organi-
zaciones pueden ser entendidas como un conjunto armónico de
medios al servicio de un "gran programa'', en concreto del
Proyecto educativo y, por ello, un objeto de evaluación.
El Proyecto educativo, en efecto, se concreta en los Proyectos
curriculares, en los programas de los profesores, en los sistemas
de disciplina y convivencia, en los planes de mejora ... y, si las
actuaciones están bien concebidas, todas ellas se ponen al servi-
cio de una gran meta: la formación integral de las personas de
todos y cada uno de los educandos.
Así las cosas, se aprecia con toda claridad cómo la evaluación
de centros educativos puede ser considerada como un elemento
integrador de la evaluación, que acoge en su marco la evaluación
de los programas y de los aprendizajes.
Sin embargo, forzoso es hacer notar que, a partir de las consi-
deraciones anteriores, se plantean una serie de problemas que
deben ser objeto de atención por los propios profesores, por los
claustros y, desde luego, por los responsables de los sistemas educa-
tivos, sin dejar de lado a la Universidad en cuanto institución encar-
gada de liderar las actuaciones educativas al servicio de la calidad.
Entre tales problemas bien podríamos destacar los dos siguientes:
La necesidad de una formación básica de los docentes en

esta importante tarea, para que sean capaces de llevarla a
cabo con la necesaria calidad.
La elaboración de modelos factibles, sencillos y asequibles,

que no disuadan al profesorado de su aplicación y que no
les distraigan de su fundamental función: la educación de
sus alumnos.
En efecto, volviendo a lo dicho al inicio, la evaluación es una

herramienta, un instrumento, importante, sí, pero nada más. No
puede ocurrir que la dedicación a la evaluación impida o limite
la atención en el trabajo y la tarea fundamental de todo educa-
dor, que no es sino la de facilitar y estimular la formación integral
de las personas con las que trabaja. Y, para ello, el tiempo y la
dedicación a la evaluación deben ser los justos, pero nada más.
2.3. EL PROGRAMA COMO OBJETO DE EVALUACIÓN
Aunque este punto será objeto de especial atenoon en el

marco de la segunda parte, sí conviene dejar constancia aquí, a
los efectos de entender lo que sigue, de algunas ideas funda-
mentales.
La primera y fundamental tiene que ver con la concepción
del programa como plan de acción, algo mucho más profundo que
su consideración como una relación o enumeración de temas de
aprendizaje o de actividades a llevar a cabos. El programa integra
tales temas y actividades, pero, además, les da un sentido a través
de los objetivos que se pretenden alcanzar, e incorpora unos
medios a su servicio, entre los que se encontrarán las actividades
y los recursos y, además, algún sistema de evaluación, destinado,
al menos9, a comprobar si el programa se llevó a cabo como esta-
ba previsto o, en caso contrario, qué razones lo impidieron, y a
valorar sus niveles de logro.
La segunda, es que un programa nace como respuesta a unas
demandas, necesidades, carencias o expectativas de determina-
dos grupos, bien por su propia iniciativa, bien por el interés y la
preocupación de otros grupos con responsabilidad sobre aque-
8 Piénsese en el Programa de fiestas de una localidad, en un Programa de ac·

tividades de una residencia de ancianos o en e l programa de un concierto de
música.
9 Decimos "al menos" porque la evaluación puede servir, y debería se1-vir, al
logro de los objetivos.
llos. En el primer caso, nos encontramos ante programas diseña-

dos porque ciertos colectivos acuden a los responsables educati-
vos, de salud, políticos, empresariales, económicos ... para satisfa-
cer sus necesidades; en el segundo, son tales responsables los que
aprecian carencias que, bien para satisfacer sus propios intereses,
bien para cumplir sus obligaciones en relación con el bienestar
social, deben ofrecer una respuesta adecuada. El programa, por
tanto, responde-ora a demandas expresas para responder a las
propias necesidades percibidas, ora a carencias convertidas en
necesidades por responsables de la comunidad.
La tercera cuestión tiene que ver con la complejidad de los
programas así concebidos. Desde que se plantea una demanda
hasta que se satisface, pasa mucho tiempo, intervienen muchas
instancias, se implican muchas personas ... y todo ello al servicio
de metas de notable complejidad y larga duración.
Por ello, entre otras razones, es preciso incorporar a los pro-
gramas su propia evaluación, primero para saber qué se logra,
pero, además, para identificar las razones y aspectos en que no se
logran las metas y, todavía de mayor importancia, para ayudar a
lograr los objetivos previstos. De todo esto se hablará en capítu-
los sucesivos.
CAPÍTULO 3
INFORMACIÓN:
TÉCNICAS E INSTRUMENTOS
OBJETIVOS

capaz de:
• Ubicar la recogida de datos/ información en el concepto

de evaluación.
• Comprender la necesidad de armonía y coherencia entre

los objetivos a los que sirve el programa y la información a
recoger para su evaluación.
• Justificar la necesidad de evaluar la calidad de los objetivos

e identificar las fuentes relevantes de información.
• Caracterizar los objetivos educativos: su complejidad y diver-

sidad, y sus implicaciones para la información a recoger.
• Conocer las principales técnicas para la recogida de infor-

mación, y comprender y apreciar su adecuación a los dife-
rentes objetivos y objetos de evaluación.
Nuestro concepto de evaluación, recogido en el cuadro 1 del

primer capítulo, distingue tres grandes aspectos, claramente rela-
cionados, dentro del denominado núcleo de la evaluación, en con-
creto los siguientes: recogida de información, valoración, acudiendo
a criterios y referencias, y toma de decisiones orientadas a la mejora.
Pues bien, el objeto de estudio y análisis de este tercer capítu-
lo no es sino esa información, soporte clave de cualquier proceso
evaluador.
\
3.1. INFORMACIÓN Y DATOS EN EL MARCO DE LA EVALUACIÓN
Hemos manifestado que, dado el carácter instrumental de la eva-

luación, este momento nuclear debe valorarse en relación con el pri-
mero de los momentos, previo a la evaluación y diferente de ella, en
el que aparecen los objetivos como elemento rector y directriz de los
procesos educativos y, por lo mismo, de la evaluación a su servicio.
La armonía y la coherencia entre objetivos educativos y sistema de
evaluación se convierten así en el criterio básico de la calidad de la
evaluación, algo que debe ser tenido siempre en mente tañto al di-
señar programas como al implantarlos, implementarlos y evaluarlos.
Ahora bien: podemos contar con un buen sistema de evalua-
ción, por coherente y armónico con los objetivos del programa,
pero con un mal programa porque sus objetivos carecen de calidad,
bien sea por inadecuados o insuficientes, bien por no resultar edu-
cativos o por no ser adecuados a las características del objeto del
programa, bien por no responder a las necesidades o demandas de
sus destinatarios. Este hecho nos obliga a someter a análisis no ya la
naturaleza de los objetivos sino su propia calidad.
3. l. l. Calidad de los objetivos
No siempre se ha dado una preocupación por los objetivos de

los programas a la hora de proceder a su evaluación. De hecho,
muchos de los modelos evaluativos se han centrado en compro-
bar la eficacia de los programas, esto es, en el grado de logro de
los objetivos, sin plantearse su análisis y evaluación. Algo similar
ha ocurrido con modelos evaluativos que ponen en relación los
procesos educativos y sus resultados o productos.
Una de las personas que se han tomado interés por los pro-
INFORMACIÓN: TÉCNICAS E INSTRUMENTOS 65
piós objetivos de los programas como objeto de evaluación es
Michael Scriven (1967), al que se deben importantes aportacio-
nes, entre las que cabe destacar su diferenciación entre evalua-
ción formativa y sumativa.
Scriven hace notar que los objetivos de los programas pudieran
ser desde inmorales a poco realistas, pasando por innecesarios o
inadecuados. En consecuencia, se considera necesario someter a
evaluación no sólo los procesos y los resultados sino los propios
objetivos a cuyo servicio se diseñan los programas.
A la valoración de la calidad de los objetivos nos referiremos
en el siguiente capítulo, al hablar de los criterios, pero ahora
debemos analizar las fuentes a las que podemos acudir para la
pertinente recogida de información. Dos son las fuentes princi-
pales: los expertos y los destinatarios.
Todo programa tiene su propio objeto; hay programas de edu-
cación vial, de educación para la salud, para la no discriminación
entre sexos, para el desarrollo de la inteligencia, para la anima-
ción a la lectura, para la prevención de drogodependencias, para
el desarrollo emocional. ..
Pues bien, el análisis de la calidad de los objetivos del progra-
ma puede ser realizado por personas expertas en el ámbito espe-
cífico del programa. Son estas personas las que pueden apreciar
el grado en que el programa responde a las exigencias de ese
ámbito o si, por el contrario, estamos ante programas que no
cumplen los requisitos correspondientes.
Pero los expertos también pueden manifestarse sobre otra
importante cuestión: los objetivos no sólo deben ser de calidad,
esto es, importantes, relevantes, sino que deben estar bien for-
mulados tanto desde la perspectiva de quienes han de aplicar el
programa como de quienes serán ~us destinatarios. Es más, cabe
pensar en la necesidad de una correcta formulación desde el
punto de vista de los evaluadores ya que será difícil afrontar una
valuación de un programa en el que quienes deben proceder a
la tarea no encuentren en los objetivos la información necesaria.
Pero los objetivos también pueden ser analizados por los pro-
pios interesados, sean los destinatarios directos del programa
sean los beneficiarios indirectos del mismo.
Y es que los programas deben responder a las necesidades,
demandas, carencias o expectativas de los colectivos a los que se
destina, o de grupos sociales determinados. En efecto, en ocasio-
nes los destinatarios directos no son conscientes de sus carencias

o, siéndolo, no consideran necesario superarlas por no conce-
derles valor o importancial.
En tales situaciones es preciso, tras su identificación, crear la
inquietud y la necesidad para que se puedan interesar por el pro-
grama y hasta estén dispuestos a implicarse en el mismo para
beneficiarse de él.
Por otro lado, determinados colectivos sociales más o menos
amplios se verán beneficiados por el éxito de ciertos programas
destinados a miembros de tales grupos. Pensemos en las familias,
interesadas en la prevención de drogodependencias como medio
de protección de sus hijos; en los ayuntamientos, preocupados
por la f~mación profesional de sus desocupados; en la sociedad,
concienciada de Ja necesidad de recuperación emocional de las
personas maltratadas o sometidas a abusos ...
Pues bien, tanto las personas destinatarias directas de los pro-
gramas como los colectivos aludidos pueden manifestarse en rela-
ción con los objetivos. No olvidemos que, aunque puedan care-
cer, como ocurre de hecho, de Ja formación de los expertos, no
se pondrán a la tarea exigida por el programa si, desde su per-
cepción, no les resultan de interés y utilidad.
3.1.2. Diversidad y complejidad de los objetivos de los programas

educativos
Los objetivos que guían los programas educativos en sus diver-

sas modalidades se suelen caracterizar, entre otras, por dos impor-
tantes notas: su gran diversidad y su elevada complejidad. Ambas
notas merecen una consideración a la hora de plantearse la reco-
gida de información en torno a los mismos.
Los programas educativos se refieren a las personas, sea en su
dimensión estrictamente individual, sea en su vertiente social,
pero tanto en una como en otra situación, la persona siempre se
encuentra detrás como unidad.
Los objetivos pueden ser cognoscitivos, cognitivos, afectivos;
pueden plantearse el logro de hábitos, el mantenimiento de acti-
I Pensemos en programas deslinaclos a niños pequeños, o a personas con limi-

taciones intelectuales o emocionales ...
túdes, el cultivo de valores, el desarrollo de habilidades, destrezas

o estrategias; pueden estar destinados a prevenir, a promover o a
remover comportamientos ... Pero en todas estas situaciones al
final siempre hay una persona, un ser humano, que se enfrenta al
programa con todo su ser: con sus prejuicios, sus carencias, su
nivel de formación, sus aptitudes, sus afectos, sus problemas emo-
cionales ...
Y si bien el programa puede tener unos objetivos muy con-
cretos y específicos, no debería olvidarse la interrelación, y, por
tanto, la influencia mutua, entre las dimensiones intelectivas,
afectivas, éticas y sociales de los seres humanos2.
Por tanto, desde el punto de vista de la información a recoger,
conviene tener siempre presente la naturaleza específica de los
objetivos del programa y, junto a ello, los elementos implicados
en su logro.
Junto a la diversidad, la complejidad. Pocas metas son más difí-
ciles de alcanzar y de lograr evidencias sobre su logro, que las
relativas a la formación de los seres humanos.
En efecto: ya hemos puesto de relieve la interrelación entre
todas las dimensiones del ser humano que se ven implicadas en
el logro de los objetivos3. Añadamos a ello la propia compleji-
dad de la mayoría de tales objetivos, a los que el evaluador no
puede llegar directamente por tratarse de procesos internos, de
los que únicamente llega a tener como evidencias ciertas mani-
festacion es externas.
Con todo, lo que nos interesa aquí y ahora es dejar constan-
cia de que, a diversidad de objetivos, diversidad de técnicas e ins-
trumentos para su evaluación. Cuando en la evaluación de pro-
gramas se opta por una determinada técnica o instrumento,
debemos estar seguros de que es la adecuada y suficiente para
ofrecernos la información que necesitamos. Si no fuera así, ade-
más de carecer de datos para pronunciarnos podemos estar
2 Recientemente, un amplio número de aspirantes a la Escue la de Negocios d e

Harvard ha sido excluido d e la misma por haber mantenido conductas é ticamente
reprobabl es, según su decano, consistentes en intentar conocer el proceso de su
admisión mediante un procedimiento pirata a través d e Internet.
3 Un objetivo d el ámbito intelectual, como aprender a re lacionar conocimien-
tos, se ve afectado por la motivación de qui e n debe lograrlo, por su autoestima, por
las circunstancias familiares, por la confianza en sí mismo, por los conocimientos
previos que le sirven de base ...
cometiendo un error mucho más grave: orientar el trabajo y la

actividad de los destinatarios del programa hacia el tipo de acti-
vidad que se somete a evaluación, dejando de lado o menospre-
ciando otro tipo de actividad tal vez más importante, necesaria
para el logro de otros objetivos del programa.
Esta afirmación resulta de especial importancia en los casos
en que los programas tienen determinadas repercusiones para
sus destinatarios. Así, cuando del logro de los objetivos se derivan
determinadas consecuencias positivas, los destinatarios del pro-
grama orientarán su esfuerzo en la dirección marcada por la eva-
luación; en consecuencia, si las técnicas e instrumentos priman
un tipo ~actividad y objetivos en detrimento de otros, los desti-
natarios puede que logren sus metas personales pero el programa
puede que fracase en sus objetivos iniciales.
De nuevo vale la pena dejar clara constancia de la imprescin-
dible necesidad de armonía y coherencia entre los objetivos del pro-
grama y la información que se 'recoge para ser valorada.
3.1.3. De los objetivos a la información
Pasar de los objetivos del programa a la información que nos

da cuenta de aspectos como su calidad, implementación o niveles
de logro no es una tarea fácil sino todo lo contrario, pero en ella
se juega gran parte de la valía y de la utilidad de la evaluación del
programa.
El problema fundamental se refiere a la calidad de dicha
información, algo que tradicionalmente se ha traducido por su
fiabilidad y por su validez, características a las que vengo añadien-
do la de su valía:!.
Hay ocasiones en que la naturaleza de los objetivos de los pro-
gramas no plantea ninguna dificultad en este punto. En efecto,
objetivos tales como reducir a la mitad el consumo diario de tabaco
4 Si la validez. nos informa de que lo que se mide es lo que se <lesa medir -hay
tests que quieren medir inteligencia y están midiendo rendimiento académico-, la
valía la defino en términos de que la información ofrecida por el instrume nto
correspondiente sea valiosa para quienes deben tomar las decisiones pertinentes. En
ocasiones, tal información es tan amplia y genérica que termina por no facilitar unas
decisiones ajustadas.
durante el periodo de un mes, aparte de ser una formulación precisa
es fácilmente constatable.
Sin embargo, muchos objetivos son intrínsecamente comple-
jos y sólo podemos alcanzar evidencias indirectas. Piense el lector
en objetivos tales como:
Redactar con corrección morfológica y sintáctica.

Trabajar en equipo.
Tener hábitos saludables
Respetar la Naturaleza
Mantener una dieta equilibrada ...
Algunos de tales objetivos necesitarán precisiones para evitar

que , en función del evaluador, se pueda otorgar valoraciones
diferentes. En otros casos es difícil contar con información en la
medida en que su logro ocurre fuera de la presencia del evalua-
dor, por lo que es preciso contar con personas que ofrezcan tal
información o aceptar las respuestas que den los propios
destinatarios del programa. Otros, por fin , implican necesaria-
mente especificar en qué consisten: mantener una dieta equilibra-
da exige definir cuál es esa dieta y contar con información ade-
cuada.
La definición clara y precisa de las manifestaciones que se
tomarán como evidencia del logro de los objetivos es una tarea
fundamental de la evaluación que contribuye tanto a la validez
como a la fiabilidad de la información. Conseguir que, además, la
información no sea genérica sino lo suficientemente matizada y
específica como para facilitar después la toma de decisiones de
mejora, es propio de una información valiosa.
3.1.4. Planificación de la recogida de información
Queda claro que, en el proceso de evaluación de programas,

la información se constituye en el fundamento y el soporte de una
buena evaluación. De hecho, la evaluación nunca podrá ser
mejor que la información en que se fundamente.
Pero, además de los problemas anteriores, debemos atender a
olra cuestión de gran relieve e importancia. Se trata de la planifi-
cación de su recogida, aspecto este que, como veremos, forma
parte de la primera etapa o momento del proceso evaluativo.

Las características de la evaluación pueden aconsejar una reco-
gida de información en un único momento o en momentos
diferentes, y ello bien para disponer de información especifica
de cada momento, bien para complementar y contrastar la
información recogida.
Por otra parte, es necesario establecer con el debido cuidado
otra serie de aspectos de interés, entre los que conviene destacar
los siguientes:
• Quién la recogerá.
• Cuándo lo hará: en qué momentos.
• Con qué técnicas e instrumentos.
• Cómo se registrará la información.
• Qué tipo de análisis se llevarán a cabo.
Todos estos aspectos contribuyen a que la información sea fia-

ble, válida y valiosa, del mismo modo que las carencias o limita-
ciones en ellas lo hacen en sentido contrario.
3.2. TÉCNICAS PARA LA RECO GIDA DE INFORMACIÓN
La información, esto es, los datos para la evaluación, no suele

estar en algún lugar esperando a ser recogida sino que es preciso
captarla, construirla o producirla. Esta afirmación puede hacerse
incluso en el caso de que existan datos disponibles, a los que nos
referiremos en la tercera parte, dado que, en tales situaciones,
será preciso identificarla, extraerla y registrarla, cuando no cons-
truirla. Como afirma Bunge (1979: 743):
pese a la etimología de la palabra "dato" , no son nada dado, sino que

hay que producirlos, y muchas veces laboriosamente.
Es verdad que, en algunas ocasiones, los datos son realidades

físicas de fácil acceso, como cuando se trata de comprobar si,
como fruto de un programa de estímulo a la lectura, ha aumen-
tado el número de libros en las casas de los destinatarios del
programa. Pero en la mayoría de las ocasiones, y, sobre todo,
con los objetivos de mayor entidad, las cosas son como afirma
Bunge.
La captación, construcción o producción de datos implica

por lo general acudir a determinadas técnicas, diferentes en
función de la naturaleza de aquellos. Las técnicas permiten
medir, cuantificar o categorizar la información extraída de -o
aportada por- diversas fuentes productoras, tales como los usua-
rios, e l personal del propio programa u otras partes interesadas
o afectadas.
Así, podemos extraer información de documentos, elaborar la
información procedente de los responsables de un programa, de
los destinatarios del mismo, de familiares de los destinatarios, de
beneficiarios de la formación de los destinatarios ... y para ello
habremos de utilizar las técnicas adecuadas.
Sin perjuicio de un estudio más detallado de las diversas téc-
nicas, a las que dedicamos la tercera parte de esta monografía,
haremos aquí una aproximación que nos permita alcanzar una
primera visión, sumaria y sintética, del tema que nos ocupa.
3.2.1. Técnicas de observación
La información para la evaluación puede obtenerse en oca-

siones prestando atención a hechos o comportamientos que ocu-
rren en presencia de la persona que debe recogerla, bien porque
ella los provoca de forma más o menos intencionada5 bien por-
que se hace presente en situaciones en que espera que ocurran,
bien porque, de forma más o menos casual, acontecen mientras
ella se encuentra en el lugar correspondiente.
Es preciso decir que, en igualdad de condiciones, este tipo de
información o datos merece un especial reconocimiento por las
características que la adornan, siempre que se cumplan determi-
nadas exigencias técnicas.
Piénsese en la preferencia de un dato obtenido por observa-
ción, por ejemplo, que los niños que participan en un programa
de educación para la salud se lavan los dientes después de comer,
frente a otro en el que los niños informan sobre si se lavan o no
después de las comidas. Es evidente que en el primer caso pres-
5 La provocación del fenómeno no tiene por qué ser un experimento; basta

e onactuar de forma que otra u otras personas deban reaccionar en relación con lo
que interesa registrar al observador.
tamos más confianza al hecho convertido en dato que en el

segundo, sin dejar de lado que en tales circunstancias no sólo
sabemos que se lavan sino que podemos apreciar, y valorar, si el
lavado cumple determinados requisitos como los de suficiente
duración, adecuado uso del cepillo, cantidad de pasta de dientes
utilizada, aclarado ...
Por tanto, cuando en la evaluación de programas podamos
acceder a información relevante por vía de observación, debere-
mos hacerlo con preferencia sobre autoinformes, opiniones o
encuestas.
Ahora bien, como hemos indicado, pueden darse observa-
ciones casuales, que pueden conducir al evaluador a conclusio-
nes inadecuadas, cuando no claramente falsas. Un hecho, por
llamativo que nos pueda parecer, no puede conducir a conclu-
siones válidas.
La información obtenida por este medio no debería ser casual
sino responder a un plan y producirse de forma sistemática. Bunge
(1979: 727) utiliza dos palabras para referirse a la observación
científica: debe ser, afirma, intencionada e ilustrada, esto es, debe
realizarse "con un objetivo determinado" y ha de estar "guiada de
algún modo de conocimiento".
El carácter intencional de la observación da lugar a un plan
de acción, que convierte la información así recogida en algo váli-
do para la finalidad a la que sirve, en nuestro caso, la evaluación
del programa6. Un hecho se convierte en información o dato no
por el mero ocurrir sino porque previamente se ha considerado,
merced a ese carácter ilustrado, que representa una evidencia de
algo que estamos buscando.
La vinculación entre hechos que ocurren y nuestro programa
exige algún tipo de justificación. Bunge, refiriéndose a este tema,
habla de acontecimientos perceptibles que se consideran eviden-
cias de algo imperceptible directamente y que es lo que nos inte-
resa observar para conocerlo.
En concreto, él se refiere al viento; podemos también aplicar-
lo a la electricidad o al magnetismo. Pero también en nuestro
campo tenemos ejemplos. Podemos ver, en efecto, que determi-
6 Veremos más adelante có mo esa afirm ación genérica puede tomar formas
diferentes: por ejemplo, la eficacia del programa, su aderuaáón a los destinatarios, su
rfiriencia, la satisfacción de las partes interesadas ...
nadas personas realizan ciertos actos que nosotros consideramos

como evidencias de que son solidarias, trabajadoras, respetuosas,
etc. Lo observado lo consideramos como un indicador de lo que
no es directamente observable.
La relación entre lo que tomamos como indicador (observa-
do) y la realidad inobservable es una hipótesis; nosotros inferimos
nuestro objeto a partir de las observaciones llevadas a cabo.
Este es uno de los problemas técnicos más difíciles para ase-
gurar la fiabilidad y validez de la información tomada por obser-
vación, algo que requiere conocimientos técnicos por parte de
quienes establecen tal relación y la debida capacitación de los
observadores para realizar correctamente su tarea.
Junto a ello, deberemos hacer alusión más adelante a las limi-
taciones que pueden afectar a la observación y que, de no sol-
ventarlas, podemos caer en la invalidación de la información
recogida para evaluar nuestro programa.
Terminaremos este aspecto haciendo notar que la técnica de
observación puede ser utilizada en momentos variados de la eva-
luación. Parece obvia su aplicabilidad para recoger información
sobre los procesos, pero no menos importante Jo es para decidir
sobre los resultados. Sin embargo, qué duda cabe de que pode-
mos acudir a la observación para detectar, analizar y categorizar
las carencias y necesidades que pueden servir de base para dise-
11ar y poner en marcha un programa, esto es: la observación es
una técnica utilizable también en el momento previo a la aplica-
ción y aun al diseño del propio programa.
:t2.2. Técnicas de análisis
En ocasiones, la información está disponible en forma de

documentos de diversa naturaleza, tales como actas, escritos,
1·xpedientes, filmaciones, registros, etc. , y el evaluador debe ser
e .1paz de extraerla de los mismos convirtiéndola en datos rele-
'"11lles para la evaluación de los programas.
En algunos casos, la documentación se convierte en informa-
' 11 >11 o datos con suma facilidad. Se puede tratar de comprobar si
.111-10 ocurre o no, y con qué frecuencia, intensidad o duración. En
111 ms, puede tratarse de constatar los niveles alcanzados, como
• 11.111do se consultan los expedientes académicos de los alumnos ...

Pero . el análisis de la información inespecífica disponible

puede utilizarse en situaciones y con objetivos más ambiciosos,
complejos y difíciles. Así, cuando se pretende modificar actitudes
y promover valores mediante un programa, las producciones de
los destinatarios del programa -redacciones, dibujos, respuestas a
determinadas cuestiones o problemas de índole cívica o moral. .. -
pueden poner de relieve con mayor seguridad que una respuesta
directa el grado en que se están logrando las metas.
En efecto: no siempre es fácil que las personas, preguntadas
por su actitud en relación con determinados grupos marginados
o excluidos, respondan con total sinceridad, sobre todo si, en el
contexto en que se les pregunta, tienen claro que su respuesta
será socialmente mal vista7. Sin embargo, cuando a un grupo de
personas se les pide que escriban en torno a determinadas reali-
dades sociales, como la delincuencia, la seguridad ciudadana, la
justicia social, los jueces, la policía, ... suelen expresarse con
mayor espontaneidad, trasluciendo su pensamiento sin tantas res-
tricciones.
En el caso de niños, el dibujo, o la dramatización libre de cier-
tas propuestas realizadas por el profesor, pueden aflorar senti-
mientos y actitudes profundos, que no verían la luz ante pregun-
tas directas en una entrevista o en un cuestionario.
Ahora, el problema es técnico: cómo extraer las actitudes pro-
fundas a partir de este tipo de expresiones, algo que puede lle-
varse a cabo mediante técnicas como el análisis de contenido, al que
nos referiremos en la tercera unidad.
3.2.3. Técnicas de encuesta
Probablemente nos encontremos ante la técnica más socorri-

da y utilizada para recoger información en el marco de la evalua-
ción de programas. Su capacidad para llegar a amplios grupos de
personas, para recoger una gran cantidad de información y su
facilidad para analizarla y tratarla de forma detallada y hasta
7 En términos técnicos se da el fenómeno conocido como deseabilidad social,

según el cual tiende a darse la respuesta socialmente correcta. A Edwards (1959) se
debe una importante aportación en este punto.
exhaustiva pueden explicar la preferencia generalizada por la

encuesta en sus diversas modalidades (telefónica, postal, presen-
cial).
La encuesta en definitiva, no es sino un cuestionario planteado
a un grupo amplio de personas -todas las que nos interesen o una
muestra suficiente y representativa del total- que plantea una
serie de enunciados (en este caso se le suele denominar inventa-
rio) o de preguntas para que la persona encuestada responda bien
en forma personal y libre, bien limitándose a marcar alguna de las
opciones que se le ofrecen.
En este último caso, suele acudirse a hojas especialmente dise-
ñadas para ser leídas por máquinas -hojas de lectura óptica- que
permiten alcanzar una rápida visión de las respuestas dadas por
las personas encuestadas y hasta de las peculiaridades de diversos
subgrupos (por ejemplo, según la edad, la clase social, el estado
civil, el nivel de estudios, el sexo, el lugar de residencia ... ).
Los modernos programas estadísticos permiten, asímismo,
identificar ciertas características para los diversos ítems ( cuestio-
nes) integrantes de las encuestas, tales como la dispersión o
variabilidad de las respuestas, su distribución simétrica o asimé-
trica, su concentración en torno a alguna medida de tendencia
central (media, mediana o moda), y ello en forma numérica o
mediante gráficas intuitivas, tales como el diagrama de tallo y
hojas, el histograma, diagramas de barras o de sectores, picto-
g ramas, ...
En el caso de preguntas abiertas, algo que, en ocasiones, se
presenta como una opción más a las ofrecidas por el evaluador, se
plantea el problema posterior de la categorización de la informa-
ción, aspecto este al que aludiremos al presentar en la tercera
parte las técnicas de análisis de datos. Vaya por delante que a este
tipo de respuestas también se le puede aplicar el análisis de conte-
nido.
La encuesta como técnica de recogida de información tiene
limitaciones que deben ser objeto de atención para que no inva-
liden sus resultados. Aparte del problema general de cualquier
instrumento de medida o de recogida de datos -fiabilidad y vali-
dez fundamentalmente- que obliga a la construcción cuidadosa
del instrumento, es preciso tener en cuenta dos hechos de espe-
1 ial relieve:
• El problema del número de respuestas. No es fácil conse-

guir que responda el número de personas necesario, prefi-
jado por el investigador, y no hay medios para obligar, ni
sería conveniente hacerlo si se pudiera, ya que, en tal caso,
las personas obligadas podrían dar respuestas que no refle-
jaran su posición sobre el tema.
Tanto si la encuesta se ha realizado a toda la población, como

si se ha planteado a una muestra, los datos recogidos pueden no
ser representativos del total, presentando sesgos que invaliden las
conclusiones.
• La sinceridad. Con frecuencia, una persona interrogada

puede elegir cualquier respuesta de las ofrecidas cuando no
quiere desvelar su ignorancia sobre el tema.
Esto se puede controlar planteando ciertas cuestiones que nos

permitan conocer si la persona encuestada conoce la realidad
sobre la que se le pregunta. Si no fuera así, las posteriores res-
puestas no tendrían valor alguno.
La sinceridad puede también quedar en entredicho cuando la
persona desea guardar su pensamiento por timidez, temor u otras
causas.
Con todo, la encuesta resulta especialmente adecuada a cier-
tas situaciones e imprescindible en otras. Piénsese en el caso de
recoger información a posteriori, por ejemplo, sobre los senti-
mientos experimentados mientras se aplicaba el programa: no
cabe observación posible, por lo que las técnicas de análisis o las
de encuesta parecen las más adecuadas.
3.2.4. Técnicas de consulta
La evaluación de programas, como tendremos ocas10n de

constatar en próximos capítulos, es una actividad técnica, riguro-
sa y compleja que, en determinadas condiciones, tiene el carácter
de una investigación, concretamente de la denominada investiga-
ción evaluativa.
La investigación no es sino un procedimiento riguroso desti-
nado a encontrar respuestas sólidas a preguntas o cuestiones que,
én el momento de formularlas, carecen de ellas. En ese hacerse
preguntas y buscar respuestas el ser humano ha procedido de for-
mas muy diversas, siendo una de ellas la de consultar con perso-
nas que, por su experiencia, su formación, su dedicación ... , pue-
den aportar ideas, propuestas, sugerencias ... de interés y, proba-
blemente, útiles y adecuadas. A estas personas, conocidas como
expertos, se les reconoce cierta autoridad.
Es verdad, no obstante, que cuando se busca un conocimien-
to riguroso sobre algo, no basta con la opinión de los expertos;
por ello, sus aportaciones sólo sirven para poner en marcha el
proceso, para supervisar las actuaciones o para interpretar y valo-
rar los resultados, pero los resultados mismos deben obtenerse
por procedimientos rigurosos e independientes, al margen de cri-
terios de autoridad.
Ahora bien: en el proceso de evaluación de programas hay
momentos especialmente adecuados para acudir a los expertos,
para consultarles. Destaquemos entre otros el de identificar y
reconocer las carencias y necesidades a las que se pretende dar
respuesta mediante un programa, el de diseñar un programa ade-
cuado a tales necesidades, el de ponerlo en marcha e implemen-
tarlo, el de construir los instrumentos adecuados para recoger
información, el de analizar y valorar la información recogida
como paso previo a tomar las decisiones sobre el propio progra-
ma o la misma interpretación de los resultados para decidir sobre
su eficacia, eficiencia o satisfactoriedad, por ejemplo.
Entre las técnicas de expertos merece una especial mención la
denominada Delphi, mediante la cual el evaluador recoge en suce-
sivas etapas las aportaciones de los expertos hasta llegar a formu-
lar una propuesta, validar un instrumento para la recogida de
información o llegar a conclusiones sobre la realidad sometida a
onsulta.
3.2.5. Técnicas de prueba
Tradicionalmente, la evaluación de programas ha tenido en la

·onstatación de su eficacia su meta fundamental, como tendremos
la ocasión de comprobar al analizar algunos de los modelos más
importantes que se han venido utilizando sobre todo a lo largo de
la segunda mitad del pasado siglo xx.
Desde luego, la constatación de la eficacia de un programa es

uno de los objetivos fundamentales de la evaluación de programas.
Es verdad que tal objetivo puede no ser suficiente cuando enfren-
tamos la evaluación de los programas con mentalidad pedagógica,
pero sí podemos afirmar que, cuando menos, la evaluación de pro-
gramas debe aportar algo en relación con su eficacia.
Pues bien, en la medida en que los objetivos de los programas
supongan la adquisición por parte de sus destinatarios de determi-
nados conocimientos, la modificación o mantenimiento de ciertas
actitudes, la adquisición de determinados hábitos, estrategias o ha-
bilidades, ... nada como las pruebas para pronunciarse sobre su éxito.
Si es aceptable que las personas tengan gustos, intereses u opi-
niones diferentes y, por tanto, en estos aspectos no cabe hablar de
respuestas correctas o incorrectas, no puede decirse lo mismo si
el objeto de un programa es aprender a leer, a nadar, a saltar, a
redactar, a hacer esquemas, a diseñar planes, a ... En estos casos,
la decisión sobre el éxito o fracaso del programa debe contar no
con la opinión de los responsables del programa o de sus destina-
tarios, sino con evidencias independientes, con el resultado de
pruebas adecuadas, que cumplan con las exigencias tradicionales
de fiabilidad y validez.
3.2.6. Complementariedad de las técnicas
Hasta aquí hemos presentado, de modo breve y sintético, un

conjunto de técnicas que resultan ser las adecuadas para distintos
tipos de información que puede ser necesario recoger en dife-
rentes momentos del proceso de evaluación de programas.
Sin embargo, merece la pena dejar constancia de un hecho
importante, que puede hacer aconsejable acudir a diferentes téc-
nicas, con frecuencia con un carácter complementario.
Nos referimos a la importancia que puede tener, que tiene de
hecho, en el ámbito de lo humano, la percepción subjetiva de los
fenómenos objetivos. Las percepciones, en efecto, son subjetivas
y, por tanto, puestas en relación con los datos objetivos quedarán
siempre en un segundo plano.
Pero no es menos cierto que, con mucha frecuencia, los seres
humanos actuamos desde nuestra propia subjetividad, razón por
Ja cual, al evaluar un programa, puede ser conveniente disponer
de ·datos subjetivos al lado de los objetivos. Por ejemplo: un pro-

grama puede ser objetivamente eficaz, pero sus destinatarios pue-
den valorarlo de forma negativa; puede alcanzar las metas pre-
vistas, pero sus responsables no quedar satisfechos ... La eficacia
puede ser establecida mediante pruebas rigurosamente construi-
das, aplicadas y valoradas, mientras la valoración subjetiva o la
satisfacción puede lograrse por vía de entrevistas, cuestionarios u
observación.
En otras ocasiones podemos contar con una información
muy bien estructurada, obtenida a través de la técnica de encues-
ta concretada en un cuestionario pasado a una muestra repre-
sentativa; pero podemos considerar conveniente contrastar tal
información con entrevistas no estructuradas, en que unas cuan-
tas personas, elegidas con criterios adecuados, puedan enrique-
cer, matizar o precisar la información prefigurada en las alterna-
tivas de respuesta incorporadas al cuestionario.
Del mismo modo, podemos contrastar tal información, en
este caso con ánimo de decidir sobre el grado de confianza que
nos merecen las respuestas a un cuestionario o la información
recogida mediante entrevista, con el resultado de una observa-
ción intensiva a sujetos que están experimentando el programa.
En definitiva: bien sea como elemento de contraste, bien con
ánimo de complementar la información, bien de decidir el grado
de credibilidad que otorgamos a la información recogida ... ,
puede resultar de suma utilidad acudir a un principio de gran
trascendencia en lo relativo a la recogida de información: el prin-
cipio de complementariedad metodológica, mediante el cual contamos
con información procedente de diversas fuentes obtenida
mediante técnicas diferentes.
3.3. Los INSTRUMENTOS DE RECOGIDA DE INFORMACIÓN
Las técnicas anteriores pueden tomar cuerpo en instrumen-

tos concretos en los que el evaluador vuelca su idea, su concep-
ción, su concepto de las variables sobre las que desea recoger
información.
Así, en el caso de la observación, puede valerse de listas y de
escalas, en las que figuran los aspectos a observar, bien para dejar
constancia de si se dan o no -listas-, bien del grado en que se dan
ciertas caractensucas, tales como intensidad, duración, ftecuencia,

regularidad, variedad, cantidad... , en cuyo caso hablamos de escalas.
En las situaciones en que no es posible o conveniente una
estructuración tan completa, el observador puede elaborar al
menos lo que se suele denominar guión de observación (Fox, 1981:
562-3), con diferentes grados de estructuración, pero con la
misma finalidad: orientar y organizar el proceso observador.
En el caso de la encuesta, los instrumentos suelen ser los cues-
tionarios, en los que el evaluador formula cuestiones de respuesta
f~a, abierta o mixta, o los inventarios, que no son sino una lista
más o menos amplia de enunciados a los que las personas encues-
tadas deben responder de acuerdo, en desacuerdo o como dudo-
so, al margen, claro está, de la falta de respuesta.
En el caso de las pruebas, los instrumentos más tradicionales
en el ámbito académico han sido las pruebas objetivas y los tests
tipificados. Sin embargo, la cantidad y variedad de pruebas que
pueden utilizarse es muy amplia y depende, obviamente, del tipo
de objetivos de que se trate. La prueba puede consistir en saltar
vallas, correr una determinada distancia, hacer una instalación
eléctrica, descubrir y solucionar una avería, poner inyecciones
correctamente, analizar un producto químico, etc., etc. Pero, en
todos los casos, además de pedírsele fiabilidad y validez, es preci-
so asegurarse que sean suficientes para decidir sobre el logro de
los objetivos del programa.
CAPÍTULO 4
CRITERIOS Y REFERENCIAS PARA EVALUAR
ÜBJETfVOS

capaz de:
• Ubicar la valoración en el concepto de evaluación.
• Conocer, comprender y definir los conceptos de criterios y

referencias para la valoración de la información.
• Identificar los tipos principales de criterios y reconocer

algunos de los más relevantes y frecuentemente utilizados.
• Identificar los criterios de valoración del programa en

cuanto tal y en su relación con las necesidades en que se
fundamentan y con los objetivos del mismo.
• Conocer, comprender y valorar las principales referencias

disponibles para la evaluación del programa, sea en su glo-
balidad o en algunas de sus grandes dimensiones.
82 EVALUACIÓN DE PROGRAMAS EDUCATNOS
Tal como hemos señalado al presentar el concepto de evalua-

ción, la información no es evaluación, pero es imprescindible
para llevarla a cabo.
Analizada ya la naturaleza de la información, y presentadas las
principales técnicas disponibles para su recogida, es preciso abor-
dar el acto y el proceso de su valoración, para lo que deberemos
analizar dos importantes conceptos, en concreto los de criterios y
de referencias.
Pues bien: este es el objeto de análisis y reflexión correspon-
diente al presente capítulo de la monografía.
4.1. VALORACIÓN DE LA INFORMACIÓN
El ser humano emite con mucha frecuencia juicios y valora-

ciones de forma espontánea. Obviamente, evaluar un programa,
en tanto que es una actividad sistemática y rigurosa, exige que
tales juicios no adolezcan de limitaciones en este aspecto. Para
evitarlo es necesario contar con criterios y referencias, adecuada-
mente definidos, clara y previamente bien establecidos, y correc-
tamente aplicados.
Entendemos por criterio la norma que nos damos para juzgar
algo. Se afirma de alguien que tiene criterio cuando cuenta con
la capacidad o la preparación necesaria para juzgar, seleccionar o
apreciar ciertas cosasl. Dado que una misma realidad puede ser
valorada desde diferentes puntos de vista, es preciso que en toda
evaluación se fuen de antemano, con toda la precisión y claridad
que sea posible, los criterios con los que será evaluado el objeto
-en nuestro caso, el programa- de que se trate.
Por referencia entendemos aquello con lo que ponemos en
relación la realidad evaluada; en nuestro caso, es el programa en
su globalidad o algunos de sus componentes. Obviamente, nues-
tro programa -sus resultados, sus efectos, sus aportaciones-
puede ponerse en relación con objetos diversos, con diferentes
patrones de referencia que analizaremos a continuación.
1 Así se indica en el Diccionario de Uso del Español, de María Moliner.

CRITERIOS Y REFERENCIAS PARA EVALUAR 83
4.2. Los CRITERIOS
La diferencia entre información y evaluación radica en la apli-

cación a la información recopilada de una serie de criterios,jus-
tamente los que permiten asignar valor a la misma.
Una misma realidad puede recibir valoraciones muy diferen-
tes según el criterio utilizado. Un objeto puede ser cómodo a la vez
que peligroso; una ornamentación puede ser atractiva pero cara y
molesta; una actividad puede ser difícil a la vez que adecuada; un
coche puede ser valorado como seguro a la vez que feo; un trata-
miento puede ser doloroso y, a la vez, eficaz ...
Por otra parte, la actividad a la que hemos hecho referencia
puede ser difícil para ciertas personas y fácil para otras; una mate-
ria de aprendizaje puede resultar atractiva para unos y pesada para
otros; unos materiales de aprendizaje pueden considerarse moti-
vadores para cierto grupo pero aburridos para otro ...
Todos esos términos escritos en letra cursiva -dificil, feo, segu-
ro, cómodo, peligroso ...- son criterios utilizados por ciertas perso-
nas para vaürrar una realidad, desde una actividad a unos materia-
les de aprendizaje. Pues bien, los programas, en cuanto objetos de
evaluación, también deben ser sometidos a valoración mediante la
aplicación de ciertos criterios, cuya naturaleza debemos analizar.
En la medida en que, como se ha señalado, un programa no
es u na realidad gratuita y azarosa sino un plan de acción al servicio
de ciertas metas que se consideran las adecuadas para dar res-
puesta a carencias, demandas, necesidades o expectativas de
d eterminadas personas o grupos, deberá ser analizado y valorado
11 0 solo en cuanto a tal plan sino en su relación con los hechos
- arencias, necesidades ... - que lo desencadenan y hasta con las
características de sus destinatarios.
Habrá, por tanto, un primer grupo de criterios relativos a la
1 e lación entre tales necesidades y carencias y el programa; y otros,
1· 11 relación con el propio programa, tanto como documento
1 o mo en su aplicación y resultados. Veamos.
1. 2. l. Las necesidades y su evaluación
El término necesidad tiene diversas manifestaciones pero, en el

ln ndo, hace referencia a algo de lo que se carece, bien porque no
se tiene, bien porque se posee en un grado inferior al deseado o

deseable.
Las necesidades tienen manifestaciones objetivas pero, tam-
bién, subjetivas. De hecho, determinados grupos e individuos
pueden presentar carencias manifiestas -en cultura, salud, ali-
mento ... - y no sentirlas como tales, razón por la cual no las
demandarán.
Esta distinción es importante en la medida en que el posterior
éxito de un programa destinado a responder a tales necesidades
depende en gran medida del grado en que sea percibido como
útil y necesario. Estaríamos ante la exigencia de hacer de una
carencia, algo objetivo, una necesidad, algo subjetivo.
Si sentir algo como necesario es algo subjetivo, bien puede
ocurrir que haya individuos satisfechos con determinados niveles
del objeto en cuestión -bienestar, salud, educación ... - mientras
otros se sienten profundamente insatisfechos con los mismos
niveles o incluso con niveles superiores.
Esto nos plantea dos situaciones diferentes que conviene ana-
lizar. En la primera, los responsables -políticos, educativos, ... -
tienen la obligación, en ocasiones incluso legal, de despertar las
necesidades, de crearlas, a fin de que, cuando se ofrezcan pro-
gramas para satisfacerlas, encuentren el interés y el compromiso
de las personas y colectivos a los que van dirigidas.
En la segunda, esos mismos responsables deben valorar si, con
los recursos disponibles, se debe o no dar respuesta a las deman-
das, para lo cual es preciso atender a criterios de reparto justo de
las disponibilidades.
Si ante la demanda de programas para atender a las necesi-
dades, los responsables deben decidir si se atienden o no y, en
caso afirmativo, qué tipo de respuesta merecen, en el primero
la cuestión es más compleja y exige la sensibilidad de los res-
ponsables. A tales situaciones los responsables pueden buscarle
formas de manifestarse, acudiendo a criterios relacionados con
la Psicología, que nos ofrece teorías sobre las necesidades bási-
cas del ser humano, a las que haremos una breve referencia
enseguida, a la Sociología o, incluso , a la Política, mediante la
cual los poderes públicos establecen una serie de principios
cuya aplicación es una respuesta de hecho, de oficio, a las
carencias de los ciudadanos, las experimenten como necesidad
o no.
CRITERIOS Y REFERENCLAS PARA EVALUAR 85
Desde un punto de vista psicológico, los responsables sociales

pueden diseñar programas que se destinen a satisfacerlas. A títu-
lo de ejemplo, limitaremos nuestra aportación a las propuestas de
Maslow o de Yela.
Para Maslow (1963), las necesidades básicas del ser humano
son las siguientes:
Necesidades fisiológfras: hambre, sed, sexo y, en general, las

relacionadas con la perpetuación de la la vida.
Necesidad de posesividad y amor. de relaciones afectuosas, de
integrarse en grupos.
Necesidad de estima: evaluación estable, elevada y firmemen-
te asentada de su personalidad; aprecio propio y de los
otros.
Necesidad de autorrealización: tendencia a hacer actuales las
propias potencialidades, a llegar a ser, cada vez más, lo que
uno puede ser.
La propuesta de Maslow es jerárquica, esto es: satisfecha razo-

nablemente una necesidad, surge en los seres humanos la necesi-
dad del siguiente nivel. Sin embargo, la jerarquía no es rígida,
reconociendo el autor que se dan excepciones, que la mayoría de
los seres humanos están parcialmente satisfechos e insatisfechos
en varias de las necesidades y que la aparición de una nuevá nece-
sidad no es algo repentino, sino que va surgiendo de modo pro-
gresivo.
Por su parte, Yela presenta una propuesta claramente dife-
rente en su estructura pero cercana en su contenido. Se trata de
las necesidades de:
Valer para algo. Necesidad de ajuste objetivo: se trata de

comprobar que se es capaz de alcanzar las propias metas.
Valer para alguien. Es una necesidad de integración social,
esto es, de que los demás nos reconozcan, nos valoren, nos
tengan en cuenta, nos aprecien.
Valer algo. Necesidad de ajuste personal, específicamente
humana. El ser humano necesita sentirse valioso, tener
una buena imagen de sí mismo, contar con una buena
autoestima.
86 EVALUACIÓN DE PROGRAMAS EDUCATCVOS
Y como necesidad más radical, la de aumentar constantemente el

ámbito de sus necesidades.
Haremos, para concluir, una breve referencia a la aportación
del profesor García Hoz ( 1970: 245), que manifiesta que el ser
humano es un sujeto
... cuya actividad responde a necesidades profundas que deben ser

satisfechas. El sentimiento de seguridad, el sentimiento de dignidad
y la tendencia a la comunicación pueden explicar las motivaciones
fundamentales de la conducta humana.
Sea de una manera o de otra, lo cierto es que las necesidades,

tanto en sentido subjetivo como objetivo, pueden convertirse en
elementos desencadenantes de los programas y que deben ser
obk:to de análisis y valoración.
Obviamente, a la hora de evaluar programas se hace presen-
te un criterio fundamental, que puede ser expresado de foYmas
diferentes, pero plenamente concordantes. En efecto, si por un
lado podemos valorar un programa como pertinente o no, por
otro podemos valorarlo como armónico y coherente con las necesi-
dades de que se trate.
La pertinencia ha sido propuesta por la UNESCO ( 1995) como
un criterio básico para valorar la calidad de la educación: " ... la
calidad es inseparable de la pertinencia social", se afirma, y la
define como:
.. búsqueda de soluciones a las necesidades y problemas de la socie-

dad y más especialmenle a los relacionados con la construcción de
una cultura de paz y un desarrollo sostenible.
Más recientemente (UNESCO, 1998: 29) explicita el concepto

diciendo:
... más que nunca, la educación superior debe desempeñar un papel

fundamental, poniendo todos sus recursos y su espíritu de indepen-
dencia al servicio de lo que es pertinente para la persona y la socie-
dad en general.
Diremos como conclusión que entendemos el criterio de per-

tinencia en el sentido de si el programa da o no, y en el grado ade-
cuado, respuesta a las necesidades de la persona, del grupo huma-
no al que va destinado, teniendo en cuenta, eso sí, que la perso-

na no sólo tiene una dimensión individual, que la separa del
resto, sino social, que la hace miembro de un grupo.
Obviamente, una forma próxima de decir lo mismo la tene-
mos en los criterios de armonía y de coherencia. Un programa per-
tinente deberá ser coherente con las necesidades a las que se pre-
tende dar respuesta.
4.2.2. Los objetivos del programa
Hemos señalado con cierta reiteración que los programas son

planes de acción al servicio de objetivos que, en el campo educati-
vo, deben ser intrínsecamente valiosos y, tal como acabamos de
indicar, coherentes con las necesidades a las que se pretende dar
la oportuna respuesta. Pues bien, y contrariamente a lo indicado
por algunos autores, también los objetivos deben ser objeto de
evaluación, deben ser evaluados.
Tres son a mi juicio las perspectivas desde las que afrontar la
evaluación de los objetivos; centrando la atención en los objetivos
en cuanto tales, podemos analizarlos desde un punto de vista
intrínseco y extrínseco. Junto a ello, los objetivos pueden valorar-
se desde la perspectiva material de su formulación.
Intrínsecamente analizados, los objetivos deben ser de cali-
dad, esto es, han de ser valiosos, aportar valor a sus destinatarios
directos -los usuarios del programa- e indirectos, esto es, a todas
las partes interesadas en el programa y afectadas por él, catego-
rías en las que podemos situar a los familiares, los amigos, el
grupo social, la comunidad, la localidad ...
Desde una perspectiva extrínseca, los objetivos del programa
deben ser valorados en cuanto a la suficiencia para responder a
las necesidades y a su adecuación a las características de los des-
tinatarios, aspecto este en el que pueden quedar incluidas cier-
tas manifestaciones, como las de su interés o utilidad. Cabe un
nuevo criterio, relacionado con la adecuación pero ahora toman-
do como referencia no los destinatarios sino las posibilidades de
quienes han de aplicar el programa: nos estamos refiriendo a su
viabilidad, esto es, a la razonable posibilidad, teniendo en cuen-
ta el conjunto de condicionantes y circunstancias, de llegar a
alcanzarlos.
88 EVALUACIÓN DE PROGRAMAS EDU CATNOS
Completaremos este apartado haciendo referencia no ya a los

objetivos en sí, sino a su formulación. Quienes diseñan los pro-
gramas pueden tener claros los objetivos, pero su enunciado o
formulación debe clarificar las intenciones del programa tanto a
quienes deben aplicarlo como a. los destinatarios. Es más: pen-
sando ya desde el primer momento en una evaluación del pro-
grama, los objetivos -como el resto de los componentes del pro-
grama- deberían ser valorados desde la perspectiva de su evalua-
bilidad.
Así pues, claridad y precisión en el enunciado y evaluabilidad de
los objetivos, se convierten en los criterios fundamentales a tener
en cuenta cuando de su formulación se trate. No entraremos aquí
a manifestarnos en el sentido de si la formulación debe ser; o no
operativa; pero sí debemos dejar constancia del papel directriz,
rector, que juegan los objetivos en cualquier programa. Por tanto,
si su formulación es imprecisa, confusa o difusa, difícilmente los
encargados de implantar, implementar y evaluar el programa van
a ser capaces de hacerlo con la debida eficacia; y difícilmente los
destinatarios, sobre todo cuando son adultos, van a saber organi-
zar su actividad de modo eficiente y eficaz si no tienen claro lo
que se espera que consigan.
4.2.3. El programa
Partiendo de nuestra concepción del programa como plan de

acción al servicio de unos objetivos que, como hemos visto, deben
ser suficientes, adecuados, viables, adecuadamente formulados y
evaluables, debemos analizar ahora su elemento nuclear: el pro-
pio plan de acción.
Un plan, en esencia, no es sino la previsión de un conjun-
to de medios y recursos al servicio de unos objetivos. Por tanto,
y dado que los medios y recursos son elementos subordinados
a los objetivos, su valoración debe ponerse en relación con
ellos.
Tanto los medios como los recursos -humanos, materiales y
funcionales- deben ser, de entrada, suficientes y adecuados para el
logro de los objetivos; ahora bien, entre los medios nos encon-
tramos con una diversidad tal que conviene estudiarlos diferen-
cialmente para plantear algunos criterios específicos.
Probablemente, el medio por excelencia en el campo de los
objetivos de naturaleza educativa sean las actividades. Pues bien, si
las actividades deben ser suficientes y adecuadas, como cualquier
otro medio, tomando como referencia ahora a sus destinatarios,
parece que debería esperarse que fueran interesantes, que suscita-
ran su motivación.
En la medida en que podamos considerar como un medio,
importante, el clima o ambiente en que el programa se desarro-
lle, también cabe pedir que sea facilitador, que favorezca el desa-
rrollo del programa, que represente un apoyo para el mismo, que
resulte coherente con los objetivos y las actividades ...
Haremos una referencia final a uno de los medios más impor-
tantes aunque, por lo general, no considerados como tales. Se
trata de la propia evaluación que, como veremos más adelante,
además de en su función de control y de comprobación de la efi-
cacia de los programas, puede y debe ser utilizada como medio al
servicio de los objetivos.
En efecto, la evaluación en funciones formativas contribuye
decisivamente a la eficiencia y a la eficacia de los programas, en la
medida en que aporta una información de gran valor y en que res-
ponde a una actitud comprometida con la mejora por parte de quie-
nes la utilizan desde esta perspectiva. Pues bien, la evaluación for-
mativa del programa, esto es, del programa como realidad diseñada
y en su proceso de implantación, debe ser suficiente y coherente con los
objetivos, además de útil para facilitar la toma de decisiones de
mejora.
No estaría de más hacer alguna consideración sobre el papel de
medio que puede jugar el profesorado o, en general, la persona que
aplica el programa. Su adecuada formación, su implicación, la ilu-
sión que pone en la tarea ... son aspectos clave que deberían ser eva-
luados por su carácter condicionante del éxito del programa.
4.2.4. La implantación e implementación del programa
Además de la evaluación del programa como documento en

el que se plasman los objetivos a alcanzar mediante determinados
contenidos, sirviéndose para ello de una serie de medios y de recur-
sos, es preciso evaluar su propia implementación, esto es: el pro-
ceso de puesta en marcha y desarrollo hasta su conclusión.
Entre loscrite~os que pueden ser utilizados para la evalua-

ción del proceso de implementación cabe reseñar los relativos al
grado de cumplimiento, a la eficacia parcial o a la satisfacción de
los destinatarios e implicados.
La complejidad de los programas, en efecto, no garantiza que
la planificación inicial se pueda llevar plenamente a cabo, por lo
que es conveniente supervisar el proceso, tratando de comprobar
su adecuado desarrollo o la aparición de desfases, desajustes o
hasta disfunciones.
Por otro lado, la evaluación procesual de los programas nos
ofrece información sobre el grado de logro de los objetivos en la
secuencia prevista; nos estamos refiriendo a la eficacia parcial del
programa en los diferentes momentos de su implantación.
Y, sin lugar a dudas, un criterio que debe ser tomado en con-
sideración por ser un indicador de gran relieve sobre la correc-
ción del proceso de aplicación del programa es el de la satisfacción
detectada o manifestada por las diferentes partes afectadas, desde
el personal responsable y aplicador del programa y sus destinata-
rios hasta aquellos a los que les afecta de modo indirecto.
Por último, quisiera referirme a un nuevo criterio potencial-
mente útil en los casos en que un programa se aplica en el marco
de una institución en la que, además, se desarrollan otra serie de
programas, ordinarios o no. El ejemplo más claro puede ser el de
los centros educativos, en los que hay una actividad ordinaria que,
en algún momento, se desarrolla en paralelo a programas nuevos,
específicamente diseñados para objetivos diferentes, como pue-
den ser los de orientación profesional, de educación para la
salud, la prevención de drogodependencias, la solidaridad con
otros pueblos, de educación vial. ..
En tales casos, un importante criterio a tomar en considera-
ción es el de la coherencia institucional. Si el ambiente general del
centro es coherente con los objetivos y las exigencias del progra-
ma, será más fácil que este consiga sus objetivos específicos, pero
encontrará trabas de mayor o menor entidad en caso contrario.
Teniendo en cuenta que la evaluación cobra su sentido en el
valor de la información aportada para tomar decisiones de mejo-
ra, se comprenderá fácilmente el valor de este criterio a la hora
de determinar, cuando el programa no obtiene los frutos desea-
dos, dónde debe incidirse para mejorarlo: en el propio programa
o en el marco en el que el programa se lleva a cabo.
CRJTERJOS Y REFERENCIAS PARA EVALUAR 91
4.2.5. Los resultados del programa
Nadie diseña un programa sin pensar en los resultados que

espera alcanzar; no tiene sentido emplear el tiempo y los medios
necesarios si no es porque se espera lograr unos determinados
objetivos. por tanto, el gran criterio a tener en cuenta en esta oca-
--.__ ión es el de la eficacia del programa.
°'!J Como es difíci1 que cualquier plan humano logre todo lo que
se propone, es conveniente que, en la fase de diseño del progra-
ma, se establezcan los niveles de logro que se considera necesario
alcanzar para hablar de eficacia. Así, se puede decidir previa-
mente que consideraremos que el programa ha sido eficaz cuan-
do el 80 % de los destina.t arios alcance un determinado nivel: por
ejemplo, que consiga el carné de conducir, obtenga el Graduado
en Educación Secundaria Obligatoria o deje de fumar durante
tres meses.
Junto a este gran criterio es preciso hacer mención específica
de otros tres: se trata de su eficiencia, de su efectividad y del grado
de satisfacción de destinatarios y demás partes interesadas.
(& La eficiencia pone en relación los resultados con los medios,
recursos y circunstancias. Por lo general es una cuestión relativa:
entre dos programas eficaces uno puede ser más eficiente que el
otro, por lo que, a igualdad de resultados, el más eficiente -en
recursos humanos, materiales, económicos o funcionales- es el
preferible.
Por otra parte, si, por un lado, no es fácil alcanzar las metas
previstas dadas las circunstancias no siempre previsibles y los pro-
blemas que pueden surgir durante el proceso de aplicación del
programa, por otra, y por esas mismas razones, pero ahora en
positivo, bien puede ocurrir que un programa produzca determi-
nados efectos positivos no previstos. La evaluación de los resulta-
dos debe estar abierta a este tipo de situaciones para detectarlas,
analizarlas, valorarlas y tratar de incorporarlas al programa en
futuras ediciones del mismo. El riterio aludido es el de e ectivi-
dad.
\> -
En cuanto a la satisfacción, nos remitimos a lo dicho al hablar
del proceso de implementación del programa. Conviene, eso sí,
que demos a este criterio la importancia que tiene. Un programa
eficaz y eficiente, pero que conduce a una percepción insatisfac-
toria entre el personal o los destinatarios puede no dar los frutos
)
deseados y esperables en la medida en que las percepciones con-

figuran actitudes y los comportamientos subsiguientes.
Hay un último criterio que añadir en este punto: se trata del
impacto que el programa puede producir en el contexto en el que
se esté desarrollando, y que puede ser tanto positivo como nega-
tivo.
En la medida en que los programas se ponen al servicio de las
personas a las que se destinan, bien puede ocurrir que del pro-
grama se deriven beneficios para aquellas que conviven y se rela-
cionan con ellas. Los impactos positivos pueden tomarse como
indicadores de la eficacia de los programas; por el contrario,
cuando son negativos, deberán tomarse en consideración para
evitarlos en próximas ediciones.
4.2.6. Las nuevas ediciones del programa
Algunos programas se diseñan, se llevan a cabo y se aplican

para dar respuesta a necesidades específicas muy concretas y limi-
tadas, por lo que no es raro que se apliquen una sola vez. Pero otros
programas se llevan a cabo durante varias ediciones, bien porque
convenga afianzar y mejorar los resultados bien porque haya nue-
vos grupos de destinatarios a los que se desea aplicar.
En estos casos, conviene institucionalizar la evaluación, apli-
cando los criterios con especial atención a los aspectos en los
que, en ediciones anteriores, se detectaron carencias, dificulta-
des, problemas, disfunciones, bajos resultados . .. De esta forma,
la evaluación se integra en el programa dando así el máximo de
frutos.
4.3. LAS REFERENCIAS
Los criterios que hemos ido presentando nos permiten la

valoración de diferentes etapas y componentes de un programa,
desde las necesidades en que se fundamenta a los resultados -pre-
vistos o no- que se alcanzan.
Pero, junto a ello se plantea con frecuencia la necesidad o
conveniencia de emitir valoraciones globales sobre un programa,
y en tales casos es preciso acudir a algún tipo de referencia o
patrón.
CR1TER10S Y REFERENCIAS PARA EVALUAR 93
El esquema de Nevo se refiere a este aspecto como criterios y

nombra en concreto los siguientes:
si responde a las necesidades identificadas de los clientes

actuales o potenciales;
si alcanza las metas nacionales, ideales, los valores sociales;
si reúne los estándares y normas acordadas;
si supera los objetos alternativos;
si alcanza las metas importantes establecidas del objeto.
Particularmente, además de preferir para tal contenido el tér-

mino referencia al de criterio, que lo aplico en el sentido del apar-
tado anterior, considero que las referencias básicas son tres:
La normativa
La criterial
La idiosincrática
4.3.1. Referencia normativa
De alguna manera, toda evaluación pone en relación la reali-

dad evaluada con otra que se toma como patrón. Aparentemente
emitimos juicios valorativos sin ese patrón de referencia; pero no
es cierto. Cuando nos presentan a una persona y la "calificamos"
como simpática, agradable, desaliñada, huraña, guapa ... en el fondo
tenemos algún patrón interior que nos permite situarla en una
categoría, la que utilizamos para describirla ante otras personas o
para configurar nuestro propio juicio interior.
De esa misma forma, cuando recibimos una calificación de 7
o de 3, Ja interpretamos con facilidad porque, implícitamente,
sabemos que la escala va de O a 10 e, incluso, que hay unas cate-
gorías por las que el 7 es una valoración buena mientras el 3 es
claramente insuficiente.
94 EVALUACIÓN DE PROGRAMAS l;.DUCATIVOS
La falta de ese patrón nos deja en situación confusa, como

ocurre hoy en día para muchas personas cuando compran algo y
deben pagar en euros. La falta de claridad en el patrón de refe-
rencia les lleva de inmediato a pasar los euros a pesetas, donde la
referencia está implícita.
Pues bien, la referencia normativa permite situar un programa
entre un conjunto de programas que pretendan las mismas metas u
objetivos. De ahí que podamos emitir valoraciones tales como que
es el mejor, que está entre los mejores, que alcanza un nivel medio,
que se sitúa entre los peores, que se ubica entre el 25% más bajo ...
Emitir este tipo de juicios presenta dos grandes dificultades.
La primera tiene que ver con el hecho de que no suele haber
muchos programas que pretendan los mismos objetivos, por lo
que resulta muy problemático2 acudir a esta referencia.
La segunda dificultad deriva de la posibilidad de contar con
un único valor global que resuma la complejidad del programa.
Es posible comparar varios programas cuando se trata, por ejem-
plo, del número de usuarios que alcanzan el nivel establecido,
pero los programas, como hemos visto, tienen mucha mayor
complejidad, siendo habitual que persigan varios objetivos. En
tales casos no resulta nada fácil integrar los resultados parciales
de los diferentes objetivos en una única puntuación global y uni-
taria. La dificultad de esta referencia es, pues, evidente, por lo
que resulta problemática y difícil su aplicación.
4.3.2. Referencia criterial
Probablemente estemos ante la referencia más correcta y ade-

cuada a la hora de valorar un programa. Es razonable esperar que
los responsables del programa hayan establecido con toda la pre-
cisión posible no sólo sus objetivos, actividades, medios y recur-
sos, sino los resultados que se desean alcanzar, tanto de forma glo-
bal como diferenciada, bien en función de los diferentes objeti-
vos, bien de los posibles grupos diferentes de destinatarios.
2 Cosa bien distinta es, si tomamos el concepto de programa en sentido amplio,

situar los resultados que obtiene un profesor entre los alcanzados por el corúunto
de profesores de una provincia, de una comun idad autónoma o de todo nuestro
país.
En la medida en que se hayan definido con tal precisión y cla-

ridad los niveles de logro que permitan hablar de éxito del pro-
grama, todo se reduce a comprobarlo, utilizando para ello las téc-
nicas e instrumentos adecuados que, como se ha indicado, debe-
rán ser fiables y válidos. No parece difícil argumentar que, desde
una perspectiva pedagógica, esta referencia pueda ser considera-
da como especialmente adecuada.
4.3.3. Referencia idiosincrática
Dadas las dificultades reseñadas en la primera de las opciones,

cabe plantearse una referencia especialmente relevante, compati-
ble con la criterial y especialmente adecuada para los casos en
que un programa se aplica en ediciones sucesivas.
En efecto: nada hay más semejante a un programa que ese
mismo programa, aunque, si se profundiza, también encontrare-
mos notables diferencias de una a otra edición. En efecto, caben
diferencias derivadas de la propia experiencia en su aplicación, de
las mejoras que puedan introducirse y, desde luego, de los destina-
tarios del programa y del contexto en que el programa se aplica.
Sin embargo, el programa en sus elementos sustanciales será
el mismo, razón por Ja cual puede ser evaluado globalmente
tomando como referencia los resultados de la anterior edición
(referencia idiosincrática), que deberían verse mejorados.
Por otra parte, esta modalidad de evaluación hace más facti-
ble una comparación más amplia que los propios resultados o los
niveles de satisfacción de destinatarios y otras partes interesadas y
hasta el impacto del programa en la comunidad.
Conviene señalar que las valoraciones pueden ser tan sencillas
como las que derivan de una comparación directa de puntuaciones
medias o de medianas de los grupos de destinatarios, o en términos
de porcentajes que superan determinados niveles, o incluir estudios
estadísticos más complejos, como los que tienen que ver con la deci-
sión de si las diferencias son estadísticamente significativas3. Del
3 Se da tal denominación a una diferencia entre dos medias aritméticas -u otro

estadístico- cuando va más allá de lo explicable por puro azar en un determinado
% de casos, generalmente expresado en términos de probabilidad. Nos referiremos
a este concepto en los últimos capítulos de la tercera parte.
mismo modo, cabe analizar los resultados diferencialmente por

grupos de destinatarios -edad, sexo, nivel de estudios ... - y hasta
análisis cualitativos específicos para determinadas personas en
función de sus especiales características.
4.3.4. Compatibilidad de referencias
Las referencias criterial e idiosincrática resultan perfectamente

compatibles: si la primera nos habla en términos absolutos
-según Popham- sobre el grado de eficacia del programa, la
segunda nos permite, además, decidir si tanto en el caso de valo-
raciones positivas como negativas, se aprecian progresos o mejo-
ras de una edición del programa a otra.
Terminamos este aspecto presentando una modalidad dife-
rente, un matiz específico de la referencia idiosincrática. Consiste
en valorar el programa poniendo en relación los resultados alcan-
zados con el conjunto de condicionantes y circunstancias en las
que ha debido ser implantado e implementado.
Teniendo en cuenta su propio contexto, y de forma clara-
mente subjetiva, es posible considerarse más o menos satisfecho
al margen de los resultados objetivos constatados. Piénsese en la
valoración de un programa cuyos destinatarios son personas adul-
tas, con responsabilidades profesionales e incluso familiares, y ese
mismo programa realizado por otros destinatarios, jóvenes y sin
ese tipo de responsabilidades. Parecería incluso injusto aplicarles
el mismo patrón valorativo.
CAPÍTULO 5
MODELOS Y METODOLOGÍAS
PARA LA EVALUACIÓN
OBJETIVOS

capaz de:
• Analizar la problemática de la evaluación de programas a

partir de diversos ejes de organización.
• Conocer, comprender y valorar las principales opciones

metodológicas para la evaluación de programas.
• Analizar y valorar específicamente la opción de la comple-

mentariedad metodológica.
• Conocer, analizar y valorar las aportaciones y limitaciones

de los principales modelos evaluativos, desde los clásicos,
centrados en la eficacia a los planteamientos del modelo
iluminativo.
• Identificar, comprender y valorar los prihcipales proble-

mas pendientes en el marco de las evaluaciones.
Una de las cosas que más puede sorprender al lector que se

acerque por vez primera a la temática de la evaluación puede ser,
justamente, encontrarse con conceptos y propuestas claramente
diferentes, a veces muy diferentes. Ante tal situación, parece lógi-
co intentar poner un poco de orden para clarificar el concepto
de evaluación. Y ese es e l contenido básico de este quinto capí-
tulo.
Someteremos a análisis los elementos que configuran los
modelos y haremos una breve presentación de la naturaleza y
componentes esenciales de los más utilizados y conocidos en
nuestro ámbito de trabajo.
5.1. CONFIGURACIÓ DE PROPUESTAS O MODELOS
Ya en capítulos anteriores, en particular el primero, hemos

intentado recorrer ese camino al presentar nuestra visión de la
evaluación desde una perspectiva pedagógica, dando lugar a esa
concepción integral, integrada e integradora.
También hicimos referencia a la magnífica síntesis de David
Nevo, concretada en las diez grandes cuestiones que, para mayor
facilidad de consulta, recogemos de nuevo en el cuadro 1.
CUADRO 1. Cuestiones a considerar para config;urar el concepto de evaluación.
- Cómo se define.
- Cuáles son sus funciones.
- Cuáles son los objetos a evaluar.
- Qué tipo de información debe recogerse.
- Qué criterios deben utilizarse para juzgar el méi:ito o valor de un
objeto.
- A quién debe servir la evaluación.
- Cuál es e l proceso a seguir.
- Qué métodos deben utilizarse.
- Quién debe realizar la evaluación.
- Qué estándares de calidad deben utilizarse para valorar las evalua-
ciones.
MODELOS Y METODOLOGÍAS PARA LA EVALUACIÓN 99
Conviene dejar constancia de que no es fácil encontrar mode-
los o propuestas evaluativas que se acomoden por completo a lo
señalado por Nevo, algo que no debería extrañarnos, porque los
modelos a los que nos referiremos a continuación tenían por lo
general varias décadas de vida cuando Nevo hace su síntesis sobre
el tema.
Por ello, a la hora de presentar los principales modelos, orga-
nizaremos la información en torno a ciertos ejes que nos permi-
tirán clarificar la cuestión.
5.1.1. Principales ejes para organizar la información
En general, podríamos afirmar que los modelos habitualmen-

te recogidos en la bibliografía se estructuran en torno a ciertos
ejes, quedando el resto de elementos más o menos enmarcados
en ellos.
Los ejes generalmente aludidos son los siguientes:
Las funciones de la evaluación

La amplitud del objeto evaluado
El enfoque metodológico
El uso de la evaluación
Conviene dejar constancia de la vinculación existente entre

las opciones que se dan dentro de cada uno de tales ejes y ciertas
decisiones; así, por ejemplo, cuando se acude a la función sumati-
va o de control para la evaluación del programa, es normal que,
a la vez, se esté optando por evaluadores externos y, aunque no
siempre, que se acuda a evaluaciones finales, sin continuidad ni
institucionalización.
5.1.1.1. Las funciones de la evaluación
Nevo sintetiza este punto hablando de cuatro grandes funcio-

nes de la evaluación:
a) formativa (para la mejora);

b) sumativa (para la selección, certificación y rendición de

cuentas);
c) sociopolítica (para motivar y ganar apoyo público);
d) administrativa (para ejercer la autoridad).
A Michel Scriven (1967) se debe la diferenciación entre el

concepto de evaluación, cuyo objetivo no será otro que el de esti-
mar el mérito o valor de la realidad evaluada, en nuestro caso el
programa, y las funciones a las que puede servir, distinguiendo
entre la formativa y la sumativa. Tales funciones son la base de los
dos principales objetivos a que puede servir la evaluación de pro-
gramas: su mejora, como un medio para promover la superación
y el perfeccionamiento del personal al que van dirigidos -razón
por la que suele aplicarse durante el propio proceso de implan-
tación y desarrollo del programa- o la comprobación del grado
de eficacia del mismo, esto es, del control de sus resultados, algo
que tiene especial sentido cuando se realiza después de su aplica-
ción.
Sin embargo, es preciso reconocer que las propuestas evalua-
tivas pueden servir a funciones diferentes, siendo importantes las
denominadas por Nevo sociopolítica y administrativa.
En este segundo caso, es la autoridad responsable Ja que
somete a evaluación e l objeto evaluado -textos, materiales curri-
culares, programas ... - con el fin de comprobar, y actuar en con-
secuencia, si esa realidad evaluada cumple con las normas legales
establecidas 1•
La función sociopolítica cobra una importancia especial en un
momento en que son muchos los programas que se diseñan para
dar respuesta a las más variadas necesidades sociales de grupos
diversos. Parece necesario asegurarse, por una parte, de que a
priori, el programa presenta las garantías mínimas exigibles como
para recibir apoyo y respaldo, y, a posteriori, que sus resultados
merecen que se mantenga el respaldo que lograron.
No son, co n todo, estas cuatro grandes funciones las únicas a
las qu e pueden servir las diversas propuestas o modelos. Podemos
1 Será una evaluación de este tipo la que puede ejercer el Ministerio para deci-
dir si los proyectos curri culares de los centros educativos en las diferentes com uni-
dades autónomas respetan lo establecido por las leyes como norma básica para todo
e l Estado.
unir a las anteriores las tres siguientes, a) proporcionar informa-

ción a quienes deben tomar decisiones; b) identificar variables de
eficacia y de eficiencia; c) validar modelos explicativos.
Con todo, siempre caben matices, a veces profundamente
significativos. Así, en la evaluación orientada a la mejora, Hopkins
(1989), hace una interesantísima diferenciación, que le conduce
.f!Jr. en realidad a enfoques diferenciados, al distinguir ~ evalua-
ción de la mejora, evaluación para la mejora y evaluación como
majo!"ª· ..9bViamente la prímerase situaría preferentemente en
un enfoque por lo general externo, propio de la investigación
evaluativa; el segundo podría articularse como una forma de pro-
mover, desde fuera o desde dentro, la mejora del centro o del
programa, mientras el tercero hace de los protagonistas de la
acción educativa a los realizadores de Ja evaluación, entendiendo
que la misma práctica evaluativa implica ya una mejora profesio-
nal.
Centrando nuestra atención en las dos primeras funciones,
la formativa y la sumativa, debemos señalar que, por lo general,
las segundas son evaluaciones externas, realizadas por parte de
expertos o, en ocasiones, por órganos dependientes de la
Administra-ción educativa, como puede ser el caso de la
Inspección, mientras las primeras suelen ser internas, y son con-
ducidas por el personal de la propia institución responsable del
programa o por personas implicadas directamente en su diseño,
implantación y mejora.
En la medida en que las evaluaciones se utilicen para ofrecer
información a la comunidad, se está abriendo paso un modelo
mixto, en el que la evaluación interna se convierte en la primera
etapa de un proceso más amplio y complejo. Como, cada vez más,
se va imponiendo la idea de que la evaluación, incluso la orienta-
da al control, debe servir también para Ja mejora, los modelos mix-
tos suelen incorporar momentos o etapas en que evaluadores
internos y externos discuten las apreciaciones de los otros, tra-
tando de llegar a conclusiones comunes, que serán la base para
establecer los puntos fuertes y débiles de la institución y del progra-
ma, algo esencial para el diseño de las actuaciones o planes de
mejora.
Con todo, es preciso dejar constancia de que, dando por
hecho el valor y la utilidad de las evaluaciones externas, pero
teniendo en cuenta la cantidad de programas e instituciones edu-
cativas, la duración de los procesos evaluativos y la carencia de

evaluadores expertos, el verdadero porvenir de la evaluación de
programas se liga más a modelos formativos e internos que a los
sumativos y externos.
5.1.1.2. Amplitud del objeto evaluado
Los objetos de evaluación, en nuestro caso programas, son

realidades complejas, en ocasiones enormemente complejas, por
lo que la evaluación puede considerarse como una meta dema-
siado exigente en algunos casos.
Por otra parte, parece razonable aceptar los esfuerzos que
representan los trabajos evaluativos, pero en modo alguno que la
actividad evaluativa consuma el tiempo que los profesionales de
la educación deben dedicar precisamente a educar.
Estos hechos conducen a un segundo eje, el de la amplitud
del objeto evaluado, que da lugar a dos opciones fundamenta-
les: evaluaciones globales o parciales. Los medios y recursos dis-
ponibles, además del tiempo necesario, resultan claves en esta
decisión. Se trata, en definitiva, de que la evaluación consuma
un tiempo razonable en función de las aportaciones que ofrece,
pero , en modo alguno, que la herramienta sustituya, altere, dis-
traiga o hasta impida la dedicación al objeto del programa o de
la institución.
La primera de las opciones, conocida como global, encuentra
su principal aportación, en la posibilidad de considerar cada
aspecto evaluado en sus relaciones con los demás. A nadie se le
escapa la existencia de una compleja red de relaciones entre los
diferentes aspectos a evaluar: necesidades, programas, personas,
materiales, recursos, organización, clima o ambiente, sistema de
organización, gestión del personal o de los recursos, etc. Por
tanto, cualquier sistema que permita poner de relieve tales rela-
ciones se antoja preferible.
Pero, precisamente, es aquí donde radica su principal incon-
,veniente: un modelo evaluativo global puede llegar a ser tan ambi-
cioso que, especialmente en el caso de programas muy complejos,
puede exigir una dedicación del personal demasiado amplia, en
ocasiones varios meses de trabajo intensivo. Junto a ello, es preci-
so dejar constancia de que en tales modelos la amplitud de la eva-
MODELOS Y METODOLOGÍAS PARA lA EVALUACIÓN 103
luación hace difícil profundizar en la información a recoger

sobre cada unidad de análisis.
Dos son las formas de abordar este dilema: a) encontrar
unidades manejables que puedan permitir la evaluación global;
b) un enfoque diacrónico de la evaluación. Desde el primero
de los enfoques, podemos someter a evaluación el proceso de
detección de necesidades, el diseño del programa, el proceso
de implantación o sus resultados.
Desde el segundo, se llega a una solución mixta: la primera
evaluación de un proceso institucionalizado sí exige un enfoque
global de todo el programa pero, en sucesivos momentos o etapas,
la evaluación se concentra en aquellos aspectos, momentos o eta-
pas que fueron objeto de actuaciones de mejora diseñadas para
salir al paso de los puntos débiles detectados como consecuencia
de la primera evaluación.
Un aspecto clave es el de la priorización de las necesidades de
intervención derivadas de la evaluación inicial de carácter global.
Para decidir sobre este aspecto conviene contar con adecuados
criterios, entre los que destacamos los siguientes:
- Gravedad de las carencias o necesidades detectadas.

- Grado de consenso alcanzado en las personas implicadas a
la hora de iniciar los cambios necesarios.
- Rentabilidad de las acciones a emprender.
Inmediatez de los efectos previstos, con su consiguiente
efecto motivador.
- Responsabilidad directa de quienes han de emprender las
acciones de mejora.
5.1.1.3. El enfoque metodológico
Para Taylor y Bogdan ( 1986: 15), "el término metodología

designa el modo en que enfocamos los problemas y buscamos las
respuestas'', añadiendo que, en Ciencias Sociales, se utiliza para
referirse a la manera de realizar la investigación.
El término metodologja evoca una realidad muy amplia en la
que, hoy por hoy, se da un notable desacuerdo entre los expertos.
Cabe pensar, no obstante, como hacen algunos, que la realidad
104 EVAl,UACIÓN DE PROGRAMAS EDUCATIVOS
educativa es tan compleja que no tiene sentido pensar en una

propuesta metodológica ligada a uno de los paradigmas2 existen-
tes, y que es preferible aceptar la actual situación\ considerándo-
la incluso como positiva y hasta deseable.
Con estos planteamientos de base , y aun a riesgo de simpli-
ficar en exceso la cuestipn, analizaremos las dos opciones fun-
damentales: los enfoques cuantitativos, sean experimentales o no, y
1os"'cualitativos. Sin embargo, y una vez más, se abre camino una
tercera vía, en la que el principio de complementariedad metodológi,-
ca se reconoce como el adecuado para atender a la complejidad
que toda evaluación, sea de programas o de centros, lleva con-
sigo.
A mi juicio, las propuestas evaluativas cu tatlvas se mues-
. tran superiores, cuando son aplicables, si se trata de valorar la efi-
\ cacia de los programas. Conviene recordar que un enfoque expe-
rimental, cuando es posible, permite asignar los efectos constata-
dos a causas concretas, causas que, en este caso, serán los medios
puestos al servicio de los objetivos del programa.
Por otro lado, estos enfoques metodológicos, concretados en
ocasiones en indicadores, hacen posible la comparación con otros
programas, además de ser un instrumento importante para los
responsables cuando se ponen en relación los datos actuales con
los de otras etapas o momentos. Un importante problema, no
obstante, es el derivado de la naturaleza misma de tales indicado-
res, difícilmente aplicables a las cuestiones más esenciales de la
2 Gage (1963: 95) define los paradigmas como "mode los, pautas o esq uemas.
Los paradigmas no son teorías; son más bie n man eras de pensar o pautas para la
investigación que, cuando se aplican, pueden conducir al desarrollo de la teoría".
~ Para Shulman (1989), cabe distinguir dos formas generales de enterider el
término paradigma: e l primero, debido a Kuhn , considera que una disciplin a
madura no puede tener más de un paradigma dominante; la segunda opción viene
a significar e l marco de una determinada escuela ele pensamiento "que define los
objetivos, los puntos de partida, métodos y concepciones interpretativas ad ecuados
para sus investigadores". Pues bien, a juicio de Kuhn , "lo que distingue a las cien-
cias sociales de las naturales es la a usencia misma de un paradigma dominante
ünico" (p. 14). Es más, para Kuhn las ciencias sociales son "preparad igmá ticas" en
su desanollo. Ahora bien, para Shulman este hecho no debe interpretarse como
una debilidad e n el desarrollo de estas ciencias; a ntes al contrario, "es mucho más
posible que para las ciencias sociales y de la ed ucación la coexistencia d e escuelas
divergentes d e pensamiento sea un estado natural y bastante maduro".
calidad: en efecto, puede ser fácil establecer indicadores en torno

a la relación entre alumnos que inician el doctorado y tesis doc-
torales leídas, pero eso nada dice sobre la calidad de las tesis.
,_,.. Por su parte, los enfoques cualitativos, se prestan en mayor
medida a poner de relieve apreciaciones matizadas y ricas del per-
sonal implicado, dimensiones o aspectos que se oc.ultan a los ins-
trumentos estandarizados de recogida de datos, elementos con-
textuales básicos para comprender, con la debida claridad y pre-
cisión, los puros y fríos datos numéricos.
Pero, a Ja vez, hacen posible tomar como base de juicios y
decisiones datos irrelevantes y hasta elucubraciones personales.
No es irrelevante, sino todo lo contrario, Ja posición de
Stenhouse ( 1987: 327), un crítico de la evaluación tradicional,
cuando, no obstante, afirma al respecto:
Aspiran a 'contarlo tal como es', y a menudo escriben como si

fuera posible a condición de que puedan hacer alguna distorsión de
acuerdo con sus propios valores. Pero esto no es contarlo tal como
es. Es sólo una creación de significado a través de la utilización de cri-
terios y estructuras conceptuales. La tarea de informar a quienes
toman las decisiones en un lenguaje que puedan entender fácilmen-
te puede conducir, c'on demasiada facilidad, a la importación casual
de presuposiciones y criterios sin examinar. La respuesta de la
audiencia puede ser seductora, especialmente si Ja audiencia es polí-
ticamente poderosa. Y demasiado fácil para la evaluación que aspira
a ser una novela degenerar en una novelucha.
~ Hemos hecho referencia a una tercera vía metodológica, liga-

aI al principio de complementariedad metodológi,ca; a nuestro juicio,
esta opción parece una respuesta adecuada a la situación que nos
ocupa. La complementariedad se ~~a~ partir de varias razo-
nes, destacando entre ellas las sigtrie
La diversidad de objetivos a los que puede servir un mismo

programa, y hasta su evaluación: desde la constatación de la
eficacia o de la efectividad a la valoración de pertinencia, la
suficiencia, la eficiencia, el impacto o hasta la satisfacción
de destinatarios, de afectados o de la misma sociedad.
Diversos objetivos requieren diferentes metodologías.
La importancia que en el ámbito de lo humano tiene la
percepción de los hechos: con frecuencia, unos mismos
·v- r
datos objetivos dan lugar a percepciones, valoraciones e
"' interpretaciones diferentes, siendo éstas la base de actua-
ciones posteriores. Por tanto, un mismo ci;;ttQ... h~o ·
puede conducir a decisiones muy diferentes en f!!nción de
ta interpretación. Si la percepción , pide datos apreciati-
vos, de opinión y valoración, la eficacia, por ejemplo,
exige datos "duros", objetivos, rigurosos, surgidos de situa-
ciones de "prueba".
La diversidad de agentes y destinatarios de los programas,
que pueden tener objetivos, posiciones y criterios diferen-
tes. En la medida en que los resultados derivan de la con-
junción de actuaciones es bueno constatar, contrastar y, en
la medida de lo posible, integrar, las posiciones de todos
ellos. Algo similar puede afirmarse de los destinatarios
-"!tudiencias" egún terminología de algunos autores-, con
expectativas y demandas muy diferentes.
5.1.1.4. Utilización de la evaluación
Cerramos este apartado con el análisis de un nuevo eje, refe-

rido a las intenciones de quienes realizan o encargan las evalua-
ciones. Si tenemos en cuenta que disponer de información sitúa
a quien la tiene en una posición de privilegio -información es poder,
se dice- comprenderemos que puedan darse evaluaciones desti-
nadas a usos correctos, éticos, o, por el contrario, puestas al ser-
vicio de quienes la encargan, la realizan o la controlan, y no de
todas las partes in te resadas.
En ocasiones, las intenciones iniciales son legítimas, pero los
resultados alcanzados pueden ser considerados por los responsa-
bles del programa contrarios a sus intereses, lo que les puede lle-
var a difundir una información parcial y sesgada, con lo que los
destinatarios pueden ser en realidad objeto de una manipulación
más o menos burda e intencionada.
Al respecto son de gran interés las palabras de Stufflebeam y
Shinkfield (1987: 67s.), autores de uno de los modelos más cono-
cidos y utilizados (el modelo CIPP), al referirse a las cuasievalua-
ciones. Allí se llega a comparar a ciertos evaluadores con charlata-
nes y manipuladores, que "utilizan la evaluación de una forma ina-
decuada para lograr sus objetivos", señalando a continuación lo

siguiente:
Puede que recopilen la información rigurosamente, pero no

revelan las verdaderas conclusiones, o lo hacen de un modo selecti-
vo, o incluso las falsifican, engai'iando tanto a la gente como a sí mis-
mos.
Ante estos hechos, no debe extrañarnos que se haya plantea-

do la necesidad de que las evaluaciones de programas, como cual-
quier tipo de evaluación e investigación, respete una serie de cri-
terios, no sólo técnicos sino éticos o de honradez, criterios a los
que nos referiremos en el último capítulo de esta primera parte,
y que han sido recogidos por el Joint Committee en su publica-
ción de 19944.
5.2. PRINCIPALES MODELOS EVALUATNOS 5
En modo alguno se pretende con este apartado la presenta-

ción sistemática de una serie de modelos evaluativos de progra-
mas; básicamente tratamos de situar al lector ante algunas de las
propuestas más significativas, previas a la propuesta del autor,
pensada fundamentalmente para la evaluación de programas
educativos y propuesta como elemento de reflexión para su ade-
cuación a programas específicos de educación social.
Pues bien, en tal sentido, comenzaremos analizando breve-
mente la propuesta que subyace a lo que se viene reconociendo
como el primer estudio sistemático y riguroso de evaluación de
programas: el realizado por Ralph Tyler, publicado en 1942, en
relación con el Eight-Year Study. De en ton ces acá muchas han sido
las propuestas de la más diversa naturaleza y con diferentes gra-
dos de originalidad.
Organizaremos el análisis en cuatro grandes bloques, dedi-
cando el primero, tal como ocurrió cronológicamente, a aquellas
propuestas cuya meta fundamental era valorar la eficacia de !os
4 Previamente eljoint Committee había publicado, en 1981, la obra Standards

far Evaluations of Educational Programs, Projects and Materials, New York, McGraw-Hill.
5 En este punto, seguimos muy de cerca los planteamientos de D. L.
Stufflebeam y A. J. Shinkfield en su obra citada.

programas; pasaremos a continuación a los que, como conse-

cuencia de la crítica a los anteriores, centraron su punto de mira
en los procesos en su relación con los resultados, para continuar
con otros modelos claramente más complejos y, por tanto, más
difíciles de abordar, pero más adecuados a la realidad evaluada.
Concluiremos con una referencia a propuestas de naturaleza cla-
ramente diferente, ligados a enfoques evaluativos de naturaleza
cualitativa, que rompen decididamente en muchos de sus plan-
teamientos con lo hasta entonces propuesto.
5. 2. l. Modelos evaluativos centrados en la eficacia de los programas
Podemos distinguir en este apartado dos grandes enfoques: el

debido a Tyler, ya citado, donde se lleva a cabo el análisis de la
congruencia entre los objetivos incorporados a los programas y
los resultados alcanzados, y el que se sirve de metodologías expe-
rimentales.
5.2.1.1. La propuesta de Ralph Tyler
De una forma sencilla, podríamos afirmar que la propuesta

metodológica de Ralph Tyler se centra en la comprobación del
grado de eficacia de los programas educativos. En la medida en
que un programa se diseña al servicio de una serie de objetivos
que , como hemos reseñado, deben responder a demandas o a
carencias -expresas o implícitas- de un grupo de personas, pare-
ce lógico pensar que la prueba fundamental que debe superar es
la de su eficacia, esto es, la de establecer el grado en que logra sus
objetivos como fruto del plan sistemático a su servicio en que con-
siste el programa.
Tomando como base este planteamiento, parece lógico que la
valoración del programa, esto es, su evaluación, se concrete en el
establecimiento del grado de coherencia entre los niveles de
logro preftjados y los realmente alcanzados.
En esencia, la propuesta de Tyler implica una determinada
secuencia de actuación concretada en los pasos o etapas siguien-
tes:
• La identificación o fijación de las metas y objetivos del pro-

grama o institución.
• Su definición en términos operativos, esto es, de comporta-
mientos observables.
• La identificación de situaciones en que pueda ponerse de
manifiesto el logro o no de tales objetivos.
• La elaboración o selección de los instrumentos adecuados
para comprobar el logro o no de tales objetivos.
• La comparación entre los resultados apreciados a través de
tales instrumentos y los objetivos inicialmente prefijados.
Dada la diversidad de objetivos, es frecuente acudir a su cla-

sificación en categorías, tales como las recogidas en diversas
taxonomías de oqjetivos educativos, siendo el ejemplo clásico el
debido a Bloom, Krathwohl y Masia ( Taxonomy of Educational
Objectives, publicada en 1964). En el caso de los objetivos del
denominado dominio cognoscitivo tales categorías se concretan en
las siguientes: conocimiento, comprensión, aplicación, análisis, sínte-
sis y evaluación.
El gran valor de la propuesta de Tyler es su carácter pionero
en este campo, dado que hasta entonces las evaluaciones se
habían centrado en el aprendizaje de los estudiantes, sin consi-
derar la actuación de quienes, por medio del programa, orien-
taban su actividad al logro de tal aprendizaje. Como consecuen-
cia de este planteamiento, los evaluadores podrían recomendar
la reformulación de los objetivos en función de los resultados
alcanzados, con la consiguiente incidencia sobre las condicio-
nes y actuaciones para que pudieran lograrse en nuevas oportu-
nidades.
Pero la propuesta de Tyler ha sido profundamente criticada,
algo que suele ocurrir con todos los pioneros. La crítica funda-
mental se centra en la escasa consideración concedida a los pro-
cesos educativos, que son los que, tomando en consideración los
objetivos, deben conducir a los resultados previstos.
Una segunda crítica, tiene que ver con el grave problema-no
específico de este modelo- de encontrar evidencias para los obje-
tivos de mayor entidad. Resulta fácil operativizar, como pedía
Tyler, objetivos educativos ligados a los niveles más bajos de las
taxonomías, tales como los de conocimiento o aplicación, pero es
francamente difícil en e l caso de otros más elevados, como los de
110 EVALUACIÓN DE PROGRAMAS EDUCATlVOS
síntesis, evaluación, interpretación, creatividad... Conviene insistir

que esta limitación puede generalizarse a cualquier tipo de mode-
lo evaluativo, y debe ser abordada con decisión dado que los fallos
en este punto suelen conducir a evaluaciones que dejan de lado
este tipo de objetivos, con la consiguiente incidencia en su propio
logro6.
Reseñemos, para terminar, una tercera crítica: en la medida
en que el modelo se centra en los objeti;vos explícitos del progra-
ma, puede dejar de lado un conjunto de influencias no explícitas
de los centros educativos en que los programas se llevan a cabo.
Son los denominados efectos secundarios o no planeados, que
tienen que ver con lo que generalmente se denomina currículo
oculto. A nuestro juicio, esta crítica no es relevante si de lo que se
trata es de evaluar el programa y no otra cosa. Diferente será la
cuestión si lo que se pretende es evaluar el efecto de los centros
educativos o de las instituciones sociales; en tal caso, sí será pre-
ciso que los evaluadores estén abiertos y sean sensibles a influjos
no directamente planificados pero que, evidentemente, se pro-
ducen como consecuencia de las complejas red es de relaciones
que se dan en cualquier tipo de institución, redes que tienen que
ver con la personalidad de cada una de las personas implicadas,
que llevan al acto educativo sus problemas, intereses, conflictos e
ilusiones derivadas de su situación personal, al margen del propio
programa.
5.2.1.2. Las propuestas experimentales7
La cuestión de la eficacia no es algo sencillo de establecer ni

tiene un modo único de analizarse. No hay ninguna duda al afir-
mar que un programa ha sido eficaz cuando ha logrado todo lo
que se propuso; sin embargo, esta afirmación no suele darse, bien
6 Cuando los alumnos perciben que determinados objetivos no se someten a
evaluación, al margen de la impo rtancia inu-ínseca que estos tengan , ellos desvían
su aten ció n y su esfu erzo a aque llos que sí se inco rporan a las pruebas y, en gene-
ral, a las técnicas utilizadas por los evaluadores.
7 El lector puede consultar el capítulo dedicado a Diseños, elaborado por
Anguera, dentro de la obra edi tada por Fernández Ballesteros, recogida en la
bibliografía.
porque en términos medios no se alcanzan todos los objetivos,

bien porque aunque algunos usuarios o destinatarios del progra-
ma logren los niveles establecidos, otros, sea a título individual,
sea en tanto que miembros de determinados subgrupos de desti-
natarios del programa, se alejan de lo previsto en mayor o menor
grado. En tales casos, la eficacia es una cuestión relativa, y puede
ser analizada en términos comparativos: ¿es este programa más
eficaz que este otro?
La mera comparación directa de los resultados globales no se
acepta en términos científicos como forma para responder a tal
pregunta. De una parte, porque los instrumentos utilizados para
recoger la información -por lo general, pruebas- están en mayor
o menor grado afectados por lo que se conoce como errores de
medida, nacidos de las carencias en fiabilidad y validez; de otro,
porque, en términos científicos, lo que interesa no es si con estos
usuarios concretos es mejor o peor sino si, en general, esto es, apli-
cando el programa a nuevas muestras de destinatarios8 en el futu-
ro, seguirá siendo uno mejor que el otro. Se trata, en definitiva,
de estar razonablemente seguros9 de que el programa es eficaz
teniendo en cuenta tales limitaciones.
Como se puede apreciar, estamos ante un desideratum, un
auténtico desafío para el evaluador. La respuesta metodológica
adecuada no es otra que los estudios experimentales, acudiendo
a diseños específicos, bien de comparación entre programas
-diseños de dos o más grupos, cada uno de ellos aplicando un pro-
grama, o presentando unas características organizativas propias-
bien para apreciar las ganancias o mejoras del programa mediante
diseños de carácter longitudinal.
No cabe duda de la importancia de estos modelos para esta-
blecer la eficacia, ... siempre que puedan ser aplicados'º· La reali-
dad educativa es lo suficientemente compleja como para que sea
8 Debe ente nderse que tales nuevas muestras pertenecen a la misma población.
9 En los estudios científicos se trata de establecer si las diferencias apreciadas
se pueden atribuir al programa o pueden explicarse por puro azar, y e llo no con
certeza sino con una determinada probabilidad (que fija el investigador y que se
conoce como nivel de confianza: 0.95 o 0.99 por lo general).
10 El profesorVázquez Gómez (1981: 16), en el prólogo a la edición española
del libro de Fox, manifiesta: "Fruto de esta perspectiva histórica, reconocemos que
el mé todo experimental constituye hoy una posibilidad límite para nosotros".
difícil alcanzar lo que se conoce técnicamente como validez inter-

na, esto es: que los resultados medidos en Ja variable dependien-
te se deban a, y sólo a, la o las variables independientes. El cum-
plimiento de esta exigencia, mínima según los planteamientos de
Campbell y Stanley (1978), representá la existencia de control,
tanto el inicial en la planificación del experimento como el de las
denominadas variables extrañas o, según otros autores, hipótesis
rivales, algo extremadamente difícil de conseguir. Aspectos como
la propia complejidad, el hecho de que los programas son reali-
dades "de campo" y nunca "de laboratorio", o la larga duración
de su desarrollo ... hacen prácticamente inviable el modelo, aun-
que nunca está de más intentar diseños tan cercanos a las exi-
gencias experimentales como sea posible.
Una figura clave en este enfoque es la de Edward Schuman
con su obra Evaluative Research: Principies and Practice in Public
Service and Social Action Programs, publicada en 1967, donde dis-
tinguía entre evaluación e investigación evaluativa, teniendo
como objetivos la emisión de juicios de valor en el primer caso, y
la demostración del valor social de los programas en el segundo.
Desde luego, la idea básica de Schuman es la consideración
de la evaluación como una actividad científica, necesitada por
tanto del método científico; según él, la investigación evaluativa
debía acercarse tanto como fuera posible a las exigencias de la
metodología científica. Reconocía Schuman que la investigación
evaluativa se constituye en una modalidad de la investigación que
no se orienta como la investigación ordinaria o básica a la teoría,
a la generación de conocimiento, sino a la valoración y al logro
de resultados eminentemente útiles.
5.2.2. Modelos orientados a los procesos
Ya hemos dejado constancia de las críticas al modelo de Tyler;

a nuestro juicio, y desde un punto de vista pedagógico, Ja caren-
cia más importante -derivada por cierto de su aplicación y no
tanto del modelo- radica en el hecho de que, en el caso de que
el programa no resulte eficaz, o, al menos, todo lo eficaz que
desean sus responsables, no ofrece información o, al menos, no
la suficiente y la adecuada, para tomar las decisiones que permi-
tan mejorarlo.
Es verdad que en sus previsiones se encuentra la de poder

modificar o reformular los objetivos; pero bien puede ocurrir
que no sea conveniente hacerlo y sí introducir los cambios nece-
sarios o convenientes para que, con tales objetivos, el programa
resulte eficaz.
En la medida en que, como venimos reiterando, los progra-
mas son planes de acción, es decir, acciones sistemáticas diseñadas
por los responsables del programa al servicio de los objetivos,
cabe pensar que, o bien no se diseñaron adecuadamente, o bien
no fueron suficientes o adecuadas, o bien, por causas ajenas,
imprevistas o imprevisibles, no dieron el fruto deseado.
Se comprenderá que, con tales supuestos, la información
sobre los procesos de implantación e implementación de los pro-
gramas resulte de suma utilidad y necesidad; pero este hecho
obliga a una consideración de la evaluación más amplia que la de
Tyler, centrada en los productos de los programas y, por tanto,
evaluación de una sola vez al final del mismo, para incorporar, y
no como alternativa sino de forma complementaria, una evalua-
ción procesual que permita la toma de decisiones durante el pro-
ceso de su aplicación.
Preguntas como: ¿a qué se debe la baja eficacia del progra-
ma?; ¿cuáles son los puntos fuertes y débiles del mismo ... ?;
¿dónde debe incidirse prioritariamente para promover mejo-
ras? ... quedan sin respuesta, o tienen una respuesta insuficiente,
con un modelo como el de Tyler.
Abordar estos aspectos requiere conceder la debida aten-
ción a los procesos; en ocasiones, en efecto, los resultados alcan-
zados por un programa pueden tener en su origen una deter-
minada forma de desarrollo del programa. Pero es que, junto a
ello, y no con menor importancia, es preciso dejar constancia
del propio valor formativo intrínseco de los procesos de desa-
rrollo de los programas y de la vida académica y social de las ins-
tituciones.
En esta línea se manifiestan autores como Bigman y
Schuman. Este último, asumiendo los planteamientos de aquél,
reconoce la importancia no ya de establecer si los objetivos se
han logrado o no, sino las razones del éxito y del fracaso, los prin-
cipios que subyacen en los programas que han alcanzado sus
metas y hasta la identificación de los medios que dan lugar al
logro de los objetivos. Resulta por tanto necesario y útil proceder
al análisis y evaluación de los procesos, se trate de programas o de

instituciones.
5.2.3. Modelos complejos
El desarrollo de un programa de conformidad o no con los

planteamientos iniciales, aparte de ser un elemento que contri-
buye a su eficacia, ofrece pistas en relación tanto con su grado de
eficacia como con las posibles causas cuando sus resultados no
son los esperados. Es preciso reconocer que la toma en conside-
ración de los procesos pone de relieve posibles causas, además de
dar opción a que se manifiesten aspectos técnicamente conocidos
como efectos no planeados, tanto deseables como no deseados.
Sin embargo, nada garantiza que desarrollar un programa de
acuerdo con la planificación establecida asegure los resultados
apetecidos. Aspectos como las circunstancias de partida, los
medios y recursos disponibles, la disponibilidad del personal ... o
hasta la adecuación o no del programa o del Proyecto educativo
a las características, expectativas, demandas o exigencias de los
destinatarios, pueden explicar que programas o Proyectos de cen-
tro, buenos técnicamente y hasta bien valorados en otras circuns-
tancias, no den los frutos deseables con otros educandos o en
contextos diferentes.
5.2.3.1. La propuesta de Stake
Robert Stake es uno de los autores más prolíficos en aporta-

ciones a la evaluación de programas. Presentaremos brevemente
su modelo conocido como "de la figura", dado a conocer en 1967,
y haremos referencias a su posterior aportación, de mediados de
los años 70, conocida como evaluación respondiente". Stake también
participó en la conferencia celebrada en Cambridge que confi-
guró la denominada evaluación iluminativa, a la que nos referire-
mos más adelante.
Las líneas básicas del modelo de la figura, sobre la base de una
consideración compleja de la realidad educativa, son las siguien-
tes:
FIGURA 1. Esquema de la propuesta de Stake para la recogida de información

en la evaluación de programas.
Normas: Juicios:
Intenciones: Observaciones: o que la
lo que lo que la gente cree
lo %1e gente ge-
pretende la perci e la que debe ser
neralmente el p~og_rama
gente gente aprueba pnnc1pal
1 Base
lógica 1
~
An tecedentes
Tra nsacciones
Resultados
-
Matriz Matriz
de descripción de Juicio
Descripción del programa, concretada no sólo en lo que él

denomina operaciones y en los resultados, sino en los antece-
dentes, tanto en los previstos o supuestos como en los que
realmente ocurren. Por otro lado, Stake reconoce que la
evaluación no es tal si no concluye en una apreciación valo-
rativa, pero en lugar de conceder al evaluador, dado su
carácter experto, toda la responsabilidad, atribuye tal com-
petencia a diferentes 'jueces", desde los propios expertos a
los estudiantes o usuarios de los programas, pasando por
los profesores, los padres y hasta ciertos representantes del
cuerpo social.
Diversidad de datos. La complejidad del modelo de Stake,
planteada como respuesta a la complejidad de las situaciones
educativas, se aprecia con claridad en el esquema elaborado
por él en el que distingue, junto a la descripción, el juicio y la
base lógica del programa, tres grandes tipos de información:
las referidas a los antecedentes, las transacciones y los resultados.

Junto a ello, y como se aprecia en la figura 1, dos tipos dife-
renciados de información tanto para la descripción -intencio-
nes y observaciones- como para el juicio -normas y juicios- lo
que pone de relieve la gran complejidad del modelo
(Stufflebeam y Shinkfield, 1987).
Análisis de las contingencias y de las congruencias. Una vez reco-
gida la información anterior, el modelo permite establecer
las congruencias y las contingencias entre los mismos.
Las congruencias se establecen entre los antecedentes que se

plantearon y lo realmente logrado. Las contingencias, entre las
intenciones y las observaciones.
5.2.3.2. El modelo CIPP: la aportación de Stufflebeam
No debe extrañar que se hayan originado modelos o pro-

puestas que quieran dar respuesta a tal complejidad, incorporan-
do tres o más momentos o etapas. Tal es el caso de la propuesta
evaluativa más conocida, la debida a Stufflebeam, denominada
con las iniciales de sus elementos constitutivos: CIPP, esto es, con-
texto, input, proceso, producto, o la propia del autor del presente tra-
bajo, que recoge una evaluación inicial, seguida de la procesual y
de la final, complementada con la institucionalización de la eva-
luación, de forma que esos tres momentos constituyan algo así
como un "bucle", con sucesivas realizaciones.
La propuesta conocida como CIPP viene alcanzando un espe-
cial reconocimiento. Lo más significativo de la misma se recoge
en el cuadro 2 (1987: 194-195), donde, como puede apreciarse,
cada una de sus cuatro categorías se cruza con tres ejes o ele-
mentos: objetivos, método, toma de decisiones.
MODELOS Y METODO LOGÍAS PARA LA EVALUACIÓN 117
CUADRO 2: L a propuesta evaluativa C!PP de Stufjlebeam.
CATEGORÍAS
CONTEXTO ENTRADA PROCESO PRODUCTO
ELEMENTOS
Definir e l con- Ide ntificar y Ide ntificar o Reco pilar des-
texto in sli tu- valorar la ra/m- pron osti car, cripcio nes y
ci o nal, ide ntifi- cidad d el sisle- du ra nte e l juicios acerca
car la po bla- ma, las estrate- proceso, los de los resulta-
ció n , el o bje to gias de progra- defectos d e la dos y relacio-
del estudio y ma alLe rn aLi- pl anificació n narl os con los
valo rar sus vas, la fJlanifi- del procedi- o bj etivos y la
necesidades, ración de pro- mie nto o d e su in fo rmac ió n
ide ntifi ca r las cedimi e ntos reali zac ió n , pro porcionad a
o po rtunidades para ll eva r a propo rcio nar por e l co ntex-
de satisface r las cabo las es lra- in fo rmac ió n to , po r la
necesidades, tegias, los pre- para las deci- e ntrada d e
OBJETNOS diagnos ti ca r supu es tos y los siones pre pro- da tos y po r el
los problemas programas. gramadas y proceso, e
qu e subyace n describir y juz- in te rpre tar su
e n las negar las activi- valor y su
cesidacles y juz- dades y aspee- mérito.
gar si los obj e- Los de l proce-
Livos propues- climie nto.
Los son lo sufi-
cie nte me nte
co heren tes co n
las necesidades
valoradas
Utilizació n ele In venta riar y Co ntrolar las Defini r o pera-

mé todos co mo a nali zar los limitac io nes cio na lme nle y
el análisis de recursos po te nciales d el va lora r los cri-
sistemas, la hu ma nos y procedi m ie nto Le ri os de los
in spección, la materiales cl is- y pe rm anecer resultad os,
revisión de po nibl es, las ale rta a nte las medi an te la
cloc u men tos, estra tegias de q ue no se reco pil ació n
las aud icio nes, solució n y las es pera ban , ele los j uicios
las e ntrevistas, estra tegias de mediante la ele los clie ntes
MÉTODO los tests di ag- p rocedimie n to o bte nción de y la reali zac ión
nósticos y la re fe rentes a su información ele análisis cua-
téc nica apli cabilidad , específi ca d e lilalivos y
De lphi . viabilidad y las dec isio nes cuantitati vos.
eco no mía. Y programadas,
u tili za r méto- la desc ri pc ió n
d os como la de l p roceso
búsqueda de rea l, la co n li-
bi bliografía, nu a in terac-
las visitas a ció n con el
programas personal del

ejemplares, los proyecto y la
grupos aseso- observación de
res y los ensa- sus activida-
yos piloto. des.
Decidir e l Seleccionar los Llevar a cabo y Decidir la con-

rnarco que recursos de perfeccionar tinuación, fina-
debe ser abar- apcryo, las estra- la planifica- lización, rnodifi-
cado, las metas tegias de sol u- ción y los pro- cación o readap-
relac ionadas ción y las pla- cedim ientos tación de las
con la satisfac- nificaciones de del programa, actividades del
RELACIÓN ción de las procedimien- esto es, efec- cambio .
CON LA necesidades o tos, esto es, tuar un con- Y presentar un
TOMA DE la utilización estructurar las trol del proce- informe claro
DECISIONES de las oportu- actividades de so. Y propor- de los efectos
t"'JVEL nidades y los ca mbi o . Y pro- cionar un (deseados y no
PROCESO objetivos rela- porcionar una esbozo del deseados, posi-
DE CAMBIO cionados con base parajuz- proceso real tivos y negati-
la so lución de gar la rea li za- para utili za rlo vos).
los problemas; ción . más tarde en
por ejemplo: la interpreta-
la /1lanificación ció n de los
de los cambios resu ltados .
necesarios.
Y proporcio-
nar una base
para juzgar los
resultados.
5.2.3.3. La propuesta de Pérez Juste
Al lado de Stufflebeam incorporamos la propuesta propia del

autor, referida fundamentalmente a programas, especialmente a
programas educativos, que puede quedar sintetizada en los cua-
tro apartados siguientesll :
11 La p ropuesta fue presentada como ponencia, bajo e l título de Evaluación de
programas educativos, en marzo del año 2000, en e l marco de unas Jorn adas sobre
Medición y Evaluación educativas: Estándares e indicadores para analizar la realidad edu-
cativa, celebradas en la Un iversidad de Valencia, pero tiene antecedentes en escri-
tos del a utor, entre e llos en una ponencia presentada e n Tenerife, en 1992, en e l
marco de V Seminario Iberoamericano de Orientación, publicado por Ja Asociación
Española para la Orientación Escolar y Profesional (págs. 46-66).
PRIMER MOMENTO:
EVALUACIÓN DEL PROGRAMA EN CUANTO TAL
Se trata de la actividad evaluativa más importante tanto por ser la prime-

ra y base de todas las demás como por su contenido -abarca la realidad
toda del programa-y sobre todo, por sus grandes aportaciones a la mejo-
ra y optimización del programa.
Finalidad:
Establecer la calidad técnica del programa, su viabilidad práctica y
su evaluabilidad.
Poner en marcha el programa en condiciones óptimas.
Función:
Formativa: tomar por anticipado las decisiones de mejora que pue-
dan elevar las potencialidades del programa.
En ocasiones puede ser sumativa, sea sobre el programa, sea sobre
su evaluación.
Metodología:
Análisis de contenido de documentos
Estudios prospectivos
Técnica Del phi
Juicio de expertos multidisciplinares: científicos, técnicos, pedagó-
gicos, metodológicos ...
Registros
Pruebas diversas de evaluación inicial (prerrequisitos)
Información a recoger:
Sobre el programa: su fundamentación, su formulación y su rela-
ción con las necesidades, carencias, demandas y expectativas de los
destinatarios.
Criterios:
Calidad, pertinencia 12 y realismo de objetivos y metas y adecuación de
estos a los destinatarios y al contexto.
12
La pertinencia social es un criterio de calidad recogido en la Conferencia
Mundial sobre Educación Superior ( 1998: 25). Allí se puede leer: "La calidad es
inseparable de la pertinencia social" , desarrollándose esta idea como "una búsque-
da de soluciones a las necesidades y problemas de la sociedad y más especialmente
a los relacionados con la construcción de una cultura de paz y un desarrollo soste-
nible".
Suficiencia de los apoyos, medios y recursos para conseguir los obje-

tivos, en particular sobre la formación, implicación y compromiso de los
agentes y demás implicados.
Calidad técnica de los planteamientos de evaluación.
Calidad técnica del programa: coherencia con las bases teóricas y con
las necesidades a las que trata de responder; congruencia interna
entre sus componentes.
Viabilidad del programa.
Evaluabilidad: relevancia, suficiencia, claridad y accesibilidad de la
información disponible sobre el programa y de la necesaria en los
diversos momentos o etapas de su aplicación y evaluación. Análisis
de las dificultades detectadas y previsibles para evaluar el programa.
Decisionr's:
Generalmente formativas (de mejora previa).
En casos graves, sumativas (retirada del programa , no realización
de la evaluación encargada o asumida).
SEGUNDO MO~IENTO:
EVAl.L'ACIÓN DEL PROCESO DE IMl'I ANTACIÓN DEL PROGRAMA
Finalidad:
Facilitar la toma a tiempo de decisiones de mejora.
Acumular información para introducir mejoras en futuras edicio-
nes del programa.
Función:
Formativa.
En casos extremos, sumativa.
M el odología:
Recogida de información: observación , diálogos, entrevistas, análi-
sis de tareas, pruebas formativas intermedias ...
Análisis de la información: sesiones de grupo, debates ...
Información a reroger:
Sobre e l desarrollo del programa.
Sobre resultados intermedios.
Sobre efectos no planeados.
Criterios:
Cumplimiento: desfases, desajustes, flexibilidad.
Coherencia institucional.
Eficacia parcial.
Satisfacción de los implicados: agentes, colaboradores, destinatarios.
Decisiones:
Ajustes parciales.
En casos extremos, suspensión de la aplicación del programa.
TERCER MOME NTO:

EVALUACIÓN DE LOS RESULTADOS DE lA APLICACIÓN DEL PROGRAMA
Finalidad:
Comprobar la eficacia del programa.
Función:
Fundamentalmente sumativa.
Cuando sea posible, sumativa formativizada.
Información a recoger:
Resultados en relación con los objetivos.
Efectos, positivos o negativos, no planeados.
Critf'rios:
Eficacia: grado de logro de los objetivos propuestos.
Eficiencia: resultados en su relación con los medios disponibles y las
circunstancias en que el programa se aplica.
l:,)ectividad: efectos beneficiosos no previstos.
Satisfacción de destinatarios, agentes y otro personal interesado/
afectado.
Impacto del programa en el contexto en que se aplica.
Referencias:
Situación de partida: el programa frente a sí mismo ~ progreso.
Niveles preespecificados (evaluación criterial) ~ logro del domi-
nio.
Niveles de otros programas ~ superioridad
Decisiones:
Sumativas: mantener o suprimir el programa.
Formativizadas: mejorar el programa para una nueva edición.
CUARTO MOMENTO:
INSTITUCIONALIZACIÓN DE LA EVALUACIÓN DEL PROGRAMA
Ciclos sucesivos de evaluación ~ mejora~ evaluación ~ mejora.
En este momento se logra la plena integración del programa y de su evaluación, lo

que viene a redundar en la mejora tanto del programa como de la propia metodo-
logía de la evaluación.
5.2.4. Los modelos cualitativos
En 1972 surge un planteamiento alternativo a los modelos

evaluativos previos como resultado de un encuentro de figuras
del campo de la evaluación, celebrado en el Churchill College, de
Cambridge. Entre las personas participantes se encuentran pro-
fesionales como el ya citado Stake o los británicos Parlett y
Hamilton.
Su propuesta, alternativa a los modelos clásicos, se configura
en torno al término evaluación iluminativa.
La posición de estas personas es crítica con respecto a los
planteamientos previos, tanto en lo referente a los enfoques
experimentales como al tipo de datos a los que acude, eminen-
temente psicométricos; fundamentan su crítica en la inadecua-
ción para poner de relieve la complejidad de los fenómenos
evaluados.
De hecho, si de algún modo podemos caracterizar la tradición
evaluadora derivada de Tyler como propia del paradigma cuanti-
tativo o positivista, ellos muestran sus preferencias por su opues-
to, generalmente conocido como cualitativo, naturalista o inter-
pretativo.
La obra de Parlett y Hamilton (1977) pone de relieve los
aspectos críticos que permiten la diferenciación de la evaluación
iluminativa, destacando por su importancia el valor que atribuyen
al contexto en que se desarrollan los programas, dando a este tér-
mino un significado amplio capaz de incluir la dimensión histó-
rica, cultural y social.
Con tal planteamiento de base, el modelo iluminativo conce-

de una notable importancia al sistema de enseñanza y al medio de
aprendizaje. Para estos autores, una cosa es el programa definido
con mayor o menor precisión y otra lo que realmente sucede en
las aulas, fruto de modificaciones de mayor o menor entidad y rei-
teración. La importancia concedida a estos cambios es muy gran-
de, y de tales hechos se deben seguir consecuencias para la eva-
luación. Así, afirman:
En la práctica, los objetivos se reordenan muy frecuentemente,

se redefinen, se abandonan o se olvidan. La formulación "ideal"
inicial ya no resulta la más adecuada, ni siquiera tiene ya demasia-
da importancia. Pocos se toman las descripciones del catálogo y las
listas de objetivos en serio, salvo -al parecer- e l evaluador tradi-
cional.
Desde luego, hay que reconocer que si las cosas fueran así, el
modelo de Tyler quedaría por completo fuera de juego; pero, de
alguna manera, eso supondría tanto como indicar que los profe-
sores y, en general, quienes diseñan los programas, son unos irres-
ponsables y no se toman en serio su tarea.
Es más, cabría pensar que, cuando el responsable de un progra-
ma lo aplica por vez primera, puede cometer graves errores en la
formulaóón de sus objetivos, sobre todo si no ha llevado a cabo la
etapa de análisis de las necesidades a las que el programa debe dar
la debida respuesta. Pero si en tal ocasión ha realizado la evaluación
del programa en línea con lo indicado por Tyler, la nueva selección
y formulación de objetivos debería ser mucho más ajustada.
La posición de Parlett y Hamilton en relación con el sistema
de enseñanza se complementa con la que mantienen en lo relati-
vo al medio de aprendizaje, un medio difícilmente previsible y con-
trolable. Esta experiencia es común en cuantos han desarrollado
su actividad en las aulas: las relaciones humanas entre alumnos y
profesores, los condicionamientos externos, los materiales de
aprendizaje, los intereses y formación previa del alumnado ...
hacen del ambiente una realidad compleja y en cierta medida
difícil de prever.
De alguna manera, eso explica que determinados autores
mantengan que mientras la Pedagogía quiere ser una ciencia, la
educación sea un arte. Sin embargo, a nuestro juicio, estos ele-
mentos no vienen a impedir una evaluación según modelos clá-

sicos, sino a reclamar la debida atención y análisis a la hora de
emitir juicios evaluativos sobre los resultados de cualquier pro-
grama.
Sea como fuere, los defensores de estos planteamientos eva-
luativos tienen claro que su interés principal no es tanto la valo-
ración de los resultados, y hasta la predicción de lo que ocurrirá
en nuevas ocasiones, como la descripción exhaustiva de los pro-
gramas para comprender y desentrañar la compleja realidad edu-
cativa. Tal vez por ello acuden a una mayor variedad de técnicas
para Ja recogida de información, destacando las de entrevista y
observación, las fuentes documentales que permiten conocer los
antecedentes y el contexto, y los propios tests y cuestionarios.
La evaluación iluminativa suele desarrollarse en tres grandes
etapas: durante la primera, generalmente denominada de obser-
vación, se pretende llegar a conocer el conjunto de elementos y
variables que inciden sobre el programa; durante la segunda, de
investigación, se trata de seleccionar las cuestiones más importan-
tes del programa en su contexto de referencia; por último, en la
de explicación, se ponen de manifiesto los principios subyacentes
a la organización del programa, tratándose de establecer las rela-
ciones de causa a efecto.
Concluiremos este apartado haciendo menc10n de
McDonald, con su modelo holístico y sus aportaciones en torno
al control de la evaluación.
5.3. PROBLEMAS PENDIENTES
Como se ha podido constatar, la evaluación es una actividad

compleja, en la que se cruzan elementos de muy diversa natura-
leza, lo que conduce a soluciones muy diferentes y, en ocasiones,
muy alejadas unas de otras.
Probablemente, convendría dejar claro desde el primer
momento si nos movemos en el marco de evaluaciones auténtic;:a-
mente educativas o pedagógicas, lo que nos sitúa ante planteamien-
tos formativos, centrados en el perfeccionamiento del educando,
o si nos situamos en contextos sociales y políticos, donde pueden
primar aspectos ligados al cumplimiento de la normativa, a la res-
ponsabilidad del profesorado o a la rendición de cuentas, por no
indicar sino algunos de los aspectos fundamentales.
Con todo, la aludida complejidad da lugar a una serie de pro-

blemas sin resolver, sobre los que habrá que tomar decisiones en
cada momento. Reseñamos algunos de los fundamentales, sin
pretender en modo alguno haber recogido todos, aunque sí los
más importantes, al menos a juicio del autor, aunque recono-
ciendo que ese calificativo depende, en ocasiones, de las cir-
cunstancias de la evaluación y de la naturaleza de la realidad eva-
luada.
5.3.1. La existencia de expertos
Los modelos o propuestas evaluativas externas tienen como

base la consideración de la evaluación como una actividad técni-
ca, necesitada de profesionales expertos que la conduzcan a buen
puerto.
Con frecuencia, el diseño mismo de la evaluación lo realizan
expertos, y personas expertas son las encargadas de recoger, orga-
nizar y elaborar la información como base para la configuración
de un juicio técnico y hasta para la propuesta de medidas de
mejora.
En España, durante los últimos años de la etapa socialista en
el Gobierno, se elaboró un Plan de Evaluación de Centros, cono-
cido como Plan EVA, encargado a la Inspección, que reunía, ade-
más de su condición de supervisora de la actividad de los centros
educativos, la de su carácter de experto.
El actual Plan de Evaluación de Ja Calidad de las U niversida-
des, de carácter mixto -primero, autoevaluación de la institución;
después, evaluación externa por expertos- asume el principio de
la necesidad de expertos.
Con las reformas educativas emprendidas por el Gobierno del
Partido Popular, en particular la Ley Orgánica de Universidades
y Ja Ley de Calidad de la Educación, se han puesto en marcha la
Agencia Nacional de Evaluación de la Calidad y Acreditación
(ANECA) y el Instituto Nacional de Evaluación y Calidad del
Sistema Educativo (INECSE) respectivamente. En ambos casos, la
necesidad de expertos es elevada.
El problema es grave; al menos en España no existe ni de lejos
el número de expertos necesarios para llevar a cabo tal labor. Pero
las consecuencias de una evaluación externa, propia de expertos,
llevada a cabo por personas con una formación apresurada, con-

centrada en una o dos sesiones de fin de semana, son fáciles de
imaginar. De por sí, la evaluación levanta recelos en las personas
e instituciones evaluadas; si a ello se une que quienes han de lle-
var a cabo la tarea no son reconocidos por los evaluados como
dotados de la competencia y de la experiencia necesarias, lo más
probable es que la evaluación pierda una gran parte de su efecti-
vidad y hasta pueda llegar a ser la gran ocasión perdida: en efec-
to, cuando los resultados de una evaluación defraudan y son insa-
tisfactorios, y ello tras un largo proceso destinado a crear las acti-
tudes positivas, tanto para aceptar la presencia de personas ajenas
como para colaborar activamente en las tareas, resulta muy difícil
intentarlo de nuevo.
5.3.2. La factibilidad
En el campo de la evaluación se corren muchos riesgos, y

uno de ellos es el intento de perfeccionismo. Cuando un grupo
de expertos es invitado a proponer modelos evaluativos, lo hace
más desde la perspectiva de sus colegas que de la correspon-
diente a las personas e instituciones a las que se aplicará la eva-
luación.
Este hecho suele conducir a propuestas muy elaboradas,
amplias, profundas y complejas, cuya aplicabilidad es muy costo-
sa en tiempo, recursos materiales y dedicación del personal.
Nos encontramos ante un importante reto: el de conjugar una
evaluación que merezca la pena por la aportación de información
que pueda representar, y el tiempo, los recursos y el personal
necesarios para lograrlo.
La investigación debería orientarse a identificar los conteni-
dos mínimos necesarios para una evaluación que permita ser
valorada como suficiente, dejando fuera todos aquellos otros
aspectos que podríamos denominar superfluos. Se trata, en defini-
tiva, de elaborar propuestas centradas en lo esencial, suficientes y
factibles.
Recuérdese que las normas del Joint Committée se estructu-
ran en torno a cuatro grandes criterios, siendo el de factibilidad o
viabilidad uno de ellos, al lado de los de utilidad, probidad o eticidad
y precisión o exactitud. Los estándares de factibilidad se orientan a
lograr una evaluación realista, prudente, diplomática y austera, y

se concretan en tres manifestaciones que serán objeto de estudio
más adelante.
La exigencia de factibilidad resulta especialmente necesaria si
se quiere crear una cultura autoevaluativa, la que, como sabe el
lector, viene considerando el autor como la que representa mayo-
res posibilidades.
5.3.3. ¿Juicios expertos o juicios democráticos?
En la propuesta que hemos ido configurando nos hemos

decantado, en lo fundamental, por: a) una evaluación orientada
a la mejora; b) desde enfoques internos; inicialmente global,
pero, en ciclos sucesivos, parcial, centrando la atención en los
puntos fuertes y débil,es previamente detectados; c) realizada por la
propia comunidad educativa, con el asesoramiento de expertos
cuando no los haya en la propia comunidad; d) aplicando el prin-
cipio de complementariedad metodológica; e) con la participa-
ción de los miembros de la comunidad.
Pues bien, tanto la participación como el enfoque de comple-
menlariedad metodológica conducen a un problema sin resolver:
¿quién o quiénes deben emitir los juicios valorativos "definitivos"?
y, por tanto, ¿quién ha de tomar las decisiones de mejora?
Lo ideal sería que tanto unos -los juicios- como otras -las
decisiones- fueran el resultado de sesiones de evaluación en las
que, con una adecuada dinámica de grupo, los responsables de
la institución alcanzaran el consenso sobre los aspectos funda-
mentales o, al menos, la aceptación y asunción como propios de
los acuerdos mayoritarios. Pero si no fuera así, resolver las cues-
tiones en forma de votación no parece ser la respuesta más
correcta.
Si se acepta que la participación es una cuestión de grado'?. y
que, en consecuencia, admite diversas manifestaciones, desde la
simple recepción y aportación de información hasta la ca-gestión
de las instituciones, pasando por la delegación de competen-
cias ... , parece adecuado pensar que, en casos de falta de acuerdo
final, sea en el diagnóstico de los puntos fuertes y débiles, sea en
13
El lector puede consultar Ciscar y U ría (1986) o Muñoz y Román (1989).
la selección de las medidas de mejora a aplicar, sea en la elabora-

ción de los correspondientes planes tanto de mejora de la insti-
tución o del programa como de su misma evaluación, las posicio-
nes últimas corresponden a los responsables de su gobierno. No
obstante, nunca se insistirá lo suficiente en la importancia de
conseguir, mediante el diálogo y las sesiones de grupo debida-
mente conducidas, un acuerdo básico tanto en el diagnóstico de
los puntos débiles como en las medidas a tomar: el apoyo a los
planes de mejora depende en gran medida de este importante
hecho.
Con todo, merece la pena dejar constancia d e una situación
especial. Cuando de lo que se trata es de una evaluación orienta-
da a la certificación 14 , no cabe duda de que la última palabra la
tiene siempre la persona o entidad certificadora en su calidad de
experta previamente reconocida. Cosa bien distinta es que, antes
de emitir su juicio, consulte y contraste su posición con cuantas
personas considere conveniente y necesario.
5.3.4. Los planteamientos éticos
Uno de los problemas más serios de las evaluaciones institu-

cionales, sobre todo cuando son realizadas por parte de expertos
comisionados o contratados por los responsables del sistema edu-
cativo, de los centros educativos o de los programas educativos, es
el relativo a la independencia profesional de los evaluadores.
Junto a ello, es preciso referirnos al propio comportamiento ético
de tales profesionales.
Recordemos al efecto las palabras de Stufflebeam y Shinkfield
sobre las cuasievaluaciones, llegando a denominar charlatanes y
11
"La certificació n es la acción llevada a cabo por una enúdad reconocida
como independ ie nte de las partes interesadas, mediante la que se manifiesta la co n-
formidad de una empresa, producto, proceso, servicio o persona con los requisitos
definidos e n normas o especificacion es técnicas". Vid. www.aenor.es. El reconoci-
miento de tales entidades se denomina "acreditación". ENAC, Entidad Nacional de
Acreditación, define este concepto del siguiente modo: "La acreditación es el pro-
cedimie nto mediante el cual un Organismo autorizado reconoce formalmente que
una organización es competente para la realización de una determinada actividad
de evaluació n de la conformidad". Vid. www.enac.es
manipuladores a quienes no se comportan en este punto de
modo adecuado:
Puede que recopilen la información rigurosamente, pero no

revelan las verdaderas conclusiones, o lo hacen de modo selectivo, o
incluso las falsifican, engañando tanto a la gente como a sí mismos.
(págs. 67 s.).
El problema resulta de difícil solución mientras los evalua-

dores se encuentren en situación de desigualdad con respecto a
quienes encargan las evaluaciones; la falta de asociaciones pro-
fesionales fuertes en el campo de la evaluación deja a los eva-
luadores en la situación de asalariados en relación con sus
patronos. Con frecuencia, el evaluador debe optar entre asumir
las condiciones de quienes lo contratan o arriesgarse a que su
trabajo no tenga la difusión necesaria como para influir en la
mejora de las personas y de las organizaciones sobre las que ha
trabajado profesionalmente.
Este importante problema ha sido recogido en las Normas del
Joint Committee, dedicándole uno de sus cuatro grandes aparta-
dos, el de honradez o probidad, cuya meta se encuentra en asegurar
que la evaluación sea realizada legal y éticamente, y con el debi-
do respeto a todos cuantos intervienen y están interesados en sus
conclusiones. El apartado de honradez está integrado por ocho
estándares de calidad que serán objeto de atención en el capítu-
lo seis de esta unidad.
5.3.5. La comparabilidad de los datos
Cada vez con mayor frecuencia se plantea el problema de la

comparabilidad de los resultados, sobre todo cuando se trata de
programas en gran escala o de evaluaciones institucionales
amplias, que afectan al sistema educativo, a las universidades
públicas (o a las privadas), a un conjunto de colegios de una
misma institución o titularidad ... La comparabilidad puede ser
una manifestación más de un fenómeno tan reciente como arro-
llador: el de la globalización.
En ocasiones, este hecho viene impulsado por la función eva-
luativa de rendición de cuentas o por el cumplimiento del prin-
cipio de derecho a la información para facilitar las decisiones de

los ciudadanos.
El problema de la comparabilidad es de elevada complejidad
desde una perspectiva puramente técnica 15 , pero se complica toda-
vía más por algunas de las exigencias de nuestro tiempo en lo rela-
tivo al currículum de las instituciones o por Jos derechos consagrados
tanto a la libertad de cátedra como a la autonomía institucional.
De un tiempo a esta parte, en efecto, se está tomando concien-
cia de la conveniencia de que los curricula reduzcan su grado de
centralización en los diferentes países, dejando autonomía a las
diversas comunidades y regiones en que se estructura cada nación
y hasta a los propios centros para acomodar y completar las líneas
básicas del currículo nacional. En España, junto al denominado
Diseño Curricular Base, de aplicación en todo el país, las diferentes
Comunidades Autónomas, en un primer nivel, y los centros educa-
tivos, en un segundo, cierran el currículo a cursar por los estu-
diantes, algo que podrá sufrir adaptación en el nivel del aula.
¿Cómo compaginar este hecho con la necesidad de contar con
datos que sitúen los resultados de un país en relación con otros de
su entorno? ¿Cómo hacer posible la comparación entre los resulta-
dos de diferentes colegios de una misma sociedad o empresa?
El caso de las Universidades puede ser todavía más agudo. Por
principio constitucional, las universidades gozan de un elevado
grado de autonomía en su organización, gestión y desarrollo de
las actividades académicas. ¿Cómo comparar resultados de uni-
versidades con tamaño y complejidad muy diferentes, planes de
estudio con notable diversidad, número de alumnos, profesores y
personal distintos, ratios muy alejadas unas de otras ... ?
Un problema añadido es el relativo a las dificultades que este
hecho representa para la movilidad estudiantil, tanto para las
convalidaciones dentro del propio sistema cuanto para el reco-
nocimiento de Títulos entre diferentes países. Dentro del propio
país puede darse el caso de que haya dificultades para poder apli-
15
De hecho, hasta en e l marco de los indirndores resulta difícil de lograr. Así, en
Análisis del Panorama educativo. Los indicadores de la OCDE. (1995: 11) , se lee lo
siguiente: "Comparabilidad: mejoras y problemas persistentes: Como resultado de las
mejoras en el instrumento e instrucciones de recogida de da tos y el continuo diá-
logo entre la Secretaría de la OCDE y los suministradores nacionales de datos, estos
son, de a lgún modo, comparables. ( ... ) Sin embargo, sigue habiendo importantes
problemas de comparabilidad ... ".
car una misma prueba para el acceso a la Universidad 16 ; las difi-

cultades se acrecientan para homologar los títulos universitarios
de diferentes países, incluso dentro de la propia Unión Europea.
Una solución, al menos parcial, siempre que la comparación
se oriente a la mejora, puede encontrarse en seleccionar como
referencia no los estándares nacionales o internacionales sino los
datos de la propia institución en una perspectiva evaluativa dia-
crónica. Estaríamos hablando en tal caso de superación, avance,
mejora, progreso en lugar de superioridad y competitividad. Esta pers-
pectiva podría hacerse compatible con una evaluación criterial:
las referencias serían los niveles de eficacia, eficiencia, satisfac-
ción ... que la propia institución, tras el análisis de su situación,
considerara razonablemente alcanzables. Las comparaciones
entre los indicadores de los países quedarían limitados a aquellos
aspectos estructurales, funcionales y organizativos en que los
datos brutos pueden ponerse en relación con datos contextuales.
Por ejemplo: % de alumnos escolarizados en los diferentes nive-
les; ratios de éxito (superación de los diferentes cursos) por eta-
pas educativas; % del producto interior bruto invertido en edu-
cación; % de alumnos del Centro educativo que superan las prue-
bas de selectividad y cuota de estos que culminan, después, los
estudios universitarios en cada una de las carreras ...
Hi En España, la prueba de seleclividad que se aplicaba tras el Bachillerato para

acceder a la Universidad no podía tener como base unas mismas materias debido a
que se daban diferencias entre las que se estudiaban en los diversos cursos. En efec-
to, las materias que en unas Comunidades Autónomas se estudiaban en segundo
curso de Bachillerato (sobre e l que se estructuraba la citada prueba) en otras se cur-
saban en primero, dándose el caso de que, en otras, se repartían entre primero y
segundo.
CAPÍTULO 6
LOS ESTÁNDARES PARA LA

INVESTIGACIÓN EVALUATIVA
OBJETIVOS

capaz de:
• Comprender Ja necesidad de disponer de estándares que

guíen la realización de evaluaciones de programas.
• Comprender y saber utilizar el vocabulario técnico corres-

pondiente a los estándares.
• Conocer, comprender, analizar y valorar los cuatro gran-

des criterios en que se organizan los estándares.
• Conocer, comprender, analizar y valorar los estándares

integrantes de los diferentes criterios organizativos.
• Analizar críticamente los estándares y su organización así

como las ausencias y las propuestas alternativas del autor.
A estas alturas de la exposición habrá quedado suficiente-

mente claro que la evaluación de programas es una actividad
compleja, con evidentes connotaciones técnicas, orientada a Ja
aportación de información útil a diferentes partes interesadas,
pero difícil por ambiciosa y con evidentes riesgos de ser mal uti-
lizada. ·
En tales condiciones, no parece difícil aceptar la convenien-
cia de establecer algún tipo de reglas de buen hacer que orien-
ten a las personas que se adentren en este tipo de actividad. Y
así ha sido.
6.1. ESTÁNDARES PARA LA EVALUACIÓN DE PROGRAMAS
Ya en 1974, un Comité nombrado por la APA (Asociación

Americana de Psicología) , la Asociación Americana de
Investigación en Educación y el Consejo Nacional de Medición
en Educación, dio a conocer unos estándares para los Manuales y
los tests de Psicología, revisando la edición de 1966.
En 1975 el joint Committee on Standards for Educational
Evaluation se amplió con la incorporación de doce nuevos miem-
bros, procedentes de sendas organizaciones, dando comienzo a
un trabajo que dio a conocer en 1981; se trataba de la publicación
Standards for Evaluations of Educational Programs, Projects and
Materials, en la que se propone un total de 30 normas, agrupadas
en cuatro grandes categorías, exigencias o criterios (cuadro 1).
En 1988 publicó los estándares para la evaluación del personal,
editados por Sage. Posteriormente, en 1989, el proceso seguido
por eljoint Committee fue acreditado por el Instituto Americano
Nacional de Estándares.
LOS ESTÁNDARES PARA LA INVESTIGACIÓN EVALUATIVA 135
CUADRO 1: Criterios de calidad de las evaluaciones.
CRITERIO NORMAS
UTILIDAD Se trata de ocho normas destinadas a asegurar que la
evaluación proporcione la información que necesite
cada una de las audiencias 1 legitimadas.
Habrá de ayudarles a identificar lo que está bien y lo
que está mal, lo que es más importante y las formas de
abordar las mejoras.
VIABILIDAD Se trata de tres normas, concebidas para promover una

evaluación realista, prudente, diplomática y moderada.
Los procedimientos a utilizar deben estar al alcance del
evaluador, sin crear problemas entre los afectados, pero
controlando los intentos de ciertos grupos de inmis-
cuirse en la evaluación.
HONRADEZ Este criterio está integrado por ocho normas, destina-

das a asegurar una evaluación realizada con plantea-
mientos legales y éticos, respetando a quienes intervie-
nen en la evaluación y están interesados en las conclu-
siones.
El informe debe ser equitativo.
PRECISIÓN Este bloque es el más amplio, con un total de once nor-

mas, fundamentalmente técnicas, destinadas a asegurar
la calidad de la información sobre la realidad estudiada,
de forma que sea posible determinar su valor y su mérito
Años más tarde, en 1994, tomando como base los principios

de la publicación de 1981, se dio a conocer una revisión de los
mismos bajo el título The Program Evaluation Standards, que inclu-
ye algunas modificaciones.
6.2. CONCEPTOS GENERALES SOBRE LOS ESTÁNDARES
Los autores de los estándares los han concebido como una

herramienta útil tanto para los evaluadores -bien desde una con-
1 El término "audiencias" no parece muy adecuado en nuestro idioma.
Personalmente prefiero hablar de "partes interesadas, implicadas o afectadas".

cepc1on limitada (sólo evaluadores) bien en una concepción

amplia (diseño, asesoramiento y evaluación)- como para los
usuarios de los programas, a fin de que sean capaces de valorar
las evaluaciones a las que puedan acceder. Sus autores los consi-
deran también como un instrumento de formación en la
Universidad, tanto para profesionales como para directivos y pro-
fesores.
Los autores, el Joint Committee, definen un estándar como
un principio acordado por las personas comprometidas en una
práctica profesional destinada a mejorar la calidad de la misma.
Consideran que los estándares "proporcionan una guía para eva-
luar los programas de educación y formación, proyectos y mate-
riales"; en conjunto, y a su juicio, proporcionan una estructura
para diseñar y asesorar evaluaciones.
A los efectos de entender el sentido y naturaleza de los están-
dares, conviene indicar cómo se definen en ellos los conceptos
básicos de evaluación, programa y proyecto.
Por evaluación se entiende la investigación sistemática del
valor o mérito de un objeto, en este caso el programa de educa-
ción y formación, aunque pueda aplicarse a proyectos y materia-
les. Proyecto se define como un conjunto sistemático de activida-
des educativas cuyo desarrollo ocupa un período determinado de
tiempo. Cuando un proyecto se institucionaliza se convierte en
un programa, entendido como un conjunto de actuaciones siste-
máticas.
Otros conceptos importantes son los relativos al evaluador, la
información, el cliente o la audiencia. Se entiende por informa-
ción el conjunto de datos, cuantitativos o no -desde una narración
o un gráfico a una estadística o informe- que ayuda a concretar
los resultados, responder a las preguntas que se hace el evaluador
o el cliente e incrementar el conocimiento y comprensión dispo-
nibles sobre el programa. Evaluador es un término amplio que
puede aplicarse a cualquier persona que realice una evaluación;
cliente es la persona, grupo u organización que encarga la evalua-
ción, que la contrata en definitiva; por audiencia se entiende las
personas o grupos implicados o afectados por una evaluación de
programas2.
2 Recué rd ese mi preferencia por el término "partes interesadas, implicadas o
afectadas".
6.3. ÜRGANIZACIÓN Y CONTENIDO DE LOS ESTÁNDARES
Como hemos indicado más arriba, los estándares están orga-

nizados en torno a cuatro grandes criterios que deben ser toma-
dos en consideración a la hora de encargar evaluaciones, dise-
ñarlas, dirigirlas, llevarlas a cabo y darlas a conocer. Se trata de los
cuatro siguientes:
• Utilidad
• Viabilidad
• Honradez
• Precisión
Dado que algunos estándares podrían situarse dentro de más

de uno de los anteriores criterios, la propuesta del Joint
Committee los ubica en aquel que, a su juicio, resulta especial-
mente adecuado. ·
Al leer y reflexionar sobre los diversos estándares, el lector
podrá comprobar que algunos de ellos, en su acepción más com-
pleta, tienen poco que ver con la situación en que se desarrollan
muchas evaluaciones en nuestro ámbito educativo; del mismo
modo, muchos de ellos están pensados para la actuación de eva-
luadores profesionales, que formalizan su trabajo profesional
mediante acuerdos o contratos con clientes. Desde ese punto de
vista, pues, parecerían poco adecuados y hasta se podría pregun-
tar por la conveniencia de su inclusión en esta monografía.
Debemos decir, no obstante, que el fondo de la gran mayoría
de los estándares debe ser respetado, puesto que sí es de aplica-
ción a cualquier evaluación de programas, y que los evaluadores,
sean profesionales de la evaluación o profesionales que realizan
evaluaciones (directivos de centros o entidades educativas, edu-
cadores sociales, orientadores) deben tomarlos como referencia y
modelo para su actividad evaluadora.
En la medida en que los estándares son principios, su aplica-
ción o no, y el detalle y profundidad con que deben aplicarse es
una cuestión de juicio, que deberá considerar con el debido cui-
dado el evaluador junto a las personas responsables del programa
y las que le encargan -si así fuere- la evaluación.
Analicemos brevemente los diversos estándares, agrupados en
torno a los diferentes criterios:
6.3.1. Estándares de utilidad
Este bloque está integrado por un total de siete normas, cuyo

sentido es el de asegurar que la evaluación ofrezca la información
necesaria y adecuada a cada una de las audiencias o partes inte-
resadas.
A los efectos oportunos, será preciso que los evaluadores
informen sobre sí mismos, delimiten sus audiencias o partes inte-
resadas, identifiquen sus necesidades de información, planifi-
quen correctamente la recogida de información adecuada a tales
necesidades y les informen de forma clara y suficiente.
Veamos lo fundamental de cada uno de estos estándares.
Ul. Descripción de la audiencia. Las personas implicadas o afecta-

das por la evaluación deben ser identificadas a fin de poder atender sus nece-
sidades.
Teniendo en cuenta que una evaluación puede afectar o, al

menos, interesar a diferentes audiencias -prefiero el término par-
tes interesadas- parece necesario que, antes de comenzar una eva-
luación, se identifique, además de a los clientes3, a tales partes
interesadas.
De este modo se podrán conocer sus intereses y necesidades
para poder ofrecerles la información necesaria, adecuada y útil.
Junto a ello, en la medida precisa y siempre que sea necesario, se
podrá facilitar su implicación en la propia evaluación (recepción
de sugerencias e iniciativas para una correcta planificación, dise-
ño e implementación).
Debe tenerse siempre en consideración que una evaluación,
por buena que sea, si no es conocida y aceptada por las partes afec-
tadas e interesadas, puede quedar, en el mejor de los casos, en algo
inútil; en ocasiones puede llegar a ser objeto de críticas que la desa-
crediten y hasta del rechazo activo por algunos colectivos.
U2. Credibilidad del evaluador. Las personas que llevan a cabo las
evaluaciones deben ser dignas de confianza y competentes para realizar su
actividad, de forma que sus trabajos y aportaciones alcancen el máximo de
credibilidad y aceptación.
3 Quienes contratan los servicios del evaluador.

Por lo general, las evaluaciones, en la medida en que deben

concluir en juicios valorativos y en la identificación de los puntos
fuertes y débiles de los programas, suscitan resistencias más o
menos fuertes entre las personas afectadas.
Para que tales juicios puedan ser aceptados y, por consiguien-
te, puedan incidir en la mejora de los programas, resulta impres-
cindible que al evaluador -persona o equipo- se le reconozca
competencia profesional, fruto de su experiencia y nivel de for-
mación; junto a ello, el evaluador debe suscitar confianza entre
las partes interesadas y afectadas como consecuencia de sus cuali-
dades personales, entre las que cabe destacar la integridad, la
ecuanimidad y la profesionalidad.
DadaJa importancia de este estándar, sería conveniente ase-
~r~rse de que el evaluador -persona o equipo- merece tal cre-
dibilidad para su cliente y demás partes interesadas pues, de no
ser así, parece preferible no abordar un trabajo que puede no
tener consecuencias para la mejora del programa y de su perso-
nal.
El evaluador debe ser consciente de que en cada evaluación
afianza o reduce su credibilidad como consecuencia de su actua-
ción durante el proceso y del rigor y seriedad de sus informes,
aspecto este para el que los estándares le ofrecen una guía de
enorme valor y utilidad.
U3. Alcance y selección de la información . La información reco-

f{ida debe ser tan amplia y adecuadamente seleccionada como para incluir
cuantas cuestiones se consideren pertinentes y relevantes en relación con el
objeto de evaluación -el programa- y para poder dar la debida respuesta
a los intereses y necesidades de las diferentes partes interesadas (audien-
cias).
Como se ha indicado en otro lugar, la evaluación no puede

nunca ser mejor que la información en que se basa; cualquier
insuficiencia, deficiencia o sesgo afectará necesariamente a la
calidad de la evaluación, de los juicios de valor.
Por consiguiente, un elemento básico de toda evaluación es la
identificación de toda cuanta información se considere relevante
a priori para satisfacer las necesidades de las diferentes partes inte-
resadas, para responder a las preguntas a las que debe dar res-
puesta la evaluación.
Ahora bien, una vez identificada toda la información poten-

cialmente interesante y útil, es preciso analizar si con los medios
disponibles -de personal, económicos, técnicos- y con el tiempo
asignado, los evaluadores deben proceder a establecer priorida-
des en el caso de que se deba prescindir de alguna información.
Para establecer las prioridades, el evaluador debe atender tanto a
criterios científicos como a los de carácter profesional y hasta a las
demandas de las partes interesadas.
Establecidos estos criterios, es conveniente que evaluador y
cliente, junto a las principales partes interesadas -audiencias-
logren acuerdos en este importante y básico aspecto.
U4. Interpretación . Los evaluadores deben describir con el debido deta-

lle las perspectivas, procedimientos y bases lógicas utilizadas para interpretar
los resultados a fin de que sean patentes las bases de sus juicios de valor.
Lo que convierte a la información en evaluación es su valora-

ción, pero la evaluación es una actividad que, siendo técnica,
admite diversidad de planteamientos y resultados en función de
los criterios, experiencias, teorías o formación del evaluador.
La subjetividad que afecta a los juicios evaluativos debería ser
puesta de manifiesto a fin de que las diversas partes interesadas
conozcan con claridad las perspectivas, lógica y procedimientos
en que se apoya el evaluador, teniendo en cuenta que los diversos
contextos pueden originar valoraciones diferentes para unos mis-
mos hechos, datos o información.
En cualquier caso, lo que parece imprescindible es dejar cons-
tancia de quiénes han de emitir las valoraciones y, en su caso, la
forma de proceder para integrar tales juicios y para tomar las
decisiones pertinentes si procediera.
U5. Claridad del informe. El informe en que toma cuerpo la evalua-

ción debe describir el objeto evaluado -el programaen su contexto, así como
los objetivos, procedimientos y resultados de la evaluación, a fin de proporcia-
nar la información fundamental y facilitar su comprensión.
Como se ha señalado, toda evaluación parte de unas necesi-

dades e intereses, generalmente traducidas a unas preguntas, que
guían el proceso evaluador; la evaluación es el proceso sistemáti-
co llevado a cabo para dar la respuesta oportuna y se concreta en
un informe en el que se recoge, como tendremos ocasión de com-
probar, lo fundamental de la evaluación: puntos fuertes y débiles

a fin de afianzar los primeros y solucionar los últimos.
Ahora bien, para que tal etapa de la evaluación resulte verda-
deramente útil, debe contar con ciertas cualidades, donde desta-
ca la de su claridad a fin de que los destinatarios puedan extraer
de él la mayor utilidad posible. A tales efectos, el informe debe ser
completo, de forma que recoja el objeto -el programaen su
contexto, además de incorporar los elementos significativos del
propio programa, entre los que cabe destacar sus objetivos y pro-
cedimientos.
U6. Difusión y oportunidad del informe. Los hallazgos significati-

vos y el informe de la evaluación deben darse a conocer a las partes afectadas
e implicadas a fin de que puedan ser debidamente utilizados.
La información que debe aportar la evaluación del programa

deja de ser útil si no llega a las partes afectadas e interesadas.
Tales partes están legitimadas, además del propio cliente de la
evaluación, para conocer los informes.
Dada la diversidad de las audiencias o partes interesadas, es
posible que no todas tengan los mismos intereses y que sus dife-
rencias en formación para entenderlos, comprenderlos y extraer
información para la mejora aconsejen una formulación diferen-
ciada para los diferentes grupos.
Conviene dejar constancia de que en este punto pueden sur-
gir conflictos entre el evaluador y los clientes que, con alguna fre-
cuencia, pretenden reservarse la información o, al menos, ciertas
partes de la misma. Para evitar estos problemas se recomienda
tomar acuerdos previos, tal como se indica en el estándar P2.
Acuerdos formales, recogido en el apartado de Honradez o probi-
dad.
U7. Impacto de la evaluación. Las evaluaciones deben ser planifi-

cadas, dirigidas, llevadas a cabo y dadas a conocer de forma que se esti-
mule el seguimiento del trabajo por parte de las personas afectadas e inte-
resadas a fin de aumentar las probabilidades de que la información sea
utilizada.
Por impacto entendemos el influjo o la incidencia que pueda

tener la evaluación sobre las decisiones y actuaciones de las par-
tes afectadas e interesadas. A tales efectos, los evaluadores pueden
jugar un importante papel de asesoría y apoyo a las diferentes

partes interesadas en el programa y su evaluación.
En principio, la evaluación no produce por sí misma mejora
alguna, aunque es preciso dejar constancia de que el mero hecho
de evaluar produce efectos -positivos o negativos- en los progra-
mas y en las personas a las que afecta.
Para conseguir que la evaluación produzca mejoras es conve-
niente que los evaluadores asistan y asesoren a las partes intere-
sadas; las orientaciones del evaluador pueden contribuir a que se
enfrenten con el programa desde un punto de vista diferente.
6.3.2. Estándares de viabilidad o factibilidad
Se trata de tres estándares concebidos para asegurar que las

evaluaciones sean realistas, prudentes y adecuadas. En concreto
son los siguientes: a) Procedimientos prácticos; b) Viabilidad política;
c) Eficacia en los costes.
Fl. Procedimientos prácticos. Los procedimientos utilizados en la eva-

luación deben ser los adecuados para alcanzar la información necesaria cre-
ando el mínimo de problemas posibles.
La información resulta ser el elemento o componente impres-

cindible de cualquier evaluación. Los procedimientos son diver-
sos e incluyen un amplio abanico, entre los que conviene desta-
car los relativos a los acuerdos con los clientes, la selección de
fuentes e instrumentos, la propia recogida de la información, su
análisis y la difusión de los resultados.
Muchos de tales procedimientos pueden originar problemas
en los lugares en que deben llevarse a cabo. El estándar ~dama.
la necesidad de que los evaluadores tomen las medidas precisas
para minimiZarlos;junto a ello, deberán asegurarse de que tales
procedimientos sean realistas atendiendo a aspectos como el
presupuesto necesario, el tiempo disponible o el personal pre-
oso.
Evaluaciones perfectas pueden llegar a ser imposibles de lle-
varse a la práctica. La viabilidad reclama un ejercicio de búsque-
da de evaluaciones que, sin renunciar a los aspectos esenciales, no
fracasen por su nivel de utopía.
LOS ESTÁNDARES PARA lA INVESTIGACIÓN EVALUATIVA 143
F2. Viabilidad política. La planificación y dirección de la evaluación

debe procurar la cooperación de los grupos interesados así como evitar cual-
quier intento de intervenir en su desarrollo o en sus resultados.
En la medida en que las evaluaciones se planifican con la fina-

lidad de tomar decisiones, no debe extrañar que haya personas o
grupos con intereses específicos que pueden pretender influir en
la evaluación, algo que no debe ocurrir. Pero, por otro lado, sin
la activa cooperación de las partes implicadas resulta impensable
una evaluación que pueda llegar a ser útil.
Al evaluador le incumbe conseguir tal colaboración y evitar la
injerencia si en verdad pretende conseguir credibilidad para su
trabajo.
Como se puede comprender, en este tipo de cuestiones son
importantes algunas de las cualidades a las que nos hemos referi-
do al hablar, en el marco de los estándares de utilidad, de la cre-
dibilidad del evaluador.
FJ. Eficacia en los costes (Coste -efectividad). La evaluación ha de

orientarse al logro de la información necesaria utilizando únicamente los
recursos precisos.
Los recursos son, en general, limitados. La evaluación consu-

me recursos, pero realiza aportaciones que pueden resultar de
gran valor para la mejora de los programas y para las diversas par-
tes interesadas. Cabe, por tanto, esperar que los resultados de la
evaluación compensen los recursos que deben ser utilizados.
El logro de la eficiencia en el uso de los recursos puede plan-
tearse en ocasiones en términos de metodologías para la evalua-
ción: en igualdad de condiciones, se debe elegir la metodología
que ofrece las mejores prestaciones a menor costo, no sólo en tér-
minos monetarios sino de personal y de tiempo.
Con todo, el establecimiento de la efectividad no es una
cuestión fácil; si por un lado, los recursos pueden ser relativa-
mente fáciles de contabilizar, la valoración de las aportaciones
de la evaluación resulta francamente difícil de llevar a cabo,
sobre todo en la medida en que puede generar una serie de
efectos no planeados como el cambio en ciertas actitudes que
pueden producir nuevos cambios en el futuro, a veces de gran
alcance. Junto a ello es preciso reseñar que algunas de las apor-
taciones de las evaluaciones merecen valoraciones diferentes a

las distintas partes interesadas, lo que le confiere un carácter evi-
dentemente subjetivo.
En todo caso, sí parece conveniente dejar como un importan-
te principio la necesidad de utilizar con moderación y prudencia
los recursos disponibles.
6.3.3. Estándares de Honradez o Probidad
Este bloque de estándares está integrado por un total de

ocho, cuyo sentido es el de asegurar que la evaluación se lleve a
cabo de acuerdo con las normas legales y los principios éticos, res-
petando al máximo el bienestar de quienes intervienen en la eva-
luación así como de las diversas partes interesadas.
He aquí los ocho estándares:
Pl . Orientación al servicio. Las evaluaciones deben diseñarse con la

intención de ayudar a las organizaciones a atender y satisfacer las necesida-
des de los participantes.
Las evaluaciones deben hacer aportaciones relevantes a las

organizaciones, a los educadores y a la sociedad, favoreciendo de
este modo el aprendizaje. En este sentido, se deben someter a
reflexión los objetivos y contribuir a la retirada de los programas
no sólo negativos sino ineficaces.
P2. Acuerdos formales. Es preciso plasmar en un documento escrito las

obligaciones de las partes implicadas, de Jorma que cada una de ellas esté obli-
gada a respetarlas o, en su caso, a renegociarlas.
Entendemos por acuerdo formal el establecimiento de las con-

diciones en que se llevará a cabo la evaluación, para lo que es
necesario tomar en consideración las necesidades, expectativas y
responsabilidades de clientes y evaluadores.
El acuerdo puede ser un sencillo documento o un contrato en
toda regla. Sea de una forma o de otra, es preciso acordar aspec-
tos tales como la aprobación del plan general, el sistema de reco-
gida, almacenamiento, organización y análisis de datos; la elabo-
ración, edición y difusión de los informes; la financiación o el sis-
LOS ESTÁNDARES PARA l.A INVESTIGACIÓN EVALUATIVA 145
tema de protección de los sujetos que aportan diversas colabora-

ciones.
El establecimiento de un clima de mutuo respeto y confianza
entre cliente y evaluador, fundamental para el desarrollo de la
evaluación, puede tener en este inicial acuerdo un marco que
evite tensiones posteriores.
PJ. Respeto a los derechos humanos. La evaluación debe diseñarse

y llevarse a cabo de forma que queden protegi,dos y aseg;urados los derechos y el
bienestar de las personas a las que pueda afectar la evaluación.
Las evaluaciones deben respetar tanto los preceptos legales

como la ética profesional. Entre tales derechos deben citarse
expresamente los relativos al libre consentimiento sobre la parti-
cipación, la libertad de retirarse de la evaluación, la confidencia-
lidad de la información aportada, además, claro está, de la pro-
tección de su salud y seguridad.
A fin de asegurarse de tal respeto, es preciso que los evalua-
dores conozcan tales derechos y estén al tanto de los códigos
deontológicos, además de asumir los principios éticos de las inves-
tigaciones y evaluaciones.
Los errores en este punto dañan la evaluación, que puede
encontrar resistencias futuras, además de contribuir al descrédito
tanto de los evaluadores como del propio acto y proceso evaluador.
P4. Relaciones humanas. Los evaluadores deben comprometerse en el res-
peto de la dignidad e integridad de las personas relacionadas con la evaluación,
aseg;urando que quienes participen no sufrirán daños de ningún tipo.
En toda evaluación se da una red más o menos compleja de inte-

rrelaciones humanas que afectan, o pueden hacerlo, tanto a quie-
nes participan como a grupos o personas implicadas o interesadas.
En la medida en que los evaluadores gocen de las habilidades,
capacidades y cualidades ya reseñadas, podrán salvaguardar a
tales personas de cualquier daño o perjuicio, evitando herir sus
sentimientos, ofenderles o provocarles daños o molestias, lo que,
de no darse, contribuiría a provocar hostilidad y rechazo hacia la
evaluación.
P5. Informes claros y completos. Los informes en que se reflejan las

evaluaciones deben ser claros y compl,etos, incluyendo en sus conclusiones
tanto los aspectos positivos y favorables como los negativos y des/avorables, de

forma que los primeros se conviertan en base de nuevas acciones y los segun-
dos en elementos para las actuaciones de mejora.
Contra lo que pudiera parecer al analizar evaluaciones o escri-

tos sobre el tema, las evaluaciones deben servir no sólo para des-
cubrir y poner de relieve los aspectos negativos que, obviamente,
deben ser identificados y delimitados de forma clara y precisa;
también los aspectos positivos deben identificarse, y ello no sólo
por el valor motivador que representan sino porque tales aspec-
tos positivos pueden convertirse en un elemento de base para las
decisiones de mejora.
En la misma línea, el evaluador debe poner de relieve los
métodos que ha utilizado, con sus pros y sus contras, a fin de que
pueda valorarse su incidencia tanto sobre los resultados como
sobre las conclusiones del Informe.
P6. Derecho a saber. Evaluador y cliente deben asegurar que los resul-
tados de la evaluación, con sus correspondientes limitaciones, serán accesibles
a las personas o grupos afectados, algunas de las cuales tienen derecho a reci-
bir los resultados.
El prestigio, la credibilidad y la propia utilidad de la evalua-

ción dependen en gran medida de la habilidad de los evaluado-
res para identificar a las personas y grupos afectados e interesados
y facilitarles el acceso u ofrecerles la información que les interesa
o les afecta.
Ahora bien, dado que los clientes tienen también sus dere-
chos en relación con los resultados de la evaluación, será preciso
el establecimiento de un acuerdo formal en este punto.
Las partes interesadas y afectadas deben conocer por qué se
realizó la evaluación y cómo se llevó a cabo, así como los métodos
utilizados y las valoraciones y recomendaciones realizadas por el
evaluador.
El sometimiento de estos aspectos al examen de las partes
interesadas deviene a favor de una evaluación de mayor credibili-
dad y calidad.
P7. Conflicto de intereses. Los intereses en conflicto deben afrontarse
de forma abierta y honesta, de modo que no interfieran en el proceso y en los
resultados de la evaluación.
De los estándares anteriores se deduce con facilidad que pue-

den darse situaciones de conflicto entre los intereses de los clien-
tes y de otras partes interesadas o afectadas; el conflicto puede
plantearse, del mismo modo, entre los intereses económicos, pro-
fesionales o personales del evaluador y la propia evaluación, los
clientes y las partes interesadas.
Resulta evidente que los evaluadores pueden estar mediatiza-
dos por sus intereses de distinto tipo -conseguir apoyos financie-
ros futuros, mantener buenas relaciones profesionales y persona-
les, afianzar su prestigio profesional...-; del mismo modo, deter-
minadas partes interesadas, o el propio cliente, pueden llegar a
sesgar la información, ofrecerla incompleta o insuficiente.
Tomando conciencia de que, en efecto, el conflicto de intere-
ses puede darse, y es normal que se dé, el estándar plantea la
necesidad de afrontarlo previamente y llegar a acuerdos que no
desvirtúen, cuando no invaliden, las evaluaciones.
PB. Responsabilidad fiscal. Las evaluaciones deben realizarse de forma

que se aseg;ure el uso de procedimientos económicos, siendo prudentes y ética-
mente responsables en lo relativo a los gastos y honorarios, que deben ser ade-
cuados.
El uso de los recursos económicos, tanto públicos como pri-

vados, debe responder a criterios de honradez y responsabili-
dad.
El incumplimiento del estándar, además de las responsabili-
dades a que pudiera dar lugar, termina por incidir en el descré-
dito de la evaluación.
6.3.4. Estándares de precisión
Este último criterio de calidad de las evaluaciones es el más

amplio: nada menos que doce estándares o normas lo compo-
nen.
El núcleo de su contenido se centra en la necesidad de que la
evaluación aporte una información técnicamente correcta en
relación con aquellas notas o características que deciden sobre el
valor y el mérito del programa evaluado.
A continuación se presentan los doce estándares:
Al. Documentación del programa. El programa evaluado debe des-

cribirse y documentarse de forma clara y adecuada a fin de que pueda cono-
cerse con toda precisión y claridad.
La credibilidad de la evaluación descansa en gran medida en

el hecho de que sus resultados estén respaldados por una com-
pleta documentación, que permita al evaluador una comprensión
profunda del programa y ello no sólo en su formulación inicial
sino en la forma real en que fue aplicado.
A2. Análisis del contexto. El contexto en que el programa se desarrolla

debe ser analizado con la debida atención, con el fin de identificar el influjo
que pueda representar para su desarrollo y resultados.
Los programas educativos no se desarrollan en el aire; de

hecho se ponen en marcha en un contexto en el que hay perso-
nas con sus propios programas e intereses, se dan relaciones
humanas, se cuenta con más o menos apoyos y recursos ... Pensar
que estas circunstancias y condicionantes no tienen algún tipo de
reflejo e incidencia en el programa, en su puesta en marcha e
implementación y hasta en sus resultados, no es realista.
En la medida en que la evaluación implica valoración e inter-
pretación, ni el programa ni sus resultados deberían sustraerse a
estos elementos condicionantes y ello no sólo para una valoración
más ajustada sino, también, para tomar decisiones que, en oca-
siones, no deberían afectar -o, al menos, no hacerlo sólo- al pro-
grama sino, precisamente a ese contexto de referencia.
Por otra parte , y de cara a la posible aplicación del programa
en otros contextos y situaciones, o de aplicar las conclusiones a
otros lugares, parece necesario estar al tanto de estos elementos
condicionantes.
Por último, el estándar nos advierte sobre la conveniencia de
aplicar los programas en el contexto más favorable.
AJ. Descripción de intenciones y procedimientos. En toda eva-

luación deben describirse con el detalle necesario para su identificación y
valoración tanto las intenciones a las que sirve como los procedimientos que
se utilizarán.
La transparencia que debe adornar los procesos de evaluación

exige que las intenciones que dan lugar a la evaluación, concre-
LOS ESTÁNDARES PARA 1A INVESTIGACIÓN EVALUATNA 149
tadas en sus objetivos y en el uso que se pretende dar a los resul-

tados, así como los procedimientos que se utilicen, entre los que
cabe destacar las formas en que se recogen, organizan, analizan
y utilizan los datos, deban ser descritos a fin de que puedan ser
identificados y valorados.
Este estándar viene en parte exigido por el desacuerdo mani-
fiesto existente entre Ja comunidad evaluadora tanto en relación
con las intenciones como con los procedimientos. De esta forma,
el destinatario de la evaluación conoce las claves de la misma y
puede situar sus propias valoraciones en ese contexto de refe-
rencia, algo de gran importancia para conferir a la evaluación
mayor o menor credibilidad y para utilizar o rechazar la infor-
mación que le ofrece.
A4. Fuentes de información. A fin de que pueda ser valorada como

adecuada o no la información ofrecida, es preciso que se describan con el debi-
do detall.e las fuentes de información utilizadas.
Las evaluaciones deben acudir a fuentes diferentes para dis-

poner de la información necesaria para poder valorar los pro-
gramas. La diversidad de fuentes es necesaria en ocasiones por-
que cada fuente puede aportar una información específica; pero
en otras, esa diversidad es conveniente en la medida en que per-
mite el contraste de puntos de vista de los diversos afectados e
interesados en el programa.
Ante la diversidad de fuentes, el evaluador debe considerar
las técnicas más adecuadas al caso; cabe pensar en cuestionarios
de opinión, en encuestas, en entrevistas estructuradas o en las
denominadas "en profundidad'', en situaciones de prueba, en
grabaciones en cintas de audio y video, en someter a observación
los comportamientos o en utilizar la documentación disponible,
por ejemplo.
A los efectos oportunos, es necesario informar sobre las
fuentes seleccionadas, los procesos de identificación y selec-
ción de informantes -evitando grupos interesados o sesgados
en sus puntos de vista-, las técnicas utilizadas y la forma de ana-
lizar la información. Con tal información como base, resulta
posible a las partes interesadas disponer de la información
necesaria para valorar la propia evaluación y tomar las decisio-
nes pertinentes.
A5. Información válida. La información a recoger y los procedimientos

a utilizar deben se/,eccionarse y aplicarse deforma que se asegure la validez de
las interpretaciones para el uso al que se destine la evaluación.
La clave de la calidad de las evaluaciones descansa en su vali-

dez. Las dificultades que debe superar el evaluador en este punto
son muy elevadas, sobre todo cuando la evaluación hace referen-
cia a información o datos difícilmente accesibles.
Al evaluador le incumbe recoger las evidencias precisas que
respalden sus datos, instrumentos, procedimientos e interpreta-
ciones.
Alcanzar la validez de la información implica en ocasiones, y
como ya se ha señalado en el capítulo correspondiente, probar
hipótesis que relacionan determinados hechos observables con
ciertos constructos inobservables. Por tanto, debe haber un res-
paldo teórico para estas suposiciones.
Pero, junto a ello, es necesario disponer de evidencias en el
sentido de que tanto las técnicas utilizadas para recoger la infor-
mación así definida, como los instrumentos concretos en que
toman cuerpo, ponen de manifiesto tales constructos en lugar de
realidades diferentes 4 •
A6. Inform ación fiable. Se deben ekgir y aplicar procedimientos para

la recogida de la información capaces de asegurar que es suficientemente fia-
ble para el uso al que se destina.
En general, se entiende por fiabilidad el grado de consisten-

cia de la información recogida. A tales efectos, es necesario dis-
tinguir entre la variabilidad de las puntuaciones explicable como
consecuencia de las diferencias reales existentes entre las perso-
nas a las que se aplican los instrumentos de recogida de datos y
aquella otra que se atribuye a los denominados errores de medi-
da, explicable por causas fortuitas o por azar.
A los efectos de la fiabilidad, conviene tomar las medidas
oportunas para minimizar los errores de medida a la vez que se
potencia la variabilidad -varianza- verdadera.
4 El tema de la validez es clave para todos los instrumentos de recogida de
datos. Determinados tests que pretenden medir inteligencia en realidad miden

conocimientos e incluso memoria.
La fiabilidad puede tomar formas diferentes; en ocasiones lo

que se pretende es conocer el grado de estabilidad de las puntua-
ciones de una a otra ocasión; en otras, se trata del grado de equi-
valencia de dos series de puntuaciones correspondientes a instru-
mentos que pretenden medir la misma realidad; en otras, lo
importante es el grado de consistencia interna. Al evaluador le
incumbe reducir tanto como pueda las limitaciones a la fiabilidad
de su información, e informar sobre las mismas.
A 7. Información sistemática. La información recogida, organizada y

analizada debe ser revisada de forma sistemática, de forma que los posibles
errores puedan ser detectados y corregidos.
Se debe ser consciente de que los riesgos de error son varia-

dos y elevados, afectando a momentos y etapas de la evaluación
que van desde la recogida de datos a su análisis, pasando por los
procesos de puntuación, codificación, o registro.
Se deben realizar los esfuerzos precisos para que las instruccio-
nes que se den a las personas que intervengan en estos procesos
sean claras; junto a ello, se deben tomar las medidas necesarias para
que reciban la formación ad hoc a fin de que sean capaces de reco-
nocer la información pertinente. Por último, se debe diseñar y apli-
car un plan sistemático de controles y comprobaciones capaces de
eliminar o, cuando menos, reducir al máximo los errores.
AB. Análisis de la información cuantitativa. La información de tipo

cuantitativo debe ser analizada de forma sistemática y apropiada a fin de que
puedan darse las respuestas adecuadas a las preguntas formuladas.
La información de naturaleza cuantitativa -edad, nivel socio-

económico, resultados, medidas de actitudes ... - permite su orga-
nización, resumen y presentación adecuadas.
Las diversas preguntas planteadas al inicio de la evaluación
deben llevar aparejada la selección de los métodos y procedi-
mientos de análisis más adecuados; por lo general, conviene
comenzar con un análisis exploratorio, capaz de identificar erro-
res, de apreciar su corrección y exactitud y de permitir una pri-
mera aproximación a la realidad evaluada. Las representaciones
gráficas permiten alcanzar u[\a visión intuitiva de los datos, facili-
tando de este modo una mejor comprensión de los mismos.
Tras el análisis exploratorio se puede proceder a análisis más

complejos, capaces de encontrar respuestas claras a las preguntas
y de facilitar su interpretación. Entre tales análisis pueden desta-
carse los relativos a comparaciones entre grupos o a inferencias
en relación con las diferencias encontradas.
Vale la pena destacar, de una parte, la necesidad de que los
evaluadores comprueben si sus análisis son adecuados a los datos
recogidos, esto es, si cumplen con los requisitos correspondien-
tes; de otra, deben estar en condiciones de defender su metodo-
logía: los análisis, los resultados y las interpretaciones.
A9. Análisis d e la información cualitativa. La informq,ción cuali-

tativa de un programa debe ser analizada de forma sistemática y apropia-
da a fin de que puedan darse las respuestas adecuadas a las preguntas for-
muladas.
Se considera cualitativa aquel tipo de información consisten-

te en narraciones y descripciones realizadas por diferentes perso-
nas a través de técnicas muy distintas: desde la entrevista -estruc-
turada o no- a los documentos, pasando por las grabaciones o la
observación .
Los análisis cualitativos consisten en el tratamiento adecuado
de la información, con frecuencia mediante su organización en
categorías que, por lo general, no suelen estar predeterminadas.
En efecto, en este tipo de análisis es habitual el planteamiento d e
un proceso inductivo e interactivo mediante el cual el evaluador
va y viene de los datos a su organización e interpretación, con-
trastándola con las diferentes fuentes productoras y con las partes
interesadas en el programa.
Aunque no es fácil establecer cuándo se ha alcanzado un sufi-
ciente análisis de la información de esta naturaleza, se puede con-
siderar que se ha llegado a ese punto cuando se han elaborado
unas categorías que permiten poner de relieve la información
necesaria para dar respuesta a las preguntas de la evaluación. Las
categorías, por su parte, han debido ser analizadas en cuanto a su
validez y fiabilidad.
AJO. Conclusiones justificadas. Las conclusiones a las que llega la

evaluación deben justificarse explícitamente a }in de que las diferentes partes
implicadas y afectadas puedan someterlas a valoración.
En general, la evaluación, plasmada en el Informe final, acaba
en una serie de conclusiones en las que se concretan los juicios,
valoraciones y recomendaciones del evaluador.
A fin de lograr por parte de los destinatarios de la informa-
ción la credibilidad y aceptación necesarias, tales conclusiones
deben estar debidamente argumentadas. A tales efectos, es
importante que se aprecie que derivan lógicamente de la infor-
mación recogida; en suma, las conclusiones, como ocurre en los
informes de investigación, deben ir acompañadas de la consi-
guiente discusión.
All. Objetividad del informe. Los informes deben reflejar con cla-
ridad los resultados de la evaluación, evitándose toda distorsión debida a
las posiciones personales de cualesquiera de las partes interesadas (audien-
cias).
Los informes pueden presentar distorsiones tanto conscientes

e intencionadas, lo que atenta contra los principios éticos y las
normas legales, como inconscientes y no intencionadas, fruto de
posiciones y sesgos personales del evaluador.
Los evaluadores deben estar atentos a ambos tipos de sesgos;
en particular, deben evitarse aquellos que pueden ser fruto de la
falta de cuidado o de la presión de las partes interesadas, inclui-
dos los clientes.
Al2. Metaevaluación . La evaluación en sí misma debe ser evaluada,

tanto formativa como sumativamente, poniéndola en relación con los ante-
riores estándares. De esta forma, el proceso evaluativo podrá ser llevado ade-
lante de forma adecuada y las diferentes audiencias podrán examinar su rea-
lización.
Si la evaluación tiene un potencial de mejora se debe funda-

mentalmente a sus aportaciones, pero estas lo son en la medida en
que tanto su diseño, como su realización y el propio informe se lle-
ven a cabo de forma correcta y adecuada, algo muy difícil como se
desprende de las exigencias de los estándares anteriores. La conse-
cuencia parece lógica: será preciso evaluar la propia evaluación y,
para ello, los estándares se convierten en elemento de referencia.
La evaluación de la evaluación puede y debe llevarse a cabo
por parte de los propios evaluadores, de evaluadores externos, de
los clientes y de las demás partes interesadas. La realización siste-
mática de este tipo de actividad metaevaluativa redunda en lacre-

dibilidad de las evaluaciones, de los evaluadores y de la evalua-
ción como profesión.
La evaluación formativa de la evaluación se convierte en una
guía del propio plan de evaluación y de su realización; al llevarse
a cabo durante el proceso de evaluación es posible corregir sobre
la marcha las disfunciones detectadas. Cuando la evaluación la
realiza un equipo de personas, alguna de ellas puede asumir esta
tarea.
Por su parte, la evaluación sumativa de la evaluación se da al
final del proceso evaluador sobre el programa completo. En
general, es preferible que este tipo de metaevaluaciones pueda
ser llevado a cabo por parte de evaluadores externos indepen-
dientes.
Cuestiones importantes de esta evaluación sumativa pueden
ser las siguientes:
• ¿Fue adecuado el diseño de evaluación?

• ¿Se llevó a cabo de forma correcta la aplicación del diseño
evaluativo?
• ¿Están claramente definidos los resultados de la evaluación?
• Las conclusiones, ¿están claramente respaldadas por la
información y los datos?
• ¿Se difundió adecuadamente la información alcanzada?
Atendiendo a lo anterior, se comprenderá el importante

papel que juega para realizar la metaevaluación el hecho de
haber ido documentando adecuadamente las diversas decisiones
y actuaciones que ha ido llevando a cabo el evaluador.
6.4. ALG UNAS REFLEXIONES SOBRE LOS ESTÁNDARES
Un análisis de los estándares nos permite comprobar su con-

centración en la evaluación, sin referencias normativas a los pro-
gramas, además de la ya indicada referencia a un contexto dife-
rente del nuestro, lo que lleva a que algunos de los estándares
sean de difícil aplicación en la situación ordinaria de nuestro
país.Junto a ello, señalaré lo que considero ausencias y haré men-
ción de ciertas discrepancias en cuanto a la organización de algu-
nos estándares. Veamos.
6.4.1. Separación entre programa y su evaluación
Es comprensible que se planteen unos estándares sobre eva-

luación y no sobre los programas objeto de atención, por varias
razones: estamos ante una actividad técnica, en la que puede
darse más fácilmente el acuerdo; la evaluación es concebida
como una actividad profesional y, por tanto, ajena a las personas
responsables de los programas. Pero no es menos verdad que eso
tiene dos importantes consecuencias: un cierto formalismo en las
propuestas, por un lado, y posibles disfunciones por otro5.
Entiendo que debería plantearse un bloque de estándares
sobre programas y, en nuestro caso, sobre programas educativos. A
modo de propuesta, podrían ser, al menos, los siguientes:
• Calidad intrínseca del programa:
El documento en que tome cuerpo el programa debe concretar

sus metas y objetivos, dando cuenta o razones de su elección en fun-
ción de la relevancia y pertinencia de las mismas; en la medida de
lo posible , ofrecerá información sobre la base teórica que lo sus-
tenta.
• Calidad técnica del programa:
El programa debe reunir las condiciones técnicas para ser consi-

derado tal. Entre ellas, la de especificar los objetivos; concretar la
naturaleza de la intervención, debidamente fundamentada; plantear
los medios y recursos e incluir un sistema de comprobación y mejora
de sus resultados.
• Calidad metodológica del programa:
El programa debe formularse de forma que contenga informa-

ción relevante para su correcta implantación e implementación, y, en
5 Un caso patente es el relativo a la evaluación de la calidad de las universidades
sin previamente plantear algún tipo d e orientación, pauta o propuesta sobre lo que
es calidad, que queda al arbitrio de la autonomía universitaria. Una de dos, o ambos
conceptos van unidos o no será posible establecer pautas comunes comparables ...
a no ser que consideremos que la calidad se encuentra subsumida de modo más o
menos subrepticio en los instrumentos elaborados para la evaluación.
el marco de nuestras actuales reflexiones, para que resulte evaluable

y, consecuentemente, mejorable.
6.4.2. Definición de estándares en un contexto diferente
Algunos de los estándares -en concreto F3, P2, P6, PS- están
pensados especialmente para evaluadores profesionales, contra-
tados como expertos, situación poco común en nuestro país,
donde la mayoría de las evaluaciones es cubierta por universita-
rios con formación metodológica.
6.4.3. Ausencias y propuesta de modificaciones
Algún estándar puede considerarse innecesario si se aceptan

los planteamientos sobre la conveniencia, y hasta la exigencia, de
complementariedad metodológi,ca; en concreto, los denominados AS
-Análisis de la información cuantitativa-y A9 -Análisis de la informa-
ción cualitativa- bien podrían quedar refundidos en uno, con la
denominación o rótulo de Análisis de la información, sin adjetiva-
ciones.
El último de los estándares, el Al2. Metaevaluación, no pare-
cería ser propio de cualquier evaluación de programas, sino una
exigencia técnica para la organización, sistematización y mejora
de nuevas evaluaciones y de los propios programas educativos. La
metaevaluación podría ser entendida como una exigencia técnica
que permite a los diseñadores de programas y a los evaluadores,
realizar mejor sus tareas de diseño y de planificación de la eva-
luación. En último caso, y cuando se refiere al propio programa,
no es otra cosa que un análisis autocrítico que debería realizarse
en paralelo al propio proceso completo de la evaluación para evi-
tar situaciones como las de llegar al final habiendo cometido
errores que invalidan todo el esfuerzo.
Por otra parte, se echa de menos una referencia genérica a
la metodologfo ya que los estándares que aparecen sobre este
ámbito se limitan a los procedimientos -A3- o se centran en exclu-
siva sobre la información (A4: Fuentes; A5, 6 y 7: información váli-
da, fiable y sistemática; AS y A9, como ya se ha indicado, sobre
su análisis).
El estándar sobre metodología, a mi juicio, debería referirse a la

necesidad de que fuera respetuosa con el principio de complementa-
riedad, al que hemos aludido reiteradamente, siempre que se trate
de evaluaciones integrales de programas.
BIBLIOGRAFÍA
Se incluye a continuación una selección de obras sobre la

temática de esta primera parte, quedando la bibliografía general
para el final de la monografía.
Comité Conjunto de Estándares para la Evaluación Educativa (1998).
Estándares para la evaluación de programas. Bilbao: Ediciones Mensajero.
Fernández Ballesterios, R. (Coord.) (1996) . Evaluación de Programas.
Madrid: Síntesis.
Joint Committee on Standards for Educational Evaluation (1994). The
Program Evaluation Standards. Berverly Hills: Sage Pub.
Joint Committee on Standards for Educational Evaluation (1981). Standards
far Evaluations of Educational Programs, Projects and Materials, New York:
McGraw-Hill.
Pérez Juste , R. (Coord.) (2000). Evaluación de programas educativos. En
Revista de Investigación Educativa. Número monográfico. Vol. 18, 2.
Rossi, P.H. y Freeman, H.E. (1.989). Evaluación: Un enfoque sistemático para
programas sociales, México, Trillas.
Stenhouse, L. (1984). Investigación y desarrollo del currículum, Madrid: Morata.
Stufflebeam, D.L. y Shinkfield,J. (1987). Evaluación sistemática. Guía teórica y
práctica. Buenos Aires: Paidós.
PARTE II
EL PROCESO DE EVALUACIÓN
DE PROGRAMAS
Si la esencia de la realidad denominada programa es su carác-
ter de plan al servicio de metas pedagógicamente valiosas, res-
pondiendo por lo tanto a las notas esenciales de organización y sis-
tematicidad, no parece difícil de mantener que su evaluación deba
responder a tales notas, si bien ahora en el marco del propio pro-
grama, del que, para bien, debería formar parte.
Con esta afirmación expresamos nuestra posición en forma
desiderativa porque no siempre la evaluación se incorpora como
un componen te más del programa; con demasiada frecuencia, la
evaluación de programas no es sino una actividad añadida, yuxta-
puesta, ajena al propio programa y, en ocasiones, sobrevenida al
mismo como consecuencia de intereses ajenos al mismo.
A nuestro juicio, aunque reconocemos que tal actuación puede
ser legítima y constituye una opción, bien sea por parte de los res-
ponsables del programa, bien de los propios evaluadores, mostra-
mos nuestra decidida preferencia por la primera, ya que en ella se
encuentra una muy superior potencialidad de mejora, que, no lo
olvidemos, es la raíz de toda actuación pedagógica y educativa.
Pues bien, admitiendo Ja conveniencia de una concepción de
la evaluación como una actividad organizada y sistemática, for-
mando parte del propio programa, comprenderemos su natura-
leza procesual. La evaluación de programas como proceso será el
objeto de análisis de la presente unidad a través de los siguientes
siete capítulos:
7. Necesidades, carencias y demandas. La evaluación de

necesidades.
8. El programa. Concepto, componentes, alcance.
9. Planeamiento de la evaluación.
10. Evaluación inicial de programas
11. Desarrollo del programa. Evaluación formativa del pro-
grama.
12. Conclusión del programa. Evaluación final del programa.
Institucionalización de la evaluación.
13. El informe de evaluación del programa.
CAPÍTULO 7
NECESIDADES, CARENCIAS Y DEMANDAS.

EVALUACIÓN DE NECESIDADES
ÜBJETfVOS

capaz de:
• Diferenciar y definir con la debida precisión los conceptos

de carencias, demandas, necesidades y expectativas y extraer las
debidas consecuencias para el diseño y el proceso de su
evaluación.
• Concebir la evaluación de necesidades, al igual que la eva-

luación de programas en general, como un plan sistemá-
tico .
• Conocer, comprender y valorar la problemática específica

de la detección, identificación, valoración y toma de deci-
siones en relación con las necesidades.
• Conocer, comprender y valorar los principales criterios y

referencias para la valoración de necesidades.
• Conocer alguna propuesta de estándares e indicadores en

relación con la calidad de la evaluación de necesidades.
Un programa no es -no debería serlo al menos- una actua-

ción o actividad casual, arbitraria, fruto del interés o capricho
de alguna persona, grupo u organización de mayor o menor
entidad. Es, como hemos señalado y tendremos ocasión de ver
en mayor detalle , un plan de acción, por lo tanto una actividad
organizada y sistemática, que responde a unas determinadas
intenciones u objetivos y que, para bien, debe contar, siempre
que sea posible, con el respaldo teórico y científico como aval a
esa concreta forma de proceder, a la intervención en que se con-
creta el programa.
Genéricamente se suele afirmar que un programa es un plan
destinado a dar respuesta a las necesidades de determinadas per-
sonas o grupos. Formalmente, pues, este momento o etapa del
proceso queda fuera de la evaluación de programas, pero lo hace
del mismo modo que ocurría con los objetivos, como veíamos en
el capítulo uno, esto es: como un elemento que a la postre será
clave para evaluar la propia calidad del programa y de cada uno
de sus componentes.
La situación es lógica si recordamos el carácter instrumental
de la evaluación: lo importante no es la evaluación, sino el pro-
grama. La evaluación es importante en la medida en que contri-
buye a mejorar los programas y, por ende, sus resultados, además
de las personas responsables de los programas y de las afectadas
por ellos.
Situando como elemento rector de la evaluación a los objeti-
vos, y teniendo estos como inspiradores lo que genéricamente
hemos denominado necesidades de los destinatarios de los progra-
mas, parece necesario abordar el estudio de tales necesidades y su
propia evaluación como la primera etapa de todo el proceso de
evaluación de programas.
7.1. NECESIDADES, CARENCIAS Y DEMANDAS
Aunque en el lenguaje ordinario, las personas entienden en

forma intuitiva lo que representa el término n ecesidad, no ocurre
lo mismo cuando se habla en términos técnicos. De hecho, para
muchos especialistas esta es una tarea pendiente.
Por un lado, se reconoce una diferente forma de concebir lo
que es necesidad en el ámbito de la pura biología o la psicología.
Los seres humanos experimentan como necesidad todo lo que
NECESIDADES, CARENCIAS Y DEMANDAS 165
contribuya al buen funcionamiento de su organismo; psicológi-

camente la necesidad viene a ser una tensión que impele a la satis-
facción de algo considerado deseable.
El término necesidad tiene, pues, una evidente connotación
subjetiva: alguien, una persona, un determinado grupo, una
cierta clase de individuos, siente que le falta algo, echa de
menos algo, un algo importante que, en determinadas ocasio-
nes, puede llegar a ser básico, esencial, fundamental, para desa-
rrollar su vida, para alcanzar sus propósitos, incluso para sentir-
se persona.
Las necesidades, en efecto, admiten gradación; los psicólogos
nos hablan de las necesidades básicas, a las que hemos hecho alu-
sión en pasados capítulos; no tener razonablemente satisfechas
esas necesidades de raíz, de base, puede conllevar consecuencias
graves tales como las de experimentar la falta de dignidad y hasta
de valor de la propia existencia.
Otras necesidades son menos profundas, pero pueden ser
más intensamente vividas y experimentadas, en ocasiones por
comparación de la propia situación con la de otras personas o
grupos con los que se convive o con los que se mantienen grados
de relación más o menos intensos y prolongados.
Otras, por último, son fruto de esa tendencia definida por el
profesor Yela como la necesidad de aumentar continuamente
nuestras necesidades. El ser humano es capaz de crearse necesi-
dades, considerando ahora necesarios objetos, servicios o relacio-
nes en otro tiempo no valorados como tales.
Sin embargo, podemos encontrarnos y, de hecho, nos encon-
tramos, con personas y grupos que, en situaciones más o menos
equivalentes, no sienten esas necesidades, no experimentan subje-
tivamente lo que objetivamente les falta: no echan de menos obje-
tos, relaciones, trato ... que otros pueden vivir con intensidad.
Podríamos decir en tales casos que nos encontramos ante caren-
cias objetivas que no se sienten como necesidades por quienes las
experimentan: no las viven como una necesidad que debería ser
cubierta con el propio esfuerzo o la ayuda de los demás. De algu-
na manera, una necesidad implica un juicio de valor': algo es
1 Así lo entiende McKillip (1987: 10) cuando dice que una necesidad implica "el
juicio de valor que tiene algún grupo sobre un problema que puede ser resuelto".
bueno y puede ser alcanzado. Ahora bien: ese algo bueno puede
no serlo para todas las personas y grupos, o puede variar en fun-
ción de las circunstancias.
Esta distinción entre los componentes subjetivos y objetivos es
importante a los efectos que nos ocupan; si los programas se dise-
ñan y llevan a cabo con el ánimo de alcanzar la eficacia en el logro
de sus objetivos, no cabe ninguna duda de que un elemento fun-
damental para ello es la propia implicación de los destinatarios.
Los seres humanos no pueden -ni deberían, en el caso de
poder- ser obligados a realizar cierto tipo de actividades contra su
voluntad. Es verdad que la sociedad, poniéndose en el caso de
garante del bien común, puede hacer obligatoria la asistencia a
ciertos programas, tal como ocurre en educación con las etapas
básicas. Sin embargo, de todos es sabido que una cosa es ir alcen-
tro educativo y otra muy diferente hacerlo con aprovechamiento,
esto es, alcanzar las metas de los programas allí implantados.
Estamos queriendo hacer ver que uno de los factores esencia-
les del éxito de los programas radica en la libre adhesión de sus
destinatarios, en la asunción como propias de sus metas, en la
implicación activa en sus actividades ... , y ello difícilmente ocurri-
rá si lo que el programa ofrece no es considerado interesante,
útil, adecuado, valioso ... para el propio proyecto personal. O si,
considerando que lo es, las circunstancias personales y familiares
sitúan tales metas en un muy segundo plano.
En definitiva: un primer elemento clave a la hora de diseñar
programas es el de la identificación de las necesidades, tratando
de comprobar si estamos ante necesidades en sentido estricto o
ante carencias no sentidas como necesidades. Obviamente, en este
segundo caso, una tarea previa a la implantación del programa
deberá ser la de sensibilizar a las personas hacia sus propias caren-
cias a fin de convertirlas en necesidades. De no ser así, se estará
diseñando un programa sin base y, por tanto, con pies de barro.
En el lado opuesto nos encontramos con el caso de aquellas
demandas que sólo son necesidades en el sentido subjetivo del tér-
mino; puede tratarse de demandas caprichosas, excesivas, aleja-
das de la situación general de la comunidad 2 . En definitiva, ante
2 De cara a la posterior evaluación de necesidades, estas situaciones suelen

denominarse comparativas. Vid. Monelte (1977). Allí habla de cuatro grandes tipos
de necesidades: básicas, sentidas y expresadas, normativas y comparativas.
unas demandas que son fruto de necesidades creadas por el con-

sumismo, la propaganda, la publicidad o la propia condición del
ser humano, tendente siempre a crearse nuevas necesidades.
Este tipo de necesidades debe ser tratado de forma diferente.
Los recursos de la comunidad son limitados y deben utilizarse de
modo justo y equitativo 3 entre sus componentes. La atención a
este tipo de necesidades debería relegarse hasta el momento en
que se hubieran satisfecho al menos las necesidades básicas de la
población con carencias más radicales.
Por último, cabe referirnos a las expectativas, esto es, a la detec-
ción de las esperanzas que pueden tener ciertos grupos de lograr
determinadas metas, metas que, en este caso, necesitarían del
programa para ser alcanzadas. El hecho de que grupos más o
menos amplios de personas tengan expectativas es un indicador de
una disposición favorable a trabajar, a esforzarse para su logro, lo
que, sin duda, tendrá incidencia positiva en la implantación,
implementación, desarrollo y eficacia del programa.
Las expectativas, cuando son razonables y justas, merecen ser
debidamente atendidas, por lo que, en la medida en que se den
las circunstancias adecuadas, entre otras, la existencia de los
medios y recursos necesarios, pueden ser la base de programas
destinados a su satisfacción. Es más: en los actuales modelos de
calidad, orientados a la certificación, se reconoce la conveniencia
de que los responsables de las instituciones lleguen a adelantarse
a las necesidades (AENOR, 2000: 17):
El éxito de la organización depende de entender y satisfacer las
necesidades y expectativas actuales y futuras de los clientes y usuarios
finales actuales y potenciales ...
El hecho es que en esta primera etapa, que no es formalmen-

te evaluación de programas, pero que resulta fundamental para
el diseño, implantación, implementación y hasta evaluación del
programa, será preciso proceder, también, a esta importante dife-
renciación.
3 No queremos entrar en una cuestión más profunda y problemática sobre la
legitimidad moral de satisfacer esta necesidades con los propios recursos cuando fal-
tan medios para atender a las más vitales y primarias de otros seres humanos.
7.2. EVALUACIÓN DE NECESIDADES
La evaluación de necesidades representa un proceso sistemá-

tico de actuación destinado a su detección, identificación y valo-
ración, si bien, para que resulte útil, como ocurre en cualquier
tipo de evaluación, debería dar lugar a acciones específicas previa
la oportuna toma de decisiones.
Si en la detección se pone el acento en su descubrimiento y
en la focalización de la necesidad, en la identificación se orienta
a su reconocimiento , al establecimiento de su identidad o natu-
raleza. La valoración o evaluación implica analizarlas, sopesarlas,
conceder ciertos niveles de importancia y establecer prioridades
a la hora de emprender su satisfacción.
Conviene, no obstante, ftjar previamente nuestra posición en
relación con las diferencias que se dan entre quienes distinguen
entre evaluación y evaluación de necesidades. A nuestro juicio,
ambas tienen en común el ser evaluación y, por tanto, en ambas
se deben cumplir las exigencias que derivan del concepto de eva-
luación ya presentado. La diferencia se sitúa, a nuestro juicio, en
su intención u objetivo: en el caso de la evaluación de necesida-
des lo que prima es la distancia o discrepancia entre lo que es -la
situación actual- y lo que debe ser -de conformidad con los dife-
rentes patrones a los que se ha hecho referencia; por el contrario,
en la evaluación sin más, la atención se ftja en lo que se ha logra-
do con el programa (sumativa) o en cómo se está llevando a cabo
y qué se está logrando (formativa).
Pero en nuestra concepción de la evaluación como una acti-
vidad integral, integrada e integradora, no podemos considerar
ambos planteamientos como independientes sino como parte de
una misma actuación 4 .
Por último, indicaremos que en el caso de la evaluación de
necesidades, como en cualquier otro tipo de evaluación o, en
general, de cualquier actividad sistemática, conviene, y hasta es
4 Si bien somos co nscientes, como ya hicimos notar en su momento, de que
cabe n planteamientos diferenciados: profesionales que se dedican a la tarea de sólo

evaluar necesidades, de sólo evaluar los procesos de implantación de programas, de
sólo evaluar la eficacia de los programas. Pero no es esa la co nce pción que defen-
demos y apreciamos como preferible.
necesario, afrontar la tarea con un plan 5 . Las líneas básicas del

mismo son las siguientes:
• Planificación y preparación: decidir qué se entiende por necesidad y por

evaluación; establecer qué tipo de necesidades serán el objeto de la
evaluación.
• Diseño de la evaluación: metodología general, técnicas e instrumentos a
utilizar, criterios y referencias para valorar, momentos en que se reco-
gerá la información, sistema de registro, tratamiento y análisis previstos.
• Recogida de la información seleccionada.
• Tratamiento y análisis de la información. Discusión.
• Valoración: puntos fuertes y débiles, establecimiento de prioridades.
Torna de decisiones.
Por nuestra parte, distinguiremos en este punto la detección

e identificación de necesidades, su valoración y la toma de las
decisiones pertinentes.
7. 2. l. Detección e identificación
La detección de necesidades y carencias es una tarea que

puede abordarse por diversos procedimientos.
Conviene hacer notar que las necesidades que dan lugar a
programas pueden ser detectadas en las personas o en los grupos
para los que se diseñan los programas, pero, también, pueden res-
ponder a carencias más o menos generales de la sociedad que,
para bien, deberían ser atendidas mediante la formación y capa-
citación de las personas.
El más obvio de los procedimientos de detección es el de la
consulta a las personas o grupos, adecuadamente definidos en fun-
ción de variables como la edad, el sexo, la clase social, el nivel de
estudios, el lugar de residencia. Esta consulta, evidentemente
encuentra en la encuesta en forma de cuestionario o entrevista el ins-
trumento adecuado, instrumento que, para ser eficaz, debe res-
ponder a las exigencias fundamentales de validez de su conteni-
do y representatividad de la muestra consultada.
5 Pueden consultarse al respecto aportaciones importantes, como las de Witkin
(1984), Kaufman (1983) o Suárez (1981).

En cualquier caso, este tipo de actuación debe respetar la

norma básica de toda encuesta: la representatividad de los consul-
tados, lo que implica un número suficiente y una selección impar-
cial, con criterios técnicos propios del muestreo. La alternativa de
consultar a todos, dado que no está asegurada la respuesta de
todos los consultados, no asegura más representatividad que un
buen muestreo, y este resulta más económico en términos de
tiempo y recursos 6 .
En el caso de las carencias experimentadas por la sociedad, la
consulta debe dirigirse a personas representativas de los diferen-
tes sectores de la actividad -salud, educación, formación profe-
sional...- por ser quienes pueden poner de relieve las diferencias
entre las posibilidades y expectativas y la realidad del personal.
Del mismo modo, el evaluador puede recurrir a reuniones con
grupos de personas que experimentan problemas en el ámbito a
evaluar; el registro de sus intervenciones permite posteriormente
su categorización y la identificación y caracterización de las nece-
sidades. Con todo, hay un conjunto de carencias perfectamente
conocidas en general, que son las que originan los programas
ordinarios en el ámbito social de que se trate 7 .
También cabe un enfoque prospectivo, esto es, un adelantar-
se a las necesidades de personas o grupos con la intención no de
crear necesidades, como ocurre con el mundo del consumo, sino
de estar en condiciones de ofrecer las respuestas oportunas -pro-
gramas- en el momento en que estas puedan concretarse en
demandas 8 . Los avances sociales y tecnológicos de nuestro
mundo, los cambios espectaculares y acelerados que se constatan
6 Vid. al respecto lo dicho al hablar de los estánda1·es de calidad de las evalua-
ciones.
7 Así, se sabe que todos los ni1ios están necesitados de educación en todas sus
manifestaciones (aprender a convivir, a comportarse, a dominar las técnicas básicas

de lectura, escritura, cálculo ... ); del mismo modo, se sabe que tienen necesidades en
el ámbito de Ja prevención ele enfermedades mediante vacunas, etc.
8 La prospectiva está siendo objeto de una especial atención en nuestro tiempo.
Así en el enLonces Ministerio ele Ciencia y Tecnología espatiol se enconu·aba la fun-

dación OPT!: Observatorio ele Prospectiva Tecnológica Industrial (http: / / www.opti.
org/ ); la Comunidad de Mad1·id ha creado la ACAP: Agencia de Calidad, Acredi-
tación y Prospectiva de las Universidades ele Madrid (http: / / www.madrid.org/
comun / org_acap). Se editan revistas sobre el tema, como es Pros/Jecliva (http: / /
www.ua.es/ personal/bas/ revista.htm).
día a día, fueron pre-vistos por personas con la adecuada forma-

ción. Por tanto, la consulta a estas personas puede contribuir a
una adecuada oferta de formación en el momento oportuno, res-
pondiendo tal vez a necesidades sociales más que a demandas de
los grupos a los que el programa se destina9 .
En ocasiones, la consulta puede ser sustituida por la observa-
ción, complementada o no por los registros. El registro puede
aportar con frecuencia datos relevantes sobre carencias de per-
sonas o grupos; los datos están ahí y lo que procede es extraerlos
utilizando procedimientos rigurosos, organizarlos, tratarlos con
técnicas adecuadas, por lo general de tipo estadístico, y sacar las
oportunas conclusiones. Podría decirse que este tipo de infor-
mación, por su rigor y objetividad, debería estar presente, siem-
pre que esté disponible, a la hora de establecer los puntos fuer-
tes y débiles, y de tomar decisiones en términos de prioridades.
Pero el observador tiene hoy en día excelentes observatorios
sobre carencias de los grupos sociales; la TV, la radio, la prensa,
las nuevas tecnologías, y hasta la vida misma, permiten a la per-
sona pre-ocupada por ciertos temas, encontrar la confirmación
de sus sospechas o hipótesis y tomar tal información como base
para los programas. La presencia de conflictos sociales, de pro-
blemas entre grupos, de disfuncionalidades ... , ponen sobre aviso
al observador. Lo que faltará a esta fuente / técnica para la detec-
ción de necesidades será lo exigible a cualquier técnica: que se
diseñe al servicio de algún objetivo relevante, que se planifique y
se recoja la información de forma sistemática y controlada 10 .
En otros casos, la identificación de carencias es el resultado
de unos planteamientos generales y genéricos; en efecto, como
fruto del conocimiento del ser humano en sus diversas etapas se
sabe cuáles son sus necesidades de formación, se conocen cuáles
son sus necesidades básicas como persona, se tiene información
sobre sus razonables expectativas ... , razones todas ellas por las
que las personas con responsabilidad en los diferentes ámbitos
9 Una técnica a la que ya hemos hecho referencia, y que será estudiada con más
detenimiento en la tercera unidad, Del phi, se utiliza con mucha frecuencia en estu-
dios de prosectiva. Vid. Landeta ( 1999).
10
Piénsese en Ja actual preocupación por el acoso y Ja violencia en centros y
aulas (Bulling), cuya presencia en TV y tertulias de radio puede sugerir a los respon-
sables la conveniencia de programas preventivos para adolescentes.
-salud, educación, consumo, ocio ... - pueden diseñar programas

generales para dar la debida respuesta general a las mismas. La
larga experiencia acumulada entre profesionales de la educa-
ción, la pedagogía, la psicología o la sociología hacen posible
que, sin consultas específicas, se diseñen los currículos que debe-
rán cursar los alumnos de diferentes etapas, destinados a alcan-
zar las metas y objetivos propios de cada una de ellas y que, en
ausencia de los mismos y de la ayuda técnica de los educadores,
probablemente nunca llegarían a alcanzar, al menos una parte
importante del total de la población.
Habitualmente, estos programas genéricos son adaptados,
como ocurre en el ámbito de la educación, a los grupos concre-
tos de alumnos presentes en las aulas en un determinado
momento y lugar. Algo similar puede decirse de ciertos progra-
mas en el ámbito de la salud: conocidas las necesidades de cier-
tos grupos de sexo y edad, se pueden diseñar programas especí-
ficos para la detección y tratamiento precoz del cáncer, como
ocurre con el de mama en las mujeres, o con el de próstata en los
varones a partir de una determinada edad.
La detección de las necesidades y carencias debe culminar en
una definición de las mismas que permita, después, convertirlas
en eje de los programas.
7. 2. 2. Valoración de las necesidades
Como hemos reiterado, la información no es evaluación sino

el pilar sobre cuya calidad -suficiencia, validez- debe construirse
la evaluación mediante la aplicación de criterios y de referencias.
Ahora bien: previo al acto de valorar es necesario proceder a la
organización, tratamiento y análisis de la misma.
Organización, tratamiento y análisis de la información

Los datos brutos son de difícil cuando no imposible com-
prensión, sobre todo cuando la información recogida es amplia
y se refiere a conjuntos numerosos de personas. Lo habitual es
proceder a sintetizar la información y hasta a representarla de
forma intuitiva. En el primer caso, se acude a índices que infor-
man de características generales, tales como los niveles medios o
el grado de dispersión o concentración. En el segundo es habitual

utilizar diversas representaciones gráficas, que varían según la
naturaleza de la información. En ambos casos, nos movemos en
el ámbito de los análisis meramente descriptivos.
Bien es verdad que, sin salirnos de este tipo de análisis, es posi-
ble profundizar, tratando de indagar y descubrir las asociaciones
y las relaciones existentes entre variables. La Estadística nos mues-
tra este tipo de información a través de índices, como los coefi-
cientes de correlación y asociación de fácil interpretación por lo
general. Mediante tales índices es posible apreciar si determina-
das necesidades o carencias van asociadas al sexo, a los diferentes
grupos de edad, a determinadas capas de la población, a ciertas
características de la personalidad ...
Análisis más complejos, como las comparaciones entre gru-
pos, suelen implicar pruebas estadísticas que necesitan de la infe-
rencia para establecer si son reales -significativas- o casuales, esto
es, explicables por efecto del mero azar.
Con todo, un elemento fundamental es el establecimiento de
la unidad de análisis; ftjar la unidad es establecer el nivel de agre-
gación que se va a utilizar para establecer comparaciones, para
analizar las relaciones existentes e incluso para realizar predic-
ciones.
El análisis se convierte así en un procedimiento sistemático
por medio del cual el evaluador extrae la información relevante
para su trabajo, información que está de alguna manera oculta o
subyacente en las respuestas y registros utilizados. Más adelante,
en la tercera parte, haremos algunas referencias explícitas a este
importante aspecto, si bien anunciamos al lector que, dada la
amplitud del tema, es conveniente que, una vez comprendido su
sentido, alcance y utilidad, acuda a manuales específicos para los
análisis tanto cuantitativos como cualitativos.
Evaluación
Las referencias habituales para establecer las necesidades pue-
den ser, en paralelo con lo ya dicho en relación con la evaluación
en general, las siguientes:
• Normativas. Se toma como referencia la discrepancia entre

la situación de grupos o personas y lo que es normal o habi-
tual en la comunidad de que forman parte. En el caso más

extremo se podrá establecer la ausencia total o la carencia
plena de la realidad estudiada, sea cultura, formación, ser-
vicios, bibliotecas... El establecimiento de estándares
puede ser un elemento válido y claro 11 para este tipo de
referencia.
• Criteriales. Se toma ahora como referencia el logro de unos
determinados niveles establecidos por personas o entida-
des responsables como metas alcanzables en un determi-
nado espacio de tiempo. De esta forma, se valoran como
carencias la situación de aquellas personas o grupos que se
encuentran por debajo de esa referencia, y se consideran
prioritarios los que, estando por debajo, lo hacen de una
manera manifiesta y muy al~jada.
• ldiosincráticas o personalizadas. Nos encontraríamos ante las
necesidades expresadas en sentido subjetivo. Su valoración
como atendibles o no debería llevarse a cabo acudiendo a
las referencias anteriores.
Las diferentes fuentes productoras de información habrán

ofrecido información registrada en los correspondientes instru-
mentos: encuestas, pautas de observación, listas, escalas ... Llega
ahora el momento de su valoración, y en este punto, el primer y
fundamental aspecto es el de su clasificación como carencias o
como necesidades y, en este segundo caso, de calificarlas como
atendibles o no en función, a su vez, de diversos criterios, tales
como disponibilidad de recursos, perentoriedad o gravedad de
las mismas.
Su consideración como carencias objetivas no reconocidas en
la práctica como necesidades por quienes las experimentan, debe
llevar a acciones específicas destinadas a sensibilizar a los afecta-
dos, y al cuerpo social, para que las incorporen a su repertorio de
necesidades y hasta para que las planteen como demandas.
Su identificación como necesidades puede llevar aparejado un
proceso de valoración destinado a establecer un régimen de
11
Piénsese en el número de camas por cien mil habitantes en Ja Unión Europea
como referencia para determinar la necesidad de camas en nuestro país; o de uni-
versitarios por mil habitantes; o de informáticos, médicos, ingenieros ... Del mismo
modo, la media de personas alfabetizadas, con dominio de idiomas ...
prioridad a la hora de atenderlas. Las prioridades pueden for-
mularse con criterios políticos o económicos; en nuestro caso,
los criterios deben ser eminentemente pedagógicos, esto es,
orientados a la mejora de las personas, y en tal sentido se sugie-
ren los siguientes:
• Gravedad de las carencias. En este caso, las necesidades se imponen .

• Intensidad de la demanda de respuesta a auténticas necesidades. Se
une el interés, con la presumible implicación de los afectados, a la
autenticidad de las necesidades.
• Número de potenciales beneficiarios .
• Grado de rentabilidad. La satisfacción de ciertas demandas como
desencadenante de otras de mayor trascendencia, pero no demanda-
das en la actualidad.
• Inmediatez de los efectos. Programas de corto recorrido y potenciales
efectos rápidos, que pueden abrir las puertas a nuevas y más impor-
tantes necesidades.
• Eficacia. Implantar programas centrados en necesidades fáciles de
satisfacer.
• Responsabilidad. Atender a las necesidades que se e ncuentran en el
ámbito de competencia de quienes pueden poner en marcha los pro-
gramas.
7.2.3. Toma de decisiones
Una razonable forma de actuar cuando se piensa en el diseño

y aplicación de programas es la de tomar esa decisión, y las deci-
siones asociadas, a partir de Ja información disponible, tras un
adecuado proceso de valoración. No hacerlo así conduce inde-
fectiblemente a Ja arbitrariedad de quien decide, que puede
hacerlo correctamente pero que, también, puede actuar por
motivos políticos, de interés personal o de grupos, en lugar de
basarse en criterios públicos y transparentes.
Este momento de toma de decisiones permite traducir lascaren-
cias y necesidades en objetivos del programa y, por consiguiente, la
posterior elaboración del programa en cuanto plan de acción, en
particular el p!,an de intervención considerado adecuado para dar las
respuestas pertinentes y adecuadas a las necesidades, o, si se prefie-
re, para dar respuesta a las cuestiones en que se concreta la evalua-
ción del programa como objeto de investigación.
Con todo, la toma de decisiones es algo más complejo que el

simple hecho de decidir. Por una parte, es preciso referirnos al pro-
pio acto, que puede ser realizado por una única persona responsa-
ble o por un conjunto. A Jos efectos del propio diseño y, desde
luego, de su futura aplicación eficaz y eficiente, conviene dar parti-
cipación a las personas que estarán implicadas en el programa.
Y es que la decisión debe implicar un estudio analítico más o
menos detallado de la información y una discusión de la misma que,
por un lado, establezca la conveniencia de la intervención así como
la naturaleza de la misma, y, por otro, asegure o maximice el acier-
to a la hora de diseñar, implantar e implementar el programa.
En el primero de los sentidos, merece la pena tomar en consi-
deración la aportación de Stufflebeam. En su definición de necesi-
dad ( 1977), podemos encontrar criterios para tomar decisiones.
Define necesidad como algo que puede presentarse como necesario
o como útil para alcanzar una meta u objetivo defendible.
Atendiendo a este concepto, podremos encontrarnos con
"necesidades" que no son útiles para alcanzar las metas u objetivos,
o que tales objetivos no merezcan su defensa por considerarlos irre-
levantes o hasta indignos. Los objetivos a los que debe contribuir Ja
satisfacción de las necesidades deberían ser 1,egüimos, útil,es, viabl,es y
el,evados. La 1,egitimidad hace referencia a las personas, a la sociedad o
el ambiente y hasta a la ética; la utilidad tiene que ver con el benefi-
cio que se aporta a la naturaleza humana y a la sociedad; la viabili-
dad se relaciona con las posibilidades reales de satisfacción; por últi-
mo, la excel,encia tiene que ver con la promoción del saber, la creati-
vidad o el avance tecnológico en algún ámbito del hacer humano.
Atendiendo a la segunda cuestión -aumentar las posibilidades
de acierto al diseñar, implantar e implementar el programa-
aspectos tales como el tipo de intervención en que consistirá el
programa, el momento en que aplicará, su duración, el sistema
de evaluación, los controles, los medios y recursos necesarios ...
son elementos que, formando parte del diseño del programa,
están íntimamente relacionados con el propio acto de la decisión;
en realidad son, también, decisiones que hay que poner en mar-
cha apenas se ha decido llevar a cabo un programa.
En ocasiones, los programas ya están diseñados y hasta eva-
luados, por tratarse de nuevas ediciones del mismo. En tales
casos, la participación a la que nos referimos puede tomar la
forma de información y discusión sobre el programa a fin de que
los nuevos responsables y aplicadores lo hagan suyo, evitando o

limitando la falta de motivación e implicación en el mismo.
7.3. CALIDAD DE LA EVALUACIÓN DE NECESIDADES
Sin perjuicio de que a la evaluación de necesidades se le pueda

aplicar los mismos estándares de calidad que ya conocemos en rela-
ción con la evaluación de programas, ligados a los grandes criterios
de utilidad, viabilidad, honradez o probidad y precisión, que pueden ser-
vir para planificar la propia evaluación y para valorar su realización,
se han realizado trabajos destinados a establecer de modo específi-
co la calidad de las evaluaciones de necesidades.
A nuestro juicio, la calidad de este tipo de evaluaciones no se
diferencia, salvo en la especificidad de su objeto, de la calidad de
cualquier otro tipo de evaluación. Pues bien, a partir de esta posi-
ción, entendemos que los grandes criterios a considerar son los
siguientes:
• Su referencia y subordinación a la realidad a la que sirve. En la medi-

da en que concedemos a la evaluación un carácter instrumental, ésta
debe ser coherente y armónica con aquella. En nuestro caso, la eva-
luación debe servir a la educación (mejora de las personas, mejora de
los programas, mejora de los ceo tros).
• La corrección y adecuación de su planificación y diseño a la natura-
leza de las necesidades a evaluar.
• Su ejecución eficiente. Prudencia en el uso de medios, recursos e ins-
trumentos.
• La calidad de la información recogida, sintetizada en tres grandes
cualidades: su fiabilidad, su validez y su carácter valioso, es decir: el
contar con la debida matización y especificidad como para facilitar la
posterior toma de decisiones eficiente y eficaz.
• La utilidad y relevancia de la información aportada para las distintas
partes interesadas: diseñadores y responsables de los programas, apli-
cadores y evaluadores de los mismos.
Algunos autores han realizado trabajos específicos destinados

no sólo a establecer cuáles deben ser los criterios de calidad sino
a identificar indicadores o normas dentro de cada uno de ellos.
Tal es el caso de Martínez de Toda (1991), que establece tres
grandes criterios: funcionalidad, eficiencia y eficacia, cuya definición
en forma sintética es la siguiente:
• Funcionalidad: coherencia entre el diseño y proceso evalua-

tivo con el propósito general de toda evaluación. Recoge
indicadores referidos a las entradas (participación de las
partes interesadas o audiencias, actitudes), al proceso (com-
promiso e implicación de los grupos, consenso y ética) y al
producto (valoración, priorización, conclusiones, informes,
comunicación de resultados y utilización de los mismos).
• Eficiencia: valoración de los costos en relación con los resul-
tados, incluidos los referidos a tiempo y recursos.
• Eficacia: rigor técnico en las medidas, técnicas e instru-
mentos (fiabilidad y validez), así como en los métodos de
análisis de la información.
Tras el correspondiente trabajo en relación con tales normas,

la autora llega a un total de 52, algunas de ellas de especial impor-
tancia según el criterio de los expertos consultados, distribuidas
de la siguiente forma:
• Indicadores de funcionalidad:
- Funcionalidad del producto: 10 indicadores, 5 de ellos de mayor
importancia.
- Funcionalidad del proceso: 14 indicadores, siendo 4 los más impor-
tantes.
- Funcionalidad de las en tradas: 8 indicadores, 2 de ellos de mayor
relieve.
• Indicadores de eficacia:
- 14 indicadores, relacionados con el rigor técnico, 9 de ellos espe-
cialmente importantes.
• Indicadores de eficiencia:
- 6 indicadores, con especial relieve en tres de ellos.
Probablemente, el trabajo anterior debería continuarse hasta

alcanzar un número de indicadores notablemente más reducido
y, por ello, más fácil de aplicar. Un exceso de normas siempre
tiene el riesgo de dejar olvidadas, en un segundo plano, algunas
de ellas, y no siempre las menos importantes.
CAPÍTULO 8
EL PROGRAMA.
CONCEPTO, COMPONENTES, ALCANCE
OBJETIVOS

capaz de:
• Conocer, comprender, analizar y valorar la naturaleza de

los programas, en particular de Jos programas educativos.
• Conocer la tipología de programas y estar informado de

algunos de ellos con el carácter de ejemplos o modelos.
• Conocer, comprender, analizar y valorar los componentes

básicos y la estructura interna de los programas educati-
vos, tanto ordinarios como específicos.
Venimos refiriéndonos reiteradamente a la evaluación de pro-

gramas, objeto de esta monografía; hora es ya de presentar con
cierto detalle nuestra concepción de programa, importante tanto
para su diseño como para su implementación y, desde luego, para su
evaluación.
8.1. CONCEPTO DE PROGRAMA
En el ámbito educativo ha sido frecuente utilizar el término pro-

grama para referirse al temario de una asignatura; en contextos lúdi-
cos, como las fiestas locales, el programa no es sino el enunciado de
una serie de actos y actividades de diverso tipo; en los actos cultura-
les, como un concierto, el programa consiste en la enumeración de
las piezas musicales con sus correspondientes intérpretes, con las
indicaciones pertinentes sobre día, hora y lugar.
Cuando aquí hablamos de programa lo hacemos en un senti-
do mucho más amplio y complejo; más amplio porque no se
limita a enumerar los temas, los actos protocolarios y las activi-
dades lúdicas o la sucesión de piezas musicales; más complejo,
porque, por lo general, cuenta con una estructura interna, con
unos elementos rectores y otros subordinados, e implica la cola-
boración de un personal más o menos amplio desempeñando
funciones variadas.
Un programa es un documento técnico, elaborado por per-
sonal especializado, en el que se deja constancia tanto de sus
objetivos cuanto de las actuaciones puestas a su servicio.
Responde , pues, a las notas de todo plan de acción: planteamien-
to de metas, previsión, planificación, selección y disponibilidad
de medios, aplicación sistemática, sistema de control y evalua-
ción del mismo.
O de otra forma: el programa es un documento en el que se
integran los objetivos educativos, a lograr a través de determina-
dos contenidos, con un plan de acción a su servicio, plan en el que
incluimos la evaluación de carácter formativo como un elemento
más, en sintonía y armonía con todos ellos.
8.1.1. Diversidad de programas

Aun en el caso de movernos en el marco de lo educativo, la
diversidad de programas es muy grande. Aspectos como la natu-
EL PROGRAMA. CONCEPTO, COMPONENTES, ALCANCE 181
raleza de su objeto, la amplitud de sus metas, su duración, los pro-

fesionales responsables, su carácter obligatorio u optativo, su
generalidad o especificidad ... nos ponen en guardia a la hora de
intentar una caracterización genérica de lo que es un programa.
De alguna manera, los currículos diseñados por los responsa-
bles políticos de ámbito nacional o autonómico 1, tienen en esen-
cia el carácter de un programa, eso sí, de amplio espectro y lar-
guísima duración.
Estos programas amplios se concretan en otros que suelen
tener una duración de un curso escolar, que, después, deberán
ser acomodados a las características específicas de los grupos de
alumnos que los cursan.
Pero junto a estos programas reglados, la actividad académica
se viene enriqueciendo en los últimos tiempos con otros no regla-
dos, elaborados por especialistas y destinados a dar respuesta a las
necesidades que año tras año se detectan en los alumnos o en
grupos de estos, ligadas por lo general a su pertenencia a diversos
grupos sociales. Pensemos en los programas destinados a la
inmersión lingüística de los inmigrantes, en los programas de
orientación para la toma de decisiones al final de la etapa de edu-
cación obligatoria, en los programas para la prevención de dro-
godependencias para grupos de riesgo ... 2
En otros casos, los programas están pensados más para alum-
nos concretos con dificultades específicas, no ligadas por lo gene-
ral a grupos definidos. Programas como los de enseñar a pensar,
a estudiar, a tomar decisiones ... suelen aplicarse a niños concretos
que evidencian ese tipo de carencias 3 . Algunos de estos progra-
mas han alcanzado desarrollos de gran nivel, como el Proyecto inte-
1
La normativa vigente marca las directrices generales en un 65 o un 55%, que-
dando la regulación del resto a la responsabilidad de los políticos de las
Comunidades autónomas.
2
En nuestro país contamos con algunos programas propios de este ámbito,
como el conocido como Tengo que decidirme, del profesor Álvarez Rojo, destinado a
la elección de estudios y profesiones al finalizar la enseñanza obligatoria; el de la
profesora Rodríguez Moreno, destinado a capacitar para la toma de decisiones; el
de Mozas Flores, elaborado para prevenir el consumo de tabaco y alcohol...
3
La profesora Luego ha elaborado un programa, Construyendo salud, destinado
a la promoción del desarrollo personal y social.
ligencia, de la Universidad de Harvard4, o el Programa de

Enriquecimiento Instrumental, de Reuven Feuerstein 5 .
Y no debemos olvidar los programas individualizados, como
son las adaptaciones curriculares individualizadas, en las que los
educadores llevan a cabo una acomodación máxima de los prin-
cipios psicopedagógicos generales y de los objetivos genéricos, a
las situaciones personales en aquellos casos en que las circuns-
tancias personales y sociofamiliares así lo aconsejen.
Por cierto, y en esta misma línea, aunque no en el caso de la
enseiianza y aprendizaje reglados, pueden darse situaciones espe-
cialmente aptas para el diseño de programas individualizados,
adaptados a la problemática específica de determinadas personas.
Tal puede ser el caso de una intervención correctiva sobre un
menor con fuerte inadaptación familiar o social que requiere un
tratamiento específico.
8.1.2. Complejidad del programa

La diversidad a que nos hemos referido va ligada en ocasiones
a diferentes grados de complejidad. Los programas académicos
tradicionales solían limitarse al planteamiento de objetivos y acti-
vidades relacionadas con las diferentes disciplinas del currículo;
se trataba de objetivos que, según algunas conocidas taxonomíasfi,
se centraban en el denominado dominio cognoscitivo, tales como
conocer, comprender, calcular, demostrar... En los tiempos actua-
les, por el contrario, es habitual que tales programas traten, ade-
más, de desarrollar ciertas estrategias y habilidades así como de
generar, modificar o mantener determinadas actitudes y hasta de
4
El lector puede encontrar información relevante en: El proyecto de inleligencia de
Haroard (1995). Yuste (1994) , Beltran (1993), Nickerson, Perkíns y Smith (1987),
Tapia (1987).
Información sobre otros programas puede encontrarse en http:/ / www.orienta-
red.com /
5 En http://www.eulasalle.com/extension / postgrados/ interv_mediada/ interv_
mediada.htm , puede encontrar el lector un curso propio de la Universidad Autónoma

de Madrid, MPtodología dP la inleroención rnPdiada, sobre el programa de Feuerstein.
6 Una taxonomía es una clasificación, en nuestro caso de objetivos educativos.
Una de las más conocidas, la de Bloom y cols. (1971) establece una clasificación en
tres grandes bloques: objetivos del dominio rognoscilivo, del dominio afectivo y del dominio
psicomo/or.
buscar el compromiso con ciertos valores sociales y morales, lo

que, evidentemente, hace de ellos una realidad mucho más com-
pleja de diseñar, llevar a cabo y evaluar.
La complejidad se hace mucho mayor cuando de los progra-
mas académicos se avanza a los Proyectos, tanto a los denomina-
dos educativos como curriculares. Si en estos casos, los programas
abarcan el desarrollo de las materias a lo largo de varios cursos,
en aquellos se toman decisiones y previsiones en relación con
objetivos de largo alcance que comprometen a todo el profesora-
do y hasta a toda la comunidad educativa, y ello tanto en lo rela-
tivo al aprendizaje específico como en esos otros objetivos más
amplios y complejos, como son los denominados no cognitivos 7 ,
entre los que cabe citar el autoconcepto, el civismo y la ciudada-
nía, las relaciones interpersonales, los hábitos personales o la edu-
cación de los sentimientos (educación emocional).
Del mismo modo, determinados programas sociales o de
salud, pueden implicar a profesionales de diversos ámbitos, bien
como responsables directamente concernidos, bien como cola-
boradores, más o menos imprescindibles para su eficacia, dentro
de un determinado contexto de aplicación.
Sea como fuere, las indicaciones que se den de ahora en ade-
lante deberán ser adecuadamente matizadas y adaptadas en la
práctica en función de estas características.
8.2. ESTRUCTURA Y COMPLEJIDAD DE LOS PROGRAMAS EDUCATfVOS
Dadas nuestras anteriores consideraciones, y con intención de

ser tomado como muestra de un tipo de programas, los ordinarios
en el ámbito de lo académico, proponemos, a través del cuadro 1,
una síntesis de la complejidad y estructura de este tipo de progra-
mas. Más adelante, ofreceremos alguna propuesta que pueda servir
de modelo de referencia para programas educativos específicos.
8.2.1. Los programas ordinarios en el ámbito académico
Dada la diversidad de programas, distinguiremos a continua-

ción entre programas ordinarios, habituales en los ámbitos aca-
7
Vid. la clasificación del profesor Rodríguez Espinar (1985: 284-304).
démicos, como pueden ser los programas de los profesores, y pro-

gramas específicos, que suelen responder a necesidades concre-
tas, detectadas mediante procedimientos adecuados, a los que
nos referiremos más adelante, sean académicos o no.
En cualquier caso, hay una serie de aspectos que, para bien,
deberían formar parte de todo programa, y que, en líneas gene-
rales, son Jos recogidos en el citado cuadro l. ·
ESTRL:CTURA Y COMPLEJIDAD DEL PROGRAMA
Necesidad de compaginar los aspectos científico/técnicos propios de la

materia de ense11anza con otros psico-pedagógicos (el alumno que aprende
y la forma de facilitar el aprendizaje), y sociales (las demandas de la socie-
dad en relación con la materia).
l. Los CONTENIDOS, de diversa natural eza.
2. El e nfoque de estudio, ligado a los OBJETIVOS.
3. Los MEDIOS y RECURSOS , facilitadores del aprendizaje:
• Información
• Metodología y recursos didácticos
• Motivación
• Enseñanza
• Actividades
• Materiales
• Ambiente educativo del centro y del aula
• Evaluación (formativa)
4. La EVALUACIÓN (sumativa)
CUADRO ] . Estructura y complejidad de los programas educativos.
8.2.1.1. La complejidad
Un programa educativo ordinario es una realidad compleja
en la que, al menos, deben ser tomados en consideración tres
grandes aspectos: la naturaleza del objeto del programa (asigna-
tura o materia de aprendizaje); las características de quienes
aprenden y del proceso de aprendizaje, junto a las de quienes
enseñan y llevan a cabo la enseñanza; y las demandas de la socie-
dad.
Enfoques simplistas y fuera de lugar han limitado en ocasio-
nes el programa a los aspectos estrictamente científico-disciplina-
res, que, evidentemente, tienen su importancia: no es lo mismo
un programa de Matemáticas que uno de Dibujo o de Educación

Física. Es por ello que el dominio con Ja suficiente profundidad
de la naturaleza del saber académico de que se trate resulta
imprescindible para el diseño, ejecución y evaluación de los pro-
gramas, y esta debe ser una competencia básica, imprescindible
aunque insuficiente, que debe poseer todo profesor.
Pero íntimamente relacionado con este aspecto debe estar el
relativo a su enseñanza. Conviene hacer notar, sin embargo, que
las consideraciones didáctico-pedagógicas van más allá de una
traslación de la naturaleza del saber al hacer docente. Y es que si
este componente tiene que ver con la selección de objetivos y
medios (metodología, actividades ... ) nunca debería dejar de
lado, sino incluirlo como elemento central de sus reflexiones y
decisiones, las características del alumnado que aprende y la
naturaleza del propio aprendizaje que se debe promover8.
No es el aprendizaje una realidad que se produce simple,
directa y consecuentemente con la de enseñar. El acto de ense-
ñar, entendido como mostrar, desarrollar, exponer,. .. no es eficaz
por sí mismo; hay un componente de mayor o menor eficacia,
ligado a la acción docente, a su talante, a su trato, a su disponibi-
lidad ... que influye notablemente; pero, junto a ello, hay unas
características de quienes aprenden que hacen de la acción de los
profesores algo eficaz o ineficaz en su caso particular. Es más, hay
determinadas situaciones en las cuales la confluencia de estilos de
enseii.anza del profesorado con estilos de aprendizaje de los alum-
nos, es la que da lugar a grados más o menos elevados de eficacia.
Y junto a estas características científico/ técnico / disciplinares
y psicopedagógicas, una dimensión social con frecuencia no
tomada en consideración. Sin embargo, nuestras reflexiones en
capítulos anteriores, relativas al enfoque social de ciertas necesi-
dades y carencias, nos ponen en guardia ante estos importantes
hechos.
8 No es lo mismo enseñar matemáticas en educación infantil que en Secundaria
obligatoria; y no debería ser lo mismo a niños de escuelas rurales que de las graneles
ciudades; ni a ni1ios con riqueza ele experiencias ambientales y familiares que a otros
con fuertes cleprivaciones socioculturales cuando no en situaciones de exclusión
social. Por otra parte, no es lo mismo un aprendizaje memorístico que otro com-
prensivo, ni un ap1·endizaje convergente que otro ele naturaleza creativa ...
En efecto, unos programas que no tomen en consideración

las demandas sociales, las características del tiempo que nos toca
vivir, la especificidad de los contextos, corren el doble riesgo de
no aportar valor a los alumnos y, desde luego, de no promover su
interés y motivación.
A estos tres grandes aspectos que deben ser objeto de compa-
ginación pueden unirse en determinados casos otros elementos
añadidos, cuya no consideración puede tener consecuencias
negativas para el programa. Así, por ejemplo, y en la medida en
que como fruto de los avances tecnológicos, se desarrollen pro-
gramas a través de las nuevas tecnologías, se deberán tomar las
medidas oportunas para que el medio no desvirtúe el programa y
para que el programa utilice las potencialidades del medio. Por
ejemplo, la enseñanza a distancia debería hacer esfuerzos nota-
bles en este sentido.
8.2.1.2. La estructura
La propuesta recogida en el cuadro 1 nos sitúa ante una serie

de componentes de diversa naturaleza y función. Así, mientras los
objetivos tienen un carácter directriz, los medios y recursos quedan
subordinados a los objetivos. Veamos.
La actividad humana es tal, entre otras características, por su
orientación hacia metas libremente decididas, adquiriendo una
dimensión pedagógica si tales metas son valiosas para las personas
-les hacen más persona, respetan su especial dignidad- y si son
socialmente relevantes, esto es, si contribuyen a construir una socie-
dad más justa. En esa línea se manifiesta, refiriéndose específica-
mente a la Educación superior, la UNESCO (1998: 29) cuando
hablando sobre la calidad, acude al concepto de pertinencia, que defi-
ne como:
.. .la búsqueda de soluciones a las necesidades y problemas de la socie-

dad, y más especialm ente, a los relacionados con la construcción de
una cultura de paz y un desarrollo sostenible.
Con independencia de que se acepte o no por completo cuá-

les sean los objetivos finales de la educación de calidad, lo que sí
parece difícil de rebatir es que los objetivos finales son -o debe-
rían serlo- el elemento rector de cualquier programa, el compo-
nente que marca la directriz de cualquier actuación educativa9.

Junto a ello, y en consonancia con lo ya dicho, parece impres-
cindible la consideración de los objetivos en su relación con las
necesidades, carencias o demandas que justifican el propio pro-
grama.
Los contenidos tienen un carácter vehicular; son algo así como
el hilo conductor, el medio a través del cual se actúa para el logro
de los objetivos, el campo de intervención de los educadores 10 .
Queremos afirmar con ello que aunque algunas materias tienen
una larga tradición y difícilmente dejarán de estar en el currícu-
lo, no están porque sí, sino porque fueron seleccionadas aten-
diendo a su aportación a los grandes objetivos que rigen los pro-
yectos educativos de los centros. Una vez seleccionada una mate-
ria, área o asignatura, parece lógico mantener que sus objetivos
no pueden dejar de ser coherentes con tales planteamientos
generales.
Los medios y recursos son, evidentemente, una cuestión subor-
dinada a los objetivos. Su sentido es el de contribuir a su logro,
de tal forma que la evaluación deberá poner de manifiesto si son
adecuados, suficientes, si contribuyen eficiente y eficazmente al
logro de aquellos.
Y la evaluación juega un doble e importante papel: se con-
vierte en un medio o recurso más y, por tanto, está subordina-
da a los objetivos, debiendo ser adecuada, coherente y armóni-
9 Un reciente ejemplo: el diario El Mundo, en su edición electrónica del 9 de
marzo de 2005, informaba sobre la no admisión de un determinado número de estu-

diantes que habían presentado su solicitud, por haber intentado enterarse del pro-
ceso de admisión a través de un procedimiento pirata por internet. El decano de la
Escuela de Negocios, Kim B. Clark, lo justificaba del siguiente modo: "Nuestra
misión es educar líderes con principios que influyan en el mundo. Para lograrlo, una
persona debe tener muchas dotes y cualidades, incluidos los mayores estándares de
integridad, juicio y una sólida bn'.uula moral, un sentido intuitivo de lo que está bien
y mal. Aquellos que han enu·ado en el sistema han suspendido el examen". Vid.
http: / / www.elmundo.es/ navegante/ 2005/ 03/ 09/esociedad/ 1110363852.html.
10
De hecho, en los documentos técnicos publicados para hacer realidad los plan-
teamientos de la Ley Orgánica General del Sistema Educativo (LOGSE), derogada par-
cialmente por la Ley de Calidad de la educación (2002), se llega a afirmar que "la elec-
ción o no de un área para una determinada etapa dependerá de la valoración acerca
de lo que ésta aporta al desarrollo que se pretende del alumno en ese período con-
creto". Vid. Ministerio de Eduación y Ciencia (1989: 39).
ca con ellos y con el resto de medios y recursos, pero, a la vez,

puede y debe jugar un importante papel para decidir no sólo
sobre el logro de los objetivos -fundamentalmente aprendizajes
del alumnado- sino sobre el programa todo e, indirectamente,
sobre el profesorado responsable, sobre el centro educativo
como contexto y hasta sobre otros miembros de la comunidad
educativa en la medida en que su contribución haya sido pre-
vista y fuere necesaria.
8.2.2. Algunos programas específicos

Presentaremos a continuación, en forma sintética y breve, las
líneas básicas de algunos programas, con la intención de que el
lector adquiera una idea precisa de lo que implica un programa
y, por consiguiente, su evaluación.
8.2.2.1. Un programa específicamente académico

El primero de los programas es de carácter específicamente
académico, y fue diseñado en el ámbito de una investigación des-
tinada a someter a contraste la hipótesis que la evaluación for-
mativa daría lugar, además de a otra serie de efectos positivos
(sobre las actitudes, el interés, el trabajo regular... ) a unos mejo-
res resultados académicos, a un superior rendimiento".
Dejando de lado el diseño de la investigación, que aquí no
resulta de interés, nos limitaremos a reseñar los elementos bási-
cos del programa objeto de enseñanza/aprendizaje 12 •
11
Abraira Fernández (1993).
12
El programa era objeto de estudio por los alumnos de dos grupos, con Ja única
diferencia de que uno de e llos sólo realizaba pruebas (exámenes) sumativas -en
diciembre, marzo y julio- mientras el otro incorporaba pruebas formativas, destina-
das a identificar los problemas y dificultades experimentadas por los alumnos y a dar-
les la ayuda necesaria para subsanarlas, antes de someterse a los exámenes sumativos.
• Objetivos generales:
Los objetivos generales del programa, a alcanzar como fruto de su apli-

cación completa a lo largo de nueve grandes unidades temáticas, se con-
cretan en conseguir que los alumnos sean capaces de 13 :
- Leer y estudiar textos matemáticos.

- Expresar correctamente sus ideas.
- Aplicar conceptos y resultados teóricos.
- Efectuar síntesis y esquemas.
- Analizar su propio trabajo y corregir sus errores.
- Compartir conocimiento y trabajo.
- Desarrollar actitudes positivas hacia el estudio.
• Objetivos específicos:
- Los propios de cada una de las nueve unidades de estudio.
• Contenidos:
- Teoría intuitiva de conjuntos.
- Relaciones binarias.
- Aplicaciones.
- Leyes de composición internas. Estructuras algebraicas.
- El número natural.
- Sistemas de numeración.
- El número entero.
- Divisibilidad en Z.
- El número racional.
• Medios y recursos:
- Método:
• Activo: los alumnos deben trabajar haciendo matemáticas en lugar
de sólo recibirmatemáticas 14 •
• Exposiciones breves del profesor introduciendo los temas; orien-
tación de las actividades y dirección de la puesta en común des-
pués de las actividades individuales y de grupo.
• Organización en grupos de trabajo.
• Tutoría: atención personalizada o en pequeiios grupos.
1
º Tales objetivos tienen como base las recomendaciones del Nacional Council
of Teachers of Mathematics (1990): Currículum and Evaluation Standards for School
Mathematics, y que se concretan en los siguientes puntos: Que el alumnado l) apren-
da a valorar las matemáticas; 2) confíe en su aptitud para hacer matemáticas; 3)
aprenda a utilizar las matemáticas para resolver problemas y 5) aprenda a razonar
matemáticamente.
14
Sigue la teoría constructivista del aprendizaje.
- Material de estudio:
• Guía de estudio independiente. Incluye el contenido de aprendizaje,
con la siguiente estructura para cada una de las nueve unidades o
temas:
- Objetivos
- Actividades
- Contenido de estudio
- Ejercicios: aplicación de los nuevos conceptos que se van presen-
tando en los diversos temas.
- Soluciones a los ejercicios
- Bibliografía
- Evaluación:
• Diagnóstica: tres instrumentos destinados a comprobar el dominio
de conceptos básicos, su capacidad para el razonamiento mate-
mático y la actitud con que se enfrentan a la asignatura.
• Formativa: seis pruebas formativas distribuidas a lo largo del curso.
- Información al alumno sobre los resultados de la evaluación, y toma

de decisiones.
- Sesiones de recuperación: Centradas en la subsanación de lascaren-

cias y errores detectados en las pruebas formativas.
- Evaluación sumativa: tres exámenes parciales no obligatorios (uno

por trimestre) y una prueba final. Las pruebas son de carácter crite-
rial.
8.2.2.2. El programa Fomento de actitudes contrarias al consumo de

tabaco y alcohol en un marco interactivo con los principios de
la vida activa
Con la intención de ofrecer alguna muestra de otros tipos de
programas, reseñamos dos relativos al ámbito de la salud. El pri-
mero de ellos el de ''Fomento de actitudes contrarias al consumo de
tabaco y alcohol en un marco interactivo con los principios de la vida acti-
va" y, a continuación el de "Construyendo salud".
El diseño, implementación y validación del primero constitu-
yó la tesis doctoral de su autor en 1997, pasando a ser publicada
por Editorial Escuela Española bajo el título Cómo prevenir el con-
sumo de tabaco y alcohol.
• Objetivos generales:
Los objetivos gei1erales del programa, a alcanzar por medio de una serie
de contenidos y actividades, se concretan en el fomento de actitudes:
- Contrarias al consumo de tabaco y alcohol.

- Congruentes con los principios de una vida sana.
El programa se fundamenta en el modelo de salud integral, en los pos-

tulados de la intervención psicosocial y en el aprendizaje constructivo y
significativo.
• Objetivos específicos:
Se trata de lograr una serie de actitudes:

- De rechazo hacia:
• El consumo de tabaco.
• El consumo de bebidas alcohólicas.
• Los hábitos perjudiciales para la salud.
- Favorables hacia:
• El consumo de bebidas alternativas: leche, zumos de frutas, bati-
dos.
• La higiene personal.
• La salud del medio ambiente y el equilibrio ecológico.
• La practica del ejercicio físico y los deportes.
• Las actividades culturales y de enriquecimiento personal en el
tiempo de ocio.
De toma de postura crítica hacia la publicidad y el consumo.
• Contenidos:
a) CONCEPTUALES
• Riesgos del consumo del tabaco, del alcohol y sus efectos.
• Razones por las que ciertas bebidas (zumos, leche) son saluda-
bles.
• Errores que conlleva cierta publicidad.
b) PROCEDIMENTALES
• Observación de productos tóxicos del tabaco, del contenido alco-
hólico de las bebidas y de los pe1juicios ambientales.
• Análisis de anuncios publicitarios.
• Construcción de aparatos sencillos, de juegos, murales ... , relacio-
nados con la salud.
• Iniciación en técnicas de trabajo cooperativo.
c) ACTITUDINALES
• Crear actitudes de rechazo hacia el tabaco y el alcohol.
• Fomentar la disposición favorable hacia bebidas saludables.
• Potenciar la preocupación por la higiene personal.
• Sensibilizar hacia el medio ambiente y el equilibrio ecológico.
• Estimu lar el aprecio y gusto por el ejercicio físico y el deporte.
• Promover una actitud crítica hacia la publicidad y el consumo.
• Favorecer actitudes favorables hacia las actividades culturales.
• Medios y recursos:
- Método:
Dos opciones sobre una base común: la adopción de un procedi-
miento interdisciplinar.
Opción a) Incardinación del programa en las áreas curriculares.
Opción b) El Taller de la salud.
- Actividades:
• La oca de la salud. Área de Educación artística.
• Con el humo mi vida antes consumo. Área de Conocimiento del
medio natural, social y cu ltural.
• fufS'J,emos a "¡Cuidado con los errores!". Áreas de Lengua Castellana y
Literatura, Conocimiento del medio natural , social y cultural y
Educación Artística.
• ¡Vaya carta erológira! Área de Lengua castellana y Literatura.
• Pero ¡qué bien le lo montas! Área de Conocimiento del medio natu-
ral , social y cultural.
• D1fiende !rt salud, no te arrepn1lirás. Áreas de Lengua castellana y
Literatura, y Educación artística.
Temporalización
• A lo largo de nueve semanas, de enero a marzo. Las actividades
primera y sexta, con dos semanas cada una, y el resto con un sema-
na cada una.
• Está prevista una acción de refuerzo durante las nueve semanas.
- Evaluación:
• Mediante una pauta de evaluación formativa. Consta de los
siguientes aspectos, a valorar mediante una escala tipo Likert, de
cinco rangos:
- Aspectos generales del programa
- Objetivos específicos del programa
- Contenidos del programa
- Metodología utilizada
- Espacios que son necesarios

- Actividades realizadas
- Temporalización
- Papel desempeñado por el profesorado
- Papel del alumnado
- Medios materiales y recursos
- La evaluación
8.2.2.3. El programa Construyendo salud

El programa Construyendo salud, de la profesora Luengo
(1998), de la Universidad de Santiago de Compostela, cuenta con
un sólido trasfondo científico que, obviamente 1 no puede reco-
gerse en esta breve reseña pero que subyace a todos sus elemen-
tos integrantes:
• Objetivos:
- En relación con factores psicosociales 15 •
- En relación con los problemas de conducta 16 •
• Duración: 17 sesiones de aproximadamente a cincuenta minutos cada

una. En cada sesión se desarrolla una unidad, que consta de:
- Un objetivo general.
- Varios objetivos específicos.
- Una serie de actividades.
- En ocasiones, ejercicios a realizar en la propia casa.
• Componentes del programa 17 :

- Primero: Información sobre el consumo de drogas.
- Segundo: La autoestima.
- Tercero: Toma de decisiones, integrado por tres sesiones.
- Cuarto: Control emocional, con dos sesiones.
- Quinto: Entrenamiento en habilidades sociales, compuesto por
cinco unidades.
- Sexto: Actividades de ocio.
- Séptimo: Tolerancia y cooperación.
15
Entre otros los siguientes: Promover el pensamiento crítico, facilitar el desarrollo de
habilidades sociales, desarroUar autoconfianza ...
16
A título de ejemplo: evitar el inicio en el consumo.
17 Los c01nponentesvienen a ser núcleos de contenidos, con sus propios objetivos
y actividades.
• Metodología: preferentemente activa y participativa; en un segundo

plano, instructiva.
• Mater:iales. El programa necesita de ciertos materiales específicos para

experimentos en el laboratorio o actividades concretas como las de
relajación.
• Componente familiar del programa, destinado a implicar a las familias

en los objetivos del programa, integrado por dos tipos de actuaciones:
- Intervención indirecta de los padres, mediante la realización por sus
hijos de determinadas actividades con la ayuda paterna.
- Intervención directa con los padres, mediante un programa especí-
fico para fomentar en ellos las competencias necesarias para que
puedan actuar como agentes ante sus propios hijos.
8.2.2.4. PECES. Un programa para padres

PECES (Padres Eficaces con Entrenamiento Sistemático) es un
programa de la American Guidance Service d estinado a capacitar a
los padres para afrontar la educación de los hijos en un contexto
democrático, partiendo de la idea de que los allí denominados
"métodos autocráticos", en los que los padres imponen reglas y
exigen el sometimiento de los hijos, no son adecuados al tiempo
presente.
El programa PECES se sirve del estudio en grupos por consi-
derar que es un procedimiento eficaz para la formación de los
padres, ya que allí experimentan el estímulo que representa la
presencia de otros padres.
El programa consta de dos partes diferenciadas; la primera se
orienta a formar a las personas que deberán guiar los grupos de
estudio; la segunda se concreta en las diferentes sesiones, nueve
en total, destinadas a la formación de los padres, que son las
siguientes:
• Sesión primera: Comprensión del comportamiento adecuado e

inadecuado de los niños.
• Sesión segunda: Comprensión por los padres de cómo los hijos
usan las emociones para involucrar a los padres y el "buen" padre.
• Sesión tercera: La estimulación.
• Sesión cuarta: Comunicación: cómo escuchar a su hijo.
• Sesión quinta: Comunicación: cómo explorar alternativas y

expresar a sus hijos las ideas y los sentimientos de usted.
• Sesión sexta: Un método para desarrollar la responsabilidad.
• Sesión séptima: Decisiones que tienen que ser tomadas por los
padres.
• Sesión octava: La reunión familiar.
• Sesión novena: Desarrolle la confianza en usted mismo y use su
potencial.
En líneas generales, la estructura de las sesiones es la que

sigue, que se corresponde con la primera de ellas:
• Objetivos: orientar al grupo en cuanto al método de estudio que se uti-

lizará en el programa; lograr que se conozcan los componentes del
grupo; introducir una teoría práctica para la comprensión de los
hijos.
• Procedimientos.
- INTRODUCCJÓN
Presentación del guía (el responsable del programa) y del progra-
ma.
Invitación a conocerse mutuamente.
Normas a respetar en las discusiones: no salirse del tema, involu-
crarse en la discusión, compartir el tiempo, motivarse unos a otros,
responsabilizarse de su propio comportamiento.
- TAREA DE LECTURA
Realización de la lectura programada.
Discusión .
- PRES1'..rvTACIÓN DE LA TRANSPARENCJA SOBRE Objetivos del comporta-
miento inadecuado.
- PRESENTACIÓN DE LA GRABACIÓN
Formulación de preguntas para guiar la realización de los ejemplos.
- DISCUSIÓN DE LA GRABACJÓN
- PRESENTACJÓN DE LA TRANSPARENCJA SOBRE Objetivos del comporta-

miento positivo.
- PROBLEMA:
Leerlo y discutir sobre las preguntas.
- SUMARIO:
Identificar lo aprendido y clarificar los aspectos precisos.
- ACTIVIDAD PARA LA SEMANA:

Observación de los hijos y análisis de su comportamiento inadecua-
do, aplicando la pauta estudiada.
- TAREA DE LECTURA:
Leer el texto recomendado y pensar sobre las preguntas allí recogi-
das.
El resto de sesiones comienza con una discusión en relación

con la actividad para la semana, encargada durante la sesión ante-
rior, y con la tarea de /,ectura también encomendada al finalizar
cada sesión.
Como se puede apreciar, nos encontramos ante un programa
con un objetivo general (capacitar a los padres para relacionarse
de forma efectiva con sus hijos); un método general (estudio en
grupos, bajo la dirección y el estímulo de un guía, previamente
capacitado); un conjunto de nueve sesiones destinadas al estudio
y capacitación en cada uno de los nueve grandes temas del pro-
grama, al servicio de uno o varios objetivos específicos, utilizan-
do un determinado procedimiento, cuidadosamente diseñado y
explicado en el manual; y un conjunto de materiales (transpa-
rencias diseñadas para las diversas sesiones, casettes con las
correspondientes grabaciones y un libro con lecturas).
La evaluación está tratada de un modo poco detallado: el
guía preguntará a los miembros del grupo lo que esperan obte-
ner del programa -en la primera sesión- y les solicitará una valo-
ración sobre la eficacia de cada una de las sesiones para resolver
sus necesidades de formación.
El manual incluye recomendaciones de todo tipo, entre otras
las referentes a la duración de cada sesión, el lugar adecuado, la
composición de los grupos y hasta la preparación de unos des-
cansos con refrescos o café, como medio de mejorar la relación
entre los asistentes y de concederle cierta informalidad que favo-
rezca la asistencia.
Por último, conviene destacar la importancia de la continui-
dad dada al programa, al enlazar cada una de las sesiones sema-
nales con actividades de observación en el marco familiar y con
las tareas y lecturas encomendadas.
8.2.2.5. Guía de Educación Sexual para Padres y Maestros

de Niños Deficientes Mentales
Se trata de un programa elaborado en México por los Drs. l.
Torres, F. Beltrán y T. Gamboa sobre la base de las investigacio-
nes llevadas a cabo a partir de 1992 en el Instituto de Investi-
gaciones Psicológicas de la Universidad Veracruzana 18 •
• Objetivo general
Promover el respeto y la aceptación de la sexualidad de las personas
con deficiencia mental, a partir del reconocimiento de la propia
sexualidad.
• Objetivos particulares
Incluyen un total de nueve objetivos específicos, de los que reseñamos
aquí los siguientes:
- Propiciar la reflexión de los padres sobre su propia sexualidad.
- Reflexionar sobre la sexualidad de personas con deficiencia mental.
- Reconocer y expresar los sentimientos que produce a los padres la
sexualidad de sus hijos deficientes mentales.
- Favorecer la comunicación sobre sexualidad entre padres e hijos
con deficiencia mental.
• Contenidos:
- ¿Cómo convocar a los grupos para el desarrollo del objeto del pro-
grama?
- Integración de equipos.
- Nuestra sexualidad.
- ¿Cómo influyen los valores, actitudes y opiniones en mi sexualidad?
- Anatomía y fisiología del aparato sexual masculino y femenino.
- El desarrollo de las personas con deficiencia mental.
- La educación sexual de mi hijo deficiente mental.
Cada uno de estos bloques consta de:

- Objetivos específicos a alcanzar por los padres.
- Contenidos temáticos: explicaciones teórico-prácticas escritas para faci-
litar la tarea del coordinador o facilitador de los grupos de padres.
- Especificación de las actividades a realizar.
18
El programa se presentó en forma de tesis doctoral en la UNED. Vid. Torres
Ferman (2000).
- Técnica de enseñanza y dinámicas de grupo a utilizar en el desarrollo del

tema.
- Descripción de los materiales didácticos que se utilizarán y modo de
uso de los mismos.
- Cuestionarios para la evaluación de las actividades, de las dinámicas
de grupos.
- En ocasiones, cuestionarios sobre conocimientos, con pre y post test.
8.3. Los COMPONENTES BÁSICOS DE UN PROGRAMA
Con las salvedades ya reseñadas, referidas a la diversidad de

programas y al grado de complejidad de los mismos, estimamos
que, no obstante, sí podríamos dejar constancia de unos compo-
nentes mínimos, por tanto comunes, que deberían figurar en
cualquier objeto que quiera ser considerado programa en el ámbi-
to de lo educativo.
Tales componentes mínimos son:
• Unos contenidos.
• Unos objetivos.
• Un conjunto más o menos amplio y variado de medios y
recursos.
• Un sistema integrado de evaluación.
Estos grandes componentes, a su vez, tanto para lograr sus

metas como para poder llevar a cabo su evaluación (la del pro-
grama), deben tomar en consideración ciertos elementos ajenos
al programa y cumplir algunos requisitos.
8.3.1. El contexto
El elemento ajeno al programa, de vital importancia, es el con-
texto o marco de referencia en que se desarrolla, como un condicio-
nante fundamental tanto para poder implantarlo como para faci-
litar su adecuado desarrollo.
Entre los aspectos a tomar en consideración es preciso destacar
la acogida que recibe el programa, su grado de coherencia con Ja
naturaleza de dicho contexto y la disponibilidad a cooperar o, al
menos, a un apoyo pasivo p,or parte de quienes lo integran.
8.3.2. Los componentes mínimos

Ya hemos señalado el papel directriz de los objetivos, cuya for-
mulación debe tener como referencia las carencias y necesidades
detectadas e identificadas, bien mediante acciones específicas -eva-
luación de necesidades- bien por el conocimiento habitual de tales
carencias como fruto de experiencias anteriores más o menos reite-
radas. Los objetivos se concretan en los contenidos específicos del
programa, sean estos de carácter académico o no 19 •
Los medios y recursos, una vez reconocida su subordinación a los
objetivos, se convierten en el componente clave. De algunos se ha lle-
gado a decir que son el componente esencial, como es el caso de las
actividades. Al respecto, Yinger (1986), manifestaba lo siguiente:
La enseñanza efectiva parece basada principalmente en e l éxito,

en la traducción y adaptación de los currícula en actividades instruc-
cionales que sean apropiadas a los distintos grupos de estudiantes.
En la misma línea se había manifestado ya García Hoz (1970:

121) cuando, en el contexto de su concepción personalizada de
la Educación, afirmaba:
El universal medio de educación, que destaca con particular
relieve sobre todos los demás, es el ejercicio, la actividad, el trabajo
de los mismo alumnos. Dentro de una concepción personalizada de
educación, el trabajo que los alumnos puedan realizar sin la ayuda o
con una ayuda mínima del profesor, ha de tener preferencia.
Pero, junto a las actividades, la motivación promovida por el

responsable del programa: nunca deberíamos olvidar que además
de la motivación intrínseca que puedan tener por el programa
determinados destinatarios en la medida en que sea una deman-
da que responda a necesidades reales, habrá otros que carezcan
de ella o que tengan una motivación débil, por lo que será la acti-
19
De hecho, en la formulación de los objetivos se incluye un término que hace
relación al enfoque del mismo, por lo general un verbo, y al ámbito o aspecto al que
se aplica, al contenido del que se trate: calcular el coeficiente de correlación de
Pearson, comprender el teorema de Pitágoras, aplicar la regla de los signos, interpretar
las líneas isobaras, resolver ecuaciones de segundo grado, rechazar las drogas, respetar
a los demás ...
vidad técnica y humana del responsable del programa la que la

despertará o no en la medida precisa.
La misma evaluación puede jugar un importante papel de
medio; y ello desde una doble perspectiva: porque ayuda a tomar
medidas eficaces y porque puede ser un elemento que estimula el
interés en función del reconocimiento de los niveles parciales de
logro y de los esfuerzos y dedicación de los participantes.
Por último, el sistema de evaluación, que hemos calificado de
integrado. Todos los programas, bien como un elemento de res-
ponsabilidad social, bien como componente clave para su mejora
continua en el caso de su aplicación continuada, deberían incor-
porar un sistema de evaluación integrado.
En el primer caso, la evaluación del programa permitirá ren-
dir cuentas de los medios y recursos, públicos o privados, puestos
a su servicio. En el segundo, además, asegurará una continuada
mejora del programa en cuanto plan y de sus resultados.
8.3.3. Los requisitos

Los programas deben cumplir con ciertos requisitos, de carác-
ter técnico y práctico unos, y de naturaleza ética otros. En tal sen-
tido, parece necesario exigir que los programas educativos fueran
evaluados inicialmente en cuanto a su necesidad, viabilidad o facti-
bilidad. Tiene poco sentido poner en marcha un programa que
responda más a intereses de ciertos grupos que a necesidades rea-
les; del mismo modo, no parece razonable llevar a cabo un pro-
grama sin tener razonables evidencias de que podrá ser llevado a
término y que podrá alcanzar en grado razonable sus objetivos.
La responsabilidad ante la escasez de recursos -económicos,
materiales y humanos- no permite su despilfarro imprudente ni
la pérdida de tiempo y la frustración de los destinatarios 20 .
Del mismo modo, aunque aquí las consecuencias no sean tan
graves, los programas para los que se prevé una evaluación debe-
rían ser analizados a fin de comprobar si cumplen con el requisi-
211 Hay situaciones extremas en que el programa se aplica sin tales requisitos;
pero es que, justamente, se busca una solución a un problema que en tal momento
no la tiene. Pensemos en programas para la cura ele determinadas enfermedades.
Con tocio, aun en esos casos, el programa debe tener, al menos en teoría, posibili-
dades ele éxito.
to de evaluabilidad. Si no fuera así, sería necesario introducir las

modificaciones pertinentes, a ser posible antes de su implanta-
ción, para facilitar la propia evaluación y, sobre todo, para que
esta pueda aportar la información necesaria para potenciales
mejoras. En cuanto a los requisitos éticos, nos remitimos a los
estándares correspondientes presentados en la primera parte de
la monografía.
1
r
¡
1
CAPÍTULO 9
PLANEAMIENTO DE LA EVALUACIÓN
OBJETIVOS

capaz de:
• Conocer, comprender y justificar la conveniencia y necesi-

dad de evaluaciones planificadas y sistemáticas.
• Justificar la superioridad de evaluaciones integradas sobre

las sobrevenidas al diseño, implantación e implementa-
ción del programa.
• Conocer y valorar los principales criterios a aplicar para la

valoración de programas antes de su aplicación, durante el
proceso y a su finalización.
• Conocer y valorar las aportaciones y los riesgos de evalua-

ciones integradas.
Una vez considerado el papel de las carencias, necesidades,

expectati.vas y demandas debidamente detectadas, identificadas y
evaluadas para el diseño de los programas, y conocidas las carac-
terísticas y componentes básicos de los programas, en donde
hemos tenido ocasión de comprobar el doble papel de la evalua-
ción, llega el momento de centrar nuestra atención, de modo
específico, en dicha evaluación.
Como se ha señalado anteriormente, la evaluación debería
gozar de las mismas características de los programas, esto es,
debería ser sistemática y responder a un plan, o lo que es lo mismo:
debería ser planificada.
Pues bien, este es el objeto de nuestra consideración en el pre-
sente capítulo de la monografía.
9.1. DE LA EVALUACIÓN SOBREVENIDA A LA EVALUACIÓN INTEGRADA
Con mucha frecuencia, la evaluación de programas es una

actividad inicialmente no prevista; surge por algún tipo de interés
-político, profesional, práctico- una vez que el programa ya ha
sido diseñado; en ocasiones, el programa ya está en su fase de
desarrollo, y hasta puede ocurrir que esté a punto de concluir o
que ya haya terminado.
Este tipo de evaluaciones no planificadas de antemano presenta
evidentes limitaciones que, en ocasiones, comienzan por las propias
intenciones del evaluador o del responsable o cliente que la solicita.
Puede tratarse de disponer de información privilegiada que le
permitajugar con ventaja ante ciertas decisiones; tal vez de con-
tar con información con la que poder responder ante el público,
o ante personas que ostentan cargos de rango superior, del uso de
los recursos puestos a su disposición.
Sea como fuere, el caso es que en este tipo de evaluaciones se
han perdido al menos tres de las grandes aportaciones de la eva-
luación:
• La comprobación del grado de necesidad y de pertinencia del

programa, esto es, si el programa era o no necesario y si, en
caso afirmativo, da, a priori, respuesta a las necesidades,
carencias o demandas de los destinatarios -personas o
grupo- del mismo.
Es verdad que la pertinencia podrá ser valorada al final de
PLANEAMIENTO DE LA EVALUACIÓN 205
la aplicación del programa, pero si entonces se comprue-

ba que no era pertinente, o que lo era en grado insufi-
ciente, ya no será posible aprovechar esa información salvo
en ediciones posteriores. En caso de que el programa no
fuera realmente necesario la situación se hace todavía más
lamentable.
• Su aplicación en las mejores condiciones posibles, una vez
comprobado que su diseño es el adecuado y que el pro-
grama es viabl,e.
La situación aquí es similar a la anterior: posibles caren-
cias, disfunciones o limitaciones del programa, en particu-
lar su factibilidad o viabilidad, y hasta la evaluabilidad del
mismo, pueden ser detectadas a tiempo, subsanándolas
cuando sea posible o evitando poner el programa en mar-
cha cuando no lo son.
• La mejora continua, fruto de una evaluación continua y
formativa, durante el proceso de desarrollo del programa.
Dejando constancia de estas limitaciones, conviene señalar

que si las intenciones son adecuadas 1 y la metodología correcta,
también estas evaluaciones pueden realizar aportaciones de inte-
rés, si bien es preciso reconocer que la calidad de la información
recogida puede dejar que desear.
En efecto, al tratarse de una evaluación sobrevenida, y no pla-
nificada de antemano, bien puede ocurrir que no haya registros
de datos que interesan al evaluador; del mismo modo, para dis-
poner de cierta información pertinente debe ser solicitada a
determinado personal -responsables, aplicadores, destinatarios,
usuarios- que han de acudir a su memoria para responder, con
las consiguientes deficiencias (memoria selectiva, olvido ... ) que
afectan a este tipo de respuestas.
Sin embargo, como decíamos en su lugar, la evaluación
debería gozar de las características del programa, siendo, por
1
Ponemos en guardia al lector sobre lo que pueden ser intenciones no sólo
incorrectas sino hasta éticamente reprobables, como apunta y juzga duramente
Stufflebeam (1987: 67 s.): " ... los charlatanes y los manipuladores utilizan a menudo
la evaluación de una manera inadecuada para lograr sus objetivos. Puede que reco-
pilen información rigurosamente, pero no revelan las verdaderas conclusiones, o lo
hacen de modo selectivo, o incluso las falsifican , engañando tanto a la gente como
a sí mismos".
tanto, sistemática y respondiendo a un plan, con lo que debería

formar parte del programa que, en alguna medida, puede llegar
a ser fruto de una evaluación, la de necesidades, carencias o
demandas, a las que el programa pretende dar la adecuada satis-
facción.
Junto a esta evaluación previa al programa, una evaluación sis-
temática debe traducirse en un proceso organizado en torno a
tres grandes etapas o momentos, si hablamos de la primera eva-
luación del programa, y en su institucionalización, si lo hacemos
de ocasiones posteriores.
9.2. EL PROCESO DE EVALUACIÓN
Distinguiremos, por tanto, dos situaciones claramente dife-

renciadas: aquellas en las que el programa se diseña para respon-
der a necesidades y carencias concretas, y se lleva a cabo sin
intención de continuidad, y aquellas otras en las que el programa
está destinado a mantenerse durante varias ediciones, procuran-
do su mejora como fruto de la experiencia acumulada y de los
resultados de la evaluación
9.2.1. Evaluaciones únicas de un programa

Mientras los programas académicos ordinarios suelen tener
entre sus notas la de permanencia y notable estabilidad, los progra-
mas que responden a necesidades, carencias y demandas ad hoc
suelen carecer de tales notas.
Sin embargo, por razones diversas, entre las que cabe destacar
la necesidad de rendir cuentas del uso de los recursos y de los fru-
tos conseguidos, son muchas las ocasiones en que tales programas
se evalúan, particularmente en lo relativo a su eficacia, una vez
concluido el programa. Es más, en muchos proyectos sociales, lle-
vados a cabo mediante el diseño y aplicación de programas, se
debe incluir la previsión de un sistema de evaluación como un
requisito del mismo para poder alcanzar la correspondiente
financiación.
Pues bien, aun en el caso de estas evaluaciones: puntuales y
por una sola vez, conviene que la evaluación responda a un plan
y que esté prevista y planificada desde el primer momento.
Contar con esta cualidad garantiza por una parte la viabilidad y,
por otra, disponer de la información pertinente en el momento
de llevar a cabo la evaluación (evaluabilidad).
El evaluador en este tipo de situaciones debe prever la infor-
mación que necesitará, las cualidades que deberá reunir, las fuen-
tes a las que acudirá, las técnicas que utilizará, los criterios que
aplicará y la forma en que analizará y tratará la información ,
teniendo en cuenta el tipo de informes que deberá elaborar en
función de las partes afectadas e interesadas2 .
Con tales previsiones bien elaboradas, deberá contactar con
los responsables del programa, con los clientes de la evaluación y
con las partes interesadas y afectadas a fin de tener la seguridad
de que podrá llevar a cabo su tarea.
Una planificación como la aquí apuntada garantiza al máximo
la relevancia y utilidad de la evaluación, al margen, claro está, de
las limitaciones que derivan de su carácter no integrado en el pro-
grama y de su realización ajena al desarrollo del propio programa.
Es por ello que, siempre que sea posible, los responsables del
programa deberían procurar una evaluación no sólo integral, esto
es, de todo el programa en sus diversas etapas y componentes,
sino integrada, esto es, formando parte del propio programa como
un componente más, eso sí, atendiendo a las dos funciones bási-
cas, la formativa y la sumativa.
De este modo la evaluación puede realizar las máximas apor-
taciones, permitiendo la mejora del programa no sólo durante e l
proceso de implantación sino incluso antes de llevarlo a cabo,
adquiriendo en tal caso una dimensión preventiva o anticipa-
dora.
Pues bien: en estos casos, la planificación de la evaluación
debe ser un componente unido inseparablemente al programa
en todas y cada una de las diversas fases por las que debe pasar:
• Si, por un lado, el programa se debe diseñar a partir de la

detección, identificación, valoración y priorización de las
necesidades, ese mismo proceso evaluador puede y debe
someterse a evaluación para decidir si ha sido llevado a
cabo con las garantías técnicas nec~sarias: diversidad y ade-
cuación de las fuentes , idoneidad de las técnicas, calidad de
2
Recordemos que en textos especiali zados se utiliza el término "audiencias",
que, personalmente, me parece poco adecuado.
los instrumentos (fiabilidad, validez), corrección y adecua-

ción del tratamiento y análisis de la información, adecuada
valoración, establecimiento de prioridades, adecuada difu-
sión de la información.
• Antes de comenzar el programa debe ser sometido a valo-
ración en relación con, al menos, los siguientes criterios
básicos:
- Pertinencia de sus objetivos, tomando como referencia las necesi-
dades a satisfacer; adecuación, suficiencia y realismo de los mismos.
- Calidad intrínseca del programa, atendiendo a la fundamentación de
la intervención diseñada.
- Viabilidad del programa, teniendo en cuenta los medios y recursos
disponibles, así como las características del contexto, en especial
la acogida, el apoyo y la coherencia del mismo con sus objetivos.
- Calidad técnica, esto es, formulación del programa atendiendo a los
requisitos técnicos, entre los que cabe destacar la claridad y preci-
sión en la formulación de los objetivos, la especificación de todos los
aspectos relevantes y la evaluabilidad del programa, atendiendo
entre otros aspectos básicos, al lenguaje utilizado y a la informa-
ción ofrecida sobre todos los elementos que habrán de someterse
a evaluación.
• Durante el proceso de aplicación del programa:

- Datos de proceso en relación con su implantación y desarrollo de
conformidad con la planificación; disfuncionalidades; flexibilidad
que permite para acomodar el proceso a las circunstancias.
Niveles de progreso.
Datos procesuales en relación con los niveles de logro y de satis-
facción del personal.
- Datos contextuales sobre la incardinación del programa en su
contexto, los apoyos que recibe, los obstáculos que debe afrontar.
• Al finalizar el programa:
- Básicamente, se debe recoger información sobre su eficacia (logro
de los objetivos), eficiencia (logros en relación con los medios y
recursos) y efectividad (logros no previstos).
- También puede ser necesario establecer contrastes entre los resul-
tados del programa y otros alternativos, si los hubiere. O analizar
la eficacia, eficiencia y efectividad atendiendo a grupos o clases dife-
rentes de entre los destinatarios del programa.
- Por último, la evaluación debe hacer objeto de valoración el pro-
pio sistema de evaluación final y la calidad técnica del mismo.
9.2.2. Institucionalización de la evaluación
En la medida en que los programas evaluados tengan cierta
permanencia y estabilidad, lo anteriormente dicho se convierte
en la evaluación durante la primera edición del programa.
Ahora bien, para que la evaluación aporte el máximo de sus
potencialidades, conviene institucionalizarla, de forma que, por
una parte, los resultados de la misma sirvan de base para mejorar
el programa en su diseño, implantación y resultados, y, de otra, se
hagan objeto de evaluación, mediante un especial seguimiento,
los aspectos identificados en la primera ocasión como puntos
débiles susceptibles de mejora.
De esta forma, la evaluación se integra plenamente en el pro-
grama, como un componente más, en armonía y coherencia con
el resto evitándose los riesgos y disfunciones de una evaluación
puramente externa y desintegrada del programa.
9.3. APORTACIONES Y RIESGOS DE UNA EVALUACIÓN INTEGRADA
Volviendo a nuestra idea de la función instrumental de la eva-

luación, se comprenderá que sus aportac'iones resultan especial-
mente relevantes cuando cumplen con una triple exigencia:
- Su subordinación a los objetivos, expresión de Ja respuesta a las
necesidades.
- Su armonía y coherencia con el resto de componentes del pro-
grama.
- Su rigor técnico: fiabilidad, validez y valía de la información.
Pero, por el contrario, conviene dejar clara constancia de

que la vulneración de cualquiera de estas cualidades, sobre todo
cuando alcanza cierto nivel, puede resultar de graves conse-
cuencias.
9.3.1. Aportaciones
Tres son, a mi juicio, las aportaciones fundamentales de una
evaluación integrada de programas educativos:
• La información que aporta para la mejora continua del programa

en todas sus dimensiones y componentes.
Si bien, en palabras de Stufflebeam, toda evaluación aporta

información sobre el valor o el mérito del objeto evaluado,
la evaluación integrada trasciende con mucho la informa-
ción sobre aspectos relacionados con su eficacia, eficiencia,
efectividad o satisfacción, propia de evaluaciones no inte-
gradas.
Es verdad que una información de tal naturaleza es rele-
van te y útil para los evaluadores o para las entidades o per-
sonas -clientes- que encargan la evaluación, pero no es
menos cierto que dejan fuera de su foco de atención aspec-
tos de gran relieve que informan sobre el programa y su
calidad y, lo que es más importante, que hacen posible algo
de inapreciable valor: mejorar el programa.
Esa mejora del programa que, en parte, también es posible
aunque en menor medida y profundidad con la evaluación
no integrada, en este caso alcanza una mayor entidad en un
doble sentido.
En efecto: por una parte, porque aporta información
sobre momentos anteriores a su evaluación final, con lo
que las decisiones pueden ser más ajustadas, completas y
adecuadas; por otra, porque hace posible la mejora de l
programa sobre la marcha, durante su propio proceso de
aplicación.
• El compromiso con la mejora del programa.

Sin embargo, si lo anterior es importante, probablemente
lo más trascendente tiene que ver con el grado de compro-
miso con la mejora del programa y de sus resultados, pro-
pio de este tipo de evaluaciones.
La evaluación integrada, en efecto, propia como sabemos
de evaluaciones nacidas desde dentro, suele surgir como
consecuencia de una actitud generalizada en las personas y
grupos implicados en el programa.
Tal actitud es fruto de una posición personal ante la vida y
los demás, que tiene que ver con el deseo de superación y
con la asunción de responsabilidades. Frente a quienes se
conforman con poco, con el cumplimiento estricto de las
tareas de la profesión, se encuentran quienes tienen una
razonable inquietud por la obra bien hecha, por la excelencia
en todas sus actuaciones. Y frente a quienes siempre
PLANEAMIENTO DE lA EVALUACIÓN 211
encuentran explicaciones y excusas para resultados insatis-

factorios e insuficientes de su labor profesional, situando la
causa en los demás o en factores extraños, incontrolables,
ajenos a la propia responsabilidad, se encuentran quienes
están dispuestos a asumir su cuota de responsabilidad.
Pues bien, una y otra posición: deseo de superación y asun-
ción de responsabilidades, se dan con frecuencia entre quie-
nes consideran que la evaluación de los programas debe ser
un elemento más, armónico e integrado con el conjunto de
componentes del programa. De ahí ese compromiso con la
mejora y esa disposición decidida a llevarla a cabo, a hacer lo
que esté en su mano para convertirla en realidad.
• [,a continuidad
Por último, la evaluación integrada aporta todas las venta-
jas de una actividad planificada y sistemática frente a los
inconvenientes que derivan de lo azaroso, puntual y dis-
continuo.
Los programas educativos, por su propia naturaleza, sue-
len ser de larga duración y exigen planificación, persis-
tencia en el trabajo y seguimiento del mismo. Es más, los
procesos de diseño, implantación, implementación y cul-
minación de los programas no se constituyen en etapas
aisladas, yuxtapuestas y sin relación entre sí, sino todo lo
contrario.
La continuidad es, pues una exigencia de cualquier actua-
ción al servicio de la mejora; pero la continuidad no es posi-
ble en modelos no integrados.
9.3.2. Riesgos
Siendo tantas y tan importantes las aportaciones de la evalua-
ción integrada de programas educativos, puede parecer un con-
trasentido hablar de sus riesgos. Y habría que decir, de inmedia-
to, que no tendría sentido hablar de ellos si la evaluación se lleva
a cabo de acuerdo con las pautas presentadas.
Sin embargo, como ello no siempre es posible, conviene dejar
constancia de algunos riesgos que deben ser evitados para que las
aportaciones no queden obscurecidas y hasta limitadas. Me refe-
riré, en concreto, a dos de especial relieve:
• La inversión de papeles
Hemos reiterado el papel instrumental de la evaluación, lo
que viene a representar que lo importante es el programa y
no su evaluación.
En el marco del tiempo y de los medios y recursos disponi-
bles, la evaluación debe ocupar y consumir el necesario y
nada más que el necesario. No puede ocurrir que por eva-
luar un programa se deje sin dedicar el tiempo necesario y
los recursos precisos a su desarrollo.
• La exhaustividad
En relación con lo anterior, se encuentra el afán de perfec-
cionismo, que puede conducir a intentos utópicos, alejados
de toda prudencia y realismo.
Evitar uno y otro riesgo es cuestión de tener las ideas claras,

por una parte, y, por otra, de disponer de propuestas evaluativas
realistas, lo que no es fácil. Implica un proceso sólido de reflexión
para limitar la información a recoger a los aspectos esenciales a
partir de las fuentes imprescindibles.
Obviamente, cuando los medios -humanos, económicos y
materiales- permitan una información más ambiciosa y comple-
ta, no habrá nada que objetar. Pero cuando no es posible, la cues-
tión está en plantearse con rigor y seriedad qué información es
esencial y qué otra puede quedar fuera del proceso evaluador.
CAPÍTULO 10
EVALUACIÓN INICIAL DE PROGRAMAS
OBJETIVOS

capaz de:
• Conocer y comprender la naturaleza del diseño de pro-

gramas y justificar Ja necesidad de su evaluación.
• Conocer, comprender, analizar y valorar las dimensiones

fundamentales y los correspondientes objetos de atención
de la evaluación inicial de programas.
• Conocer, comprender, analizar y valorar los criterios fun-

damentales a aplicar en Ja evaluación inicial de progra-
mas.
• Conocer, comprender y justificar las líneas básicas de la

metodología a utilizar en la evaluación inicial de progra-
mas.
La detección, identificación y evaluación de necesidades, y el

correspondiente establecimiento de prioridades, estudiados al
inicio de esta segunda parte, es algo que no tiene sentido en sí
mismo sino que debe dar lugar a una acción específica, general-
mente conocida como intervención, destinada a su satisfacción o
resolución.
En su sentido más básico, toda intervención puesta al servicio
de las necesidades, carencias, demandas o expectativas, consiste
en la ftjación de unas metas u objetivos, en el establecimiento de
un plan de acción -intervención- y en la disposición de un con-
junto de medios y recursos que hagan posible su logro; en defini-
tiva, la intervención se concreta en el diseño, implantación, imple-
mentación y desarrollo de programas.
Haremos aquí una breve consideración del primero de los
momentos o etapas: el diseño de programas, pasando a continua-
ción a su valoración en cuanto evaluación inicial.
10.1. DISEÑO DE PROGRAMAS
En el marco de la investigación, Kerlinger (1981: 214) define

el término diseño como "el plan, estructura y estrategia de una
investigación". A nuestros efectos, estas tres palabras resultan tam-
bién de utilidad.
El diseño es un plan, en cuanto implica una concepción glo-
bal del problema a resolver y de las acciones a su servicio. Es una
estructura, entendida como el esquema de la operación. Es una
estrategi,a, ya que refleja los métodos, procedimientos y actuacio-
nes que se utilizarán para lograr los objetivos.
10.1.1. De las necesidades a los objetivos

El enlace entre las necesidades' detectadas, identificadas, eva-
luadas y priorizadas y el programa lo constituyen los objetivos de
éste. Se diseña un programa para alcanzar un conjunto de metas
1
Cuando utilizamos el término necesidades lo hacemos de forma genérica, de tal
modo que, según los casos, podemos estar refiriéndonos a carencias, demandas o
expectativas. En ocasiones, y para no ser reiterativos, se utilizará este término englo-
bando o sustituyendo la los demás.
EVALUACIÓN INICIAL DE PROGRAMAS 215
u objetivos que, en principio, y tal como son definidos, se consi-
deran adecuados para la satisfacción de aquellas. Es decir: alcan-
zar los objetivos del programa es tanto como satisfacer, en el
grado estipulado, las demandas, carencias, necesidades o expec-
tativas que originan el programa.
Las necesidades son la expresión de un problema -social, edu-
cativo, económico, ... - que alguien -una institución, un grupo de
personas, unos profesionales- pretende resolver. Y para ello, uti-
lizando la gran herramienta que caracteriza al ser humano, su
inteligencia, su capacidad de razonar, predecir y controlar, dise-
ñan un plan de acción que, a priori, resulta adecuado y suficiente
para lograr las metas propuestas: diseñan, en definitiva, un pro-
grama.
Los objetivos, como elemento directriz del programa, deben
cumplir ciertos requisitos, algunos de carácter formal pero otros
de naturaleza plenamente técnica.
Parece lógico exigir que los objetivos estén claramente for-
mulados, utilizando un lenguaje preciso, capaz de permitir que
las partes afectadas -los responsables del programa, sus destina-
tarios y demás personas afectadas, y, desde luego, los evaluadores
en el caso de que el programa sea sometido a evaluación- tengan
claro qué es lo que hay que lograr y, de alguna manera, qué debe-
ría hacerse para alcanzar la eficacia.
Junto a esta cuestión formal, que requiere precisión en el len-
guaje, hay otra de carácter técnico muy importante. Se trata de
que la formulación de los objetivos haga posible saber si se están
alcanzando -evaluación procesual- o si se han alcanzado hasta un
determinado nivel o grado, en el caso de una evaluación final.
Nos estamos refiriendo a la necesidad de que los objetivos se for-
mulen en forma evaluable ya que, de no ser así, lo menos que
puede ocurrir es que no sepamos si estamos lográndolos o no y,
por consiguiente, y ello es más grave, que no puedan tomarse las
medidas oportunas para su replanteamiento.
Pero la gran cuestión relativa a los objetivos es la determina-
ción de su adecuación, suficiencia, y realismo, para dar satisfacción a
las necesidades, demandas y carencias. Y afirmamos que es la gran
cuestión porque todas las decisiones posteriores derivan de esta:
el plan que es el programa se juzga en relación con los objetivos,
elemento rector y directriz, no se olvide; pero si tal elemento
directriz no diera cumplida respuesta a aquellas, se podría llegar
a una situación tan chocante como la de poder hablar de un pro-

grama eficaz para alcanzar sus objetivos, pero ineficaz para satis-
facer las necesidades que lo originan.
La referencia al realismo de los objetivos nos conduce a otra
importante cuestión que debe ser tomada en consideración: nos
estamos refiriendo al contexto en el que se llevan a cabo los pro-
gramas. Los contextos son los marcos en los que se aplican los
programas, pero que tienen su propia dinámica, su propia vida,
antes de la puesta en marcha del programa; en tales condiciones,
no debe extrañar que el contexto se constituya en un condicio-
nante fundamental para el desarrollo de los programas, condi-
cionante que, aunque puede ser favorable, habitualmente no lo
es: no olvidemos que el programa trata de resolver un problema
que se da en ese contexto.
Los objetivos deben ser analizados en relación con tal c;ontex-
to de referencia a fin de tomar las medidas pertinentes para que
el programa pueda ser bien acogido y tener el éxito al que se des-
tina. Medidas tales como la sensibilización de personas significa-
tivas, de destinatarios y afectados, pueden hacer que los objetivos
del programa puedan llegar a traducirse en resultados satisfacto-
rios. Lograr algo así como su complicidad con el programa o,
mejor, su activa implicación en lo que el programa significa, es el
gran reto en este punto.
10.1.2. De los objetivos al programa en cuanto tal

Aunque en nuestra concepción del programa, como hemos
tenido ocasión de comprobar, los objetivos forman parte del
mismo, la esencia, el núcleo del programa, es el plan de acción, la
intervención al servicio de los mismos. Esa es la razón de que utili-
cemos aquí la expresión "programa en cuanto tal".
El paso de los objetivos al programa es el que va de las ideas a
la acción. Las personas o entidades responsables han tomado la
decisión de llevar a cabo una serie de acciones destinadas a lograr
unos objetivos con los cuales se pretende satisfacer ciertas necesi-
dades; es ahora cuando se plantea el cómo y se diseña la inter-
vención en que consiste el programa.
En el diseño del plan, de la intervención, es donde radica la
máxima dificultad y donde se juegan las posibilidades de alcanzar
las metas establecidas.
No resulta nada fácil tal diseño. Precisamente por ello, los res-
ponsables deben ser personas con la suficiente formación, expe-
riencia y capacidad de reflexión y análisis como para encontrar
respuestas técnicas adecuadas.
Y en este punto, como en tantos otros, la investigación puede
hacer aportaciones de extraordinario interés y de enorme valor.
La ligazón entre necesidades, objetivos y plan de acción -progra-
ma- debe estar regida por algún tipo de teoría explicativa, por
evidencias previas o por experiencias tan rigurosas como sea posi-
ble sobre situaciones similares y transferibles.
La incorporación de ciertas actividades sistemáticas sólo se
justifica porque existen teorías o algún tipo de evidencias que
permiten aventurar relaciones de causa a efecto entre ellas, los
objetivos y las necesidades. Se podría afirmar que quien diseña un
programa establece, de forma implícita o explícita, una vincula-
ción entre las actividades que constituyen el núcleo del programa
y los resultados que espera alcanzar, algo así como: si los destinata-
rios del programa realizan tales actividades en las circunstancias reseña-
das -tiempo, lugar, duración, persistencia ... - entonces se alcanzarán los
objetivos del programa y se habrá resuelto el problema que lo origina, se
habrá satisfecho la necesidad 2 .
Un ejemplo lo podemos tener en los programas destinados a
crear, mantener o modificar actitudes hacia determinados grupos
sociales. En la medida en que las teorías sobre las actitudes reco-
nocen en ellas tres grandes componentes: cognoscitivo, relativo a la
posesión de la información necesaria; afectivo, centrado en el
mundo de los sentimientos y afectos, y comportamental, que hace
referencia a las conductas de las personas, parece claro que un
programa centrado únicamente en el primero de los componen-
tes, sería manifiestamente insuficiente para alcanzar los objetivos
de crear actitudes favorables o modificar las desfavorables. La
concepción teórica sobre las actitudes ayuda, por consiguiente, a
diseñar el programa y, en particular, a diseñar los diversos tipos de
actividades.
Una vez definida con la necesaria precisión la intervención en
que consiste en esencia el programa, habrá que atender al resto
2
En esa línea se manifiestan González Soto y cols. (1995: 279-298) cuando afir-
man: "La formulación de hipótesis puede tener por base Ja teoría, la experiencia o
Ja información que se obtiene ... ".
de medios y recursos que, obviamente, deben ser suficientes y ade-

cuados. Y, como hemos tenido ocasión de ver, situaremos entre
ellos a la propia evaluación del programa, en este caso una eva-
luación paralela al diseño y desarrollo del programa, pero clara-
mente integrada en el mismo.
Resumiendo las anteriores ideas, el diseño del programa debe
atender a su calidad intrínseca, concretando sus metas y objetivos,
dando cuenta y razones de su elección en función de la relevan-
cia y pertinencia de las mismas y ofreciendo información sobre la
base teórica o experiencia! que lo sustenta; habrá de cuidar su
calidad técnica, especificando los objetivos; concretando la natura-
leza de la intervención, debidamente fundamentada; planteando
los medios y recursos e incluyendo un sistema de comprobación
y mejora de sus resultados; y debe asegurar su calidad metodológica,
formulándose de forma que contenga información relevante para
resultar evaluable y, consecuentemente, mejorable.
Del mismo modo, el programa deberá ser adecuado al con-
texto en el que se aplicará. En este punto habrá que tomar en
consideración tanto las necesidades que se pretenden satisfacer
como las características y circunstancias del contexto en que estas
se dan.
Y, como colofón, y atendiendo al contexto en que se desa-
rrolle, habrá de valorarse su propia viabilidad, esto es, el grado
en que el programa puede llevarse a cabo con posibilidades de
éxito.
10.2. EVALUACIÓN INICIAL DEL PROGRAMA
Parece evidente que si quien debe evaluar el programa es la

persona o grupo que lo ha diseñado, una y otra actividad se
habrán realizado en paralelo o, a lo sumo, se habrá procedido a
evaluarlo apenas se haya producido su diseño y, desde luego,
antes de poner en marcha el programa,
En tal caso, la evaluación inicial no es sino una nueva mirada
sobre lo que se acaba de hacer, o sobre lo que se está haciendo, para
acomodar el diseño del programa a las pautas de calidad exigibles.
En tales situaciones, el evaluador puede ir aplicando a su pro-
grama una pauta de referencia para comprobar si ha ido reali-
zando adecuadamente todos los pasos y si su trabajo se ha aco-
modado razonable y satisfactoriamente a las mismas.
Dejando de lado esta situación, tan sencilla como envidiable

por lo adecuada y potencialmente útil, pasaremos a presentar los
*1spectos fundamentales de la evaluación inicial eje un programa
llevada a cabo por un evaluador diferente de la persona o entidad
~ res q_n_gl5le del diseño del programa.
10.2.1. Finalidad de la evaluación inicial

La evaluación inicial de un programa tiene una finalidad emi-
nen teme11:te preventiva: e trata de aplic~T -~l programaen las con-
diciones más favorables, de forma que se reduzcan al límite las
posibilidades de fracaso, eliminando todas las causas previsibles
que puedan conducir a esa situación.
Esta finalidad se logrará en la medida en que, antes de pro-
ceder a la implantación e implementación del programa, se
hayan introducido cuantas modificaciones se consideren perti-
nentes como fruto de la revisión del diseño del programa. Y jus-
tamente por ello, se comprenderá que alcanzar una meta tan
ambiciosa implica una actividad evaluativa amplia y compleja, ya
que deberán someterse a evaluación todos los elementos que
configuran el programa.
Junto a esta finalidad, podríamos añadir algunos objetivos
1m tantes, tales ~orno:
a) Comprobar, antes de aplicar el programa, si será evaluable.

b) Decidir si procede implantarlo, puesto que se considera
viable.
c) Excluir el diseño del programa como causa de resultados
insuficientes, inadecuados o insatisfactorios en el caso de
que estos se produzcan.
10.2.2. Dimensiones de la evaluación

Analizaremos a continuación las grandes dimensiones que
deben ser objeto de evaluación: su calidad intrínseca, esto es, la
del documento técnico en que toma cuerpo el programa; su ade-
cuación tanto a los destinatarios como al contexto en el que se
aplica el programa; y su adecuación a las circunstancias o viabili-
dad.
10.2.2.1. Calidad intrínseca del programa

En términos genéricos, esta es la cualidad fundamental de un
programa; y, también en términos genéricos, esta es la dimensión
más amplia y compleja de la evaluación inicial de un programa.
El programa en cuanto tal, esto es, en cuanto documento que
incorpora un plan sistemático de acción puesto al servicio de unos
objetivos de cuyo logro se espera Ja satisfacción de las necesidades,
carencias, demandas o expectativas de los destinatarios, debe reu-
nir unas exigencias técnicas mínimas.
Tales exigencias se refieren, por una parte, al propio contenido
del programa y, por otra, a su formulación técnica. Al lado de
ambas, su propia evaluabilidad.
a. Contenido del programa
Entendemos por contenido del programa el conjunto de los

elementos que lo configuran, para lo cual remitimos a lo dicho en
esta misma unidad al hablar del programa. Recordemos que allí
se indicaba que un programa incorpora unos objetivos, un con-
junto de medios y de recursos a su servicio y un sistema de eva-
luación para decidir sobre su logro.
La evaluación de esta dimensión tiene que hacer referencia a
todos estos componentes. Así, y en relación con las metas u obje-
tivos, cabe pedir que, además de educativos, sean de entidad, esto
es, elevadas, relevantes.
El análisis y evaluación de un programa desde esta perspecti-
va pretende evitar el diseño de programas que, bajo la denomi-
nación de educativos, puedan suponer, de hecho, una actividad
contraria a la educación, como puede ser la manipulación de los
destinatarios, o una actividad inferior a la educación, como es un
mero adiestramiento.
Dando por bueno que el programa se orienta al perfecciona-
miento de sus destinatarios, bien sea en general -educación inte-
gral- bien en alguna de las dimensiones del ser humano -forma-
ción intelectual, social, física, ... - el análisis del contenido del pro-
grama se debe centrar en la entidad de las metas seleccionadas,
que deben estar en relación con las necesidades detectadas, de
forma que con su logro se dé la debida satisfacción a aquellas.
Una forma de valorar la calidad del contenido del programa
tiene que ver con el grado en que está respaldado por alguna teo-
ría o concepción teórica asumida como válida en el momento en
que se diseña el programa.
En cuanto a los medios y recursos, lo fundamental es que sean
adecuados y suficientes. No debe olvidarse que los medios tienen un
carácter instrumental, por lo que, en cuanto tales, no son ni bue-
nos ni malos; su valor lo adquieren en su relación con los objeti-
vos a los que sirven. Y no olvidemos que en ese marco de medios
y recursos hemos reseñado una gran diversidad, desde los tradi-
cionalmente señalados, como son los materiales, a los organizati-
vos y funcionales. Pero debemos destacar el papel que han de
jugar los medios humanos y, por otra parte, el de la evaluación en
cuanto medio: la evaluación formativa.
Por último es preciso referirnos al sistema de evaluación, cuya
cualidad fundamental no puede ser otra que su coherencia con
objetivos y medios.
b. Calidad técnica
Un programa puede contar con una sólida fundamentación,

proponerse metas u objetivos educativo relevantes, contar con
medios suficientes y adecuados y, sin embargo, fallar porque su
formulación no respeta las exigencias técnicas.
A tales efectos, debemos recordar lo dicho al caracterizar los
programas educativos, en especial en relación con sus objetivos,
los medios y recursos -en particular las actividades- y el sistema
de evaluación.
El respeto de las cualidades técnicas de un buen diseño de
programas debe ser el objeto de evaluación en este apartado. Más
adelante nos referiremos a los criterios que nos permitirán emitir
las correspondientes valoraciones.
c. Evaluabilidad
Por evaluabilidad entendemos la cualidad de algo como eva-

luable, esto es, que puede ser sometido a evaluación. Teniendo en
cuenta que estamos hablando de evaluación de programas, com-
prenderemos la necesidad de plantearnos, antes de aplicar el pro-
grama, si reúne las condiciones necesarias para hacerlo objeto de
evaluación.
Desde este punto de vista, la evaluación inicial del programa

debe someter a análisis y valoración tres grandes aspectos: el pro-
pio contenido, la metodología prevista y el lenguaje utilizado.
Dado que el cuerpo del programa lo situamos en lo que venimos
denominando su contenido, la evaluabilidad requiere pronunciarse
en relación con los diferentes elementos que lo integran, desde la
presencia o ausencia de fundamentación del programa al propio sis-
tema de evaluación, pasando por su relación con las necesidades y
carencias detectadas. La falta de información sobre estos aspectos, o
la información incompleta, insuficiente o sesgada sobre ellos, difi-
culta la tarea técnica del evaluador.
En la misma línea, y ahora en relación con Ja metodología, será
preciso analizar si la información recogida en el documento es
suficiente para pronunciarse sobre todos los aspectos que la inte-
gran, desde los propios objetivos (¿queda claro cómo sabrá el eva-
luador que se han conseguido?) a las decisiones que se deberán
tomar (¿están previstas?), pasando por aspectos más concretos,
como pueden ser Jos relativos a las técnicas e instrumentos que se
utilizarán para la recogida, organización y tratamiento de Ja infor-
mación y los datos, los momentos en que se recogerá y las fuentes
a las que se acudirá.
Evidentemente, el lenguaje, en cuanto vehículo de comu-
nicación, es fundamental a la hora de decidir sobre la evalua-
bilidad. Será preciso compaginar el uso de un vocabulario téc-
nico, propio de expertos, con su cualidad de medio para la
comunicación de ideas, adaptado a las diferentes partes intere-
sadas.
10.2.2.2. Adecuación al contexto

En educación, como en tantas otras situaciones y actividades
humanas, las cosas no suelen ser en sí buenas o malas, correctas
o incorrectas, más bien, cabe hablar de adecuadas, suficientes, idó-
neas ... Pues bien, en función del grado en que el programa goce
de tales cualidades podrá o no lograr los objetivos para los que
fue diseñado.
En este sentido, y aunque Ja palabra contexto tenga connota-
ciones diferentes, a los efectos de esta evaluación inicial cabe con-
cederle dos acepciones de especial interés: la correspondiente a
las necesidades, carencias y expectativas de los destinatarios, y a
las características del lugar y el momento en el que el programa
será aplicado.
En relación con el primero de los aspectos, nos remitimos a lo
dicho al inicio de esta unidad. Si se le ha dedicado un capítulo
aparte es por la especial relevancia del mismo y porque habitual-
mente suele estudiarse por separado.
Sin embargo, nada impide estudiar aquí si el programa resul-
ta adecuado a las necesidades, carencias, demandas o expectati-
vas de los destinatarios, con independencia que tales aspectos for-
men parte del mismo programa o hayan sido estudiados con
anterioridad al diseño de este.
Por otra parte, los programas se llevan a cabo en ambientes
concretos, con su propia dinámica, costumbres, relaciones entre
las personas ... Todos estos aspectos, en una evaluación inicial pre-
ventiva, deberían ser objeto de la debida atención.
Con independencia de que muchos aspectos no serán previsi-
bles, y de que hay aquí una potencial fuente de obstáculos y pro-
blemas para el correcto desarrollo del programa, parece eviden-
te que los diseñadores de los programas deberían cuidar con
especial esmero este importante aspecto, incluso tratando de ade-
lantarse a los problemas mediante las medidas prospectivas a su
alcance.
10.2.2.3. Adecuación a las circunstancias: viabilidad

Por último, una breve reflexión sobre la situación que servirá
de base para la aplicación del programa, como un condicionante
de relieve a tomar en consideración.
La puesta en marcha de un programa implica dedicación,
esfuerzo y recursos. Su éxito no es sólo una cuestión voluntarista,
sino el fruto de planes serios y rigurosos, que deben traducirse en
planteamientos realistas.
Hay objetivos que pueden resultar inviables, sea por dema-
siando ambiciosos, sea por carencia, insuficiencia o inadecuación
de medios, sea por insuficiente implicación de las personas que
deberían colaborar...
Parece, por tanto, necesario que se aborde este tema, que se
analice la situación antes de poner en marcha un programa, y que
únicamente se implante si en esa situación y momento, se consi-
dera viable, si se puede calificar de factible.
10.3. CRITERIOS PARA LA EVALUACIÓN INICIAL
Al hilo de las aportaciones anteriores, relativas a las diferen-

tes dimensiones y objetos de evaluación inicial, han ido apare-
ciendo, de modo implícito o explícito, las perspectivas, enfo-
ques o criterios desde los que conviene afrontar su evaluación.
Presentaremos a continuación, de modo muy sintético, los cri-
terios adecuados a cada una de tales dimensiones y objetos de
evaluación.
10.3.1. Criterios para valorar la calidad intrínseca del programa

Como sabemos, hemos distinguido tres aspectos u objetos de
evaluación claramente diferenciados dentro de esta primera
dimensión: el contenido del programa, su adecuación al contexto y
su adecuación a la situación de partida. Pues bien, los criterios más
adecuados son:
a) Para el contenido del programa:
Grado en que se considera que los objetivos son educativos,
elevados y relevantes-, en qué medida se consideran suficientes,
pertinentes y adecuados para dar una respuesta satisfactoria a
las necesidades evaluadas.
Grado en que el programa se considera fundamentado, res-
paldado por los conocimientos teóricos y prácticos sobre el
tema; e n qué medida se considera que el programa es cohe-
rente con las necesidades, carencias, demandas o expectati-
vas de los destinatarios y con los objetivos del programa; en
qué medida puede evitar los sesgos o los reduccionismos
en sus planteamientos.
Grado en que el conjunto de los medios y recursos -huma-
nos, técnicos, funcionales, organizativos- son suficientes y
adecuados para el logro de los objetivos, a la vez que cohe-
rentes con la naturaleza y características del programa.
Grado en que el sistema de evaluación resulta coherente con
los objetivos del programa, con sus características y demás
componentes; hasta qué punto la información prevista es
suficiente y adecuada tanto para facilitar la mejora continua
del programa como su perfeccionamiento en ediciones
posteriores; en qué medida el sistema asegura la coherencia
de las actuaciones, evitando que se alteren los papeles (que
la evaluación, lejos de ser un instrumento al servicio del
programa, se convierta en el fin del mismo).
b) Para su calidad técnica:

Dado que la calidad técnica de un programa se refiere a su
planteamiento y formulación de conformidad con las exi-
gencias de todo plan, cabe valorarlo atendiendo a la preci-
sión en la formulación de los objetivos y demás componen-
tes; a la especificación de los mismos; a la capacidad de sus-
citar el interés y la motivación; a la adecuación y suficiencia
de las actividades diseñadas, y a la coherencia entre las diver-
sos componentes del programa.
La calidad técnica de un programa debe servir de guía a
sus aplicadores, para llevarlo a cabo de forma adecuada,
correcta, eficiente ... , y a los destinatarios, sobre todo cuan-
do son adultos y tienen la suficiente madurez, para que
puedan avanzar con plena conciencia de lo que hacen y
sabiendo lo que deben hacer.
c) Para su evaluabilidad:
Cuando al diseñar un programa se piensa ya en su evalua-
ción, la evaluabilidad es una cualidad que se le debe supo-
ner al programa. Si se tratara de una evaluación como las
que hemos denominado "sobrevenida", la evaluabilidad es
algo que habrá que analizar a posteriori, con el riesgo de
constatar carencias más o menos graves y hasta imposibili-
dad de someter el programa a evaluación.
Se pueden reseñar tres criterios fundamentales: la suficiencia y

la relevancia de la información ofrecida para la posterior evalua-
ción del programa, referidas tanto a los diversos componentes del
mismo como a las previsiones metodológicas sobre la evaluación,
y la claridad y la precisión del lenguaje utilizado.
10.3.2. Para la adecuación al contexto

Se trata de apreciar si el programa da una respuesta adecuada,
suficiente y motivadora a las necesidades, carencias, demandas o
expectativas detectadas.
Del mismo modo, si se considera que el programa ha tomado en

consideración las características y circunstancias en las que se im-
plantará y desarrollará a fin de que pueda resultar eficiente y eficaz.
10.3.3. Para la adecuación a las circunstancias

En esencia, se trata de valorar la viabilidad del programa. Pues
bien, la viabilidad depende fundamentalmente del realismo de los
objetivos propuestos y de la disponibilidad de los medios y recursos,
entre los que conviene destacar por su importancia la capacitación e
implicación del personal, tanto del que forma parte del programa
como de quienes se verán afectados de alguna manera por su im-
plantación. Y ello porque, en el caso de los programas educativos,
pueden verse afectados otros profesores, otros alumnos, los padres
de estos y hasta cierto personal del centro educativo.
10.4. METODOLOGÍA BÁSICA
Dos son los procedimientos metodológicos fundamentales

para llevar a cabo una evaluación inicial del programa: el análisis
de contenido de la documentación relativa al programa y el juicio de
expertos.
10.4.1. Análisis de contenido

La documentación sobre el programa puede ser reducida y
hasta insuficiente e incompleta, lo que limita su evaluabilidad; sin
embargo, cuando las cosas se hacen bien, puede estar integrada
por una amplia gama de documentos, entre los que cabe destacar
los relativos a la evaluación de necesidades, carencias, demandas
y expectativas; a las teorías en relación con el objeto del progra-
ma; a experiencias previas en ese mismo campo; a otros progra-
mas que hayan abordado el mismo o similar tipo de necesidades;
a los acuerdos fruto de las reuniones organizadas para tomar deci-
siones sobre el programa; a los planteamientos didáctico-meto-
dológicos sobre el diseño de programas ... y desde luego, al propio
programa como documento técnico.
Cuando las personas que diseñan el programa no son las encar-
gadas de evaluarlo, puede que esa documentación sólo recoja los as-
pectos que interesen al evaluador de forma indirecta o implícita.
Corresponde, por tanto, al evaluador hacer aflorar los aspec-

tos a evaluar, organizarlos, estructurarlos y valorarlos. Pues bien,
para tales situaciones, la técnica adecuada es el análisis de conteni-
do, al que nos referiremos más adelante, en la tercera parte.
1O.4.2. El juicio de expertos
El argumento de autoridad ha sido siempre tenido en cuenta

a la hora de valorar. Cuando no se dispone de alternativas o cuan-
do, existiendo, se quiere contar con algún contraste, se suele
recurrir a las personas que por su formación y experiencia pue-
den emitir juicios de valor presumiblemente más fundamentados
que los de personas carentes de tales cualidades.
El juicio de expertos puede recabarse mediante entrevistas,
cuestionarios o escalas. En el primer caso, suele tratarse de encuen-
tros poco estructurados, en los que los expertos se manifiestan de
forma libre en relación con las cuestiones que interesan al eva-
luador. En el segundo, sus valoraciones son trasladadas a algún
instrumento formalizado, de forma que sus respuestas puedan
quedar registradas en forma simple (SÍ, NO, ... ) o de orden; en
este segundo caso, valoran eligiendo uno de los rangos propues-
tos, en una escala por lo general de entre 3 y 7, del más favorable
al más desfavorable o viceversa3.
Cuando los expertos emiten este tipo de valoraciones, se pue-
den aplicar técnicas estadísticas que permiten apreciar el grado
de coincidencia o discrepancia entre ellos. Tal es el caso del coe-
ficiente de concordancia de Kendall, simbolizado por W4 •
El término experto puede ser utilizado desde perspectivas dife-
rentes: expertos en la temática del programa, en su aplicación o
en su diseño. Un programa para la prevención de las drogas no
podrá ser diseñado sin la intervención preferente de expertos en
~ Una cuestión muy discutida es la relativa al número de rangos de la escala.

Para algunos, es preferible dejar un rango central que significa la situación de indi-
ferencia o falta de juicio; para otros, es preferible forzar una respuesta, positiva o
negativa. El riesgo en este segundo caso es que la persona consultada no dé res-
puesta o que su respuesta, al ser forzada, no refleje la realidad de su juicio.
4
El coeficiente de concordancia de Kendall permite establecer el grado de aso-
ciación existente entre las ordenaciones de datos emitidas por tres o más jueces. Se
trata de una prueba no parnmétrica. El lector puede estudiarla en Siegel (1976:
cap. 9).
el tema, aunque luego sea precisa la presencia y aportaciones de

pedagogos y psicólogos a fin de acomodarlo a los destinatarios y
de utilizar los recursos didáctico-metodológicos pertinentes.
Pues bien, por la misma razón cabe pensar en la necesidad de
que el evaluador consulte a expertos en estos campos para reca-
bar su juicio experto en relación con los criterios ya apuntados.
Aunque, evidentemente, desde otra perspectiva, cabe consul-
tar también a los destinatarios de los programas, que pueden valo-
rarlo desde perspectivas como su interés, motivación, utilidad,
claridad, precisión ...
Una alternativa a estos planteamientos, más elaborada y com-
pleja, es la técnica Delphi, a la que también nos referiremos en la
tercera parte. Mediante consultas sucesivas se puede mejorar el
programa, aproximando las valoraciones de los expertos una vez
que cada uno conoce las aportaciones de los demás.
10.4.3. La observación
Dejemos constancia de que, si bien las dos técnicas anteriores
son especialmente relevantes y adecuadas para la evaluación ini-
cial, la observación puede hacer, igualmente, importantes aporta-
ciones. Desde luego, ante determinados sujetos cuya capacidad
para expresarse sea limitada, la observación es una técnica esen-
cial para la identificación y caracterización de las necesidades, así
como para decidir sobre la viabilidad del programa en atención a
las características del contexto en que se aplicará.
CAPÍTULO 11
DESARROLLO DEL PROGRAMA.

EVALUACIÓN FORMATIVA DEL PROGRAMA
OBJETIVOS

capaz de:
• Justificar la necesidad de la evaluación del proceso de

implantación e implementación de los programas.

fundamentales que deben ser objeto de la evaluación pro-
cesual así como los aspectos o componentes de tales
dimensiones.
• Conocer, comprender, justificar y valorar los criterios a uti-

lizar en la evaluación procesual de los programas.

metodología a utilizar en la evaluación procesual de pro-
gramas.
La relación entre programa y evaluación ha quedado puesta

de relieve a lo largo de los capítulos precedentes. Si el programa
puede, y hasta debe, surgir de una evaluación -explícita o implí-
cita- de las necesidades, carencias, demandas o expectativas de
las personas a las que va destinado, el programa mismo, en cuan-
to documento formalizado, puede, y hasta debe, ser sometido a
evaluación con una clara finalidad preventiva: aplicarlo en las
mejores condiciones. Es más, esa evaluación inicial, previa a la
aplicación, preventiva, puede conducir al aplazamiento o hasta la
retirada del programa en la medida en que sus carencias o limi-
taciones técnicas o su limitada viabilidad así lo aconsejen.
Ahora bien, el que un programa haya merecido una valora-
ción inicial positiva, no garantiza en modo alguno su implanta-
ción y· desarrollo correctos. Acontecimientos no previstos o no
previsibles y hasta actuaciones incorrectas por parte de quienes
aplican el programa, pueden dar lugar a una implantación ,
implementación y desarrollo inadecuados, cuyos efectos pueden
llegar a ser graves para la eficacia del programa.
Ante estos hechos, no parece difícil de mantener la necesidad
de evaluar el proceso de implantación, implementación y desa-
rrollo del programa, bien para tomar de inmediato las decisiones
correctivas pertinentes, enderezando el rumbo a tiempo, bien
para acumular información valiosa que permita evitar los aspec-
tos negativos y, a la vez, reforzar los positivos en nuevas ediciones
del programa.
11.1. IMPLANTACIÓN, IMPLEMENTAC IÓN Y DESARROLLO DEL PROGRAMA

Y EVALUACIÓN FORMATNA
La etapa de planificación, diseño y evaluación inicial conduce

a la implantación del programa, a su puesta en marcha, momen-
to crítico para su éxito o fracaso, seguido de un largo periodo de
desarrollo del mismo hasta su conclusión.
11.1.1. Implantación
Afirmamos que la implantación del programa es un momen-
to crucial porque es en los primeros momentos, y no sólo en el
caso de los programas sino en general, cuando se configuran acti-
tudes en torno a la realidad de que se trate, en nuestro caso, el
DESARROLLO DEL PROGRAMA 231
programa. Se puede afirmar, en efecto, que no existen actitudes
hacia lo que no se conoce, pero también, que las actitudes se con-
figuran en gran medida como fruto de la experiencia, y que son
las primeras experiencias las más importantes dado que, si fueran
negativas, habría que tratar de removerlas y crear unas nuevas de
tipo positivo, un doble y difícil trabajo como puede suponerse.
Los aplicadores de los programas deben, por tanto, cuidar
con esmero estos primeros momentos, tratando de lograr una
buena acogida, un interés y una motivación positivas que faciliten
la implicación del personal, la dedicación y el esfuerzo hacia el
programa: asistencia, atención, receptividad, implicación, colabo-
ración, trabajo, apoyo a otros destinatarios ...
En este sentido, no cabe duda de la enorme importancia que
puede tener la formación técnica, la capacitación profesional y las
cualidades humanas de quienes han de llevar a cabo los progra-
mas. De estas cualidades depende en gran medida que el progra-
ma sea bien acogido, aceptado y asumido, que pase sin pena ni
gloria o que llegue a suscitar el rechazo más o menos activo de los
destinatarios.
Recordemos al respecto que en los ejemplos recogidos en el
capítulo dedicado al estudio del programa, hemos reseñado el
papel que juega el ~ía o aplicador, al que se le dedica o bien unas
sesiones previas (Programa de educación sexual) o un programa
aparte de capacitación (Programa PECES).
Por otro lado, la implantación debe pretender una buena aco-
gida, aceptación y apoyo por parte del personal que se encuentra
en el centro o institución en el que se aplica el programa. Esto
resulta especialmente importante en el caso de programas edu-
cativos que se implantan como elementos ajenos a los programas
ordinarios en un horario aparte o en el de programas a los que se
hace un hueco dentro de programas ordinarios. En este último
caso, las posibilidades de eficacia son prácticamente nulas sin la
decidida aceptación y compromiso por parte de quienes deben
acoger en su tiempo de responsabilidad al nuevo programa 1.
1
Pensemos en el caso de un programa de capacitación en técnicas de estudio,
llevado a cabo por el Orientador escolar, incorporado durante una parte del tiempo
dedicado inicialmente al desarrollo del programa ordinario de ciertas asignaturas
del currículo. Sin la activa implicación del profesor ordinario, será difícil alcanzar la
eficacia.
Tal puede ser el caso de programas de enseñar/ aprender a pensar

o a estudiar (hábitos y técnicas de estudio) impartidos por orientadores
escolares. Conseguir la aceptación y el apoyo de los profesores bien
puede convertirse en una meta destacada en este primer momento
de implantación del programa, algo que puede conseguirse, con-
tando con el respaldo de la dirección del centro, mediante acciones
específicas destinadas a dar a conocer el programa -su necesidad,
sus objetivos y contenidos, sus actividades ... - y a crear las actitudes
positivas que terminen por traducirse en apoyos efectivos.
11.1.2. Implementación
Una vez implantado el programa, su implementación y desarro-
llo puede ocupar un tiempo variable pero, en cualquier caso y por lo
general, lo suficientemente amplio como para que merezca la pena
ligar a su desarrollo una evaluación procesual de carácter formativo.
La mayoría de los programas educativos tienen duraciones de
varios meses; se desarrollan en paralelo a otros programas y han
de llevarse a cabo a la vez que los avatares de la vida ordinaria, con
las interferencias consiguientes.
11.2. DIMENSIONES Y OBJETO DE LA EVALUACIÓN
A nuestro juicio, son dos los aspectos o grandes dimensiones

que deberían ser sometidas a evaluación: por una parte la propia
ejecución del programa, en tanto en que responde, o debe res-
ponder, a una planificación que, en su momento, se consideró
adecuada; por otra, el marco o contexto en el que el programa se
lleva a cabo, dado su evidente papel condicionante para el ade-
cuado desarrollo del mismo y hasta para su posterior eficacia.
11. 2 .1. k)ecución del programa

Reiteradamente hemos puesto de manifiesto que para que un
conjunto de actuaciones pueda ser considerado programa deben
responder a un plan, deben haberse diseñado al servicio de unos
objetivos y constituirse, junto a otros componentes, en medios
para su logro.
Por tanto, una vez puesto en marcha el plan que es el progra-
ma, su ejecución debería acomodarse razonablemente al mismo
y la evaluación debería atender al grado en que se respeta la pla-
nificación. La planificación no es una realidad inalterable, pero
es necesario constatar si se respeta o no y, en caso negativo, ana-
lizar, entre otras cuestiones a las que ahora aludiremos, si las dis-
funciones apreciadas pueden considerarse o no significativas.
Pues bien, en la evaluación de la ejecución del programa se
deberían someter a análisis y valoración, al menos, los siguientes
aspectos:
a) Las actividades y demás medios.
b) Las secuencias.
c) La temporalización.
d) Los recursos.
e) La flexibilidad.
a) Las actividades
Las actividades, como hemos señalado, son el medio por exce-
lencia para el logro de los objetivos. La habilidad de quienes dise-
ñan los programas para definir una serie de actividades adecuad~,
suficientes y eficaces para alcanzar los objetivos bien podría consi-
derarse como una de las cualidades técnicas esenciales de las que
deberían estar adornados 2•
La suficiencia es una condición básica de las actividades: si no
lo fueran, determinados objetivos no se podrían alcanzar o se
lograrían sólo parcialmente, en concreto en aquella parte cubier-
ta por las actividades pertinentes. Pero, del mismo modo, y como
una exigencia derivada del criterio de eficiencia, es preciso no
recargar el programa de actividades redundantes: exigen un
esfuerzo, unos recursos y un tiempo innecesarios. Tanto una
como otra situación deben ser evitadas y, para ello, la evaluación
procesual, de tipo formativo, aportará la información pertinente.
La adecuación es otra característica básica, no sólo de las acti-
vidades sino del programa en general, como hemos tenido oca-
sión de señalar en ocasiones anteriores. Una actividad adecuada
es aquella que responde tanto a las características de quienes han
2
Recuérdese la cita de Yinger (1986): "La enseñanza efectiva parece basada
principalmente en el éxito, en la traducción y adaptación de los curricula a aclivi-
dades instruccionales que sean apropiadas a los diferentes grupos de estudiantes".
de realizarla, con lo que puede considerarse propia de una edu-

cación personalizada, como a la naturaleza de la realidad a la que
sirven 3 y hasta a las características del medio, como puede ser el
caso de la enseñanza y aprendizaje a distancia4 •
La adecuación favorece el interés y la motivación y, por tanto,
la implicación en el programa por parte de los destinatarios.
Pero, además, una actividad motivadora tiende a ser más eficaz
que otra que carezca de tal característica, precisamente como
consecuencia de ese carácter motivador.
Por último, la eficacia es una característica que debería predi-
carse de las actividades. La suficiencia, la adecuación y su conse-
cuencia, el interés y la motivación, no tienen sentido en sí mismas
sino por la aportación a la eficacia e incluso a la satisfacción de
quien las realiza. Al final, quien diseña un programa lo que busca
por encima de otras pretensiones es lograr la eficacia, alcanzar los
objetivos. Por tanto, el gran criterio para valorar las actividades es
el grado en que se alcanzan los objetivos previstos ... , en la medi-
da en que tal logro se atribuya a las actividades realizadas. Como
estamos evaluando el programa en su proceso de implementa-
ción y desarrollo, la eficacia a la que nos referimos será, eviden-
temente, de carácter parcial: se tratará de apreciar si se están
logrando las metas correspondientes al momento en que se reco-
ge la información pertinente.
b) Las secuencias
Las secuencias son uno de los más específicos elementos pro-
cesuales de un programa. Determinadas actividades pueden
tener un cierto carácter independiente, esto es, no tienen por
qué realizarse en un momento determinado, antes de otras y des-
pués de algunas que les deben preceder.
3
Por ejemplo, a la naturaleza del saber propio de cada materia o de los objeti-
vos de l programa: no es Jo mismo una actividad destinada a buscar el compromiso
con un valor o a generar actitudes positivas que la orientada a la adquisición de sabe-
res académicos.
4
Evidentemente, una actividad realizada a través de las nuevas tecnologías tiene
características claramente diferentes de las realizadas en presencia del profesor o,
incluso, de un aprendizaje a distancia con medios convencionales no tecnológicos.
Sin embargo, hay determinadas actividades que responden a
una secuencia en la medida en que el orden es import;mte para
lograr la eficacia, bien porque se corresponden con objetivos que
tienen el carácter de prerrequisitos de otros, bien porque dentro
de un mismo objetivo hay un orden adecuado que debe respe-
tarse. Gagne ( 1972) nos ofrece su concepto de jerarquía de apren-
dizaje, de especial trascendencia en este caso.
Junto a ello, debemos ser conscientes de que determinados
efectos ya conocidos, como son el denominado "efecto novedad"
(Bracht y Glass, 1968; Kazdin, 1980) o el "efecto Hawthorne" del
que nos habla Kerlinger (1981: 243s.) 5 , pueden conducirnos a
interpretaciones erróneas en torno a los productos de las activi-
dades, sobre todo si se evalúan demasiado pronto.
Volviendo a las secuencias, debemos tener en cuenta que las
establece el diseñador del programa de acuerdo con una cierta
teoría o con su propia experiencia. La evaluación procesual
debe atender esta característica de forma que pueda establecer-
se su corrección o no y hasta su adecuación a los destinatarios
del programa. En efecto: una secuencia puede ser adecuada
para alumnos de educación infantil o para universitarios, pero
resultar inadecuada -desmotivadora, ineficaz- para adultos sin
estudios.
c) La temporalización
La temporalización es otro de los objetos de la evaluación pro-
cesual. Diseñar una adecuada distribución del tiempo resulta difí-
cil si no se cuenta con precedentes frutos de experiencias ante-
riores, como puede ser una edición previa del programa o una
aplicación piloto del mismo.
La eficacia de los programas está relacionada, al menos en
parte, con una adecuada temporalización, esto es, con la distri-
bución de los tiempos adecuada a las exigencias de las diferentes
actividades tomando en consideración las características de los
destinatarios de los programas.
5 En esencia, este efecto viene a indicar que "cualquier cambio, cualquier atención
adicional, cualquier manipulación (o aun sin ella) y hasta el simple conocimiento de

que se está llevando acabo un estudio basta para que los sujetos cambien".
El tiempo asignado a cada actividad debe permitir su desarro-

llo sin agobios o cansancio 6 ni dispendio de tiempo; en el primer
caso, bien por la excesiva densidad del programa, bien por la
intensidad del mismo, los destinatarios del programa encuentran
dificultades para mantener la atención y no están en condiciones
de asimilar algunos de los contenidos a que se refieren, lo que da
lugar con frecuencia a la memorización o mecanización del
aprendizaje, sin la debida comprensión. En el segundo, se pro-
duce una cierta relajación que puede traer consigo el aburri-
miento y hasta el desorden en el grupo.
Pero encontrar los tiempos adecuados no es una cuestión fácil,
y menos cuando se puede dar una notable variabilidad entre los
tiempos necesarios para los diversos destinatarios o grupos de ellos.
Compaginar la atención a tal diversidad con la necesidad de
ajustar los tiempos puede implicar el diseño de actividades com-
plementarias, de profundización y desarrollo, para quienes son
más capaces y rápidos en los diferentes objetivos del programa.
d) La flexibilidad
Nos referiremos a continuación a la flexibilidad del programa.
Si bien es cierto que un programa debe responder a un plan, sien-
do por tanto una actividad sistemática, no debería entenderse
este hecho como una necesidad de aplicación rígida, sin atender
a la propia dinámica y acontecer del programa y, sobre todo, a los
posibles efectos no planeados, cuya importancia puede alterar la
mejor de las planificaciones.
Los efectos no planeados pueden ser tanto positivos como
negativos; en ocasiones, en efecto, el programa es capaz de susci-
tar cambios en el propio personal del programa, o de la institu-
ción en que se desarrolla, capaces de merecer por sí mismos la
realización del programa; sin embargo, también puede ocurrir lo
contrario, generando actitudes y conductas claramente indesea-
bles entre el personal, que exigen la inmediata reacción para evi-
tar males mayores.
6 El cansancio fue detectado como un elemento a tener en cuenta por su influ-
jo sobre los resultados en una investigación dirigida por el autor. Vid. Sanz Moreno
(1992).
e) Los recursos
Por último, nos referiremos, en general, al conjunto de los
recursos puestos al servicio de los objetivos y, por consiguiente, de
las propias actividades. Su evaluación debe centrarse en aspectos
como la suficiencia, la adecuación, la eficacia o la disponibilidad.
Habiéndonos referido a los primeros al hablar de las actividades,
parece conveniente una mínima referencia a la disponibilidad.
Con frecuencia, los recursos son del centro o la institución y, por
. tanto, compartidos. La posibilidad de coincidir varias personas
como usuarios de tales recursos es elevada, originándose tensiones
entre el personal que dan lugar a actitudes negativas hacia el pro-
grama, con el consiguiente efecto negativo sobre sus resultados.
Evidentemente, una correcta planificación debe evitar este
tipo de situaciones; de no haber sido así, siempre convendrá
resolver el tema de forma amistosa y dialogada para, al menos,
evitar esas siempre peligrosas actitudes negativas.
11.2.2. Marco del programa

Aunque la evaluación siempre produce algún tipo de efecto
sobre la realidad evaluada, por sí misma no da lugar a la mejora,
pudiéndose dar el caso que sea disfuncional y que produzcan
efectos no planeados más o menos negativos para el programa,
sus aplicadores y responsables.
De hecho, hay evidencias de efectos negativos fruto de una
evaluación incorrecta, sea de los aprendizajes, sea de los progra-
mas o de los propios centros u organizaciones en que se desarro-
lla el programa.
Entre tales efectos merece la pena destacar el sesgo que puede
darse hacia los aspectos que son objeto de evaluación, en detri-
mento de aquellos que quedan postergados o simplemente
excluidos.
En este contexto, se comprenderá que en una evaluación
orientada a la mejora es importante determinar cuál es el origen
o la causa de aquellos aspectos que deben mejorarse.
Pues bien, junto a los elementos anteriormente reseñados,
centrados en Ja constatación del grado en que lo planificado se
desarrolla de conformidad o con desfases y desajustes más o
menos significativos, es preciso someter a estudio el marco o con-
texto del programa dado su carácter condicionante para un desa-

rrollo adecuado.
Los programas, en tanto que intervención al servicio de unos
objetivos, vienen a irrumpir en un contexto más o menos estable
y hasta rutinario, esto es, en un marco en que el hacer sigue pau-
tas establecidas más o menos aceptadas y asumidas por los grupos.
La irrupción a que nos referimos puede provocar reacciones
-provocará de hecho reacciones- que pueden ser positivas, indi-
ferentes o negativas. Interesa conseguir que la reacción sea posi-
tiva y, en la medida de lo posible, de tipo activo, esto es, de coo-
peración e implicación en los objetivos del programa.
A fin de que las cosas ocurran así, es conveniente preparar al
personal de la organización o centro educativo en el que se
implantará el programa. El conocimiento de lo que el programa
es y pretende, de la previsible incidencia eyi el contexto, de las
personas implicadas y de la esperanza de aceptación y apoyo al
mismo, pueden crear un clima favorable, una actitud positiva.
Sin embargo, no siempre es fácil lograr esta actitud positiva
ni, menos, la disposición a colaborar e implicarse. Y no siempre
una actitud inicial positiva se consigue mantener a lo largo del
periodo más o menos largo que necesita un programa para su
completo desarrollo.
Se comprenderá que en tales casos, efectos negativos aprecia-
dos en la evaluación procesual pueden no ser debidos a carencias
y limitaciones del propio programa sino a la incidencia o a los
condicionantes de dicho contexto.
En tal sentido puede ser necesario analizar el ambiente o clima7
general del centro educativo o de la organización en cuyo seno se
desarrolla el programa, tratando de averiguar si el programa
resulta coherente con el mismo, si el personal lo percibe como
positivo, si las relaciones entre el personal pueden favorecer u
obstaculizar el desarrollo del programa, si se da o no conflicto
entre sus objetivos y los del proyecto educativo o los del resto de
profesores, si la organización y disciplina exigidos por el progra-
ma son o no coherentes con la del centro educativo.
7
Ya hemos señalado nuestra preferencia por el término "ambiente" frente al de
"clima", al referirnos a los centros educativos, si bien, las obras al respecto preferie-
ren el segundo de ellos.
11.3. CRITERIOS PARA LA VALORACIÓN
Reiteradamente hemos dejado constancia de que la informa-

ción, por sistemática y planificada que sea, y hasta por correcta
que sea en términos técnicos (fiabilidad, validez, valía), no es eva-
luación; para convertir la información en evaluación es preciso
valorarla mediante la aplicación de los criterios pertinentes.
A nuestro juicio, y además de los criterios específicos ya rese-
ñados al hilo de los diferentes objetos de evaluación, y que plas-
maremos a continuación en un cuadro resumen, los aspectos a
evaluar dentro de la dimensión de ejecución son dos: La conformi-
dad o no con las previsiones y la planificación, y la aparición o no
de efectos no planeados.
En la medida en que el programa obedece a un plan, es nece-
sario saber si el plan se está cumpliendo o si no es posible, y, en
este caso, por qué, a fin de tomar decisiones bien sobre el propio
plan bien sobre factores externos al mismo, como los aludidos al
hablar de marco o contexto del programa.
Por otra parte, la no conformidad deberá analizarse en cuan-
to al grado de la misma, para decidir si los desfases y desajustes
son o no significativos. Entre los desfases cabe destacar por su
importancia los referentes a los propios resultados.
En efecto: debe pensarse que los resultados esperados al final
del programa deben irse alcanzando poco a poco y en forma pro-
gresiva, en función de la temporalización prevista. La realización
de pruebas parciales hace posible tanto el conocimiento de cómo
evoluciona el programa y, en función de ello, tomar las medidas
oportunas, como estimular el trabajo pausado, progresivo y con-
tinuo que, sin duda, incide positivamente en el logro de cierto
tipo de objetivos, en particular los de carácter académico8 . La asi-
milación y no la mera memorización se favorecen claramente con
ese tipo de trabajo, pero tal tipo de trabajo, a su vez, se favorece
con pruebas procesuales de carácter formativo. Dejar totalmente
la evaluación de los resultados para la evaluación final del pro-
grama es un serio riesgo que se traduciría, en caso de que fueran
8 Así ha podido constatarse en sendas investigaciones dirigidas por el autor, la
ya citada de Abraira y la de González Galán , en donde se constata el estímulo al estu-

dio regular y distribuido en lugar de concentrado en la proximidad de los exáme-
nes. Vid. Pérezjuste y cols. (1991: 238) .
negativos -insuficientes, insatisfactorios- en la mera constatación

de los mismos, sin posibilidad alguna de modificación para esa
promoción de destinatarios/ usuarios del programa.
En cuanto a los denominados efectos no planeados, repre-
sentan la necesidad de que tanto los responsables del programa
como los propios evaluadores estén atentos y sean sensibles a
hechos que puedan poner de relieve l¡:t aparición de los mismos.
De esta forma se puede salir al paso, tomar medidas y evitar su
influjo negativo sobre el programa.
Por lo que se refiere a la segunda dimensión, que hemos
denominado contexto o marco del programa, considero que los dos
criterios fundamentales a tomar en consideración son, por una
parte, el grado de incardinación en el proyecto general del cen-
tro o institución de que se trate, fruto de su armonía y de su cohe-
rencia con el mismo, y la propia satisfacción del personal.
Cuando un programa se lleva a cabo en un centro educativo
o en el marco de alguna institución con un determinado proyec-
to, con cierto ambiente o clima general, con unas pautas estable-
cidas, una de las mejores garantías existentes para que el progra-
ma salga adelante radica en su incardinación en el mismo como
una realidad que no rompe sino que refuerza, potencia o mejora
ese proyecto; en tales situaciones, el personal del centro ve al
nuevo programa como algo valioso, que merece cuando menos
una aceptación si es que no un apoyo.
Cuando las cosas no son así, el programa puede empezar a
fallar, a originar tensiones, a crear problemas durante el proceso de
aplicación, llegando al final a unos resultados insuficientes que se
traducen en su falta de eficacia. Evitar que esto pase puede ser un
objetivo de primera importancia en la evaluación procesual.
Ahora bien, junto a ello, la información recogida nos permi-
tirá asignar los resultados, con mayor o menor grado de certeza,
bien al propio programa, bien a su contexto, algo vital para que
las decisiones den el fruto esperado.
Una manifestación de ese grado de coherencia o armonía se
encuentra en la satisfacción del personal. Conviene dejar cons-
tancia de que la satisfacción es un dato, una información, de
claro carácter subjetivo, esto es, puede darse insatisfacción con
un programa eficaz, eficiente y hasta técnicamente bueno, y
satisfacción con otro programa que, objetiva y técnicamente, sea
de peor calidad.
Sin embargo, al margen de que esto no sea lo habitual, el

hecho es que la percepción del programa -en toda su compleji-
dad- por parte de aplicadores, responsables, usuarios, personal
interesado o afectado- influye tanto sobre el proceso de aplica-
ción como sobre los resultados. Al respecto, es muy interesante la
afirmación de Erickson (1989: 214) en su trabajo sobre los méto-
dos cualitativos:
Si las personas actúan basándose en su interpretación de las
acciones de otros, entonces la interpretación de significado, en sí
misma, es causal para los seres humanos. [ ... ] Por lo tanto, la natura-
leza de la causa en la sociedad humana se convierte en algo muy dife-
rente de la naturaleza de la causa en el mundo físico y biológico, y lo
mismo sucede con la uniformidad de las acciones sociales repetidas.
En una línea concurrente se manifiesta Merton (1964: 419 ss.)

recogiendo el conocido teorema de Thomas:
Cuando los individuos definen las situaciones como reales, son
reales en sus consecuencias.
En tal caso, se comprende la importancia de conocer, a lo

largo del proceso, el grado de satisfacción de los afectados/ impli-
cados y del personal del centro/institución con el programa y sus
implicaciones.
Si bien la coherencia institucional, una vez constatada, puede
darse por lograda, se comprenderá que otros criterios, en parti-
cular el referido a la conformidad o no -desfases, desajustes- y la
satisfacción, deberían ser objeto de evaluación en varios momen-
tos, especialmente en el caso de programas de larga duración y
complejidad.
Una síntesis de lo dicho en estos apartados en relación con los
diversos criterios, se incluye en el cuadro l.
DIMENSIONES OBJETO CRJTERIOS GENERALES CRITERJOS ESPECÍFICOS
EJECUCIÓN Actividades Conformidad con Suficiencia,

la planificación adecuación,
eficacia
Secuencias Existencia de Corrección,
efectos no adecuación
planeados
Temporalización Suficiencia,
Flexibilidad ajuste, corrección
Recursos Existencia,
suficiencia,
adecuación,
disponibilidad
MARCO O Proyecto del Coherencia Coherencia con
CONTEXTO centro el proyecto
Clima o ambiente Satisfacción del
personal
CUADRO 1: Síntesis de los elementos que config;uran la evaluación procesual

de un programa.
11.4. METODOLOGÍA BÁSICA
Probablemente nada más complejo y difícil de evaluar que los

procesos educativos y formativos en general y, por tanto, ningún
objeto más adecuado para la aplicación del denominado princi-
pio de complementariedad metodológi,ca.
La diversidad de objetos, su fluir a lo largo del tiempo, su
esperable interacción con los elementos contextuales -desde las
personas y sus relaciones a la vida ordinaria de los centros- y el
papel que la percepción de los actores e implicados pueden tener
de una misma realidad objetiva, aconsejan sin lugar a dudas acu-
dir a tal principio.
Desde esta perspectiva, dos técnicas se nos muestran especial-
mente relevantes, si bien, como veremos, no podremos renunciar
a otras; nos estamos refiriendo a la observación sistemática del pro-
grama en su aplicación y a los diálogos -conversaciones informa-
les, entrevistas formales- con las partes implicadas/afectadas.
Parece obvio que no es posible estar continuamente obser-

vando, pero también se puede defender la necesidad de que la
observación no sea sesgada ni mucho menos insuficiente o irre-
levante. Ello explica la necesidad de un plan que asegure una
información válida, fiable y útil.
No entramos aquí en la conveniencia o no de una observación
participante -propia de metodología cualitativa- o de la denomi-
nada científica9 . Pero sea de uno u otro tipo es preciso asegurar
que sea rigurosa y, por tanto, no casual o azarosa.
Por su parte, y dado el papel que las personas, a título indivi-
dual o en grupo, juegan en cualquier programa, no debe extra-
ñarnos que la conversación con las partes, sea informal o formal
-entrevistas- cobre una excepcional importancia. Pero, al igual
que decíamos en el caso de la observación, tanto una como otra
modalidad deben responder a algún tipo de plan que le dé senti-
do y valor.
Al lado de ambas técnicas no debemos dejar de reseñar de
forma expresa otro conjunto diferente, entre las que alcanza rele-
vancia el análisis de tareas y las pruebas formativas en el caso de que
los programas exijan el logro de cierto tipo de objetivos, como los
de carácter académico.
La información así recogida sobre el proceso de desarrollo
del programa puede ser utilizada básicamente de dos formas cla-
ramente diferentes: o de modo inmediato, para tomar decisiones
formativas sobre el programa, o en forma diferida, tras el oportu-
no proceso de recopilación, ordenación y tratamiento, a la hora
de tomar decisiones de carácter sumativo.
Esta segunda opción parece especialmente adecuada en los
casos de nuevos programas en los que el evaluador desea poder
emitir valoraciones de los mismos en relación con los plantea-
mientos iniciales. En tales casos, las modificaciones que se tomen
durante los procesos de implementación y desarrollo podrían
alterar las características básicas, con lo que ya no se estaría emi-
tiendo una valoración sobre el programa diseñado sino sobre las
modificaciones introducidas en el mismo.
Parece innecesario decir que, aun en este caso, si la evalua-
ción del proceso de implantación y desarrollo del programa
pusiera de manifiesto carencias, errores, disfunciones graves, no
9 A ambas nos referire mos e n la tercera parte.
244 EVALUACIÓN DE PROGRAMAS EDUCATTVOS
sería ni siquiera ético esperar a que el programa concluyera para

tomar decisiones, fueran correctivas, fueran incluso más drásti-
cas: suspensión del programa.
La primera de las opciones parece más adecuada para pro-
gramas ya aplicados en ocasiones anteriores y que gozan de una
estabilidad más o menos establecida. En efecto: en tales casos, el
programa no tiene que evidenciar calidad ni cualidades como
eficacia, eficiencia, efectividad o satisfacción. Pero sí puede y
debe ser un deseo y una meta de sus responsables Ja mejora con-
tinua.
Pues bien, en situaciones como la descrita, la evaluación for-
mativa del proceso de implementación y desarrollo del programa
puede resultar altamente adecuada y, desde luego, de gran valor
y utilidad para promover la deseada mejora.
CAPÍTULO 12
CONCLUSIÓN DEL PROGRAMA. EVALUACIÓN FINAL

DEL PROGRAMA. INSTITUCIONALIZACIÓN
DE LA EVALUACIÓN
0BJETrYOS

capaz de:
• Justificar la necesidad de la evaluación final de los progra-

mas y reconocer sus limitaciones cuando no forma parte
de una evaluación integral e integrada.

fundamentales que deben ser objeto de la evaluación
final así como los aspectos o componentes de tales di-
mensiones.
• Conocer, comprender, justificar y valorar los criterios y

referencias a utilizar en la evaluación final de los progra-
mas; en particular, diferenciar entre el concepto y adecua-
ción de la eficacia subjetiva frente a la objetiva.

metodología a utilizar en la evaluación final de programas.
• Justificar la necesidad de institucionalizar la evaluación de

programas y conocer y comprender su sentido, naturaleza,
aportaciones y problemática.
Tradicionalmente, la evaluación de programas fue una eva-

luación de carácter sumativo, aplicada al final de su implantación
y desarrollo, destinada fundamentalmente a emitir una valora-
ción sobre su eficacia y en su caso, y en función de los resultados,
para decidir sobre la conveniencia o no de mantenerlo, retirarlo
o modificarlo antes de una nueva edición.
En esta monografía venimos manteniendo la conveniencia de
una evaluación de programas en que esta evaluación final no sea
sino una tercera etapa o momento, tras la evaluación inicial -pre-
ventiva, anticipadora- y la procesual -formativa; es más, hemos
defendido que cuando el programa está destinado a ser una
actuación estable, con cierto grado de permanencia, debería
tener, tras un primer ciclo evaluativo, su continuidad en lo que
hemos denominado institucionalización de la evaluación.
Presentaremos a continuación una visión de la evaluación final,
tanto en el sentido de la tercera etapa o momento de una evaluación
que tendrá continuidad como en el caso de que estemos ante eva-
luaciones finales, concretadas en esta única actuación evaluadora.
12.1. EVALUACIÓN DEL PROGRAMA EN SUS RESULTADOS
El modelo de Tyler, al que se hizo referencia en la primera

parte, es una propuesta típica de evaluación puntual y final de un
programa.
Bien se podría afirmar que todo programa debe ser evaluado
en sus resultados, porque todo programa se orienta, para poder
ser considerado tal, al logro de unos objetivos o metas de mayor
o menor alcance.
El problema es que, como quedó reflejado en el lugar corres-
pondiente, cuando los objetivos no se alcanzan, o cuando se
logran hasta niveles considerados insuficientes, una evaluación
de este tipo sólo permite su constatación pero no informa de cómo
se ha llegado a tal situación ni, menos todavía, de la naturaleza de
las limitaciones y del origen de las mismas, ló que reduce sensi-
blemente las posibilidades de mejora que pueden derivar de la
evaluación.
Evidentemente, todas estas limitaciones quedan muy reduci-
das, cuando no anuladas, si la evaluación sumativa del programa
forma parte de una evaluación integral, de la que es la tercera
etapa.
CONCLUSIÓN DEL PROGRAMA 247
12 .1.1. Finalidad y objetivos de la evaluación final del programa
La finalidad fundamental de la evaluación final de un progra-
ma es la constatación del grado de eficacia alcanzado, esto es, del
nivel de logro conseguido en los diversos objetivos a los que sirve
el programa.
Junto a ello, y en la medida en que este tipo de evaluación
pueda servir de base para introducir modificaciones del progra-
ma en sucesivas ediciones, cabe plantearse objetivos complemen-
tarios de tal finalidad, objetivos que, dada nuestra posición eva-
luativa, resultan de extraordinario valor y utilidad a pesar de las
limitaciones apuntadas. Nos referimos a la identificación de los
aspectos susceptibles de mejora, así como de aquellos otros que
se han desarrollado de modo satisfactorio.
En efecto: una cosa es que la evaluación final, si no va acom-
pañada de las evaluaciones inicial y procesual, no aporte la infor-
mación necesaria y suficiente para poder tomar decisiones de
mejora y otra que no ofrezca ninguna información. Esta modali-
dad de evaluación ofrece, al menos, una información útil sobre
los aspectos positivos y los puntos débiles del programa.
Cuando esta información va acompañada de la recogida en
las etapas anteriores -evaluación del diseño, del programa, de su
implantación e implementación- disponemos de elementos sufi-
cientes para detectar la naturaleza de los aspectos negativos y, tal
vez, del origen y hasta de las posibles causas de los mismos.
12. l. 2. Principales dimensiones

A la hora de evaluar el programa en sus resultados, bien
como único componente de la evaluación , bien como tercera
etapa o momento de una evaluación completa, integral, pode-
mos distinguir varias dimensiones fundamentales, en concreto,
los resultados alcanzados y la valoración misma de tales resultados;
en el caso de programas destinados a mantenerse mediante nue-
vas ediciones, podemos hacer objeto de evaluación el procedi-
miento de toma de decisiones y los mismos planes en que tales deci-
siones se concretan.
Cuando estemos ante evaluaciones integrales, en las que la
evaluación de resultados no es sino la tercera etapa o momento,
estos últimos aspectos formalmente son parte de esa cuarta etapa
que denominamos institucionalización, y que incorporamos como

último apartado del presente capítulo.
12.1.2.1. Los resultados

El elemento clave de la evaluación del programa son los resul-
tados alcanzados, esto es, los niveles de logro de los objetivos del
programa.
El programa, diseñado como medio para dar respuesta a las
necesidades, carencias, demandas o expectativas de un determi-
nado grupo de personas, se plantea unas metas u objetivos, pone
a su servicio un conjunto de medios y recursos, y alcanza unos
determinados resultados.
Tales resultados han podido ser objeto de seguimiento, con el
fin de comprobar en qué medida el programa avanzaba según lo
previsto, durante el proceso de desarrollo del programa. Ahora,
lo que corresponde es establecer de modo definitivo cuáles son
los logros y, posteriormente, valorarlos de conformidad con crite-
rios y referencias que, para bien, deberían estar previamente
especificados y hechos públicos.
La naturaleza de los objetivos del programa es la que permite
definir lo que se considera resultados del mismo como base para
establecer lo que se tomará como manifestaciones o indicadores
de eficacia.
En ocasiones, los resultados pueden establecerse con facili-
dad, como cuando la eficacia se mide en términos de las personas
que han alcanzado un título (Graduado), han conseguido un
carné (conducir), han abandonado el tabaco o el alcohol, o han
logrado un puesto por oposición en una entidad local.
En otras, las cosas pueden ser mucho más difíciles. Tomando
incluso como referencia los anteriores casos, la decisión de con-
ceder el carné de conducir supone establecer una serie de tareas
que deben ser bien realizadas, unos fallos que no pueden permi-
tirse en ningún caso u otros que pueden tolerarse hasta en un
determinado número de veces.
Algo similar puede decirse de la oposición: dónde se establece
la línea de separación entre superar o no las pruebas, qué aspectos
pesan más en la valoración global, por debajo de qué puntuación
no es posible aprobar aunque queden las plazas vacantes ... Algo
similar tendríamos que decir en relación con el abandono del taba-
co y del alcohol: es un abandono total o cabe admitir algún ciga-

rrillo o alguna copa al día o durante los fines de semana; durante
cuánto tiempo debe mantenerse ese nivel de logro para considerar
que se ha logrado la eficacia del programa ...
Todos estos aspectos deben quedar claramente establecidos a
la hora de diseñar el programa a fin de que, cuando llegue el
momento, pueda establecerse, mediante la técnica oportuna de
recogida de datos, si se logró la eficacia y, tal vez, los diferentes
niveles de la misma.
Un problema añadido, de gran importancia a la vez que difi-
cultad, deriva de la integración de diferentes indicadores o mani-
festaciones de eficacia en una única puntuación, calificación o
valoración global. En efecto, la mayoría de los programas sirven a
objetivos diversos, lo que permite, y hasta obliga, a recoger datos
diferentes y, en ocasiones, a través de técnicas distintas y hasta
ofrecidos por diversas fuentes informantes.
Ningún problema se da cuando en todos los indicadores o
manifestaciones se logran niveles que se consideran como de
éxito. Pero sí pueden darse problemas cuando en algunos se
constata éxito y en otros fracaso. La solución de informar dife-
rencialmente sobre la eficacia del programa según sus objetivos
puede ser suficiente, pero no estaremos decidiendo sobre el pro-
grama como unidad.
En tales casos es preciso prever la ponderación de los diversos
objetivos y d€ los niveles de logro alcanzados a la hora de confi-
gurar una puntuación o calificación global y unitaria sobre la efi-
cacia del programa.
12.1.2.2. Valoración
Señalábamos más arriba que junto a los resultados como una
de las dimensiones de la evaluación final de los programas, debe-
ríamos hacer objeto de análisis su propia valoración. Y es que
unos mismos datos objetivos, tomados como resultados del pro-
grama, pueden ser valorados de forma diferente en atención a
diferentes referencias y a las circunstancias concurrentes. Dejando
de lado las referencias -criterial, idiosincrática o normativa- que
serán objeto de análisis en el siguiente punto, nos referiremos a
continuación a las circunstancias.
Los programas se llevan a cabo en condiciones normales,
naturales, esto es, no controladas. Por ello, no debe extrañarnos

en modo alguno que, una vez decidida la puesta en marcha de un
programa, aparezcan circunstancias de todo tipo que puedan
favorecer o entorpecer la implantación, implementación y desa-
rrollo del programa hasta su conclusión.
Hechos como los retrasos imprevisibles en el suministro de
materiales o recursos de todo tipo, la incorporación de nuevos
destinatarios, las carencias de formación en algunos aplicadores
del programa, el cambio de aplicadores como consecuencia de
traslados, enfermedades, la oposición sobrevenida por parte de
personas afectadas o implicadas ... hacen más meritorios determi-
nados niveles de logro, incluso cuando representen niveles obje-
tivamente más bajos de los inicialmente establecidos.
Como es obvio, la valoración de estas circunstancias y de su
incidencia en los resultados tiene un grado de subjetividad más
elevado que lo anteriormente apuntado. Es por ello que los eva-
luadores deben esforzarse en objetivar sus posiciones, razonarlas
y argumentarlas debidamente. Pero lo que parece claro es que
estos hechos deben tener su reflejo en la evaluación.
12.2. CRITERIOS PARA LA VALORACIÓN
La valoración de la eficacia de un programa puede presentar,

al menos, dos manifestaciones claramente diferentes: la estable-
cida en términos objetivos, traducida en la constatación objetiva
de los niveles de logro, y la concretada en la apreciación subjeti-
va por parte de los interesados, afectados o implicados.
12.2.1. Eficacia objetiva

Para decidir sobre la eficacia o no de un programa, o, mejor,
del grado de eficacia de un programa 1, se puede acudir a tres
tipos de referencias: el programa alcanzó los objetivos a los nive-
les establecidos (evaluación criterial); el programa alcanzó los
objetivos en mayor o menor medida que en ocasiones anteriores
(evaluación idiosincrática); o el programa alcanzó los objetivos
1
Como afirma C. Weis (1975: 31), "son relativamente raras las decisiones de
vida o muerte, de sirve o no".
en mayor o menor medida que otros programas alternativos (eva-

luación normativa2 ).
Cualquiera de las manifestaciones indica grado de eficacia, y
son los intereses de los responsables del programa los que deben
conducir a uno u otro tipo de planteamiento. Con todo, es evi-
dente que la segunda y la tercera referencias no son aplicables en
todos los casos, sino cuando el programa tiene antecedentes y se
desea apreciar si las nuevas ediciones van en la línea de una ade-
cuada mejora -primer caso- o cuando el programa se plantea
como alternativa a otros programas, contando con algún tipo de
respaldo para pensar que el nuevo programa debe ofrecer mejo-
res resultados -segundo caso- siendo la finalidad de la evalua-
ción, justamente, la de comprobar si tal suposición o hipótesis se
puede mantener.
La opción primera resulta especialmente adecuada en el caso
de programas nuevos o de programas ya aplicados, pero de los que
carecemos de información sobre su eficacia. Ni que decir tiene que
esta opción -la criteriales compatible con las otras dos.
12.2.2. Eficacia subjetiva

Sea como alternativa, sea como complemento de la anterior,
puede resultar de gran utilidad llegar a establecer la apreciación
subjetiva de los protagonistas -destinatarios y aplicadores del pro-
grama- y de las partes afectadas e implicadas en relación con sus
resultados.
Esta manifestación de la eficacia nunca debería sustituir a la
anterior, pero teniendo en cuenta la importancia de las percep-
ciones en todos los fenómenos humanos, puede resultar de gran
utilidad, tanto para atajar optimismos y triunfalismos sin base
como para contrarrestar actitudes negativas o derrotismos injusti-
ficados.
Una manifestación de la eficacia subjetiva puede ser el esta-
blecimiento del grado de satisfacción de protagonistas y demás
partes interesadas. Si en el caso anterior se acude directamente a
2
La expresión no es del todo correcta. En el marco de la evaluación del apren-
dizaje la evaluación normativa permite situar a un alumno, en función de sus pun-
tuaciones, a lo largo de un continuo. En este caso, estaríamos situando un progra-
ma por d elante o detrás d e programas alternativos.
valorar, a juicio de los consultados, el nivel de logro de los dife-

rentes objetivos y del programa en general, aquí se procede de
forma indirecta: parece lógico aceptar que la valoración del pro-
grama será positiva si el nivel de satisfacción expresado es alto o
muy alto, y lo contrario cuando la satisfacción es baja o muy baja.
12.2.3. El impacto como criterio

No cabe duda de que los programas, además de producir en
mayor o menor grado cambios en su marco específico, influyen
en su entorno. En el caso de programas desarrollados en ámbitos
académicos, los nuevos programas pueden dar lugar a cambios en
el ambiente del aula y del centro, pueden afectar a otros profeso-
res y profesionales, pueden tener alguna repercusión sobre la
familia, pueden incidir sobre otros alumnos diferentes de los des-
tinatarios directos del programa ...
Algo similar podemos afirmar en el caso de programas socia-
les: el entorno de los destinatarios del programa puede verse afec-
tado como consecuencia del mismo.
Pues bien: tales cambios, sean estos positivos o negativos, tam-
bién pueden ser considerados como un efecto, bien que indirecto
y hasta puede que no planeado, del programa sometido a evalua-
ción. Y por ello se haría bien, cuando esto sea posible, en tomar
este criterio como índice de Ja eficacia del programa, aunque algu-
nos prefieren reservar para este tipo de resultados el término de
efectividad~ cuando los efectos no eran objeto de atención ni esta-
ban en las intenciones de los responsables del programa.
12.3. METODOLOGÍA
En la ya tradicional discusión relativa a las metodologías cuan-

titativas y cualitativas, este tercer momento o etapa en la evalua-
ción de programas se presta en mayor medida que los demás a los
enfoques cuantitativos y hasta a Ja utilización de procedimientos
de carácter experimental en el sentido fuerte del término.
~ En el sentido de que el programa produce un efecto pero no es el que se bus-

caba a través del programa.
12.3.1. Alternativas metodológicas
La diversidad de programas y los diferentes objetivos de su eva-
luación pueden conducir a diversidad de enfoques metodológicos.
Los casos más sencillos son aquellos en que la evaluación se
limita a la recogida de información y datos sobre la eficacia a tra-
vés de instrumentos más o menos elaborados y sofisticados de lo
que, en forma genérica, se denomina medida.
La información y los datos así recogidos se ponen en relación
con los niveles preestablecidos como de éxito y se llega a la con-
clusión de que el programa ha resultado eficaz o no.
La comparación, con frecuencia, se vale de procedimientos
estadísticos, desde los más elementales, de carácter descriptivo, a
los más complejos propios del contraste de hipótesis.
Pero frente a este enfoque sencillo, cabe plantearse otro más
ambicioso y complejo en el que el interés del evaluador se orien-
ta a establecer relaciones de naturaleza causal entre el programa
y los efectos apreciados o medidos, tratando de descartar otras
posibles causas. En el fondo, lo que se pretende es aplicar el pro-
grama en condiciones controladas tales que permitan mantener
que es el programa el que da lugar a los resultados medidos, el
que logra la eficacia establecida en términos criteriales, idiosin-
cráticos o normativos.
12.3.2. La medida. Pruebas

En la mayoría de las ocasiones, los datos que se toman como
base para decidir sobre la eficat:ia o no del programa tienen el
carácter de prueba, esto es, se obtienen poniendo a los destinata-
rios del programa en situación de superar o no un determinado
desafío, de alcanzar un nivel, de conseguir una marca, de demos-
trar una capacidad o habilidad, ...
Si bien cabe recoger información de carácter opinático y valo-
rativo, procedente de diversas fuentes -destinatarios del progra-
ma, aplicadores del programa, personal que entra en contacto
con el programa y al que afecta el programa-, no parece caber
duda alguna de que hablando de eficacia nada como las técnicas
de prueba y ninguna metodología como la experimentación con-
trolada, esto es, como los diseños experimentales.
Pues bien, las técnicas de prueba dan lugar a resultados que pue-
den cuantificarse con mayor o menor precisión, exactitud, fia-

bilidad y validez, cualidades todas ellas de los instrumentos de
medida.
La naturaleza del programa, eso sí, dará lugar a la necesidad
de acudir a técnicas de prueba de muy diversa naturaleza. Así, en
el ámbito educativo es muy frecuente utilizar los tests de rendimien-
to académico, las pruebas objetivas o diversas técnicas para valorar el
logro de objetivos complejos, como pueden ser la composición
escrita, los problemas, los trabajos de elaboración personal... Pero
también en el ámbito educativo los alumnos pueden realizar com-
peticiones en el marco de la educación física para ver si mejoran
sus marcas en velocidad, salto, lanzamiento ...
En otros ámbitos, la prueba puede consistir en reducir el
número de personas que sufren una enfermedad, que adquieren
hábitos negativos en lo relativo a salud, o en aumentar las que
mejoran sus hábitos de limpieza, que se someten a controles pre-
ventivos, etc.
Lo común en todos los casos es que el dato a recoger no con-
siste en una apreciación personal, en una valoración subjetiva,
sino en un hecho objetivo debidamente probado mediante situa-
ciones específicas de prueba o en situaciones ordinarias debida-
mente controladas.
12.3.3. Observación y prueba

Determinado tipo de objetivos de los programas pueden
hacer aconsejable acudir a técnicas de observación, que permiten
al evaluador, o a la persona que recoge la información , además de
constatar si se logra o no el objetivo de que se trate, estar presen-
te durante el momento en que los destinatarios del programa tie-
nen que evidenciar el nivel logro alcanzado.
Esta situación puede ser requerida por la naturaleza de los
objetivos o por el control necesario para decidir sobre la efica-
cia. Así, en el caso de la eficacia en programas de educación vial,
parece necesario no conformarse con someter a los destinata-
rios del programa a pruebas académicas, sino supervisar la con-
ducción. Algo similar podríamos afirmar de programas centra-
dos en ciertas habilidades sociales: no basta que Jos alumnos
digan que han logrado las metas, o que indiquen qué harían en
situaciones concretas, sino que deben ser observados en situa-
ciones ordinarias antes de poder decidir que se ha alcanzado el
éxito en el programa.
Pero sea de una u otra forma, los resultados son algo objetivo,
cuantificable, y su valoración no depende -o no debe depender-
de la opinión, gustos, intereses ... de la persona que valora.
En tal sentido, se habla, con mayor o menor precisión según
los casos, de medida: se asignan puntuaciones a las realizaciones
de los destinatarios de los programas de acuerdo con normas y
reglas preestablecidas, que indican niveles de éxito del pro-
grama.
Estos datos, objetivos, cuantitativos, serán objeto de análisis y
tratamientos que permitirán establecer los niveles de eficacia del
programa. Mediante las oportunas técnicas, estadísticas o no, los
datos se pueden ordenar, agrupar, comparar y hasta someter a
contrastes, a fin de llegar a las oportunas conclusiones, base de las
correspondientes decisiones.
12.3.4. Otras técnicas para la recogida de información

Ha quedado dicho en su lugar que la eficacia se mide en
mayor medida y con mayor precisión y validez mediante las téc-
nicas de prueba, ya sean aplicadas en situaciones específicas -caso
de los tests- ya se aprecien en situaciones naturales, como ocurre
con la observación. Pero también ha quedado constancia de que
la evaluación final puede plantearse, con carácter complementa-
rio, en términos de apreciación subjetiva y que, incluso, cabe
hablar del impacto.
Si bien el impacto puede tener manifestaciones objetivas, no
cabe duda de que también puede ser objeto de apreciaciones per-
sonales por parte de quienes puedan estar afectados por la apli-
cación del programa.
Entre tales técnicas cabe reseñar expresamente las escalas, que
permiten expresar el grado en que los consultados valoran, posi-
tiva o negativamente, las diferentes cuestiones, y las encuestas, por
lo general en forma de cuestionarios e inventarios. Las encuestas
permiten recoger de forma ordenada la apreciación de los con-
sultados en torno a una amplia gama de cuestiones, algo que, des-
pués, puede organizarse, representarse y expresarse de forma sin-
tética mediante índices estadísticos y representaciones gráficas de
diferente naturaleza.
12.3.5. Enfoques experimentales

Junto a los enfoques centrados en la apreciación o medida de los
resultados, cabe plantearse, como se dijo más arriba, enfoques
metodológicos más ambiciosos, en concreto los de carácter expe-
rimental.
En estos casos, el evaluador, en lugar de limitarse a recoger
los datos y atribuirles las correspondientes puntuaciones o cali-
ficaciones (medida), puede recogerlos dentro de un plan más
amplio destinado a su contraste con otros datos, tomando el
contraste como evidencia de la superioridad o no del programa
evaluado.
Estamos refiriéndonos al enfoque experimental. Mediante
diseños experimentales, en los que, con las dificultades a las que
nos referiremos en la tercera parte, intentamos el control de
explicaciones alternativas a la nuestra, comparamos los resultados
obtenidos por los destinatarios de dos programas pretendida-
mente equivalentes o del mismo programa en ocasiones distintas,
tratando de decidir cuál de los dos es mejor -más eficaz- o en
cuál de las dos ocasiones el programa ha dado mejores resultados.
Cabe comparar el mismo programa aplicado a grupos diferentes,
por ejemplo, en edad, sexo, clase social, etnia, nivel económico ... ,
y utilizar esta misma estrategia experimental.
El evaluador podrá acudir a diseños experimentales de n = 1
(evaluación criterial), series temporales (idiosincrática) o experi-
mentos clásicos, con grupo de control.
Los problemas que implica una evaluación de esta naturaleza
serán objeto de análisis en la tercera parte, al hablar del enfoque
experimental.
12.4. INSTITUCIONALIZACIÓN DE LA EVALUACIÓN
Las ideas anteriores resultan especialmente adecuadas para

el caso de programas llevados a cabo por una sola vez o que
podrán ser aplicados en alguna ocasión más. En el primer caso,
el evaluador tiene como misión fundamental aportar informa-
ción de lo logrado por el programa: se rinden cuentas de lo
"invertido" y de lo alcanzado, respondiendo a la necesidad y a la
exigencia social de utilizar de modo correcto y eficiente los
recursos disponibles.
En el segundo, se pretende fundamentalmente que las edi-

ciones posteriores del programa se hagan mejor y den como con-
secuencia resultados superiores, a ser posible optimizando -efi-
ciencia- los medios y los recursos disponibles y utilizados.
Sin embargo, en otras situaciones, como ocurre en el caso de
los programas ordinarios en el ámbito educativo, lo habitual es
que los programas se apliquen una y otra vez sin variaciones sus-
tantivas en cuanto a los objetivos pretendidos y a los recursos dis-
ponibles.
Y es en este tipo de situaciones en las que cobra una especial
relevancia la institucionalización de la evaluación, haciendo de la
evaluación del programa un componente más del mismo, inte-
grado junto con el resto de componentes, en un ciclo completo y
continuado de evaluación y mejora.
En tal situación, la evaluación final del primer ciclo evaluativo
se convierte en el punto de arranque o evaluación inicial del
segundo ciclo evaluativo, y así sucesivamente, en una espiral con-
tinuada de mejora sistemática del programa.
Ni que decir tiene que esta es la situación deseable cuando de
lo que se trata es de una evaluación pedagógica, y que a ella se
debe tender como norma.
En este sentido hasta se han diseñado herramientas en el
ámbito de la gestión de la calidad, tales como el ciclo de Deming.
La estrategia general de mejora continua puede encontrar una
concreción en herramientas como el denominado PDCA, conoci-
do como el ciclo de Deming (figura 1), en atención a quien lo for-
muló en su momento.
El primer momento o etapa es el de actuar con mentalidad
científica: ante un problema deberá acudir a la información y a
los datos necesarios que le permitan su comprensión, base para la
elaboración de un plan o diseño para su resolución, plan o dise-
ño que cuente con el soporte de una hipótesis adecuada. A este
primer momento se le denomina Planear o Planificar (en inglés,
plan).
Planificar
Actuar
Comprobar Hacer; actuar
Figura 1: Ciclo de Derning.
El segundo momento es el de hacer (do), y consiste en llevar a

la práctica el plan elaborado. En la tercera fase se procede a veri-
ficar (check). Se confrontan los resultados con las previsiones deri-
vadas de las hipótesis, previsiones que dieron lugar al plan. La
última fase, actuar ( act) lleva o bien a consolidar la forma de
hacer o bien a proceder a un nuevo ciclo; en este último caso,
toda la información y experiencia acumulados durante el ciclo
anterior servirá para que el nuevo plan sea más correcto, ajustado
y previsiblemente con mayores niveles de éxito 4 •
Sistemas como este integran la evaluación de modo natural en
el desarrollo de los programas, dejando de tener sentido expre-
siones como evaluación inicial, procesual y final. Después del pri-
mer ciclo evaluativo, la evaluación tiene un carácter eminente-
mente continuo, continuado y formativo.
Merece la pena, no obstante una consideración más antes de
concluir. Nos referimos al hecho de que las decisiones a que debe
dar lugar una evaluación final de un programa, o la evaluación
realizada al final de una edición del programa, con frecuencia
1
A. Galgano (1993: 64), en su obra Calidad Total, nos informa del gran poten-
cial de mejora del ciclo de Deming. En efecto, allí recoge la aportación de Masayoshi
Ozawa, de la Ner Corporation, que afirma: nada en este mundo es imposible si el pro-
ceso POCA se aplica sistemáticamente.
son de cierta entidad, constituyéndose planes de mejora que, para

bien, y como venimos manteniendo, deberían integrarse en el
hacer ordinario del programa.
Pues bien, estos planes de mejora son auténticos programas y, en
cuanto tales, merecen un seguimiento que permita establecer su
corrección y su eficacia. En la medida en que este tipo de accio-
nes quede debidamente documentado, permite acciones futuras
más eficaces, evitando improvisaciones y caer en errores detecta-
dos con anterioridad5 .
~ La documentación de las actuaciones llevadas a cabo es uno de los elementos

lt1111l.11nentales de los sistemas de calidad (ISO, Modelo Europeo de Excelencia) y
1·11·111·11 a contribuir a una importante demanda actual: lograr organizaciones que
11 prc ·11dcn .
CAPÍTULO 13
EL INFORME DE EVALUACIÓN DEL PROGRAMA
OBJETIVOS

capaz de:
• Conocer, comprender y definir el concepto de Informe.
• Conocer, comprender, valorar y justificar las cualidades

tanto técnicas como éticas del Informe de evaluación de
programas.
• Conocer, comprender y valorar el contenido básico de un

Informe, adecuado a las características de las diversas par-
tes interesadas.
• Conocer, comprender y valorar la estructura básica del

Informe.
La evaluación de los programas, al igual que la de las organi-

zaciones o instituciones educativas, debe plasmarse en algún tipo
de documento, más o menos extenso y formalizado según los
objetivos, modalidad, circunstancias y destinatarios de la misma.
Se comprende fácilmente la distancia que debe mediar en
este aspecto, entre una autoevaluación del propio programa aca-
démico de su asignatura, llevada a cabo por parte de un profesor,
y la evaluación de un programa, por ejemplo de educación vial o
para la promoción de hábitos saludables, realizada por un grupo
de expertos, por encargo de las autoridades correspondientes en
el ámbito del Estado o de una Comunidad Autónoma.
Si en el primer caso basta con que el responsable del programa
y de su evaluación plasme en un breve documento las actuaciones y
los resultados de la propia evaluación como constancia de la misma
y, sobre todo, como punto de partida documental para futuros pro-
cesos educativos basados en las conclusiones a las que ha llegado, en
el segundo será preciso un documento altamente formalizado, orga-
nizado y sistematizado en el que se recojan los elementos funda-
mentales del diseño, planificación y ejecución de la evaluación y,
sobre todo, de las conclusiones a las que se ha llegado, para infor-
mación y fundamentación de las actuaciones que correspondan a
las diferentes partes interesadas y afectadas, esto es, a los responsa-
bles tanto políticos como técnicos del programa, a los aplicadores y
destinatarios y hasta a otras entidades afectadas por, e interesadas
en, el programa y sus consecuencias.
13.1. EL INFORME
Entendemos por Informe el documento técnico elaborado por

el evaluador, sea este una persona o un grupo, destinado a ofre-
cer información a los responsables del programa y a las demás
partes afectadas e interesadas.
Dos hechos deben ser tomados en consideración a la hora de
precisar su concepto, contenido y alcance: por una parte, la natu-
raleza misma de la evaluación, algo que está ligado a las funciones
que asume y a los objetivos a los que sirve; por otra, los diferentes
destinatarios.
En relación con el primero, dejamos constancia, una vez más,
de nuestra preferencia por las evaluaciones formativas, aunque
deba reconocerse como legítimo, correcto y útil el planteamien-
EL INFORME DE EVALUACIÓN DEL PROGRAMA 263
to sumativo en que los profesionales son requeridos para realizar

evaluaciones de este tipo. Por otra parte, la evaluación puede rea-
lizarse al servicio de objetivos muy diferentes, que van desde bus-
car el apoyo de determinadas entidades o grupos a dar cuenta de
lo alcanzado, pasando por disponer de datos sobre la rentabilidad
de los recursos, sobre la calidad de los materiales, sobre el tiem-
po empleado ...
En relación con el segundo, parece evidente que las evalua-
ciones pueden interesar a partes muy diversas, además, claro está,
de a los destinatarios, a los responsables del programa y de su
misma evaluación.
Hay personas que son implicadas por el programa, tales
como sus destinatarios y personas cercanas (pensemos en los
alumnos, en sus familiares y en sus profesores); hay otras que
son requeridas para realizar determinadas tareas o que su pro-
pia actividad queda afectada por las actividades del programa;
hay quienes son implicados por los evaluadores al pedirles infor-
mación y valoraciones ...
Todas estas personas tienen derecho a recibir información,
pero, probablemente, no toda la información o no con el mismo
nivel de detalle.
13.2. CUALIDADES DEL H'JFORME
Centrando nuestra atención de modo preferente en los infor-

mes a realizar por profesionales, tanto a los efectos de capacitar
para su elaboración como para valorar los informes realizados
por otros profesionales y sacar las conclusiones pertinentes, rese-
ñaremos a continuación las principales cualidades que deben
adornar un informe evaluativo sobre un programa del ámbito
educativo.
En esencia, las cualidades derivan de la finalidad última que
hemos atribuido a las evaluaciones: la mejora del programa y, sub-
sidiariamente, del personal implicado y del contexto en el que el
programa se lleva a cabo
En tales condiciones, podríamos hablar de unas cualidades téc-
nicas, relacionadas con su contenido, accesibilidad y objetividad,
y de otras de naturaleza ética, centradas en la integridad de la
información aportada.
13.2.1. Cualidades técnicas

El informe es un documento técnico, elaborado por los res-
ponsables de la evaluación, para dar a conocer su trabajo y con-
clusiones a los responsables del programa y a las partes afectadas
e interesadas.
Desde esta perspectiva, el informe debe cumplir adecuada-
mente tres grandes requisitos, debe estar adornado de tres gran-
des cualidades: ha de ser completo, debe ser accesib/,e y debe estar
dotado de la máxima objetividad.
13.2.1.1. Informe completo

Probablemente, la cualidad técnica por excelencia que debe
adornar un informe sea la de ser completo, incorporando cuanta
información sea necesaria y relevante para las partes interesadas
y afectadas a fin de que puedan sacar las conclusiones pertinen-
tes en función de su puesto y responsabilidades.
Más adelante, al hablar del contenido del informe, dejaremos
constancia de los aspectos fundamentales que debe incluir para
ser completo. Dejemos constancia, por el momento, de que esta
cualidad se conculca, obviamente, cuando el informe presenta
sesgos, carencias o ambigüedades, algo que, en caso de ser inten-
cionado, tiene evidentes connotaciones éticas.
13.2.1.2. Informe accesible

Junto a su carácter de completo, el informe debe ser accesible.
Puede parecer una obviedad indicar que la función de un informe
no es otra que la de informar y que, en consecuencia, todas las par-
tes interesadas y afectadas por la evaluación deberían tener acce-
so al informe. La cuestión tiene su importancia porque, con algu-
na frecuencia, surge la tentación por parte de quienes encargan
la evaluación de apropiarse de la misma, en la medida en que,
como de todos es conocido, información es poder.
La accesibilidad puede verse limitada, paradójicamente, como
consecuencia del exceso de información. En efecto: puede ocu-
rrir que, so pretexto de presentar un documento completo, se
incluya tal cantidad de información que, lejos de facilitar la com-
prensión, la obstaculice.
Los expertos, los evaluadores, han debido manejar una
amplia gama de documentos y datos, recogidos en momentos

diferentes, por técnicas diversas procedentes de fuentes distintas.
Su tarea, técnica, es ordenar esa información, extraer lo sustantivo
y hacerla inteligible, pues bien: ofrecer la masa de información sin
esas cualidades atenta contra la accesibilidad que estamos descri-
biendo, y ello tanto si se hace por falta de capacidad técnica para
su adecuada presentación como si lo que se pretende, justamen-
te, es obstaculizar su comprensión, atentando así contra los prin-
cipios éticos.
La capacidad para una correcta elaboración del informe no
está reñida, en modo alguno, con la necesidad de facilitar la
información original, en toda su amplitud y complejidad, a quie-
nes deseen extraer sus propias conclusiones e, incluso, valorar la
corrección del informe elaborado por los evaluadores. Pero esta
posibilidad puede garantizarse sin que ello devenga en un infor-
me cuyo tamaño, formato y lenguaje desanimen a las partes inte-
resadas en su deseo de entender la evaluación realizada 1 .
La accesibilidad no es sólo una cuestión material. En efecto:
no se trata sólo de que el informe pueda ser leído o consultado
por tales personas y entidades, sino de que el documento cuente
con determinadas características que, globalmente, podríamos
calificar como 1Rgibilidad.
La 1Rgibilidad se refiere a la cualidad del lenguaje que lo hace
comprensib/,e, algo que tiene que ver directamente con su claridad,
precisión y concisión, por una parte, y con su adecuación a las dife-
rentes partes afectadas/ interesadas por otra.
Se debe evitar que quienes deben comprender el proceso,
desarrollo y resultado de la evaluación, no lo puedan lograr como
consecuencia de los tecnicismos empleados. Por la misma razón,
se debe exigir un lenguaje claro y preciso, facilitador de la lectu-
ra y de su comprensión. Para ello es necesario evitar los párrafos
farragosos y ampulosos, que obscurecen el contenido en lugar de
. facilitar su comprensión.
Junto a ello, el informe debe presentar una secuencia clara y
ordenada, que permita avanzar en la comprensión de todos los
1
Para ello basta con que el informe completo, con toda la documentación en
que se basa, esté depositado en un lugar público, garantizándose la consulta a todos
los interesados. En la actualidad, los recursos informáticos facilitan el acceso a la
información a las personas inte resadas.
aspectos integrantes. Un buen índice, debidamente organizado y

secuenciado, es una garantía para un adecuado desarrollo.
Por último, vale la pena hacer notar la necesidad de que el
informe, además de estar a disposición de las partes interesadas,
se difunda debidamente entre los directamente implicados y afec-
tados, procurando que tal difusión pueda tomar formatos dife-
rentes en función de las responsabilidades de tales partes. Es más,
aspectos como el tamaño, la cantidad de información y hasta el
propio lenguaje , deberían acomodarse a las mismas.
En efecto: piénsese en las necesidades de información de los
alumnos de un programa, de sus padres, de los miembros del
Consejo escolar de centro, del profesorado en general y del
Equipo directivo. O de los responsables de un programa de salud,
de sus aplicadores y de las personas a las que se aplica.
13.2.1.3. Informe objetivo

Por último, conviene dejar constancia de una cualidad que
debe ser atendida y respetada escrupulosamente aunque ello no
sea nada fácil de alcanzar: nos estamos refiriendo a su objetividad.
La dificultad se hace evidente cuando se parte del reconoci-
miento de que la evaluación, de cualquier objeto y para cualquier
finalidad, implica valoraciones, juicios de valor, y que unas y otros
no pueden desligarse de las personas que valoran, que lo hacen
desde su propia óptica, planteamientos teóricos y técnicos y hasta
concepciones genéricas sobre la realidad.
Por tanto, lo que se puede esperar en este punto es algo así
como la objetividad en la subjetividad, esto es, la valoración objetiva
de la información a partir de los propios criterios y referencias
hechos públicos por los evaluadores con anterioridad a la propia
evaluación.
Este hecho, de indudable trascendencia ética por la honesti-
dad que implica, permite a los destinatarios del informe apreciar
la coherencia de los juicios de valor, su adecuación y rigor, al mar-
gen de que el lector pueda estar en desacuerdo con ellos por no
compartir ni asumir los criterios del evaluador.
Naturalmente, no nos referimos a una subjetividad arbitraria
sino técnica: el evaluador debe estar en condiciones de defender,
con argumentos sólidos, rigurosos y bien construidos, su posición
evaluadora. De esta forma, se evitan las valoraciones sin funda-
mento y cualquier forma de manipulación de las partes interesa-

das como consecuencia de la ocultación o desfiguración de los
planteamientos de los evaluadores.
13.2.2. Cualidades éticas

Las cualidades éticas del informe podrían resumirse en dos:
asegurar la integridad de la información y respetar el derecho a
la misma.
Si bien un profesional puede cometer errores al redactar el
informe, no incluyendo aspectos que, a su juicio, no son necesarios,
lo que nunca podría hacer es ocultar, sesgar o desfigurar la infor-
mación como fruto de un intento deliberado de forzar un determi-
nado tipo de conclusiones en detrimento de las verdaderas.
Una situación tan reprobable como la anterior sería aquella en
que se llega a tal situación como consecuencia de aceptar las posi-
ciones de los responsables del programa, interesados en que no
vean la luz aquellos aspectos que van contra sus propios intereses.
El evaluador debe estar precavido en relación con esta posibi-
lidad. La experiencia dice que pueden surgir conflictos entre el
evaluador y sus clientes, que pueden pretender reservarse la
información o, al menos, ciertas partes de la misma. Para evitar
estos problemas se recomienda establecer acuerdos previos, tal
como se indica en el estándar P2. Acuerdos formales, recogido en el
apartado de honradez o probidad en el correspondiente capítulo
de la primera parte.
Tales acuerdos formales han de especificar las obligaciones de
ambas partes: quien contrata la evaluación y quien la realiza, a fin
de iniciar la actividad evaluadora sólo cuando tales condiciones
respetan las exigencias técnicas y las obligaciones éticas por
ambas partes.
Manifestadas las posiciones de cada parte, la evaluación se
hará o no, pero si se hace debe llevarse a cabo respetando los
patrones o estándares técnicos y éticos, y ni unos ni otros permi-
ten este tipo de actuaciones.
Por la misma razón, no sería ético negar la información a per-
sonas o entidades afectadas e interesadas como una alternativa a
no dar a conocer la información respetando su integridad.
13.3. CONTENIDO DEL INFORME
Como se ha indicado, el Informe es un documento técnico desti-

nado a ofrecer a las partes afectadas e interesadas la información
relevante y útil. Ahora bien, de qué partes interesadas se trate y cuál
deba ser el contenido del informe, es algo que dependerá, como
hemos señalado, de la función y objetivos de la evaluación.
En algunos casos, la información se limitará a los resultados
(evaluaciones sumativas), mientras en otros deberá alcanzar a
todo el proceso, incluyendo las actuaciones ligadas a la evalua-
ción de las necesidades que dieron origen al programa.
Dejando constancia de esta diversidad de situaciones, tratare-
mos de ofrecer una visión del informe coherente con nuestros
planteamientos reiteradamente defendidos en relación con la
evaluación de programas desde funciones eminentemente for-
mativas.
En este sentido, un buen informe, cuando el tipo de evalua-
ción lo permita, ha de incluir información sobre los siguientes
aspectos:
• Necesidades, demandas, carencias o expectativas a las que preten-

de dar respuesta el programa.
• Contexto y circunstancias en las que surge, se diseña y se desarro-
lla el programa.
• Componentes fundamentales del programa evaluado: objetivos y
contenidos, medios y recursos y sistema de evaluación, aspecto
este al que nos referiremos a continuación.
• Información sobre la implantación y el proceso de implementa-
ción del programa.
• Información sobre los resultados del programa. Discusión y con-
clusiones.
• Resultado de la evaluación: puntos fuertes y débiles, esto es, aspec-
tos positivos y ámbitos de mejora.
• Decisiones que se proponen o sugieren.
• Modalidades de difusión de la información y alcance de la misma.
• Personas y entidades a las que se ofrece la información.
En lo relativo al sistema de evaluación, conviene explicitar los

aspectos fundamentales que lo deben integrar:
• Objetivos de la evaluación.
• Funciones: formativa, sumativa o mixta
• Técnicas e instrumentos utilizados. Cualidades técnicas de tales
instrumentos.
• Momentos en que se recoge la información.
• Personas responsables de la recogida.
• Fuentes utilizadas para la recogida de información. Informantes.
• Procedimientos utilizados para el tratamiento y análisis de la infor-
mación recogida.
• Procedimientos utilizados para la valoración de la información.
13.4. ESTRUCTURA DEL INFORME
En cuando documento técnico, el contenido reseñado en el

punto anterior se convierte en el núcleo del Informe. Sin embar-
go, tal contenido debe ir acompañado de otras partes, menores
en cuanto a su importancia, pero importantes para que la infor-
mación sea inteligible.
La estructura del Informe puede ser la siguiente:
• Portada del informe. En ella debe aparecer, además del título del
programa, el nombre del evaluador o del equipo. Junto a ello, la
fecha y el lugar.
• Ficha técnica. Sus elementos sustantivos son, además de la denomi-
nación del programa y del organismo o entidad que encarga o
contrata la evaluación, los destinatarios de la evaluación, las partes
afectadas y las fechas entre las que se lleva a cabo la evaluación.
Como elemento de autenticación del informe, conviene fecharlo
y firmarlo.
• Resumen. Como su nombre indica, se trata de una síntesis que per-
mite al lector decidir si, en función de sus intereses y responsabi-
lidades, le merece la pena entrar en el informe con mayor detalle.
Como afirma el Diccionario, sintetizar es resumir, extraer lo fun-
damental de algo, prescindiendo de lo accesorio. Por tanto, este
resumen debe incorporar aspectos como los objetivos de la eva-
luación, la naturaleza y características del programa, la opción
metodológica utilizada en la evaluación y los principales resulta-
dos y consecuencias derivadas.
• La evaluación. En este punto debería incorporarse lo dicho previa-
mente sobre el contenido. Es el cuerpo del Informe.
• Anexos. El Informe puede ir acompañado, con el carácter de ane-
xos, de la información original recogida, debidamente organizada
y estructurada, así como de cuanta documentación sea precisa
para que quienes deseen profundizar en el programa o en su eva-
luación, puedan hacerlo de modo personal , sin la mediatización
que representa el informe realizado por los evaluadores.
BIBLIOGRAFÍA BÁSICA
Castillo Arredondo, S. (2003 ). Evaluación de programas de interoención socioe-

ducativa: Agentes y Ámbitos. Madrid: Prentice Hall.
COMITÉ CONJUNTO DE ESTÁNDARES PARA lA EVALUACIÓN EDUCATIVA (1998).
Estándares para la evaluación de programas. Bilbao: Ediciones Mensajero.
Cruz Martinez,J. M. (1997). Evaluación de programas de educación para la carre-
ra: una investigación sobre el ¡TQD! Sevilla: Kronos.
Fernández Ballesterios, R. (coord.) (1996). Evaluación de Programas. Madrid,
Síntesis.
Fernández Sierra, J. y Santos Guerra, M. A. (1992). Evaluación cualitativa de
programas de educación para la salud: una experiencia hospitalaria. Málaga:
Aljibe.
far Evaluations of Educational Programs, Projects and Materials, New York,
McGraw-Hill.
Pérezjuste, R. y García Ramos, J. M. (1989). Diagnóstico, evaluación y toma de
deciones. Volumen 9 del Tratado de Educación Personalizada. Madrid: Rialp.
Pérezjuste, R. (Coord.) (2000). "Evaluación de programas educativos". En
Revista de Investigación Educativa. Número monográfico. Vol. 18, 2.
Perez Llantada, M. C. ( 1999) . Evaluación de programas de salud y seroicios socia-
/,es: metodología y ejemplos. Madrid: Dykinson
Rossi, P. H. y Freeman, H. E. (1989). Evaluación: Un enfoque sistemático para
programas socia/,es, México, Trillas.
Sevillano García, M. L. (2004). Evaluación de programas cultura/,esformativos de
la televisión pública. Madrid: Dykinson
Stufflebeam, D. L. y Shinkfield,J. (1987). Evaluación sistemática. Guia teórica
y práctica. Buenos Aires: Paidós.
Varios ( 1991). "Evaluación de Programas" . En Bordón, monográfico. Vol.
43, 4.
PARTE III
FUENTES DE INFORMACIÓN, TÉCNICAS
E INSTRUMENTOS PARA LA EVALUACIÓN
DE PROGRAMAS EDUCATIVOS
En las dos partes anteriores hemos tenido ocasión de pasar
revista, de analizar y estudiar con algún detalle nuestra concep-
ción evaluativa y el proceso de evaluación de programas.
En la primera, en efecto, hemos presentado un concepto de
evaluación específicamente pedagógico, orientado por lo tanto a
la mejora, y caracterizado por lo que representan los tres adjeti-
vos que lo delimitan: su carácter integral, integrado e integrador.
Con esta concepción como base, aun admitiendo que hay
opciones legítimas diferentes, hemos defendido que la evalua-
ción del aprendizaje, la de los programas, la de los centros u orga-
nizaciones, y hasta la del sistema educativo o formativo pueden y
hasta deben constituir un todo armónico y coherente.
En la segunda unidad hemos ido presentando el proceso com-
pleto de la evaluación de programas; así hemos sometido a análi-
sis desde la evaluación de necesidades, origen de los programas, a la
evaluación de su eficacia, pasando por la correspondiente a su
diseño, a la evaluación inicial y a la procesual. Pero en el marco
de la concepción previamente descrita nos hemos manifestado
partidarios de la institucionalización de la evaluación, de tal forma
que la consideración de esas etapas -evaluación inicial, procesual
y final- sólo tiene sentido como tal en el caso de una evaluación
única del programa.
Cuando la evaluación se institucionaliza, queda integrada en
el propio desarrollo del programa, convirtiéndose en un ir y
venir del programa a su evaluación, proporcionando una infor-
mación continua que se debe traducir, también , en una mejora
continua.
Llega ahora el momento de presentar las técnicas e instru-
mentos de que se puede valer el evaluador para llevar adelante la
compleja tarea de la evaluación, recogida a partir de fuentes
diversas. En sucesivos capítulos iremos analizando las diferentes
opciones que habrán de ser puestas en relación con los objetos
-aspectos- a evaluar y con los propios objetivos de la evaluación. Y
ello, porque parece fácil defender que no se evalúa con las mis-
mas técnicas los conocimientos adquiridos en un programa aca-
démico que los comportamientos sociales, las relaciones huma-

nas, la salud física o mental o los valores morales.
Por otra parte, la evaluación, como ya sabemos, admite plan-
teamientos diferentes. En determinados casos, tomando la forma
de investigación evaluativa', puede aspirar, a pesar de las conoci-
das limitaciones y dificultades que la afectan, no sólo a emitir
valoraciones sobre resultados sino a establecer una vinculación
casual entre el programa y sus efectos, lo que implica metodolo-
gías tan rigurosas y exigentes como los diseños cuasi experimen-
tales, y hasta experimentales, si fuera posible. En las demás situa-
ciones habrá que proceder también con todo el rigor preciso,
aunque las metas no sean tan exigentes y ambiciosas; pero siem-
pre cabrá esperar de la evaluación una información precisa, fia-
ble y válida que dé lugar a unos resultados relevantes y útiles para
los responsables del programa, para sus destinatarios y para el
resto de partes interesadas.
Pues bien, a este tipo de cuestiones se dedica la tercera y últi-
ma parte de esta monografía. Comienza con un capítulo marco
sobre metodología y continúa con la presentación de diversas téc-
nicas para la extracción de datos, para su obtención a través de
consultas, para su descubrimiento, identificación y reconoci-
miento, para su recogida y hasta para su producción mediante
pruebas. Concluye con dos capítulos destinados al tratamiento
de los datos recogidos mediante tal diversidad de técnicas proce-
dentes de fuentes diferentes y con el análisis de las posibilidades
y limitaciones de la metodología experimental en el marco de la
El contenido, en definitiva, es el siguiente:
14. El principio de complementariedad. Complementarie-

dad de métodos y técnicas.
15. Los datos disponibles. Estadísticas, indicadores, docu-
mentos y archivos.
16. Las aportaciones de los expertos. La técnica Delphi.
17. El análisis de contenido.
18. La observación en sus diversas modalidades. Los autoin-
formes.
1
La investigación evaluativa se podrá plantear otras metas, ligadas a los objeti-
vos propios de este tipo de actividad.
FUENTES DE INFORMACIÓN 275
19. Encuestas y cuestionarios. La entrevista.
20. Los datos de prueba. Tests y escalas. Objetivos cognosci-
tivos y cognitivos.
21. Tratamiento y análisis de datos. l. Datos cuantitativos.
22. Tratamiento y análisis de datos. 11. Datos cualitativos.
23. La metodología experimental.
Concluidos los anteriores capítulos se incluye una bibliogra-

fía. Como en las dos partes anteriores, aparecen reseñadas unas
obras básicas para esta tercera parte. Pero, junto a ellas, se inclu-
ye una bibliografía general, amplia, en la que se marcan con aste-
risco (*) aquellas que el autor considera más útiles e importantes.
La monografía concluye con dos Anexos. El primero es una
propuesta básica, a modo de pauta en forma de cuestionario, para
guiar la evaluación de programas educativos. Dada la diversidad
de programas y, por ello, de objetos a evaluar, dada la diversidad
de funciones de Ja evaluación, dada la diversidad de plantea-
mientos existente en el campo de la metodología, a la citada
pauta no debería concedérsele otro valor que el de una guía sobre
cuyo andamiaje poder articular Ja propia metodología o, en su
caso, una guía para aplicarla a las evaluaciones de programas
como base para configurar el propio juicio de valor sobre su sufi-
ciencia, adecuación y calidad.
El segundo Anexo lo integra un Glosario, en el que aparecen
recogidos los conceptos fundamentales de la monografía. El lec-
tor podrá así acudir al Glosario cuando se encuentre con un con-
cepto cuya definición desconoce, pero que Ja monografía no pre-
senta en ese punto por haber sido definido previamente en otro
lugar.
El autor desea dejar constancia de su reconocimiento al
Director del Máster en Educación a Distancia de Ja UNED por per-
mitir servirse de algunos materiales elaborados por el autor de la
monografía, si bien debidamente adaptados a un contexto dife-
rente: el de la evaluación de programas.
CAPÍTULO 14
EL PRINCIPIO DE COMPLEMENTARIEDAD.
COMPLEMENTARIEDAD DE MÉTODOS Y TÉCNICAS
OBJETIVOS

capaz de:
• Conocer y comprender el concepto de paradigma y los

elementos diferenciales de los principales paradigmas.
• Configurar una posición personal en relación con los

paradigmas de Ja investigación en Educación y con la vin-
culación , necesaria o no, entre paradigma y metodologías.
• Tomar posición personal, razonada y justificada, en rela-

ción con el principio de complementariedad metodológi-
ca.
• Conocer, comprender y valorar las dificultades existentes

para la integración de la información recogida en el
marco de la complementariedad metodológica.
Comenzamos esta tercera parte con un capítulo que es toda

una declaración de principios. Como tuvimos ocasión de mantener
en su momento, se debe dar una plena coherencia entre la natu-
raleza del objeto evaluado y de los objetivos de la evaluación, por
un lado, y la metodología puesta a su servicio -en particular, los
métodos, las técnicas y los instrumentos utilizados- por otro.
Admitiendo este importante principio, las consecuencias se
derivan con facilidad. En efecto, dado que los programas educa-
tivos se caracterizan por su gran complejidad, siendo habitual que
se pongan al servicio de una gran diversidad de objetivos, parece
lógico esperar que se deba recurrir a metodologías complejas y,
en concreto, a técnicas diversas a la hora de recoger la informa-
ción necesaria y pertinente.
Por otro lado, esa misma diversidad y complejidad de los objetivos
de los programas y de los objetos que deberán ser sometidos a eva-
luación nos sitúa ante personas, grupos y hasta entidades muy diver-
sas, cuyas valoraciones pueden no coincidir, pero que es preciso cono-
cer antes de tomar las decisiones por parte de quien corresponda.
El análisis de estos puntos, y de otros conexos, es el objeto de
este primer capítulo de la tercera parte.
14.1. PLANTEAMIENTOS GENERALES SOBRE METODOLOGÍA
En su momento -capítulo 1- recogíamos el planteamiento

general que sobre evaluación hace Nevo (1986: 15-30) en su apor-
tación a la obra de House; entre las diez cuestiones fundamenta-
les allí incorporadas aparece la relativa a los métodos a utilizar,
reconociendo que en el estado de cosas de aquel momento no
había elementos para tomar una opción decidida por una meto-
dología concreta. Podemos añadir que en el momento de escribir
la monografía las cosas siguen en el mismo estado.
Aunque no sea este el lugar adecuado para abordar las discu-
siones en relación con las semejanzas y diferencias entre investiga-
ción y evaluación, sí podríamos afirmar que, en la medida en que la
evaluación de programas pueda ser considerada una modalidad de
investigación, le afectan los planteamientos y las polémicas que se
han venido dando en relación con la investigación en general.
Si bien la investigación es tan vieja como el hombre, que
desde que está sobre la Tierra ha tratado de conocerla y de expli-
car los fenómenos que le rodean y le afectan para enseñorearse
EL PRJNCIPIO DE COMPLEMENTARJEDAD 279
de ella 1, no es menos cierto que las formas o procedimientos uti-

lizados han variado tanto en su rigor y exigencia como en los pro-
pios objetivos y en la forma de llevarse a cabo.
Partiendo de que la investigación es una buena forma de afrontar
ese intento de la Humanidad ya que, como mantienen Selltiz y cols.
Investigar es buscar de nuevo, echar otra mirada más cu idadosa
para averiguar más. Echamos otra mirada porque puede haber algo
erróneo en lo que ya sabemos [ .. .]
La actitud investigadora presupone que Ja primera mirada -y las
posteriores- pueden ser propensas a error, y por ello tenemos que
mirar una y otra vez, de forma diferente y completa cada vez.
enseguida descubriremos que ese "buscar de nuevo", ese indagar

cuidadosamente, no es visto por todos de idéntica forma.
14.1.1. ¿Un método general de investigación?

Así, Mario Bunge ( 1979: 22), doctor en Ciencias Físico-Matemáti-
cas y filósofo de la Ciencia, defiende una investigación científica, y
sostiene que
... la peculiaridad de la ciencia tiene que consistir en el modo con que
opera para alcanzar algún objetivo determinado, o sea, en el método
científico y en la finalidad para la cual se aplica dicho método.
Y añade (pág. 29):

El método científico es un rasgo caractenst.Jco de Ja ciencia,
tanto de la pura como de la aplicada: donde no hay método científi-
co no hay ciencia. Pero no es ni infalible ni autosuficiente.
Pero a la hora de acotar la esencia del método, Bunge parece

huir de la excesiva formalización cuando, unas líneas más ade-
lante , afirma:
Frente a prescripciones metodológicas tan dogmáticas y estériles (y
teoréticamente injustificadas), Jo mejor es tener presente la que acaso
sea Ja única regla de oro del trabajo científico: audacia en el conjeturar,
rigurosa prudencia en el someter a contrastación las conjeturas.
1
"Mientras los animales inferiores están en el mundo, el hombre trata de enten-
derlo; y sobre la base de su inteligencia imperfecta pero perfectible del mundo, el
hombre trata de enseñorearse de él para hacerlo más confortable. En este proceso,
co nstruye un mundo artificial: ese creciente cuerpo de ideas llamado 'ciencia' .... "
Vid. Bunge (1981).
Lo que nos conduciría a una importante conclusión: estaremos

en el marco de la ciencia siempre que la finalidad sea científica
(conocimiento objetivo del mundo) y actuemos con rigor metodo-
lógico al servicio de la misma, esto es, sometiendo a contraste las
conjeturas que nos hayamos planteado. Pues bien: probablemente,
con un planteamiento como el de Bunge, la evaluación de progra-
mas se situaría en las afueras de la ciencia, en la medida en que su
finalidad, en la mayoría de los casos, no es tanto científica cuanto
práctica y utilitarista: conocer la realidad, valorarla y servirse de ello
para mejorarla mediante la oportuna toma de decisiones.
Ahora bien, planteamientos como los de Bunge no son acepta-
dos por muchos. En efecto, en el marco de las denominadas Cien-
cias Sociales o Humanas, muchos investigadores consideran que sus
características no permiten la formulación de tales conjeturas ni su
contrastación mediante los procedimientos a los que él se refiere 2 .
Antes bien, estas también denominadas ciencias deberían acudir
a metodologías no predeterminadas para descubrirlas y extraerlas
de la realidad, construyéndolas sobre la marcha en un diálogo
dialéctico continuado entre información e interpretación.
Así las cosas, podemos preguntarnos si la Educación como
objeto de estudio puede ser abordada siguiendo las pautas y pro-
cedimiento propios del estudio de las "cosas", como en las
Ciencias Naturales, o si, como parece ocurrir con el resto de
ámbitos de saber sobre el Hombre, debe acudirse a procedimien-
tos metodológicos específicos. Incluso cabe preguntarse si la
Educación puede considerarse un ámbito disciplinar homogéneo
o si, por el contrario, carece de tal carácter, presentando una
heterogeneidad que exige su reflejo en la metodología.
14.1.2. La investigación y los diversos ámbitos de conocimiento

La discusión sobre la primera cuestión surge a mediados del
pasado siglo xx. Si previamente se había aceptado como bueno tras-
2
Comprenderemos la dificultad con sólo analizar el concepto de investigación
científica ofrecido por Kerlinger en su citada obra: "La invesúgación científica es una
invesúgación sistemática, controlada, empírica y crítica, de proposiciones hipotéti-
cas sobre supuestas relaciones que existen entre fenómenos naturales" (Pág. 7). En
línea con lo anterior plantea que "el objetivo fundamental de la ciencia es la teoría.
Dicho en un lenguaje menos críptico, su finalidad consiste en explicar los fenóm e-
nos naturales. Tales explicaciones reciben el nombre de teorías." (pág. 6).
EL PRINCIPIO DE COMPLEMENTARIEDAD 281
ladar al ámbito de las Humanidades los postulados de la investiga-

ción científica que tan buenos frutos estaban dando en el de las
ciencias de la Naturaleza, en concreto, el enfoque positivista3 , en ese
momento se formaliza la distinción entre ambas clases de saber, asu-
miendo los planteamientos de Dilthey que, a finales del XIX, enun-
ciaba una clara distinción entre el modo de conocer propio del
ámbito natural (Ciencias Naturales) y el humano (Ciencias
Humanas). En efecto: mientras las primeras se planteaban la expli-
cación4, las segundas pretendían la comprensión5 , si bien conviene
hacer notar que estos conceptos no siempre fáciles de diferenciar6.
Sin embargo, la línea divisoria de ambos tipos de ciencias sí
podría ser clara; merced a ello, el investigador de las Ciencias
Naturales focalizaría su atención en lo que ocurre "ahí fuera", una
realidad objetiva, estática, accesible y dócil al investigador, mien-
tras el de las Ciencias Humanas abordaría unos fenómenos diná-
micos, en continuo cambio, difíciles de captar y analizar sino es
acudiendo a la "experiencia interior" de sus protagonistas.
3
En forma sintética, el positivismo asume la unidad de la ciencia, la explicación
científica de carácter causal y la elaboración de leyes generales así como la utiliza-
ción de la metodología propia de las ciencias naturales, en concreto del método
hipotético-deductivo-experimental.
4
El concepto de explicación debe entenderse en e l sentido de encontrar enun-
ciados generales que permitan dar una respuesta a un conjunto de fenómenos. Para
Jaspers, la explicación tiene por objeto establecer las causas de los fenómenos, por
lo que la considera como una meta propia de las Ciencias de la Naturaleza. Vid.
Freund (1975: 119s.). En la misma línea se manifiesta Russell Hanson (1977: 35):
"Las explicaciones causales son importantes para nosotros. Existen, por supuesto,
otros muchos modos de hacer comprensibles los fenómenos".
5
Cuando se habla de comprensión en el contexto de las metas de la investigación
debemos entender "la captación de las relaciones internas y profundas a través de la
penetración en su intimidad, respetando la originalidad y la indivisibilidad de los fenó-
menos", palabras que pone Freund, en su citada obra y lugar, en boca de Jaspers. Y
añade: "en lugar de parcelar lo real, como hace la explicación, la comprensión respe-
ta su totalidad vivida. Los resultados a los que llega no son, en general, directamente
verificables por la experiencia, pero se nos imponen por la evidencia".
6
Véase al respecto los planteamientos de l. C.Jarvie (1982: 159-181): "Es fácil
que se produzcan problemas de explicación y de comprensión, quizá porque las
palabras usuales 'explicación' y 'comprensión' se utilizan casi indistintamente. Sin
embargo, en filosofía de la ciencia podemos ser claros mediante la adopción de una
precisión deductiva de la primera. Sea la comprensión lo que sea, la explicación es
el proceso que consiste en deducir un enunciado a partir de otros, de acuerdo con
algunos requisitos tanto formales como materiales".
14.1.3. La Educación como campo de conocimiento

Si de esa reflexión general pasamos a su aplicación específica a
la Educación , nos encontramos ante una doble cuestión: ¿puede ser
científico el estudio de la Educación? Y en caso de una respuesta
afirmativa, ¿estaríamos ante una ciencia o ante varias? 7 Si la realidad
"Educación" es tan especial y, desde luego, tan diferente de la propia
de las Ciencias de la Naturaleza, no parecería razonable aplicarle un
esquema de investigación similar. Y si la realidad a investigar es tan
heterogénea, ¿sería razonable aplicar ambos tipos de planteamien-
tos: los propios de las ciencias naturales y de las ciencias sociales?
Todavía cabe una tercera cuestión: ¿se agotan las opciones de estu-
dio aplicando, simultanea o sucesivamente, ambos planteamientos?
La primera de las cuestiones nos sitúa ante posiciones claramen-
te divergentes, hasta tal punto que mientras unos defienden una res-
puesta afirmativa otros llegan a hablar de aru!' y hay quienes la defi-
nen como una tecnowgia (Colom y cols. (1986) 9 . Es más: autores como
Shulman (1981) o Heshusius y Smith (1986), consideran que la Edu-
cación sería una mezcla de ciencia y arte, de conocimiento teórico y
acción práctica, lo que les lleva a defender que la investigación sobre
educación debería realizarse siguiendo procedimientos propios.
A juicio de quien escribe, el que la educación sea un arte, que
lo es en la medida que la relación directa del educador con el
educando tiene mucho de intuición y creatividad dado su carác-
ter específico e irrepetible, no se opone a intentar un "acceso
científico" a ese arte. Por tanto, mantengo la compatibilidad entre
la consideración de la educación como un arte y la defensa de la
Pedagogía como una ciencia, la ciencia de la educación, o, al
menos, como una ciencia en ciernes.
En relación con la segunda cuestión, entre quienes sostienen,
y desean, alcanzar conocimiento científico sobre Educación, los
7
No olvidemos que, en educación, es frecuente utilizar la expresión "ciencias
de la Educación''.
8 Una voz autorizada en este aspecto es la de William James, quien, refiriéndo-
se a la posibilidad de obtener aplicaciones prácticas directas desde la ciencia psico-

lógica a las aulas, lo califica de un "enorme error" ya que "la Psicología es una cien-
cia y enseñar es un arte". "Una mente inventiva intermedia ha de realizar la aplica-
ción, utilizando su originalidad".
9 La naturaleza de las tecnologías reside en el logro de un conjunto de conoci-
mientos debidamente organizados y estructurados, obtenidos mediante el manejo

de procedimientos rigurosos, aplicables a la mejora de la realidad de que se u·ate.
hay que destacan un importante hecho: el saber sobre Educación

no constituye una disciplina claramente delimitada y definida sino
una realidad compleja que puede y debe ser estudiada desde dife-
rentes disciplinas, entre las que podemos destacar la Psicología, la
Sociología, la Filosofía, la Economía o la Política, además, claro
está de la propia Pedagogía. Tal diversidad disciplinar bajo un
mismo ámbito de reflexión por fuerza debería necesitar de enfo-
ques y metodologías diversas.
14.2. LA CUESTIÓN ¿lRRESUELTA? DE LOS PARADIGMAS
Ante estos hechos se ha planteado un debate metodológico

en el que se contemplan alternativas a los métodos clásicos de
carácter positivista; el debate se formaliza en torno a los paradig-
mas, a cuyo estudio y análisis dedicamos el presente apartado.
14.2.1. El concepto de paradigma

No es fácil definir "paradigma". Para Gage (1963: 95) los paradig-
mas son "modelos, pautas o esquemas. Los paradigmas no son teo-
rías; son más bien maneras de pensar o pautas para la investigación
que, cuando se aplican, pueden conducir al desarrollo de la teoría".
Para Cook y Reichardt (p. 38),
... la distinción más notable y fundamental entre los paradigmas
corresponde a la dimensión de verificación frente a descubrimiento.
Parece que los métodos cuantitativos han sido desarrollados más
directamente para la tarea de verificar o de confirmar teorías y que,
en gran medida, los métodos cualitativos fueron deliberadamente
desarrollados para la tarea de descubrir o generar teorías 10 .
Teniendo en cuenta que, para ciertos autores, las disciplinas

que han alcanzado la madurez tienen un paradigma dominante,
Kuhn, a quien se debe una de las más conocidas concepciones de
paradigma, mantiene que "lo que distingue a las ciencias sociales
de las naturales es la ausencia misma de un paradigma dominan-
te único" (p. 14), llegando a considerar que este tipo de ciencias
son "preparadigmáticas" en su desarrollo.
10
Sin embargo, hay autores que plantean, entre las finalidades de los métodos
cualitativos, la de verificar o validar teorías. Entiéndase, por tanto, lo anterior, como
uno de los elementos importantes de diferenciación pero no como una línea dico-
tómica de división nítida, algo que avalaría nuestra posición de compatibilidad.
Un planteamiento como este, que para algunos puede indicar

una valoración negativa, lleva a otros, como ocurre con Shulman
(1989: 13), a mantener que "es mucho más posible que para las
ciencias sociales y de la educación la coexistencia de escuelas
divergentes de pensamiento sea un estado natural y bastante
maduro" 11 •
Tal vez por ello, a la hora de plantearse la investigación en el
campo de las ciencias sociales o humanas nos encontramos ante
dos grandes opciones, denominadas paradigmas: el positivista,
cuantitativo, y el naturalista, interpretativo o cualitativo, al que
algunos añaden un tercero, denominado critico, cuyo elemento
diferencial es su finalidad: lo que importa es que el conocimien-
to haga posible la transformación de la sociedad, haciéndola más
justa, y la emancipación y liberación del ser humano 12 . Por el con-
trario, los dos primeros se diferencian en el procedimiento, en la
forma de construir el conocimiento.
Centrando nuestra atención en los dos paradigmas clásicos
abordaremos a continuación tres importantes cuestiones: a) su
caracterización; b) su valoración como adecuados o no al estudio
científico de la educación; c) la complementariedad metodológi-
ca como opción personal.
14.2.2. Caracterización de los paradigmas

Tal vez el intento más conocido y completo de caracterización
de los paradigmas positivista o cuantitativo y naturalista, interpre-
11
En tal sentido se apoya en Merton (1975: 28) para quien "La crisis crónica d e
la sociología, con su diversidad, competencia y enfrentamiento de doctrinas, parece
preferible a la ... prescripción de una única perspectiva teórica ( ... ) Ningún para-
digma ha empezado siquiera a demostrar su coherencia para la investigación de
toda la gama de las cuestiones sociológicamente interesantes."
12
Como se puede apreciar, el paradigma presenta connotaciones cuasi revolu-
cionarias; de hecho, sus mayores defensores se dan entre los educadores que traba-
jan en sectores marginales y marginados de la sociedad. Sin embargo, para muchos
este paradigma mezcla la Política con la Educación: mi e ntras aquella debe orientar-
se a crear las condiciones de justicia social y de dignificación de las condiciones de
vida y cultura de la Humanidad , ésta debe centrar su actuación en el mejoramiento
de la persona, en su plenificación , tratando de que lleguen a convertirse en realidad
todas sus potencialidades. Cosa bien distinta es que personas así formadas se com-
prometan en su momento en la transformación de la sociedad haciéndola más justa
y respetuosa con la dignidad de los seres humanos.
tativo, fenomenológico o cualitativo sea el realizado por Cook y

Reichardt (1986: 29), recogido en la tabla 113 :
PARADIGMA CUALITATIVO PARADIGMA CUANTITATIVO
Aboga por el empleo de los métodos Aboga por el empleo de los métodos
cuali ta ti vos. cuantitativos.
Fenomenologismo y verstehen (com- Positivismo lógico: "busca los hechos o
prensión) "interesado en comprender causas de los fenómenos sociales,
la conducta humana desde el propio prestando escasa atención a los esta-
marco de referencia de quien dos subjetivos de los individuos" 14 (1).
actúa" (1).
Observación naturalista y sin control. Medición penetrante y controlada.
Subjetivo. Objetivo.
Próximo a los datos; perspectiva Al margen de los datos: perspectiva
"desde dentro". "desde fuera".
Fundamentado en la realidad, orien- No fundamentado en la realidad,
tado a los descubrimientos, explora- orientado a la comprobación, con-
torio, expansionista, descriptivo e in- firmatorio, reduccionista, inferencia
ductivo. e hipotético-deductivo.
Orientado al proceso. Orientado al resultado.
Válido: datos "reales", "ricos" y "pro- Fiable: datos "sólidos" y repetibles.
fundos".
No generalizable: estúdios de casos Generalizable: estudios de casos
aislados. múltiples.
Holista. Particularista.
Asume una realidad dinámica. Asume una realidad estable.
TABLA l. Atributos de los paradigmas cualitativo y cuantitativo.
13
Si nuestro planteamiento es más amplio, y tratamos de caracterizar los tres
grandes paradigmas podemos recoger las aportaciones de Lincoln y Cuba en torno
a seis grandes cuestiones: Las diferencias teleológicas o relativas a la finalidad de la
investigación: las diferencias ontológicas, esto es, a la perspectiva desde la que se
enfoca la naturaleza de la realidad investigada; las relaciones entre los sLtjetos y el
objeto; el propósito de la investigación; el tipo de conocimiento que aportan y el
papel que juegan los valores (axiología).
14
Las citas están tomadas d e Bogdan y Taylor (1975).
14.2.3. Valoración de los paradigmas

A partir de este punto nos situamos ante la siguiente cuestión:
¿son irreconciliables los paradigmas? ¿Cabe pensar en su com-
plementariedad? Y, para nuestros propósitos, la cuestión tal vez
más importante: al margen de la respuesta que se dé ¿cabe hablar
de compatibilidad y de complementariedad de metodología y
métodos?
En relación con la primera cuestión, Guba(l987: 23-44) cen-
tra su atención en tres cuestiones nucleares en lo que se refiere a
la opción cuantitativo/ cualitativa; se trata, en efecto, de tres
supuestos aparentemente irreconciliables:
SUPUESTO ONTOLÓGICO:
Ilealismo en la opción cuantitativa; relativismo en la cualitativa.

El realismo supone aceptar que existe una realidad independiente del
observador; la verdad consiste en la representación fiel de tal realidad .
El relativismo acepta que existen realidades diferentes socialmente cons-
truidas; la verdad es una realidad construida de forma consensuada.
SUPUESTO EPISTEMOLÓGICO:
Objetivismo en la opción cuantitativa frente a subjetivismo en la cualitativa.

El objetivismo asume que se puede conocer la realidad con independen-
cia del observador. La adecuada realización de la observación es una
garantía para alcanzar el conocimiento objetivo.
El subjetivismo plantea que el resultado de la investigación no es sino una
creación debida a la relación entre el observador y la realidad observada.
SUPUESTO METODOLÓGICO:
Intervencionismo en la opción cuantitativa frente a hermenéutica en la cua-

litativa.
El intervencionismo consiste en el control, la manipulación de variables y
la medición, gar(lntías para una investigación científica.
La hermenéutica sitúa al investigador como principal instrumento en la
comprensión de la realidad estudiada.
Planteado el debate en estos términos, nos encontraríamos

ante dos polos irreconciliables, algo que no es aceptado por
muchos. En efecto: si tal planteamiento tiene un indudable
valor didáctico al contraponer sus características, aplicarlo a la
investigación conlleva un riesgo grave y manifiesto, ya que
sugiere no sólo una irreconciliabilidad entre ambos sino lo que
es más grave: la obligación, la necesidad de utilizar únicamente
uno de los dos y, con él, al conjunto de métodos asociados al
paradigma, como si se diera una necesaria adscripción entre
paradigma y método.
A nuestro juicio, lo único verdaderamente irreconciliable
podría ser la posición de partida: si la realidad exterior puede ser
conocida tal como es, en su estricta objetividad, merced a las cua-
lidades de rigor metodológico, o si, por el contrario, las "cosas"
no existen como tales sino como son percibidas por el hombre a
través del filtro de sus sentidos, aspecto éste en que el propio ser
humano llega a construir la realidad en continua interacción con
otros seres humanos 15 • Particularmente creo que la realidad obje-
tiva existe, pero que también es relevante su percepción por los
seres humanos que, incluso, la tiñen de subjetividad. Ahora bien:
si el investigador se sitúa decididamente en uno de tales polos, sin
dar cabida alguna al otro, acaba de elegir un paradigma -insisti-
mos: cualitativo o cuantitativo- y, según algunos, de adherirse a
un conjunto de métodos y técnicas, no tomando en considera-
ción a las del otro paradigma.
Sin embargo, dejando de lado esta realidad, el resto de dife-
rencias no implican incompatibilidad ni mucho menos adscrip-
ción necesaria a un paradigma -con rechazo subsiguiente del
otro- y, de paso, a una metodología concreta. Es más, las notas
o atributos para diferenciar los paradigmas no constituyen una
realidad interdependiente entre sí sino, más bien, indepen-
diente .
En consecuencia, cabe estar interesado tanto por explicar
como por comprender, y muy probablemente lo uno ayuda a lo
otro; cabe, asimismo, llegar a generalizaciones intemporales a
partir de otras contextuales; cabe plantearse estudios sobre cosas
y sobre seres humanos, cabe tratar los comportamientos humanos
como realidades objetivas ocurridas "ahí fuera" y, a la vez, tratar
de analizar las reacciones, actitudes, sentimientos, valores ... a que
d an lugar tales comportamientos tanto en los actores como en las
personas del contexto, implicadas o no.
15
Y forzoso es reconocer que esta cuestión, que representa una posición filosó-
fica , es argumentable pero en modo alguno demostrable.
14.3. LA SITUACIÓN ACTUAL. COMPLEMENTARIEDAD METODOLÓGICA

Decíamos líneas atrás que el peligro de la caracterización
enfrentada de los paradigmas radica en la pretendida imposibili-
dad de utilizar ambos y, sobre todo, en la al parecer necesaria ads-
cripción de los métodos a los paradigmas: optar por un paradig-
ma implicaría la necesidad de acudir a una concreta metodología
con su ramillete de métodos, debiendo renunciar a los demás,
algo que personalmente no comparto.
Al respecto, Cook y Reichardt, tras someter a análisis todos y
cada uno de los atributos de los paradigmas recogidos en la tabla 1,
concluyen:
Según el uso actual, un paradigma consta no sólo de una con-
cepción filosófica global sino también de un nexo con un determi-
nado tipo de método de investigación. En este sentido, la definición
de paradigma determina entonces el método. La cuestión que aquí
se plantea es Ja de precisar si este nexo entre paradigma y método
resulta necesario e inherente o si sencillamente procede de la defi-
nición y de Ja práctica. [ ... ] Partiendo de las observaciones anterio-
res, llegamos a la conclusión de que los atributos de un paradigma
no se hallan inherentemente ligados ni a los métodos cualitativos ni
a los cuantitativos ..... Lo principal es que los paradigmas no consti-
tuyen el determinante único de la elección de los métodos.
señalando a continuación que la elección de método debe depen-

der también, al menos en parte, "de las exigencias de la situación
de investigación de que se trate".
Pues bien: si el debate paradigmático se planteó durante largo
tiempo en términos de enfrentamiento y de descalificación del
paradigma rival, tal vez como medio para afirmar la posición emer-
gente frente a la dominante, ahora parece abrirse la idea de la con-
veniencia y aun la necesidad de compatibilidad y de cooperación. Es
más, que la preferencia por uno u otro paradigma no nace de su
superioridad "en general'', sino de su mayor adecuación a las pre-
tensiones -objetivos- de la investigación concreta de que se trate.
Sin embargo, debe quedar claro que tal posición no es unáni-
me, dándose planteamientos contrarios, algunos más de raíz,
como el de Kerlinger, quien afirma:
La solución de un problema de investigación es de un nivel dife-
rente de discurso que Ja solución de un problema de acción, por lo
que creer o suponer que la investigación educativa puede resolver
problemas y mejorar la práctica educativa es falso.
Por su parte, Smith y Heshusius (1986: 52), consideran que

'fa reclamación de una compatibilidad y la llamada para una
cooperación entre la investigación cuantitativa y cualitativa no
pueden mantenerse" si bien es preciso indicar que estos mismos
autores reconocen que
... muchos investigadores de la educación parecen pensar que el que-
hacer investigador ha alcanzado una etapa si no de síntesis sí de cier-
ta compatibilidad y cooperación entre los dos planteamientos.
Por el contrario, la posición de compatibilidad podemos encon-

trarla en Cook y Reichardt por un lado (1986: 30), y de Husén
(1988: 46-59), por otro:
Tratar como incompatibles a los tipos de métodos estimula obvia-
mente a los investigadores a emplear sólo uno u otro, cuando la com-
binación de los dos sería más adecuada para las necesidades de la
investigación. [ ... ] En nuestra posición, constituye un error la pers-
pectiva paradigmática que promueve esta incompatibilidad entre los
tipos de métodos.
Yo quisiera destacar aquí que los objetivos de la investigación son
los que determinan qué métodos serán más provechosos.
La afirmación anteriormente realizada parece más que evidente:
la estrategia o el paradigma que se adopte depende en gran medida
del objetivo que uno se propone en la investigación que se empren-
de. Si la finalidad consiste en comprobar el nive l de competencia
logrado, por ejemplo, en Matemáticas ... , el método de encuesta,
cuantitativamente orientado, deberá ser evidentemente el elegido.
[ ... ] Pero un método así no nos puede revelar cómo las sutilezas
pedagógicas que constituyen la infraestructura de la instrucción ori-
ginan un determinado nivel de competencia.
H usén concluye afirmando que, para ello, se puede acudir a

la observación y a las entrevistas a profesores, esto es a la "recogi-
d a etnográfica de datos" (1988: 93).
En nuestro contexto, el profesor García Hoz ( 1994: 27), con-
sideraba reduccionista la posición de incompatibilidad "a no ser
qu e se refieran a la imposibilidad de estudiar un mismo fenóme-
11 0 con métodos diferentes". Mediante un ejemplo intuitivo hacía
ver cómo determinados aspectos de una realidad se prestan mejor

a un estudio cuantitativo -las dimensiones de una casa- mientras
otros -apreciación de aspectos tales como la comodidad o su cali-
dad estética y hasta la percepción de sus habitantes- resultan más
adecuados a otro de carácter cualitativo, concluyendo:
Nos hallamos así frente a la posibilidad de enriquecer el conoci-
miento de una misma realidad, uniendo a los resultados de un méto-
do los resultados de otro.
En la misma línea se manifiesta Firestone (1987: l&-81) , quien,

tras analizar las diferencias entre ambos enfoques de investigación,
se decanta por su complementariedad:
El estudio cuantitativo ofrece con más precisión la magnitud de
las relaciones. Es posible decir claramente que el 61 % de la varianza
en el rendimiento se puede explicar. El estudio cualitativo concluye
en afirmaciones 'más ambiguas' pero con mayor atención a la
influencia y al sentido de los distintos factores que inciden en una
dete1-minada actuación pedagógica.
Centrando nuestra atención en nuestro ámbito de reflexión,

la denominada investigación evaluativa y la evaluación de progra-
mas, Cook y Reichardt argumentan (1986: 43):
a) La investigación evaluativa sirve a propósitos u objetivos múlti-
ples, lo que a menudo exige variedad de métodos.
b) Los dos tipos de métodos, cualitativos y cuantitativos, pueden
vigorizarse mutuamente para brindar aportaciones que ninguno
de ellos podría ofrecer por separado.
c) Dado que ningún método está libre de prejuicios y limitaciones,
sólo será posible acercarse a la verdad subyacente acudiendo a
múltiples técnicas con las que el investigador efectuará las corres-
pondientes triangulaciones.
En esta línea se hallarían, también, las reacciones críticas que

se han dado desde dentro de los enfoques cuantitativos, que han
originado las propuestas situadas en el contexto del post-positi-
vismo, y que han conducido, en el marco de la investigación eva-
luativa, a hablar de multiplismo frente al simplismo metodológico.
Los componentes fundamentales del multiplismo, propuestos por
Cook en su aportación a la obra de Shotland y Marck (1985) se
recogen a continuación:
EL PRINCIPIO DE COMPLEMENTARJEDAD 291
a) Conveniencia de acudir a enfoques teóricos múltiples.

b) Necesidad de plantear objetivos diferentes que hagan posible la
utilización de diferentes análisis de los resultados.
c) Acudir a modelos variados de evaluación.
d) Someter a prueba modelos causales multivariados.
e) Plantear variedad de hipótesis rivales alternativas.
f) Elaborar diversas definiciones operativas de las diversas variables
de la investigación.
g) Llevar a cabo análisis de datos y contrastes de hipótesis múltiples.
h) Acudir a valoraciones diversas, recogiendo los puntos de vista de
las diferentes partes implicadas (audiencias).
No obstante todo lo anterior, conviene dejar constancia de

que si bien defendemos la complementariedad de metodologías,
en especial en el marco de la investigación evaluativa y de Ja eva-
luación de programas, hay dificultades objetivas para hacer reali-
dad el principio. Probablemente, las mayores dificultades tienen
que ver con la capacitación de los investigadores para poder
afrontar con garantías ambas metodologías, pero también con las
exigencias de tiempo y recursos, dificultades notables ambas en
n uestro ámbito.
Si las primeras pueden superarse mediante el trabajo en equi-
pós de investigación, las dificultades de tiempo son notorias ya
que, con frecuencia, los resultados de la evaluación han de servir
de base para nuevas ediciones de un mismo programa o han de
ser presentados en plazo para cumplir con las exigencias de los
acuerdos que dieron lugar a la evaluación. Las limitaciones de
recursos no parece que necesiten argumentación.
14.3.1. Nuestra posición sobre el tema

Dada nuestra posición en relación con el carácter condicio-
nante y directriz de los objetos a evaluar y de los objetivos de los
programas y de su evaluación, parece necesario reflexionar sobre
estos aspectos a la hora de manifestar nuestra opción en relación
con el debate paradigmático.
14.3.1.1. Naturaleza y complejidad del acto educativo

La intencionalidad es una nota que permite distinguir el hecho
c·du ativo de aquellas otras situaciones en que la persona, bien
como fruto de las dinámicas naturales de desarrollo, bien como

consecuencia de su reacción ante los estímulos naturales y socia-
les, avanza en el proceso de hacerse persona.
La intencionalidad va ligada a la sistematicidad: la acción inten-
cional de los educadores -heteroeducación- y, en su momento,
de la propia persona, responde a un plan más o menos elabora-
do -más en el primer caso, menos en el segundo- en el que se dis-
tingue una orientación general o finalidad, unos objetivos de
mayor o menor amplitud y concreción y un conjunto articulado
de medios y recursos a su servicio. La educación como plan siste-
mático e intencional se concreta en unos resultados -la persona
más o menos educada- que son indicio del grado de eficacia de
los procesos educativos.
Dada la limitación -finitud- del ser humano y su radical situa-
ción de indeterminación y desvalimiento inicial, el proceso edu-
cativo puede continuar hasta la muerte, lo que nos conduce a
plantear la necesidad de educación permanente.
Con todo, lo que más importa aquí y ahora a nuestros propó-
sitos es el análisis del acto educativo, un acto radical y profunda-
mente humano. El hombre es el ser creado que nace en un esta-
do de mayor inacabamiento e indefensión lo que, por una parte,
le hace inicialmente más vulnerable y necesitado de sus semejan-
tes, pero, por otra, le sitúa en condiciones óptimas de hacerse, y
ello no de una forma necesaria sino con opciones muy variadas,
fruto de la aplicación de su libre albedrío, lo que le permite elegir
caminos, y poner o no a su servicio la determinación, el esfuerzo
y la voluntad precisas.
Estos hechos: la indeterminación del ser humano, el libre albe-
drío, que le permite optar entre alternativas, y la necesidad de su
cooperación -léase esfuerzo, voluntad- para alcanzar las metas
que le propone la sociedad a través de los educadores, constitu-
yen la esencia del acto educativo. En él, la relación, profunda y
necesitada de empatía, entre el educador y el educando, tiene
unas características idiosincrásicas que , muy probablemente,
nos permiten calificarla como única e irrepetible. Conviene
dejar constancia, además, de que tal acto educativo no se da "en
el aire" sino en un determinado contexto, o mejor, con diferen-
tes contextos condicionantes: familia, amigos, escuela, sociedad,
que pueden entorpecer o estimular el proceso perfectivo que es
la educación.
EL PRINCIPIO DE COMPLEMENTARJEDAD 293
En estas condiciones, puede entenderse que una investiga-
ción orientada a la producción y descubrimiento de !,eyes o enun-
ciados generales, preferiblemente de naturaleza causal, se antoja
no ya difícil sino, hoy por hoy, imposible 16 • Tendríamos que pen-
sar en un estudio de casos únicos, donde la riqueza, las matiza-
ciones, la casuística nos llevarían a comprender la realidad, una rea-
lidad , por cierto, a cuya comprensión más o menos completa nos
acercaríamos justamente cuando ya estuviéramos cercanos a
dejarla en manos de otro educador.
Sin embargo, y a pesar de reconocer esa especificidad e irre-
petibilidad tanto de las personas como de los actos y procesos
educativos, la situación anteriormente descrita sería la propia de
uno de los extremos del continuo. Pero hay dos observaciones a
realizar:
a) los fenómenos educativos son únicos, pero e llo no impide

que se desarrollen dentro de unas pautas, con ciertas ten-
dencias predominantes y en el marco de una determinada
variabilidad;
b) la reiteración de estudios con la debida profundidad per-
mite alcanzar una cierta acumulación de experiencia que
conduce al descubrimiento de tales pautas o regularidades.
Como afirmaba el psiquiatra francés Azam a finales del
siglo XIX, la ciencia del carácter "no puede proceder por
generalización, como la psicología, ni por individualidades
como el arte. Ocupa un lugar intermedio".
Todavía más: aun reconociendo, como reconocemos, esa

especial relación irrepetible, específica, diversa, entre el educa-
d or y el educando, nada se opone a un estudio científico en la
concepción tradicional positivista de los procesos de aprendizaje,
de la naturaleza y de la eficacia de la motivación, de la efectividad
de los refuerzos, de las pautas de desarrollo evolutivo, de los nive-
16
El profesor C. Vázqucz Gómez, en el prólogo a la edición española del libro
de D. Fox (1981: 16) manifiesta: "Fruto de esta perspectiva histórica, reconocemos
que el método experimental constituye hoy una posibilidad límite para nosotros.
[ ... ] Ahora, ya podemos reconocer con Kerlinger, no sólo que una buena parte de
los estudios más valiosos en el área pedagógica son del tipo ex-post-facto (cuasi-expe-
rimentales) sino incluso que esta modalidad de investigación es particularmente
adecuada a la naturaleza del proceso educativo" .
les de rendimiento ... Conocimientos todos ellos muy necesarios

para que el educador los tenga en cuenta en el momento de esta-
blecer la privilegiada relación educativa de carácter artístico.
Tal vez por ello, Allport (1975: 29 ss.), un defensor de la indivi-
dualidad, que es quien recoge la afirmación de Azam, refiriéndose
a la Psicología mantiene:
No hay razón alguna para que no aprendamos de generalizacio-
nes sobre la naturaleza humana. Pero debemos tener en cuenta los
conceptos y los métodos que nos capacitan para comprender la indi-
vidualidad configurada. [ ... ] Para el desarrollo de la ciencia de la psi-
cología de la personalidad debemos utilizar todos los métodos de
estudio.
Pero la Educación, además, es una realidad profundamente

compleja, un acto en que se encuentran, al menos, dos personas
en toda su complejidad: sus capacidades y aptitudes, sus senti-
mientos y afectos, sus actitudes, sus apreciaciones y valores ... y ello
no tanto desde la realidad de las mismas, sino desde la mutua per-
cepción, siempre subjetiva. La relación educativa, en efecto, ocu-
rre en unos contextos determinados en simultaneidad con un
conjunto amplio y diverso de relaciones humanas -personales, de
amistad y profesionales- que se constituyen en el componente
fundamental de un ambiente, más o menos favorable, más o
menos educativo.
La relación profesional incorpora todo un hacer reglado
-más o menos reglado- y pautado, bien sea por pautas "persona-
les" bien por elaboraciones nacidas del estudio, la experiencia, la
reflexión o la investigación, ya sea la realizada por expertos, ya la
llevada a cabo por el propio educador.
Y, para complicarlo más, esa relación educativa contextualiza-
da, se desarrolla en el marco de contextos más amplios, general-
mente adversos a los planteamientos educativos, donde el
ambiente social y cultural se convierten en condicionantes de la
acción educativa. Las relaciones de amistad, la vida social, los
medios de masas, las nuevas tecnologías ... constituyen una reali-
dad que es el aire respirado día a día, momento a momento, por
los protagonistas de los actos educativos.
14.3.1.2. La respuesta metodológica
En estas condiciones, cualquier intento de aportar conoci-
miento riguroso sobre los planes, proyectos, procesos y resultados
educativos tiene, forzosamente, que estar abierto a la diversidad
de métodos y procedimientos disponibles, siempre que cumplan
con la exigencia del debido rigor.
La autolimitación a ciertas metodologías, además de repre-
sentar un reduccionismo en sí mismas, cercenan de hecho la
posibilidad de conocer, de comprender y de explicar una reali-
dad tan compleja. Es por ello que nos manifestamos decidida-
mente defensores del principio de complementariedad metodológi,-
ca, una complementariedad que puede ser en ocasiones sucesiva
-los enfoques cualitativos como sugeridores de planteamientos
o teorías que puedan ser sometidos a validación empírica con
metodologías cuantitativas, o viceversa- y, en otras, simultánea,
como puede ser el caso de las investigaciones evaluativas, donde
la evaluación de programas puede encontrar aportaciones riquí-
simas en la metodología cualitativa para la apreciación de los
procesos mientras resulta especialmente adecuada la cuantitati-
va para evaluar los productos o resultados 17 •
14.4. LA COMPLEMENTARIEDAD COMO CUESTIÓN DE FONDO
Hasta aquí hemos focalizado nuestra atención en la comple-

mentariedad de métodos y técnicas en el campo de la investiga-
ción aplicada al ámbito de la Educación. Sin embargo, este modo
de abordar el problema de la metodología puede considerarse
inmerso en una forma global de abordar la comprensión y el tra-
tamiento de la realidad.
El profesor García Hoz recoge la siguiente cita del profesor
Ballesteros (1985: 173) para quien el pensamiento moderno se
caracteriza
por haber convertido erróneamente relaciones de distinción y comple-
mentariedad, como las que deben darse entre organismos y entornos,
17 Una posición concordante en este sentido es la manifestada por Campbell.
Recogiendo sus ideas, Cook y Reichardt (1986), afirman: "Campbell demuestra tam-
bién la complementariedad inherente a los métodos cuali tativos y cuantitativos al
drscribir cómo el conocimiento cuantitativo sólo supera al cualitativo cuando se
.1poya en éste".
entre hombre y mujer, enu·e razón y entendimiento, entre mente y

cuerpo ... en relaciones de oposición, entre las que sólo cabía la alter-
nativa.
Pues bien, para García Hoz, el principio de complementarie-

dad permite abordar, y resolver, o al menos intentarlo, las antino-
mias que se nos muestran como incompatibles por opuestas,
cuando tal vez sólo sean diferentes y complementarias.
De esta forma, con una actitud abierta, es posible tratar de
armonizar aspectos como razón y fantasía, trabajo y ocio, libertad
y autoridad, ... Porque si no se afrontan de este modo, si se consi-
deran irreconciliables, incompatibles, estaremos prescindiendo
de una buena par.te del potencial de la educación, que se nos
mostrará reduccionista en lugar de integradora.
Terminamos con palabras del profesor García Hoz (p. 25):
El principio de complementariedad significa que en el proceso
de perfeccionamiento humano es menester llegar a conocer el valor
de los términos que se presentan como opuestos y descubrir en cada
uno de ellos el carácter de complementario, de necesidad que el uno
tiene del otro.
14.5. LA COMPLEMENTARIEDAD DE MÉTODOS Y TÉCNICAS

EN LA EVALUACIÓN DE PROGRAMAS
De lo hasta aquí expuesto se sigue con facilidad que los objetos a

evaluar son muchos, variados y complejos. Pensemos que entre ellos
nos hemos referido a las necesidades, de muy diversa naturaleza y
características; a los objetivos del propio programa, cuya entidad,
calidad o pertinencia puede variar notablemente; a la propia for-
mulación de los objetivos, a los medios y recursos, a los procesos de
implantación e implementación de programas, a los resultados.
La diversidad de los objetos se acrecienta cuando sometemos
a análisis cada uno de ellos; en efecto, las necesidades pueden ser
muy variadas según sean de naturaleza física, social, profesional o
moral, por acudir a una tipología. Y lo mismo podríamos afirmar
en relación con los objetivos. En el caso aparentemente más senci-
llo, el de los medios y recursos, pasa algo semejante: existen recur-
sos materiales, fáciles de cuantificar y definir, pero ciertas catego-
rías, como los ligados a las nuevas tecnologías, como fruto de su
novedad, nivel de desarrollo, dificultad de manejo para mu-
chos ... , plantean dificultades específicas. Tal diversidad de objetos
no puede ser evaluada mediante las mismas técnicas ni servirse de

los mismos instrumentos.
Junto a estos planteamientos es preciso dejar constancia de
otros, también relevantes. Hay "objetos" directamente accesibles,
fáciles de contar, medir, pesar..., pero otros son intangibles y exi-
gen complejas elaboraciones capaces de encontrar formas indi-
rectas de recoger información.
A este hecho hay que añadir otro de especial importancia: deter-
minados objetos son lo que son en su pura objetividad, pero otros
son, fundamentalmente, la construcción que los evaluadores hacen
del mismo a través de sus artilugios para la recogida de la informa-
ción pertinente. Si tenemos en cuenta que en tales construcciones
hay una evidente vertiente subjetiva -aunque se trate de objetivar al
máximo por parte de quienes recogen la información- compren-
deremos que, además de o junto a, la información objetiva y objeti-
vada sobre el objeto evaluado aparece la percepción, subjetiva por su
propia naturaleza, de quien emite su valoración.
Por otra parte, un mismo objeto puede ser sometido a evalua-
ción desde diferentes perspectivas; pensemos en el aprendizaje
social adquirido como fruto de un programa aplicado a niños ina-
daptados. Podemos analizar y valorar si los objetivos se alcanzaron
(eficacia); si los resultados se han logrado con una adecuada rela-
ción entre ellos y los medios a su servicio (eficiencia); si las diferen-
tes partes interesadas o afectadas se encuentran satisfechas, y ello en
relación con el programa, con las actividades, con el esfuerzo pues-
to, con los objetivos logrados, con la utilidad social, con ...
Pues bien, todo lo anterior parece suficiente para dejar cons-
tancia de que tanta diversidad de objetos, enfoques, perspecti-
vas ... requiere técnicas diversas y, por consiguiente, instrumentos
concretos diferentes.
Por otro lado, ciertas informaciones provienen directamente
de los destinatarios de los programas: es evidente que los resulta-
dos se deben "medir" en ellos, pero no es menos cierto que deter-
minados resultados pueden captarse con mayor fiabilidad y vali-
dez en comportamientos que pueden ser apreciados por otros,
bien como observadores imparciales bien como sujetos de una
relación con la persona que realizó el programa. Una realidad
como esta nos sitúa ante tres fuentes productoras de datos:
• el usuario del programa, que puede "evidenciar" ciertos logros o
manifestar lo que ha conseguido, la satisfacción con que desarrolló
el programa y la que alcanzó al finalizarlo tanto como partícipe

como por las consecuencias positivas para él de dicho programa;
• el observador independiente, que trata de recoger evidencias a tra-
vés del comportamiento en situaciones ordinarias o provocadas;
• y las personas que no habiendo hecho el programa, entran en
relación con los destinatarios del mismo y pueden apreciar cam-
bios, positivos o negativos, suficientes o no, ...
En resumen: fuentes diferentes, información distinta ... técni-

cas diversas. Cada una de tales fuentes y técnicas informa de algo
relevante, pero ¡qué duda cabe!: la unión de las tres ofrece una
visión más rica y matizada, y hasta más fiable y válida sobre lo que
ha supuesto el programa.
14.6. EL PROBLEMA DE LA INTEGRACIÓN DE INFORMACIONES
Con todo, si bien nuestra posición parece estar sólidamente

fundamentada, también parece evidente la dificultad que se pre-
senta cuando en la evaluación de un programa se recoge infor-
mación discordante.
Cuando la información recogida es coherente, el evaluador
tiene a su disposición un conjunto de datos que mutuamente se
refuerzan, por lo que las conclusiones, y las decisiones que se
tomen, encuentran un fuerte respaldo y hasta es de esperar que la
colaboración de las partes interesadas para llevarlas a buen puerto.
Pero en el caso contrario no debería bastar con hacer notar la
discrepancia, porque nos llevaría a la inacción. Tampoco se puede
actuar, sin más, dando preferencia a una información sobre otra,
porque de este modo difícilmente se podrá contar, al poner en mar-
cha las acciones de mejora, con la implicación, el apoyo y la activa
colaboración de aquellos cuyos puntos de vista no han sido tomados
en consideración.
Dejando claro de antemano que las actuaciones varían según
la finalidad de la evaluación 18 , siempre conviene tener en cuenta
algunos criterios de actuación; destacamos los siguientes:
18
Si es una evaluación orientada a la certificación, es evidente que la entidad cer-
tificadora es la responsable de lo que podríamos denominar "la última palabra'', por-
que está reconocida para ello y para ello fue contratada por los responsables del pro-
grama. Esta última palabra, no obstante, debe ría elaborarse dando audiencia previa
a todas las partes interesadas.
• Se debe tener en cuenta la naturaleza, la fuente y el tipo de datos.
Por ejemplo: si para decidir sobre la eficacia de un programa nada
hay mejor que datos de prueba, para conocer determinadas carac-
terísticas de quienes aplican el programa nada supera la percep-
ción de los propios destinatarios (por ejemplo, el alumnado de un
programa académico o los destinatarios de un programa de vida
saludable). Por la misma razón , para aspectos técnicos, como la
fundamentación del programa, ninguna información es preferi-
ble al juicio de los expertos y especialistas.
• No obstante lo anterior, siempre es conveniente contrastar la
información que procede de fuentes diferentes y de técnicas de
diversa naturaleza.
• En las sesiones de evaluación debe darse la oportunidad de que las
diversas fuentes que aportan información argumenten sus posi-
ciones.
• Por último, el responsable de la evaluación debe tratar de lograr,
mediante argumentos técnicos, hacer confluir las posicion es de las
diversas fuentes de aportación de datos.
CAPÍTULO 15
LOS DATOS DISPONIBLES. ESTADÍSTICAS,

INDICADORES, DOCUMENTOS Y ARCHIVOS
OBJETIVOS

capaz de:
Conocer, comprender y valorar:
• Las aportaciones a la evaluación de programas de los datos

disponibles: las estadísticas, los indicadores, los archivos y
los documentos.
• Las diversas fuentes estadísticas, los principales sistemas de

indicadores y las fuentes documentales y archivísticas.
La complejidad de los programas, tal como los venimos

definiendo, implica la complejidad de su evaluación y, dentro de
ella, hay un primer momento especialmente complejo, que es el
de su evaluación inicial, incluyamos o no en ella la evaluación de
necesidades.
Pues bien, especialmente en el caso de la evaluación de nece-
sidades, sea como realidad aparte o como un componente de la
evaluación inicial del programa, los datos disponibles pueden ser
un elemento fundamental a tomar en consideración. También en
otros momentos se puede acudir a este tipo de datos, como puede
ser el caso de la propia evaluación final, coJJ.trastando o compa-
rando los resultados obtenidos mediante la aplicación del pro-
grama con los valores disponibles a través de sistemas de indica-
dores o de estadísticas regularmente recogidas.
Este tipo de datos, en efecto, nos puede ayudar a detectar
necesidades, a constatar carencias, a prever demandas; también
nos puede ofrecer información para valorar si el programa está
actualizado y bien fundamentado; en el caso de la evaluación
final, o de evaluaciones procesuales sobre la eficacia -final en el
primer caso, parcial en el segundo- la información disponible
nos puede ofrecer pautas, niveles o estándares de referencia con-
tra los que valorar los alcanzados, o los que se van alcanzando,
como consecuencia de la aplicación del programa.
Sea como fuere, analizaremos a continuación la naturaleza de
estos datos, algunas fuentes para su consulta y sus principales
aportaciones a la evaluación de programas.
15.1. ESTADÍSTICAS 1
Las sociedades avanzadas recogen datos de forma sistemática

y frecuente sobre un sinfín de aspectos relacionados con sus ciu-
dadanos.
A través de los censos periódicos se dispone de datos sobre
una serie de variables que indican el estado de determinados ser-
vicios, como la salud, la educación, el trabajo, el ocio, las condi-
1
El término "Estadística" en esta ocasión viene a significar "datos numéricos rela-
tivos a un conjunto de individuos", según e l diccionario de términos estadísticos debi-
do a Kendall y Bukland.
LOS DATOS DISPONIBLES 303
ciones de vida ... , que fácilmente nos permiten saber cuáles son las
carencias objetivas -obviamente, también los puntos fuertes- de
nuestra sociedad.
Junto a ello, la información recogida por los diversos ministe-
rios y las correspondientes consejerías autonómicas, sea en forma
de encuestas periódicas, sea como consecuencia de los registros
de la información que dan los ciudadanos cuando acuden a soli-
citar los servicios que se les prestan -matrículas de alumnos, con-
sultas médicas, becas, ayudas de diverso tipo ... - son, también, una
potencial fuente de información a la hora de detectar carencias
objetivas.
En el ámbito específico de la educación, una fuente impor-
tante de información es la elaborada por el Instituto Nacional de
Calidad y Evaluación (INCE), en la actualidad denominado INEC-
SE (Instituto Nacional de Evaluación y Calidad del Sistema
Educativo), con sus evaluaciones periódicas del sistema en el
ámbito de los aprendizajes curriculares, en especial, Lenguaje,
Matemáticas e idioma extranjero. Obviamente, el propio
Ministerio de Educación ofrece importantes datos estadísticos,
disponibles en su web (http: / / www.mec.es/ mecd/ estadisticas/
index.html). Del mismo modo, edita folletos periódicos como el
de Datos y cifras, elaborado por la Oficina de Estadística.
Por otra parte, las encuestas periódicas tanto de organismos
públicos, como puede ser el Instituto Nacional de Estadística
(http: / / www.ine.es/ ), Instituto Nacional de Seguridad e Higiene
en el Trabajo (http: / / www.mtas.es/ insht/ statistics/statsina.htm),
el Banco de España o el Centro de Investigaciones Sociológicas, o
privados, como es el caso de los servicios estadísticos de los ban-
cos y cajas de ahorro, o la información recogida por Cáritas, Cruz
Roj a y muchas ONG's, son un importante acervo de información
y datos al que es posible acudir para justificar un programa y para
darle la forma adecuada.
En su ámbito correspondiente, otro tipo de organizaciones,
como son los sindicatos o las iglesias, disponen de información de
primera mano en aspectos relacionados con su actividad.
Por último, conviene citar, por su relevancia en un mundo
globalizado, las estadísticas de la Unión Europea, en concreto las
de Eurostar, que permiten tener referencias supranacionales.

Citaremos entre otras la Agencia Europea para la Seguridad y la
Salud en el Trabajo (http:/ /europe.osha.eu.int/index.php?
lang=es). Una importante fuente de datos estadísticos se encuen-
tra en Fuentes de Información y contactos, dentro de Europa. El
Portal de la Unión Europea (http:/ /europa.eu.int/geninfo/
info/guide/index_es.htm#stat) y, desde luego, en la Statistical
Office of the European Communities. cuya dirección web es:
http://epp.eurostat.cec.eu.int/portal/page? _page id=l090%2Cl
13 7397 &_dad=portal&_schema=PqRTAL
Pues bien: este tipo de información reúne, a los efectos que
nos interesan, dos importantes ventajas, aunque, también, algún
inconveniente. Comenzando por aquellas, señalaremos su perio-
dicidad y sistematicidad, lo que aporta una dimensión diacrónica
que permite apreciar la evolución del fenómeno, y hasta conver-
tir los datos en alguna medida en una especie de línea de base 2
sobre la que apreciar los efectos del programa. Si de la periodici-
dad pasamos a su sistematicidad, podremos tomar conciencia de
su valor frente a datos esporádicos que no responden a ningún
tipo de plan.
En cuanto a los inconvenientes, es preciso señalar los deriva-
dos de nuestras afirmaciones en relación con el concepto de dato.
Venimos afirmando que el dato no está "ahí" para ser recogido,
sino que es construido de modo expreso para nuestro trabajo. Por
tanto, el uso de este tipo de información habrá de estar precedi-
do de una posición analítica y crítica que nos permita decidir
sobre su idoneidad para nuestros propósitos. En este sentido,
Sell tiz y colaboradores ( 1976: 362), afirmaban en su momento:
Las definiciones de las categorías utilizadas en el material esta-

dístico disponible, no coinciden con frecuencia con las utilizadas en
la investigación social, hecho que frecuentemente se oculta por el
uso de alguna terminología similar.
Conviene señalar que este hecho, que puede ser un inconve-

niente, tiene como contrapartida algún tipo de ventaja: al tratar-
se de información que el ciudadano está acostumbrado a ofrecer
a lo largo de su vida, es más fácil que responda de modo veraz que
2
Remitimos al lectos a los dise1ios de N = l en el capítulo 23.
cuando, por otros medios -como la encuesta, el cuestionario o la
entrevista ad hoc- le es solicitada en el marco de una evaluación
de programas.
Por último, es preciso reconocer determinados inconvenien-
tes que bien pueden derivar de la metodología empleada para su
recogida, bien de la finalidad de tal recolecc"ión de datos. No es
lo mismo, como ya sabemos, la información recogida mediante
autoinformes que la contrastada objetivamente, y no es lo mismo
una información con consecuencias inmediatas -positivas o nega-
tivas- para quien la ofrece que otra no ligada directamente a
ellas 3 .
15.2. INDICADORES
Si las sociedades avanzadas disponen de estadísticas, una de

sus herramientas fundamentales en el proceso de mejora de sus
servicios a los ciudadanos son los sistemas de indicadores.
15.2.1. Concepto
En general, un indicador es un dato, de diversa naturaleza,
que sirve para mostrar algo mediante indicios o señales. Un indi-
cio, según el Diccionario de la Real Academia Española, es "Un
fenómeno que permite conocer o inferir la existencia de otro no
percibido".
Ese carácter indirecto es uno de los elementos fundamenta-
les de los indicadores. Junto a él, su sistematicidad y su naturale-
za, habitualmente cuantitativa. Precisaremos su concepto a través
de dos definiciones expresas:
Todo dato empírico -ya sea cuantitativo o cualitativo- recogido
de forma sistemática, e n relación con unas metas o procesos, que
permite estimar la productividad y/ o la fun cionalidad d el sistema 4 .
3 Piense el lector en el grado de credibilidad de la información de rivada de la
declaración de impuestos ante H acienda, o de los datos aportados por las familias
en sus solicitudes de matrícula para sus hijos en ciertos colegios, o de los relativos a
becas.
4
De Miguel (1995: 29-51).
Unidad de información, consensuada entre los distintos implica-

dos, y contextualizada, sobre un aspecto del sistema educativo, sus-
ceptible de operativizarse en variables y asociado a uno de los
momentos del proceso de producción (Contexto-Entrada- Proceso-
Producto) s.
Completaremos este acercamiento conceptual acudiendo a

una de las fuentes fundamentales de los indicadores de la educa-
ción, la Organización para la Cooperación y Desarrollo
Económico -OCDE- que, en su publicación Análisis del Panorama
Educativo. Los indicadores de la OCDE (1995: 3), afirma:
Los indicadores. .. proporcionan información regularmente

puesta al día sobre la organización y funcionamiento de los sistemas
educativos. Facilitan información sobre el modo como reaccionan
los sistemas educativos a los cambios en las prioridades de política y
a los actuales desarrollos de la sociedad.
Por lo general, los indicadores se refieren a variables con alto

grado de estabilidad, generalmente modificables6 , asequibles a la
medida y, en consecuencia, comparables 7 .
Habitualmente, los indicadores se ponen al servicio de un
conjunto de objetivos, entre los que cabe reseñar los de identificar
los puntos fuertes y débiles del sistema, ayudar a su mejora continua, dis-
poner de información para compararse con otros sistemas, rendir cuentas
ante la sociedad, valorar los resultados obtenidos facilitando la toma de
decisiones y contar con referencias y con modelos de referencia.
5
Gil Traver (2004).
6 Aunque Jos indicadores no informan sobre qué hacer cuando la información
ofrecida pone de relieve carencias y debilidades, sí están orientados a facilitar la
toma de decisiones de mejora por parte de los responsables, fundamentalmente
políticos, dadas las variables que Jos integran.
7
Debemos hacer notar, no obstante, que algunas de estas características impli-
can ciertos riesgos para los sistemas educativos; si se tiene en cuenta el hecho d e que
la evaluación ejerce un efecto directriz sobre la realidad evaluada, esto es, que orien-
ta las actuaciones de profesores y alumnos, si determinadas variables, por su dificul-
tad de ser medidas objetivamente, como pueden ser los valores y las actitudes, no
forman parte de los indicadores, el riesgo es que los responsables de Jos centros edu-
cativos no las tomen en consideración, orientando sus esfuerzos hacia aquellas que
sí serán sometidas a evaluación. Con ello, se puede llegar a subvertir su sentido de
la propia evaluación, pasando de medio para la mejora o de instrumento a su servi-
cio a fin de las actuaciones educativas.
15.2.2. Algunos sistemas de indicadores
U no de los primeros sistemas de indicadores, e l Proyecto
Internacional de Indicadores de la Educación (JNES), debido a la
OCDE, elaborado por el Comité de Educación, y al Centro para
la I nvestigación e Innovación Edu cativa de la OCDE (CERI ) fue
iniciado en 1987. La publicación de 1995, con información
sobre 1991 / 92, recoge los indicadores agrupados en tres gran-
des ámbitos: Contexto de la enseñanza, Costes, recursos y procesos esco-
lares y Resultados de la enseñanza:
l. Contexto de la enseñanza (13 indicadores)

• Demográfico
• Económico y social
• Opiniones y esperanzas
Il. Costes, recursos y procesos escolares (27 indicadores)

• Recursos financieros
• Gastos de educación
• Fuentes de fondos educativos
• Participación en la educación
• Tiempo de enseñanza
• Procesos escolares
• Recursos humanos
• I+D educativo
III. Resultados de la enseñanza (11 indicadores)

• A nivel de los alumnos
- Progreso y frecuencia en la lectura
• A nivel del sistema de enseñanza
- Graduación en la enseñanza secundaria de segundo ciclo
- Graduación universitaria
- Títulos universitarios
- Personal en Ciencias e Ingeniería
• A nivel del mercado de trabajo

- Paro y nivel de formación
- Formación y salarios
- Formación de los trabajadores
- Situación del empleo para los que terminan su formación
Por su parte, la Comisión de las Comunidades Europeas, en

su documento Indicadores relativos a la calidad de la educación esco-
lar, o en el denominado Educación y formación 201 O (noviembre de

2003), también ofrece información en este sentido.
En el primero de ellos, después de presentar los "retos en mate-
ria de calidad de la Educación en Europa"8 , se recoge "una serie
limitada de dieciséis indicadores que abarcan los cuatro ámbitos
siguientes: nivel alcanzado ... , éxito y transición ... ; supervisión de la
educación escolar... y recursos y estructuras ... ". A continuación pre-
senta los 16 indicadores: Matemáticas, Lectura, Ciencias,
Tecnologías de la información y de la comunicación, Lenguas
extranjeras, Capacidad de "aprender a aprender", Educación cívi-
ca, Abandono escolar, Finalización de la enseñanza secundaria
superior, Escolarización en la enseñanza superior, Evaluación y
supervisión de la Educación escolar, Participación de los padres,
Educación y formación del personal docente, Asistencia a estable-
cimientos de enseñanza infantil, Número de estudiantes por orde-
nador y Gastos en materia de educación por estudiante.
Terminaremos nuestra reflexión analizando dos importantes
publicaciones, una de ámbito internacional, el Proyecto PISA
(Programme for International Student Assessment) y nuestro Sistema
fatatal de Indicadores de la Educación.
PISA es un programa promovido por la OCDE, cuyos datos son
recogidos en el año 2000 y, más recientemente, en 2003 (Mi-
nisterio de Educación y Ciencia, 2004). Se centra en tres grandes
áreas de saberes, con las correspondientes competencias:
Lectura, Matemáticas y Ciencias, con alumnos de quince años de
edad. Desde luego, nadie podrá poner en duda la importancia de
estos datos, teniendo en cuenta que su objetivo general es "cono-
cer cómo están preparados los alumnos de esa edad -[15 años]-
para afrontar los retos de la vida adulta en un contexto de vida
cotidiana" (INECSE, 2003: 3) si bien habrá que evitar los riesgos
derivados de reducir la educación a los aprendizajes en estos
ámbitos.
Para comprender el alcance de PISA es de gran interés la
siguiente información recogida en el último informe (INECSE,
2003):
8 Son los siguientes: del conocimiento, de la descentralización, de los recursos ,
de la inteligencia social y de los datos y de la comparabilidad.

PISA no es una evaluación curricular en la que se evalúa lo que
se le ha enseñado a los alumnos en la escuela. Es una evaluación de
los conocimientos y destrezas esperables en un alumno próximo a
terminar su escolaridad obligatoria y a punto de incorporarse al mer-
cado laboral o de proseguir estudios no obligatorios. El carácter no
curricular de PISA facilita que los resultados entre países sean com-
parables, con independencia de los distintos modos de organizar las
enseñanzas en cada país.
Por su parte, el Sistema Estatal de Indicadores de la Educación,

elaborado por el Instituto Nacional de Calidad y Evaluación
(INCE) que ha dado lugar a dos publicaciones, en 2000 y 2002,
recoge información sobre un total de 73 indicadores, agrupados
en torno a cinco grandes ámbitos:
• Contexto: Proporción de población en edad escolarizable,

PIB por habitante; Relación de la población con la activi-
dad económica; Nivel de estudios de la población adulta y
expectativas de nivel máximo de estudios.
• Recursos: Gasto total en educación con relación al PIB;
Gasto público en educación; Gasto público destinado a
conciertos; Proporción de población activa empleada
como profesorado; Alumnos por grupo y por profesor;
Alumnos por grupo educativo; Alumnos por profesor.
• Escolarización. Bloque muy amplio en el que se encuadran,
entre otros: Escolarización en cada etapa educativa;
Escolarización en las edades de O a 29 años; Esperanza de
vida escolar a los seis años; Evolución de las tasas de esco-
larización en los niveles no obligatorios; Educación infan-
til y secundaria post-obligatoria; Alumnado con necesida-
des educativas especiales; Alumnado extranjero; Forma-
ción continua.
• Procesos educativos: Tareas directivas; Perfil del director de
centros educativos; Tiempo dedicado a tareas directivas;
Número de horas de enseñanza; Número de horas de
enseñanza en educación primaria; Agrupamiento de
alumnos; Participación de los padres en el centro:
Pertenencia y participación en asociaciones de madres y
padres de alumnos; Trabajo en equipo de los profesores;
Estilo docente del profesor; Actividades del alumno fuera
del horario escolar; Tutoría y orientación educativa;
Asignación de las tutorías; Funciones de las tutorías y del

departamento de orientación en los centros de educación
secundaria obligatoria; Formación permanente del profe-
sorado; Relaciones en el aula y en el centro.
• Resultados educativos: Resultados en educación primaria;
Resultados en Lengua castellana y Literatura, en
Matemáticas; en Lengua inglesa; Resultados en educación
secundaria obligatoria: en Lengua castellana y Literatura,
en Matemáticas; Resultados en Ciencias Sociales, Geogra-
fía e Historia; Adquisición de actitudes y valores; Mani-
festación de conductas en los alumnos de educación pri-
maria y de educación secundaria obligatoria; Idoneidad
en la edad del alumnado de educación obligatoria; Tasas
de graduación; Tasa de actividad y de desempleo según
nivel educativo; Tasa de actividad según nivel educativo;
Tasa de desempleo según nivel educativo.
Sin duda, el sistema estatal es el más completo de los existentes

y representa un notable esfuerzo por abordar aspectos cercanos a
nuestro concepto de calidad de la educación, ya que en el aparta-
do de procesos educativos se incluyen indicadores relacionados con
la dirección de los centros, la participación de los padres en el cen-
tro, al trabajo en equipo de los profesores -esencial siempre que
de educación se hable- o el estilo docente del profesorado, la tuto-
ría y a la formación del profesorado, así como a las relaciones en
el aula y en el centro, donde se analiza el grado de satisfacción por
tales relaciones como manifestación del clima de aula.
Del mismo modo, en el ámbito de los resultados educativos se
dan pasos importantes al abordar el siempre difícil tema de los
comportamientos como indicios de las actitudes y los valores.
15.2.3. Sentido de los indicadores en nuestro contexto de referencia

Dos son, a mi juicio, las aportaciones fundamentales de los
sistemas de indicadores para la evaluación de programas:
• Proporcionar información sobre carencias objetivas que

fundamenten programas de actuación.
• Ofrecer información de referencia a la hora de valorar la
eficacia de los programas.
En el primero de los sentidos, conviene hacer notar que, por

encima de la dimensión polémica en la prensa9 cada vez que se
divulgan los resultados de las evaluaciones, como ocurrió en su
º
momento con las valoraciones del INCE 1 y, más recientemente con
los correspondientes a PISA 2003, estos sistemas arrojan luz sobre los
aspectos en los que los escolares presentan carencias: lectura com-
prensiva, ortografia, cálculo, razonamiento ... Tales carencias son
puestas de relieve a través de una serie de pruebas concretas que, en
la medida en que están construidas por expertos, nos ofrecen infor-
mación razonablemente fidedigna sobre el grado en que las com-
petencias, habilidades o destrezas que deberían ser dominadas por
el alumnado lo son en la realidad. Por tanto, centrando la atención
en tales competencias, debe ser posible reconocer puntos débiles
sobre los que construir programas adecuados.
Pero, una vez diseñados y llevados a cabo los programas, esos
mismos niveles de carencia pueden ser tomados como referencia
para apreciar el nivel o grado de eficacia de las actuaciones lleva-
das a cabo para su subsanación.
15.3. ARCHIVOS Y DOCUMENTOS
También en la línea de información disponible para la eva-

luación de programas, debemos hacer una breve referencia a la
existente en archivos y a la ya elaborada en documentos de diversa
índole.
15.3.1. Documentos
A los efectos de la evaluación de programas podemos encon-
trar importantes documentos que avalan la realización de accio-
nes sistemáticas, que respaldan determinados diseños de progra-
mas y que permiten decidir sobre la calidad inicial de las pro-
puestas como consecuencia de su coherencia con ellos.
9 Es habitual centrar la atención en el puesto que queda un país en relación con
los de su entorno. En nuestro caso, la prensa planteó muy críticamente el tema de la

situación de España en Lengua y Matemáticas en relación con otros países de la
OCDE. Vid. al respecto Ferrer y Massot (2005: 19-22).
IO INCE ( 1998).
El concepto de documento es bastante etéreo e impreciso. El

Diccionario de la RAE nos ofrece varias acepciones:
• "Diploma, carta, relación u otro escrito que ilustra acerca

de algún hecho, principalmente de los históricos".
• "Escrito en que constan datos fidedignos o susceptibles de
ser empleados como tales para probar algo".
La sociedad cuenta con importantes fuentes documentales,

de elaboración más o menos reciente, en las que encontrar y
extraer información relevante para nuestros propósitos.
A título de mero ejemplo, haremos referencia a algunos orga-
nismos que elaboran de forma más o menos periódica y sistemá-
tica documentos de gran relieve y de cuya consulta se puede
seguir tanto la justificación de determinados programas como su
fundamentación y, en su momento, disponer de datos de refe-
rencia para su evaluación.
15.3.1.1. Organismos y entidades nacionales públicas

En nuestro país, el Consejo Escolar del Estado viene elabo-
rando desde su fundación un Informe sobre el estado y situación del
Sistema educativo (2003), cuyo último volumen al publicar esta
monografía corresponde al curso 2002-2003. Los capítulos de este
volumen, con sus 725 páginas, son los siguientes:
• Introducción: aspectos generales del curso

• El sistema educativo español
• La participación educativa
• La cooperación política y administrativa
• La compensación de las desigualdades en la educación
• Los centros docentes
• El alumnado
• El profesorado
• La financiación
• El desarrollo normativo en educación
En el informe se vienen analizando las novedades que se dan

en el ámbito legislativo así como la situación de la comunidad
educativa en los diversos niveles previos a la Universidad, tanto
en el ámbito estatal como en el de las Comunidades autónomas
a partir del momento en que estas recibieron el traspaso de com-
petencias.
En los citados informes hay datos estadísticos valiosos, valía
que es todavía superior por constituir una serie histórica desde
1988.
El Consejo Escolar del Estado publica, también anualmente,
los documentos correspondientes a sus seminarios anuales, a los
que se vienen uniendo en los últimos años los propios del
encuentro de los consejos escolares autonómicos con el del
Estado.
Las últimas publicaciones en este ámbito son las siguientes:
• La convivencia en los centros escolares como factor de calidad.

Construir la convivencia. Año 2001.
• Los educadores en la sociedad del siglo XXJ. Año 2002.
• Inmigración y Educación: la intervención de la comunidad edu-
cativa. Año 2003.
• Formación profesional y empleo: hacia un espacio común. Año
2004.
Las personas interesadas pueden acudir a la sede del Consejo 11

o a su página web: www.mec.es/ consejo.
El Ministerio de Educación (en sus diversas denominaciones)
también edita documentos de importancia para el ámbito educa-
tivo. En los últimos años, años de reformas y contrarreformas, el
ministerio ha elaborado, entre otros, los siguientes documentos:
• Proyecto para la reforma de la enseñanza. Propuesta a debate.

1987.
• Libro Blanco para la Reforma del Sistema Educativo. 1989.
• Diseño Curricular Base. 1989.
• Modelo Europeo de Gestión de Calidad. 1997.
• Perfil del docente en el siglo XXI. 1999.
• La Educación Secundaria Obligatoria a debate. Situación actual
y perspectivas. 2000.
• Una Educación de Calidad para todos y entre todos. 2004.
11
C/ San Bernardo 49, 28015 d e Madrid.
Por su parte, y en el ámbito universitario, la CRUE, conferencia

de Rectores de las Universidades Españolas, edita informes y docu-
mentos de gran relieve, como puede ser el denominado Informe
Bricall 12 • Los informes están disponibles en www.crue.org/ . Tam-
bién se cuenta con información disponible en universia.es, el portal
de 812 universidades (www.universia.es/).
En el ámbito del denominado Espacio Europeo de Educación
Superior, los rectores, junto a los de la Unión Europea, han ela-
borado declaraciones de gran importancia, como son las de la
Sorbona, Bolonia o Praga.
La Institución del Defensor del Pueblo, por su parte, presen-
ta en su web (www.defensordelpueblo.es), en su apartado Informes
y documentos, un amplio grupo de documentos, además de los
específicos de sus funciones. En 2003 dio a conocer su informe
sobre Escolarización del alumnado de origen inmigrante en España:
análisis descriptivo y estudio empírico. Previamente, en 2000, lo hizo
en relación con Violencia escolar: el maltrato entre iguales en la educa-
ción secundaria obligatoria.
Un organismo oficial, el Centro de Investigaciones Socioló-
gicas (CIS), dispone de una notable serie documental, de interés
en el campo del diseño y de la evaluación de programas. En su
web (www.cis.es) nos informa de sus actividades y funciones. Las
más conocidas son las encuestas y barómetros de opinión. Sin
embargo, también podemos encontrar ARCES: archivo de estu-
dios sociales, el catálogo de instituciones, y un amplio catálogo de
publicaciones.
15.3.1.2. Organismos y entidades nacionales privadas

También la iniciativa privada ofrece documentos de interés.
Determinadas instituciones contribuyen con importante docu-
mentación para nuestros intereses.
La Sociedad Española de Pedagogía edita cada cuatro años las
actas de sus Congresos nacionales. El último, celebrado en
Valencia en septiembre de 2004, fue el número trece y segundo
iberoamericano, y se centró en el estudio de La Educación en con-
textos multiculturales: diversidad e identidad.
12
El informe lleva por título Universidad 2000, y puede ser localizado en múlti-
ples lugares virtuales, entre otros en http: / / www.crue.org/ informeuniv2000.htm.
Las actas de los congresos incluyen las ponencias de las dife-

rentes secciones en que se estructuran, una selección de las mejo-
res comunicaciones presentadas y defendidas, la documentación
correspondiente a posters, mesas redondas y talleres y las confe-
rencias generales.
Por lo general, las ponencias marco, elaboradas por los presi-
dentes de las secciones, se publican en la revista Bordón con ante-
rioridad al Congreso.
Los interesados tienen información, tanto sobre las actas
como sobre Bordón, en la sede de la Sociedad 13 y en su web:
www.uv.es/soespe.
La Fundación Foessa, en colaboración con Caritas, viene edi-
tando sus informes sobre la situación social de España, dedican-
do capítulos a la salud, la educación ... El último de los documen-
tos, La pobreza en España, puede encontrarse en forma de síntesis
en www.entornosocial.es/document/r22.htlm. Foessa viene edi-
tando informes desde 1966 sobre la situación social de España. El
V Informe sociológico sobre la situación social de España, de 1994, está
integrado por dos amplios tomos. Por su parte, Caritas también
ofrece una importante aportación documental en su portal
www.caritas.es, en concreto en relación con la pobreza y la exclu-
sión social.
En www.iniciativasocial.net, el portal del Voluntariado y las
ONG's, también se dispone de información relevante.
Por su parte, la Fundación Santillana, a través de sus Semanas
monográficas, viene tratando desde 1986 una importantísima
serie de temas 14, siendo los últimos los siguientes:
13
C/ Vitruvio, n 2 8. 28006 de Madrid
14 He aquí el listado: Los objetivos de la educación ante la vida artiva en la sociedad
futura. 1986; La educación ante las innovaciones científicas y tecnológicas. 1987; La educa-
ción postsecundaria ante la sociedad del conocimiento y las comunicaciones. 1988; Prospectiva,
reformas y /Jlanificación de la educación. 1989; La educación no formal. Una prioridad de
futuro. 1990; La educación infantil. Una /Jromesa de jitturo. 1991; Aprender para el futuro:
educación ambiental. 1992; Aprender para el futuro: educación para la salud. 1993; Aprender
para el futuro: afmndizaje y vida activa. 1994; Aprender para el futuro: educación y desarro-
llo. 1995; Aprender para el futuro: desafíos y oportunidades. 1996; Aprender /Jara el futuro:
la educación secundaria, pivote del sistema educativo. 1997; Aprender para el futuro: nuevo
marco de la tarea docente. 1998; Un futuro para el aprendizaje: la financiación de la educa-
rión. 1999.
• Aprender para el futuro. Educación a favor de la dignidad huma-

na. 2000.
• Aprender para el futuro: Universidad y sociedad. 2001.
• Educación para la convivencia democrática. 2002.
• Educación y orden de libertad. 2003.
• Educación de calidad para todos: Iniciativas iberoamericanas. 2004.
El lector puede recuperar la información en www.fundacion-

santillana.org/ espanol/ semana.htm.
Santillana también viene organizando unos ciclos de confe-
rencias bajo el título genérico de La Educación que queremos. El pri-
mero de los ciclos, de 1998, tuvo un contenido heterogéneo; sin
embargo, en el siguiente, en 1999, la temática general fue la rela-
tiva a la Enseñanza de las Humanidades. Los últimos ciclos se han
dedicado a los temas de Formar ciudadanos y Aprender en la sociedad
de la información. El lector puede recuperar la información en
www.fundacionsantillana.org/ espanol/ educacion.htm.
Otras organizaciones también elaboran estudios de gran relie-
ve para la educación, por lo general a través de sus fundaciones
respectivas. Tal es el caso de la Fundación "La Caixa", que viene
prestando atención al fenómeno de la inmigración. En 2000
publicó un trabajo colectivo titulado La inmigración extranjera en
España. Los retos educativos. Colección Estudios Sociales n º 1, vol-
viendo sobre el tema con el n º 11 de dicha colección, debido al
Colectivo loé, titulado Inmigración, Escuela y Mercado de trabajo.
Una radiografía actualizada.Junto a ellos, otros importantes títulos,
como La inserción laboral de las personas con discapacidades, Pobreza y
exclusión social. Un análisis de la realidad española y europea, La f ami-
lia española ante la educación de sus hijos, Los jóvenes ante el reto euro-
peo ... El lector puede encontrar documentación de la Fundación
en www.estudios.lacaixa.comunicacions.com /we bes/ estudis.nsf/
pfeshomecos_esp.
La Fundación también edita Anuario social de España, con indi-
cadores sociales tanto municipales como provinciales.
Haremos mención, por último, al Club de Roma (http://www.
clubofrome.org/about/ index.php). Surgido en esta ciudad en
1970 a partir del encuentro previo, en 1968, de 35 personalidades
de 30 países entre los que se encontraban académicos, científicos,
investigadores y políticos que compartían una gran preocupación
por los cambios que estaban afectando a nuestra sociedad. Su obje-
tivo era el de investigar, alentar métodos e interesar a funcionarios

y grupos influyentes de los principales países sobre las perspectivas
de la crisis en progreso que está afectando el medio ambiente.
Al cumplirse los treinta años de su constitución, el Club de
Roma contaba con cerca de 100 miembros provenientes de 52
países, habiendo publicado y difundido 21 informes sobre nume-
rosos temas de la problemática de la crisis actual, manteniendo
una posición influyente en el ámbito internacional.
Uno de sus informes más conocidos fue el editado por Santillana
en 1979, debido aj. W. Botk.in, M. Elmandjra y M. Malitza, titulado
Aprender, horizonte sin límites. Recientemente -2001- ha editado
Irifwmation Society and theDemographic Revolution, debido a S. P. Kapitza.
Tienen en preparación los siguientes informes:
• Governance in an Era of Globalisation.
• 1O.000 Cultures, One Civilisation.
• Te Diabled - an Integral Part of Humanity.
• Work in Old Age.
• The Urbanised Humanity, debido a Jesús Moneo, presidente
del capítulo español del Club de Roma.
15.3.1.3. Documentos internacionales

En este ámbito internacional no podemos dejar de lado, por su
extraordinario relieve, las aportaciones de la ONU y de la UNESCO.
La Declaración Universal de los Derechos Humanos y la
Declaración de los Derechos del Niño son ejemplo de documen-
tos que pueden avalar el diseño de programas en educación.
Por su parte, UNESCO viene elaborando periódicamente
documentos de gran relieve, como puede ser la Declaración
Mundial sobre educación superior o sobre Diversidad cultural 15 •
Dada la gran cantidad de documentos elaborados, UNESCO per-
mite acceder a ellos a través de un buscador en http: / /unes-
doc.unesco.org/ ulis/ index.html/
15
El lector puede consultar, entre otros, los siguientes: UNESCO (1998). La
Educación superior en el siglo XXI: Visión y Acrión. Documento de trabajo. UNESCO (1998).
Dec/,aración Mundial sobre la Educación sufJerior en el siglo XXJ: Visión y Acción. Puede encon-
li-arse en www.unesco.org/ education / educprog/ wche/ declaration_spa.htm. UNESCO
(2002). Declaración Universal de la UNESCO sobrr Divrrsidad Cultural. De la diversidad al
/Jluralismo. Vid. en http: / / www. unesco.org/ cu lture/ pluralism/ diversity/ html_sp/
index_sp.shtml
La Unión Europea también elabora informes y documentos

de expertos internacionales de gran relieve para nuestras necesi-
dades. Ejemplos de este tipo de documentos pueden ser el dado
a conocer en Brujas en 2001 sobre un tema de tanta actualidad
como el de la diversidad: Unity and diversity: the contribution of the
social sciences and the humanities to the European Research Area, en el
marco de la presidencia belga 16•
El lector puede encontrar amplia documentación en http:/ /
europa.eu.int/index_es.htm, el portal de la Unión Europea.
15.3.2. Archivos
La Real Academia Española define archivo como "Coajunto orde-
nado de documentos que una persona, una sociedad, una institu-
ción, etc., producen en el ejercicio de sus funciones o actividades".
Pues bien, en un sentido amplio, la sociedad dispone de archi-
vos, tanto personales como institucionales, en los que hay infor-
mación que puede ser relevante a nuestros propósitos y que
podrá ser analizada mediante técnicas como el análisis de conteni-
do, al que nos referiremos más adelante.
En el apartado dedicado a Cultura, dentro del Ministerio de
Educación y Ciencia (http:/ /www.mcu.es/archivos/indexjsp) se
puede consultar Archivos Españoles en Red, donde se encuentra
información, entre otros, sobre los siguientes:
Archivo General de Indias
Archivo Histórico Nacional
l\Rl 111\'0S
Archivo General de Simancas
t. ~J'i\:'-Ult ,~ 01 RfO Archivo Histórico de la Corona de Aragón
En ese mismo apartado, en http:/ /www.mcu.es/archivos/jsp/
plantillaAnchojsp?id=6, se encuentra una bibliografía de archi-
vos y un boletín de información bibliográfica. Allí se nos informa
de las aportaciones de la página:
Catálogo que recoge todas las publicaciones de la biblioteca del

CIDA, así como los artículos de revistas y de publicaciones misceláneas
que suponen la mitad de los registros. Cuenta con unos 35.000 regis-
tros, de los que alrededor de 9.000 corresponden a censos, guías, catá-
16
Verlaeckt y Vitorino (eds.) (2001).
logos e inventarios de todos los archivos españoles, así como de los prin-
cipales archivos extranjeros. Destaca la información detallada que pro-
porciona del contenido y tipología de cada publicación a través de
materias y descriptores. Se inició en 1978 y se actualiza regularmente.
En la web del Centro de Investigaciones Sociológicas (CIS)

(www.cis.es) podemos encontrar ARCES: archivo de estudios
sociales. Por su parte, el Centro Virtual Cervantes (http:/ / cvc.
cervantes.es/obref/arnac/), que define los Archivos Estatales
como "el fruto de una historia cultural dilatada y de ímprobos
esfuerzos de conservación que se han venido desarrollando desde
hace siglos", también cuenta con importante documentación.
Citaremos también una importante web de enlaces: http:/ /
www.arsvirtual.com/info/enlaces.htm.
Por último y para terminar, y como muestra de la gran canti-
dad de información disponible, citaremos una web específica:
http:/ /www.nodo50.org/utlai/archivos.htm, donde se puede ac-
ceder a programas y archivos de interés, debida a la Asociación
Cultural Usuarios de Tiflotecnologfo para el Libre Acceso a la Infor-
mación. Entre sus objetivos se encuentran los siguientes:
A) Conseguir el libre acceso de las personas ciegas y deficientes
visuales a la información.
B) Proponer medidas que permitan la estandarización en los procesos
informativos, predominantemente informáticos, y en los medios
para conseguirlos.
C) Elaborar y presentar propuestas ante entidades públicas y priva-
das que por su actividad puedan poner en marcha procedimien-
tos para mejorar los sistemas de comunicación.
D) Propiciar el intercambio mutuo, el asesoramiento y la orientación
entre los miembros de la Asociación sobre las posibilidades tiflo-
técnicas, los recursos materiales y los servicios sociales existentes.
E) Recoger de los socios y canalizar propuestas sobre las necesidades
que como usuarios tienen y las dificultades que encuentran para
un total y libre acceso a la información.
F) Reivindicar la desaparición de los obstáculos que impiden a las
personas ciegas y deficientes visuales el aprovechamiento de los
recursos sociales y culturales disponibles para todos los ciudada-
nos en la comunidad.
Como puede comprobarse, información muy valiosa cuando

se trata de diseñar y de evaluar programas en el ámbito corres-
pondiente.
CAPÍTULO 16
LAS APORTACIONES DE LOS EXPERTOS.

LA TÉCNICA DELPHI
ÜBJETTVOS

capaz de:
• Las aportaciones de la consulta a expertos como fuente de

información para la evaluación.
• Las características, adecuación, aportaciones y limitacio-

nes de la técnica Delphi.
• El proceso de aplicación de Delphi.

Hemos tenido ocasión de dejar constancia de que la compleji-

dad de los programas y la diversidad de sus objetivos, así como la
correspondiente a su evaluación, hacen aconsejable aplicar el prin-
cipio de complementariedad metodológica, acudiendo a diversas
fuentes productoras de datos, utilizando metodologías diferentes y
tratando de integrar la información así recogida para llegar a emi-
tir los juicios valorativos en que consiste toda evaluación.
Pues bien, con este marco de referencia, una fuente produc-
tora de información de extraordinario valor y utilidad en deter-
minadas situaciones y para cierto tipo de objetivos la constituyen
los denominados expertos; su aportación, en efecto, puede resultar
de extraordinario interés y utilidad.
Analizaremos a continuación la naturaleza, problemática y
aportaciones de esta fuente de datos y de la técnica Delphi para
su recogida, análisis y presentación.
16. l. LA CONSULTA A EXPERTOS
La consulta a expertos puede tomar formas diferentes, desde

la denominada "entrevista en profundidad" 1 a la encuesta por vía
de cuestionario, llevada a cabo por medios diversos, desde el tra-
dicional correo a los actuales sistemas de correo electrónico,
pasando por la visita de encuestadores. Aquí nos ocuparemos de
una técnica no muy utilizada entre nosotros pero de gran valor,
como tendremos ocasión de comprobar, y muy adecuada a los
tiempos que corren, dada Ja posibilidad de aplicarla sin grandes
dispendios de tiempo y medios mediante las nuevas tecnologías.
Nos estamos refiriendo a Ja técnica DelfJhi.
A juicio del Grupo de Investigación de Tecnologías de la
Información y Telecomunicaciones (GITC) de la Universidad
Politécnica de Madrid, las consultas a expertos no hacen sino uti-
lizar como fuente de información a personas a las que se supone
un conocimiento elevado del tema o problema a tratar.
Entre las situaciones que el GITC considera adecuadas para
servirse de esta metodología se encuentran las siguientes:
1
La expresión "e n profundidad" parece no ser correcta en términos puramen-
te lingüísticos. Podríamos hablar mejor de "entrevista profunda o intensiva".
LAS APORTACIONES DE LOS EXPERTOS 323
• Cuando se carece de datos históricos sobre el tema.
• Cuando el impacto de los factores externos tiene más influencia
en la evolución del tema que el de los factores internos.
• Cuando las consideraciones éticas o morales dominan sobre las
económicas y tecnológicas en un proceso de cambio 2 .
A juicio del GITC, las ventajas de estos métodos de expertos

son:
• La calidad de la información: la información que aportan siempre
está más contrastada que la que pueda ofrecer el mejor preparado
de todos los consultados.
• La complejidad: el grupo somete a consideración un mayor núme-
ro de factores o aspectos que los que puedan ser aportados por
una sola pe1-sona.
Pero también deben tenerse en cuenta algunos inconvenien-

tes, entre los que conviene destacar por su relieve, y con la inten-
ción de que sean evitados, los siguientes:
• La presión social del grupo sobre sus miembros: como conse-

cuencia de ella pueden surgir acuerdos con gran respaldo aunque
éstos no sean ciertos o correctos. Uno o varios miembros del
grupo, como fruto de tal presión, pueden renunciar a defender su
posición.
• La tendencia a la supervivencia del grupo: en los estudios de pros-
pectiva, a los que se refiere en especial el GITC, "El grupo hace de
su supervivencia un fin", lo que puede provocar la tendencia a
conseguir un acuerdo en lugar de producir una buena previsión.
• La vulnerabilidad: ciertas características personales (prestigio) o la
posición de algunos miembros del grupo (puesto desempeñado)
pueden afectar seriamente al trabajo y resultados del conjunto.
• Los sesgos: pueden darse sesgos en función de la procedencia o
cultura de los miembros. La homogeneidad de los miembros del
grupo reduce las posibilidades del debate y, por tanto, de la rique-
za y valía de las aportaciones.
Pues bien: parece que el método ideal no es otro que aquel

que logra compaginar en mayor grado las aportaciones con el
2 Se trata de evitar un retraso tecnológico como consecuen cia de reservas mora-

les. La cuestión es, por tanto, muy delicada: baste pensar en el actual problema rela-
tivo a la clonación.
control de las limitaciones, algo que a juicio de este grupo es lo

que pretende el método o técnica Delphi.
16.2. ADECUACIÓN DE lA TÉCNICA DELPHI
Si recordamos la propuesta general de evaluación de progra-

mas, con sus tres momentos -inicial, procesual y final3- la técnica
Delphi resulta especialmente adecuada para la primera etapa, la
evaluación inicial de la calidad intrínseca del programa. Si se con-
sidera que la evaluación de necesidades es una etapa diferente de
esta evaluación inicial, previa a ella y con sustantividad propia,
también podemos considerar que nuestra técnica resulta espe-
cialmente adecuada para tal modalidad evaluativa.
16.2.1. Delphi y la evaluación de necesidades

En nuestros planteamientos sobre evaluación de necesidades
hemos hecho notar las diferencias existentes entre necesidades, caren-
cias, demandas y expectativas. Parece lógico pensar, al menos en una
primera aproximación, que nadie como las propias personas con
tales necesidaCles, carencias ... para expresarlas y ponerlas de mani-
fiesto. Sin embargo, y con más frecuencia de lo que cabría esperar,
muchas de las personas con carencias no las reconocen como tales
y, por tanto, no las sienten como necesidades ni las expresan como
demandas. Con mucho más motivo, muchas personas no son capa-
ces de formular expectativas razonables para su futuro.
Por el contrario, personas con formación y experiencia cono-
cen la realidad y son capaces de percibir, apreciar y demandar la
debida atención para tales carencias, necesidades y expectativas.
Por tanto, la consulta a tales personas permitirá reconocerlas,
identificarlas y caracterizarlas.
Ahora bien: no es lo mismo contar con la aportación y el
punto de vista de una persona, por experta que sea, que con un
documento que recoja e integre las aportaciones de varias, cono-
ciendo las posiciones de sus colegas, mediante un procedimiento
sistemático. Y esa es la gran aportación de Delphi.
!I El momento de institucionalización no hace sino aplicar reiteradamente los

planteamientos evaluativos.
16.2.2. Delphi y la evaluación de la calidad intrínseca del programa
Parece obvio que emitir un juicio de valor sobre la calidad de
algo es una cuestión reservada a personas con experiencia y for-
mación en el objeto de que se trate, en este caso, del programa a
evaluar.
Si bien la palabra experto puede tener connotaciones diversas,
algunas muy estrictas -persona reconocida por sus cualidades
excepcionales en un ámbito determinado- no es menos cierto que,
en sentido amplio, y atendiendo a diversas circunstancias, puede
aplicarse a personas que no reúnen tal condición, pero cuyo juicio
resulta de primera importancia para el caso de que se trate.
Así, en el caso de un programa destinado a alumnos, estos no
pueden ser catalogados como expertos, pero no parece que pue-
dan existir dudas de que su juicio es el fundamental en lo refe-
rente a aspectos como el interés que despierta el programa, su
comprensibilidad, su adecuación ...
Lo anterior resulta especialmente cierto si al identificar estos
"expertos" se toma la precaución, que no es sino una decisión téc-
nica, de asegurar que los consultados representen las diversas
tipologías del alumnado destinatario: más o menos interesados,
con mayor o menor formación previa, con aptitudes más o menos
elevadas ...
Esta es la razón de que, a la hora de evaluar un programa,
cuando sea preciso acudir al juicio experto y decidamos utilizar
Delphi, debamos caracterizar los diversos tipos de expertos y selec-
ionarlos con criterios técnicos, criterios que, en lo esencial, tie-
nen que ver con la suficiencia de su número y su representatividad,
tanto en relación con los diversos ámbitos, dimensiones o aspec-
tos que serán evaluados como en referencia a los colectivos de los
que forman parte 4 .
1
Como ejemplo, la profesora S;1nchez Morales, en un estudio sobre las técnicas
dt· fecundación asistida y la ingeniería genética (formalmente no es una técnica
/)f'l/Jhi, aunque haya consulta a expertos), toma expertos en el ámbito de la medici-
na , de la ciencia, de la ética y la moral y de la judicatura, pero también consulta a
lt'presentantes de diversas asociaciones feministas. Con ello pretende lograr la cita-
d,1 representatividad; al elegir entre 5 o 6 expertos de cada campo, busca la sufi-
c i1 ·11 cia. Si, además, dentro de cada grupo se asegura la presencia de diversas posi-
ciones -si las hubiere- la representatividad se asegura en mayor grado. Vid. Sánchez
Morales (1996: 29-46).
16.2.3. Delphi y la calidad de los instrumentos de recogi,da de información

Si el diseño de un programa reúne las condiciones exigibles,
uno de los momentos más delicados por su trascendencia es el de
elaborar los instrumentos técnicos -encuestas, cuestionarios, lis-
tas o guiones de observación ... - con los que se recogerá y organi-
zará la información que deberá ser sometida a valoración.
Podríamos afirmar que en tal momento se ha decidido la cali-
dad de la evaluación, ya que esta no podrá ser superior a la que
alcance la calidad de la información recogida. Por tanto, asegurar
que sea útil, valiosa, válida y fiable resulta fundamental para
poder llegar a una evaluación de calidad del programa.
Para la valoración de los instrumentos de recogida de infor-
mación se suele acudir a expertos, a los que se solicita que emitan
valoraciones en relación con aspectos tales como:
a) Ja suficiencia de los elementos -ítems- incluidos para medir el

objeto de que se trate;
b) la falta o sobra de algún elemento para "medir" la variable de que
se trate;
c) la asignación de tales elementos a las diferentes dimensiones que
constituyen el instrumento de recogida de información;
d) ciertas características de los diversos ítems, tales como su claridad ,
importancia, precisión ...
Pues bien, este proceso, realizado por lo general mediante

consulta por vía de cuestionario, puede enriquecerse y mejorarse
acudiendo a la técnica Delphi, ya que sus específicas características
garantizan en mayor medida el logro de instrumentos ricos, fia-
bles y válidos.
16.2.4. Delphi y la interpretación y valoración de la información recogi,da

En la medida en que la información responda al principio de
complementariedad aquí recomendado, no resulta sencillo llegar
a juicios de valor puesto que es necesario integrar la que procede
de fuentes, métodos, técnicas e instrumentos diferentes.
En este sentido, la aportación de expertos podría resultar de
gran utilidad, si bien es preciso dejar constancia de la dificultad
de aplicar Delphi a este tipo de situaciones dadas las características
de la técnica, que analizaremos en el punto siguiente, en particu-
lar la necesidad de concretar una serie de preguntas a las que los
expertos deberán dar la debida respuesta.
16.3. CONCEPTO Y CARACTERÍSTICAS
Delphi, también conocida como Método Delfos 5 , es una técni-

ca de grupo, surgida a mediados de los años 60 (hacia 1964), con
frecuencia al servicio de objetivos de innovación, prospectiva y
creatividad. Para Linstone y Turoff ( 1975),
El Delphi puede ser caracterizado como un método para estruc-

turar el proceso de comunicación grupal, de modo que ésta sea efec-
tiva para permitir a un grupo de individuos, como un todo, tratar con
problemas complejos.
Por su parte, Helmer y Rescher ( 1972: 115-135), centrando su

atención en el desarrollo de Delphi, afirman:
El Método Delphi es un programa cuidadosamente elaborado,

que sigue una secuencia de interrogaciones individuales a través de
cuestionarios, de los cuales se obtiene la información que constituirá
la retroalimentación para los cuestionarios siguientes.
Probablemente, lo esencial de Delphi sea su orientación hacia

el logro de un consenso o, al menos, de una convergencia, en las
posiciones del grupo de expertos en relación con el tema al que
se aplica.
Junto a su objetivo, cabe destacar algunas características fun-
damentales:
• La discusión entre expertos no se da mediante la interac-

ción directa sino a través de una persona que coordina el
5 El nombre de Delphi proviene de Delfos, una ciudad de la antigua Grecia pró-

xima al monte Parnaso, donde se situaba el conocido oráculo de Apolo. Según la
Mitología, Delfos fue primeramente sede del oráculo de la diosa Gaea, a la que
Apolo habría expulsado del santuario. Los sacerdotes de Delfos desarrollaron un
1 itual con la sacerdotisa Pythia como protagonista, cuyas palabras eran aceptadas
1 omo las del propio Apolo. El oráculo, afectado por los más variados avatares deri-
\ados de las diversas guerras y conquistas, permaneció en Delfos hasta el 390 de
1111esLra Era.
grupo, que envía y recoge la información. Se pretende

garantizar el anonimato evitando así la presión del grupo a
que hemos hecho alusión como un inconveniente de estas
consultas.
• La información es escrita y se concreta en un cuestionario,
sobre cuyo contenido se manifiesta el experto consultado.
• El procedimiento es iterativo, esto es: un proceso reiterado
de consulta a través del cual los expertos emiten sus valo-
raciones, conocen las de los demás, matizan o no sus apor-
taciones hasta llegar, si se puede, a una convergencia de
posiciones
Por último, vale la pena recordar que el concepto de experto

debe tomarse en un sentido amplio. Experto, a estos efectos, es
toda persona que pueda emitir aportaciones o valoraciones ade-
cuadas o relevantes en relación con el objeto de consulta. En tal
sen ti do puede ser considerado como un informador clave, dado
que posee la información que necesita la persona que evalúa el
programa.
16.4. PROCESO
Delphi, como cualquier técnica utilizada en un proceso de eva-

luación de programas, debe reunir ciertas condiciones de rigor.
Estas condiciones, en esencia, se concretan en la necesidad de
responder a un plan de acción y en su carácter sistemático.
Planificación y sistematicidad son dos condiciones exigibles a esta
técnica como a cualquier otra que aspire a alcanzar un estatus ele-
vado.
Decididos los objetivos a los que sirve, la aplicación de Delphi
debe seguir una serie de pasos que, en sus aspectos esenciales,
bien podrían ser los siguientes¡;:
i; En este punto, como en tantos otros, las coincidencias no son plenas, aunque
si se aprecie un notable grado de coherencia. En este sen licio, l. Konow señala que
sea cualquiera que sea el tipo ele Delphi se pueden distinguir cuatro fases: a) La pri-
mera se caracteriza por la exploración del tema en discusión. Cada individuo con-
tribuye con la información adicional que considera pertinente. b) La segunda com-
prende el proceso en el cual el grupo logra una comprensión del tema. Salen a la
luz los acuerdos y desacuerdos que existen entre los parlicipantes con respecto al
16.4.1. Planificación
Una vez seleccionada la técnica como la más adecuada al tipo
de información que se ha de recoger para la evaluación, es pre-
ciso establecer el plan de aplicación, cuyos componentes funda-
mentales son:
• Fijación del contenido de la consulta

• Traducción del mismo a preguntas
• Establecimiento de los criterios para la selección de los expertos
o informadores
• Decisión en torno a los momentos en que se aplicará la consulta
• Duración prevista.
16.4.2. Elaboración del documento

No es fácil ofrecer una orientación precisa en este punto, ya
que las situaciones a las que puede aplicarse Delphi son muy
variadas 7 .
En efecto: no es lo mismo partir de una situación muy ines-
pecífica, como puede ser la de explorar un asunto o tema cuasi
d esconocido -¿Cuáles son las necesidades de formación de u:na deter-
minada población?- que demandar información a partir de otra ya
d isponible -¿Son, a su juicio, las siguientes necesidades las más impor-
tantes/urgentes?- o que establecer prioridades -Ordenar, de mayor a
menor importancia/urgencia una lista de carencias/necesidades- de
entre varias necesidades ya identificadas.
En ese mismo orden de cosas, no implica la misma dificultad,
ni, por tanto, el mismo procedimiento, explorar necesidades que
aplicar unos criterios ya establecidos a unos documentos: por ejem-
plo, valorar la claridad y adecuación en la formulación de los obje-
tivos, la actualización de la fundamentación de un programa, la
adecuación de unos materiales a unos destinatarios concretos ...
lema. c) La terce ra explora los desacuerdos, se extraen las razones ele las diferencias
y se hace una evaluación de ellas. el) La cuarta es la evaluación final. Esto ocurre
mando toda la información previamente reunida ha sido analizada y los resultados
oh1enidos han siclo enviados como retroalimentación para nuevas consideraciones.
7
La diversidad de situaciones explica Ja variedad de tipos de preguntas a las que
.liuden algunos autores: Preguntas abiertas, de ranking, de votación, de control
(c-~ p ecialmente adecuadas para comprobar la coherencia de respuestas de los pane-
li \tas) , de fechas y de probabilidades. Vid. Konow y Pérez (1990).
En definitiva: el documento que se someterá a los expertos

puede tomar formas variadas según la naturaleza del objeto, el
grado de elaboración de partida, los objetivos que los evaluado-
res esperan conseguir del juicio de los expertos ...
16.4.3. Selección de los informantes

Se debe asegurar suficiencia y representatividad. El número
de expertos variará en función de su homogeneidad y de la temá-
tica objeto de la consulta.
Las temáticas complejas requieren más expertos. Algo similar
puede afirmarse de la complejidad de los temas: cuando estos
presentan aspectos y enfoques muy diferentes, cuando existen
planteamientos conocidos claramente discrepantes, parece nece-
sario asegurar que todas las posturas tengan la debida represen-
tación en el grupo8 .
Otro elemento a tener en cuenta es el de las previsibles pér-
didas. Generalmente, las personas consultadas, sobre todo cuan-
do se trabaja con expertos en sentido fuerte del término, tienen
muchos compromisos y múltiples actividades. Formar parte del
grupo les ocupa tiempo y bien podría ocurrir, sobre todo si no
están muy interesados personalmente en el tema, que abando-
nen una vez pasado algún tiempo, sobre todo si este se prolonga
más de lo esperado. En tales casos, bien vale la pena contar con
más expertos de los inicialmente necesarios e, incluso, de dispo-
ner de "reservas" 9 .
16.4.4. Contacto con los informantes

Las posibilidades de sacar adelante esta técnica se liga en
grado notable a la habilidad del evaluador para implicar a los
expertos. Conseguir una presentación atrayente, comprometer
en la tarea e ilusionar en la misma resulta fundamental. Ni que
decir tiene que una situación muy favorable es aquella en que la
8 Recuérdese lo dicho en una nota a pie d e página previa en relación con la
investigación de Sánchez Morales.

9 Que deberían ser lo más semejantes posible -en nivel de expertos, en el tema
de la consulta, en el aspecto al que contribuyen con sus aportaciones .. .- a los exper-

tos "titulares".
persona que se sirve de Delphi tiene buenas relaciones personales

con quienes actuarán como expertos, o bien que puede acceder
a ellos a través de otras personas de relieve y ascendencia. En cual-
quier caso, el trato directo, personal cuando se pueda, o telefóni-
co como sustituto, resulta muy aconsejable.
Ese contacto implica la presentación de la tarea, la informa-
ción sobre el compromiso que adquirirán y, en reciprocidad, el
compromiso del evaluador de hacerles partícipes de los resulta-
dos alcanzados.
16.4.5. Condiciones de aplicación

Una cuestión muy importante es la garantía de anonimato con
respecto a los demás expertos y de confidencialidad de las respues-
tas, algo que puede lograrse dando a cada uno de ellos un código
que les permita identificarse sin ser reconocidos por el resto.
El anonimato y la confidencialidad aseguran una mayor liber-
tad a la hora de responder, algo que podría verse restringido en
el caso de conocer la identidad del resto de expertos, sobre todo
en el caso de que entre ellos se encuentren personas de gran pres-
tigio y reconocimiento. Otros miembros del grupo podrían sen-
tirse sin libertad para discrepar, bien por no disentir de ellas, bien
porque sus valoraciones, por proceder de tales expertos, sean
aceptadas (argumento de autoridad).
16.4.6. Los envíos

Una vez aceptado el compromiso, el evaluador debe enviar el
documento a valorar, con las instrucciones pertinentes, claras y
precisas, para que todos los expertos sepan qué deben hacer, sin
dar lugar a interpretaciones personales que pueden originar res-
puestas desde diferentes perspectivas, traduciéndose en lo que
podríamos llamar varianza de error (diferencias entre expertos
que no se deben a posiciones diferentes sino a interpretaciones
distintas de lo que el evaluador solicita).
Primer envío
En ocasiones -en especial en el caso de estudios de prospecti-
va- se considera preferible que este primer envío se encuentre
dcsestructurado. La tarea de los consultados sería la de establecer
cuáles son los aspectos y tendencias más importantes que van a

suceder en el futuro referentes al área en estudio.
Junto a esta documentación, la fundamental, conviene ofre-
cer una información, breve a la vez que suficiente, sobre la natu-
raleza de la técnica y las exigencias que representa, por si alguno
de ellos no la conociera con suficiente profundidad. Otras infor-
maciones de menor calado, pero de gran interés para el desarro-
llo del proceso, tienen que ver con las fechas de devolución del
cuestionario y hasta del tipo de respuesta que se espera.
En este sentido, suele recomendarse que en el primer envío
quepan respuestas abiertas, al menos en cierta medida, a fin de
que afloren las posiciones y los matices diferentes. Este hecho, sin
embargo, implica para el evaluador la necesidad de organizar las
respuestas, sobre todo si son muy amplias, de cara a posteriores
envíos, tarea para la que puede servirse de la técnica de análisis de
contenido estudiada en esta monografía.
Segundo envío
Las respuestas dadas por los expertos se organizan de forma
que puedan ser conocidas por todo el grupo, de modo que, a la
vista de esta valiosa información, cada uno de ellos pueda matizar
su primera respuesta.
Las tareas que pueden demandarse en este segundo envío
pueden ser, también, muy diversas. Una de las más comunes con-
siste en ordenar aplicando algún criterio -importancia, urgencia,
interés, utilidad ... - la información recogida. La información
puede solicitarse acudiendo a algún tipo de escala, siendo la más
común la conocida como de tipo Likert.
Los resultados podrán ser tratados por algún procedimiento
estadístico que permita conocer la valoración global del conjunto
de los expertos.
Tercer envío
Con frecuencia, este tercer envío es el último. En él los miem-
bros del grupo conocen la posición global, lo que les permite con-
trastarla con la suya propia, así como las razones argüidas para lle-
gar a ella. De esta forma, cada miembro del grupo puede matizar,
si lo considera conveniente, su posición.
¿Un cuarto envío?

No es fácil determinar el número de envíos necesarios. Lo
que de positivo puede tener continuar el proceso, tratando de
alcanzar el máximo de convergencia y acuerdo, puede volverse
contra el evaluador, que puede perder miembros del grupo.
En general, no es fácil conseguir más de tres envíos y respues-
tas, aunque algunos trabajos llegan a recoger un proceso de cua-
tro y cinco pasos. Algunos autores proponen la realización de un
cuarto envío en el que se pide a los expertos cuyas valoraciones
son más alejadas -se sitúan en uno de los dos extremos- que jus-
tifiquen sus posturas 10 .
Es el evaluador el que debe ver si lo logrado en ese tercer envío,
para el que puede utilizar técnicas estadísticas, como puede ser el
coeficiente W de Kendall 11 , resulta suficiente para sus fines, si ha
logrado razonablemente los objetivos que se propuso.
16.4.7. Informe
Por lo general, la técnica concluye con el envío a los miem-
bros del grupo, como información y como reconocimiento, del
resultado final alcanzado. Obviamente, esto es independiente del
fruto que obtiene el evaluador, que es el resultado que estaba bus-
cando y que, en función de sus objetivos, le permitirá tomar deci-
siones diversas: abordar la satisfacción de unas necesidades en
lugar de otras mediante un programa concreto, fundamentar
mejor el programa, mejorar la redacción de sus objetivos, optimi-
zar los medios y recursos ...
El siguiente esquema fue el utilizado por el GITC en un tra-
bajo de prospectiva, que puede encontrarse en http:/ /www.
gtic.ssr.upm.es/encuestas/delphi.htm. En él, el término "envío"
utilizado por nosotros, es sustituido por el de "circulación": pri-
mera, segunda, tercera.
10
Así, en el caso en que los expertos deban evaluar puntuando o calificando en
función de su interés, utilidad, urgencia, importancia, se les puede pedir tal justifi-
·a ión a quienes se sitúan más allá de una desviación intercuartil.
11
Ya nos hemos referido a él como un indice estadístico del grado de concor-
dancia entre las ordenaciones de varios jueces. El lector puede conocer su naturale-
1.a y cálculo en Siegel (1976: 26-273) .
PROCESO DELPI-Il
~
________, $
>Definición de Jos 'iUCC'4:>s. > E.lalxll'ación del l er
> Selección cid Pand de n1esli(>11ario. >Rc><puc"lmsal lercucstiornuio.
Expcncr...
...._> E1wiu del kr u 1Dtionario
> Amíli-.is est.adí!ltico de l<L'i ~ > Lc..-cturade bt<tre.,put->tasclcl

ft''ilJllL"il.t~ del gru po. g:ruptl yc0tnp:m.1ción con la.s pro·
> Ac\icitln cid ,málisis t."L:idíMico pi<tHmilid;.tr;en la 1•cirrnlacion .
._••_l?_' c_u(:_" _io_na_iio
- 'y'-e-m_
io_. _ _, > Rl''iput-...;ta't al 2" cuestionario.
> Amifo,i.¡ l''(!adístico final dc las

rt-.;put...,t;L't dd grupo.
> Prt"\l't1taci6n ele íC"iu\l.,_1do" al
Grupo ele Tn1h;!jo.
16.5. APORTACIONES Y LIMITACIONES DE DELPHJ
Parece claro que Ja gran aportación de la técnica Delphi resi-

d e en alcanzar una evidencia de autoridad en relación con el pro-
blema que preocupa al evaluador. Este hecho podría ser muy
difícil de lograr sin Delphi, como ocurre cuando los expertos están
muy dispersos y lejos unos de otros.
La técnica, y los medios modernos, como ocurre en la actuali-
dad con el correo electrónico, facilitan la recepción de la opinión
de personas muy distantes en un tiempo relativamente breve.
Sin embargo, Delphi presenta limitaciones inherentes a su
misma naturaleza. En efecto: se parte , de alguna manera, de una
concepción igualitaria de las valoraciones, lo que hace que se
conceda mayor importancia a aquellas valoraciones que reciben
más apoyo, sin perjuicio de que, analizándolas desde otra pers-
pectiva, valoraciones minoritarias discrepantes pudieran ser más
valiosas. Obviamente , el problema es que considerar más valiosas
e n alguna ocasión ese tipo de aportaciones supone romper con la
esencia misma de la técnica.
Delphi sale al paso de esta limitación dando a conocer a todos
la opinión d e todos, permitiendo , por tanto, la rectificación o la
matización de las posiciones de partida de cada uno de los miem-
bros del grupo. Pero no resulta fácil que personas que son reco-
nocidas como expertos puedan cambiar su posición, porque pue-
den considerar que podrían ser juzgados como que no se toma-
ron con la debida seriedad sus primeras aportaciones. Bien es ver-
dad que esto queda entre tal experto y el evaluador, pero eso no
deja de suponer una dificultad real.
Por el contrario, y como aspecto complementario de lo ante-
rior, ahora en positivo, la técnica elimina o reduce la posibilidad
de que las _aportaciones de personas relevantes arrastren a las de
otras con menos trayectoria, pero que pueden aportar aspectos
novedosos no considerados por quienes cristalizaron sus opinio-
nes hace tiempo.
CAPÍTULO 17
EL ANÁLISIS DE CONTENIDO
OBJETIVOS

capaz de:
• El concepto y objetivos del análisis de contenido en el con-

texto de la evaluación de programas.
• Sus características, adecuación, aportaciones, limitaciones

y peculiaridades según el nivel -superficial o latente- del
análisis.
• Las características de un buen sistema de categorías.
• El proceso de aplicación del análisis, en especial la fijación

de la unidad de análisis y el proceso de categorización, así
como algunos problemas técnicos relacionados con la téc-
nica.
Como hemos podido constatar, en la evaluación de progra-

mas se puede acudir con cierta frecuencia a información que se
encuentra incorporada a documentos, sean elaborados en el
marco del programa -evaluación de necesidades, diseño- o al
margen del mismo.
Analizar el grado de apoyo que recibe el programa puede
necesitar del estudio de documentos tales como actas de los res-
ponsables del programa o de su financiación; del mismo modo,
puede resultar de utilidad analizar las actas académicas o las
correspondientes a sesiones de evaluación, que pueden poner
de relieve el alcance y la naturaleza de las carencias del alum-
nado en diferentes materias; o documentos elaborados por
expertos, a solicitud de los organismos con responsabilidad en
el ámbito de que se trate ...
Pues bien: el análisis de este tipo de documentación puede lle-
varse a cabo a través de técnicas como el análisis de contenido, meto-
dología que, en sus aspectos básicos, se recoge a continuación.
17.1. CONCEPTO Y CARACTERÍSTICAS
El análisis de contenido es una técnica destinada a poner de

relieve ciertas notas o características de determinados documen-
tos, por lo general escritos. Con el paso del tiempo, se ha podido
aplicar a materiales de diverso tipo, como pueden ser los registros
de carácter audiovisual.
Inicialmente, la técnica tuvo sus aplicaciones ordinarias en el
ámbito de los medios de comunicación. En efecto, prensa 1, radio,
TV, son objetos especialmente adecuados para poner de mani-
fiesto características de los mensajes, tendencias, sesgos ... Pero
también puede aplicarse a documentos personales (cartas, dia-
rios ... ), respuestas abiertas en cuestionarios o encuestas, registros
de observación ... , especialmente adecuados a nuestra situación
de evaluación de programas.
Del mismo modo, el análisis de contenido se ha aplicado,
también, al estudio de textos de determinados autores con
intenciones diversas. En ocasiones, el análisis se plantea como
un procedimiento destinado a contrastar una hipótesis (por
1
Pérez Serrano (1984).
EL ANÁLISIS DE CONTENIDO 339
ejemplo, que un texto pertenece a un determinado autor, que

el autor experimentó determinados influjos, que a partir de
cierto acontecimiento modificó su pensamiento ... ), mientras en
otras se trata, justamente, de descubrir determinadas caracterís-
ticas del mismo.
Sin embargo, es preciso hacer notar .que, junto a este tipo de
aplicaciones, centradas en documentos ya existentes, el análisis
de contenido puede también aplicarse a cualquier tipo de regis-
tro, existente o producido al efecto, como puede ser cualquier
manifestación de conducta en el marco de un programa.
Desde este segundo punto de vista, el análisis de contenido
puede aplicarse a registros de observación durante la aplicación
del programa, tomados como evidencia del grado de progreso o
de los resultados alcanzados. La información recogida por obser-
vación, mediante entrevistas, a través de registros ... , se puede
someter, para un análisis objetivo y sistemático, a un análisis de
contenido.
Y es que, en efecto, el análisis de contenido, que para
Shapiro y Markoff (1997: 14) consiste en una "reducción siste-
mática del flujo del texto (u otros símbolos) a un cuerpo están-
dar de símbolos manipulable estadísticamente, tal que repre-
sente la presencia, la intensidad o la frecuencia de ciertas carac-
terísticas relevantes para la ciencia social", suele caracterizarse,
según diversos autores, como una técnica objetiva, sistemática y
cuantitativa.
• Objetiva
La interpretación de cualquier forma de comunicación es tan
antigua como la humanidad, pero lleva consigo un notable nivel
de subjetividad: las cosas, se dice, son del color del cristal con que
se miran.
La subjetividad es prácticamente inevitable si no se toman
medidas preventivas ya que cada persona tiende a proyectar2 su
propia ideología, sus puntos de vista, sus prejuicios sobre la reali-
dad de que se trate.
2 De modo inconsciente. Cuando se deforma conscientemente la información

allerando su sentido en función de los propios intereses o del grupo al que se per-
tenece, nos situamos ante la manipulación, siempre éúcamente reprobable.
Pues bien, una forma de objetivar nuestras valoraciones consis-

te en hacerlo a partir de datos objetivos, obtenidos de forma siste-
mática. Este proceder responde a pautas científicas en la medida
en que otros investigadores podrán repetir los procesos, replicar
los análisis y contrastar la objetividad de nuestras conclusiones.
Lograr estas metas implica aplicar la técnica con todo el rigor
preciso e informar de las actuaciones llevadas a cabo para llegar
a los resultados alcanzados.
El análisis de contenido extrae datos objetivos de los docu-
mentos analizados como paso previo a la posterior aplicación de
criterios valorativos.
• Sistemática
Las técnicas científicas se diferencian de las no científicas en
el hecho de ser aplicadas con rigor, respondiendo a un plan, y
siguiendo los pasos precisos, lejos de cualquier improvisación.
Las decisiones que se tomen en las diferentes fases -de apli-
cación, realización, conclusión- deben respetar las reglas estable-
cidas, evitando así la subjetividad y, más aún, la arbitrariedad.
• Cuantitativa
Siempre se ha considerado que el número es una de las expre-
siones más claras de la objetividad. Por ello, no debe extrañarnos la
tendencia a cuantificar los datos extraídos del análisis, de forma
que se puedan organizar, ordenar, relacionar o contrastar.
17.2. ÜBJETTVOS
Aunque no es tarea fácil establecer genéricamente los posi-

bles objetivos de la técnica, dado que las diversas situaciones pue-
den abrir nuevos caminos, bien podríamos reseñar como funda-
mentales los siguientes:
• Extraer o poner de relieve el contenido de la documentación
Cuanto más amplia y compleja sea una concreta documenta-

ción, más difícil resulta caracterizarla. Nuestra técnica puede
poner de relieve la temática del documento, sus dimensiones fun-
damentales, los aspectos en que más se incide, los elementos

novedosos, las preocupaciones del autor, su adscripción a una
determinada teoría ...
Por ejemplo: al analizar el contenido de una revista -científi-
ca o no- se pueden poner de relieve cuáles son los temas que más
atención reciben, las consultas más frecuentes, los gustos de los
lectores, la evolución de los mismos con el paso del tiempo ...
• Poner de manifiesto las características de la documentación
Nuestra técnica puede poner de relieve las características más

destacadas de la documentación analizada. Aspectos como la
riqueza de su léxico, el tipo de recursos literarios que utiliza, la
extensión de sus párrafos, las inclinaciones del autor, sus ideas
más repetidas, sus gustos, ... pueden objetivarse y destacarse.
• Probar hipótesis
Los aspectos anteriores pueden ser estudiados en forma mera-

mente exploratoria o bien al servicio de determinadas ideas direc-
trices.
Los acercamientos exploratorios son propios de estudios ini-
ciales. Ahora bien: cuando contamos con información previa, la
documentación puede ser estudiada desde la perspectiva de pro-
bar determinados enunciados, afirmaciones o hipótesis.
En nuestro caso, podría tratarse de comprobar si los compor-
tamientos, los textos, las imágenes recogidas en el marco de apli-
cación de un programa representan cambios más o menos signi-
ficativos en relación con los existentes antes de la aplicación del
programa; por ejemplo: si sus destinatarios se muestran más
motivados que antes de recibir el programa, si han modificado
sus intereses, sus gustos o sus actitudes, si han afianzado los valo-
res que desea promover el programa ...
17.3. NIVELES
En cierta medida, los planteamientos anteriores tienen que

ver con los dos niveles generalmente reconocidos en el análisis de
fon tenido.
• Nivel superficial
Se trata del denominado contenido manifiesto frente al latente.
En el primero de los casos, el análisis se limita a objetivar lo que
está expreso, sin ningún grado de inferencia. En el segundo, por
el contrario, lo que se pretende es descubrir algo que subyace,
hacer aflorar algo que está más o menos oculto.
Obviamente, en el primer caso la actividad del analista es más
sencilla, objetivable y difícilmente objeto de manipulación o de
error, mientras en el segundo los riesgos se hacen evidentes. Sin
embargo, no cabe duda alguna de que las prestaciones del análi-
sis del contenido latente son potencialmente muy superiores si el
análisis se hace de modo correcto.
Con todo, un análisis del contenido manifiesto puede resultar de
gran utilidad y hasta servir de base para estudios rriás avanzados,
como en el caso del estudio realizado por el profesor García Hoz
( 1977) sobre el vocabulario de los libros de texto. Estos estudios,
comenzados en 1944, partieron de un recuento de frecuencias
en el uso de las palabras por parte de los autores de libros de
texto en el antiguo bachillerato. Se llegó así al Vocabulario
General de Orientación Científica, integrado por 25.402 pala-
bras, con más de 2.600.000 frecuencias.
A partir de ahí, el profesor García Hoz elaboró los vocabu-
larios específicos y los vocabularios compartidos, formuló una
teoría sobre el aprendizaje humano (1982) y hasta un test de
reacción valorativa, al que haremos referencia en un capítulo
posterior.
• Nivel latente
El nivel latente puede llevarnos a conclusiones de gran impor-
tancia, pero su realización implica la formación necesaria como
para poder interpretar el contenido e inferir categorías no explíci-
tas. Se puede afirmar que analizar el contenido latente implica
tener teorías que permitan considerar la información registrada
como manifestaciones o indicadores de sus componentes 3 . De
~ Por ejemplo: Fox (1981: 709 ss.) plantea la dificultad para aplicar las catego-
ría "positivo", "negativo", hostil", "amistoso " a un determinado profesor en función d e
sus respuestas a una pregunta concreta.
esta forma se puede situar a los alumnos como potencialmente

agresivos, sociables, cooperativos ...
La dificultad para llevar a cabo este tipo de análisis implica,
con frecuencia, la realización de un trabajo piloto, en especial en
lo relativo al establecimiento de categorías adecuadas para un
buen análisis.
17.4. PROCESO
Como en tantos casos anteriores, la realización del análisis de

contenido, en cuanto actividad sistemática que debe ser, implica
una serie de actuaciones y fases debidamente organizadas y
secuenciadas, siendo la primera de ellas la correspondiente al
establecimiento de sus objetivos.
Veamos a continuación las principales etapas del proceso.
17.4.1. Establecimiento de los objetivos

En la misma medida en que al hablar del programa reseñába-
mos el carácter rector de los objetivos para seleccionar los medios
y recursos, y hasta para, después, evaluar el propio programa, la
ftjación clara y precisa de los objetivos del análisis de contenido es
fundamental para su correcta y eficaz aplicación.
La ftjación de los objetivos ayudará a seleccionar la informa-
ción que deberá analizarse, a elegir la unidad de análisis y hasta
orientará la forma en que la información será ordenada y organi-
zada para proceder a responder a las preguntas que dirigen el tra-
bajo o para decidir sobre el mismo logro de los objetivos.
Fox nos informa de los tipos de respuesta que dieron unos profesores ante el hecho
d e que se incorporaron a su centro niños de una determinada categoría, con el con-
siguiente aumento de la población estudiantil. Al analizar la respuesta de un profe-
sor, considera que se da la tentación de calificarlo como negativo y hostil por indicar
que se da un descenso en los niveles académicos de su alumnado y un aumento de
los destrozos sobre el material y las instalaciones. Sin embargo, Fox nos advierte de
q ue tal respuesta del profesor pueda ser el reflejo objetivo de una situación real, y
que "la sinceridad y la franqueza no equiva/,en a hostilidad o negatividad". No será fácil
1 esolver si la respuesta es objetiva o si refleja una percepción negativa y hostil hacia
11 11 determinado grupo de alumnos a no ser que dispongamos de una teoría expli-
rn tiva y hasta que podamos tener datos independientes de la realidad valorada por
los profesores.
Objetivos adecuados en nuestro caso pueden ser los de: a) iden-

tificar necesidades; b) establecer si el programa responde a las nece-
sidades identificadas; c) si se modifican las actitudes de los partici-
pantes en el programa; d) si los participantes están satisfechos con
el desarrollo del programa ...
17.4.2. Fijación del contenido a analizar

A los efectos de alcanzar los objetivos establecidos puede
acudirse a una cantidad más o menos amplia y diversa de docu-
mentación. En ocasiones ésta es reducida y abarcable, pero en
otras es tan desbordante que difícilmente se podrá analizar toda
ella.
Establecer la población o el universo potencialmente observable
permite tomar las decisiones pertinentes sobre el objeto a anali-
zar. Puede prestarse atención a toda la producción de un autor, a
todo lo que ocurre en un horario determinado e,n un lugar con-
creto -los comportamientos del alumnado durante el horario de
recreo, los gestos de los alumnos de una autoescuela durante las
sesiones de aprender a conducir... - o bien, muestrear esos conte-
nidos seleccionando ciertos documentos, ciertas partes de los
documentos, cierto tipo de comportamientos ... , y ello en unida-
des de tiempo determinado.
Como en toda muestra, lo fundamental es que sea suficiente y
representativa del total al que representa, pero, para ello, es preci-
so delimitar con precisión el total del que forma parte, el univer-
so o población.
17.4.3. Decisiones sobre las unidades de análisis

Este momento, junto al siguiente, son los más importantes a
la vez que los más difíciles de establecer, en particular en el caso
de estudios de contenido latente.
Lo que ftjamos en este momento, es la cantidad del objeto a
analizar que se toma como unidad de análisis. En el caso de docu-
mentos, las unidades más frecuentes son la palabra, la frase, la
oración o el párrafo. En los diálogos puede tomarse como unidad
cada uno de los turnos de palabra de los interlocutores.
En ocasiones, lo que se somete a análisis es una unidad más
amplia, pero con sustantividad propia. Tal puede ser el caso,
cuando el objeto de análisis es la prensa, de analizar los titulares,

los editoriales, los comentarios, los pies de fotografías ...
En el caso de analizar documentos personales -cartas, dia-
rios ... - se puede tomar como unidad la introducción, el desarro-
llo y el final, al igual que en una obra de teatro (la exposición, el
nudo y el desenlace). Obviamente, a uno y otro tipo de estas uni-
dades también se les pueden aplicar las anteriores (palabra,
párrafo ... ).
Cuando el objeto de análisis es el contenido de la observa-
ción, las unidades de análisis pueden ser unidades temporales:
todo el recreo, los diez primeros minutos, los diez últimos, los
diez minutos centrales ...
Dada la diversidad de documentos a analizar se comprende-
rá la dificultad para establecer un procedimiento más o menos
estandarizado de fijación de unidades cuando no son tan objeti-
vas como las de carácter gramatical. Establecer las unidades tiene
mucho de originalidad por parte de quien realiza el análisis.
No obstante, en algunos ámbitos donde se han realizado tra-
bajos se cuenta con pautas que pueden ayudar al evaluador sin
mucha experiencia. Tal es el caso del análisis de los medios de
comunicación.
Así, Berelson propone, además de otros elementos conocidos,
como la palabra o la frase, el t,erna, los personajes y la duración/exten-
sión. Vale la pena añadir que determinados aspectos contextuales
pueden conceder a la unidad analizada un carácter especial; así,
el tamaño y el tipo de letra, la página en que se sitúa (par o
impar), la ubicación en la portada o contraportada ... son aspec-
tos que, de por sí, añaden elementos interpretativos a la mera
objetividad de la unidad analizada.
17.4.4. Establecimiento de las categorías

Señalábamos en e l apartado anterior que este momento
adquiere una especial relevancia, sin duda la máxima para los
resultados del análisis.
Las unidades temáticas se asignan a diversas categorías en que
organiza el análisis. Pero las categorías no están "ahí" sino que son
elaboradas, construidas, por el investigador. En ocasiones, las cate-
gorías se deciden o se seleccionan a partir de estudios previos o de
teorías que se desea replicar o contrastar, respectivamente.
Pero en muchas otras ocasiones, sobre todo en estudios

exploratorios aplicados al contenido latente, las categorías sur-
gen sobre la marcha o, cuando menos, deben completarse, modi-
ficarse o reestructurarse durante el propio proceso de análisis.
Tanto si se crean a priori como si se elaboran durante el proceso,
las categorías tienen un claro componente creativo, de originali-
dad en el evaluador.
En ocasiones, las categorías responden a algún elemento
apriorístico; por ejemplo, categorizar los valores morales puede
hacerse sobre la base de los diversos tipos identificados por los
especialistas; clasificar a los alumnos por su valor dominante
puede hacerse siguiendo la propuesta de Spranger4, García
Hoz 5 ...
También se cuenta con modelos como el debido a Flanders
sobre las interacciones verbales, organizado en torno a las diez
categorías siguientes:
TIPO DE INFLUENCIA Y RESPUESTA

MANIFESTACIONES
DEL ALUMNO
Aceptar y/ o clarificar actitudes y

sentimiento del alumno
Influencia indirecta del profesor Alabar o estimular
Aceptar las ideas del alumno
Hacer preguntas
Dar información u opinar
Influencia directa del profesor Dar instrucciones
Criticar la conducta del alumno
Responder al profesor
Iniciar la conversación con el pro-
Conducta del alumno
fesor
Silencio o confusión
4
Spranger nos habla de sus "Fonnas de vida" publicadas en 1961 en la Revista de
Occidente. El autor nos cita los siguientes tipos de hombre: teórico, utilitario, estético,
social, j1olítiro y religioso. El profesor García Hoz añadía el "horno epifántico'', caracte-
rizado por el afán de notoriedad.
5 En su Test de rmrción valorativa se trata de medir la "reacción frente a las gran-
des motivaciones humanas de dinero, fama, poder, placer, actividad, arte, técnica,
conocimiento, relaciones sociales, vida religiosa". Vid. García Hoz (1977: 105).
En cualquier caso, sí conviene tener en cuenta algunas reglas

lógicas que debe cumplir cualquier sistema de categorías.
Kerlinger (1981: 98) reseña expresamente las siguientes:
• Las categorías se establecen con base en el problema y propósito

de la investigación.
• Las categorías son exhaustivas.
• Las categorías son mutuamente excluyentes e independientes.
• Cada categoría (variable) se deriva de un principio de clasifica-
ción.
• Todo esquema de categorización debe estar en un solo nivel de
discurso.
La primera regla nos hace ver la importancia que tiene la

correcta definición del problema y la ftjación de los objetivos:
ambos aspectos representan la línea directriz del trabajo, por lo
que la calidad del resto depende de su adecuación y coherencia.
Las reglas dos y tres son las fundamentales en términos técni-
cos; la exhaustividad representa la necesidad de que toda la infor-
mación a analizar pueda ubicarse en alguna de las categorías. Sin
embargo, es preciso hacer notar que, con frecuencia, se debe acu-
dir a una categoría residual -tal como "otros"- en la que se puede
situar alguna información difícil de ubicar en las demás. Si bien
en las variables categóricas esto no suele ocurrir6 , es frecuente en
el caso de unidades amplias, donde es difícil seleccionar el enfo-
que clasificatorio o las dimensiones relevantes. No obstante, en
posteriores redefiniciones de las categorías puede que encontre-
mos nombre sustantivo para ese "otros".
La tercera regla tampoco es fácil de cumplir, pero es muy
importante conseguirlo. Cuando una información puede situarse
en más de una categoría es necesario precisar su definición.
Probablemente, las categorías seleccionadas no siguen un mismo
patrón y pertenecen a dos o más dimensiones diferentes 7 . La inde-
6 Se es soltero, casado, viudo, separado o pareja de hecho, por ejemplo. Si sur-
giera una nueva siLUación, como ha ocurrido con las "parejas de hecho", se resuelve
creando la nueva categoría.
7 Por ejemplo, el comportamiento de un alumno que pregunta en clase, puede
ser clasificado como de una persona interesada en el aprendizaje pero tal vez tam-
bién como de un alumno poco brillante -no entiende a la primera y necesita acla-
ra iones-y hasta como de una persona que gusta de hacerse notar, incluso tratando
pendencia representa la necesidad de que el hecho de atribuir una

unidad a una categoría no implique la atribución o no de otra
unidad a la misma o a diferente categoría.
La cuarta regla se transgrede en ocasiones, pero es fácil de
cumplir: cada variable de clasificación tiene sus propias catego-
rías, y unas no pueden mezclarse con otras. Así, las categorías
correspondientes a la variable incumplimientos más frecuentes de
las reglas de tráfico están en una dimensión diferente de las
derivadas de la edad de los conductores 8 , aunque luego pueda
constatarse que determinados tipos de incumplimientos sean
más propios de ciertos segmentos de edad que de otros, algo
apreciable cuando se cruzan los datos de ambos tipos de cate-
gorías.
La última regla resulta más difícil de expresar. Podríamos pro-
poner un ejemplo en el caso de la organización política del
mundo. Si el nivel de discurso es el de los Estados, las categorías
son claramente diferentes de las resultantes en el caso suprana-
cional, donde caben agrupaciones como la Comunidad Europea
o las Naciones Unidas, o intraestatal (autonomías, regiones, pro-
vincias).
17.4.5. Categorización, codificación, cuantificación

Asignar información a las categorías no es algo tan fácil como
se puede pensar. En ocasiones resulta fácil en la medida en que
se trata de una información manifiesta, superficial. Pero no ocu-
rre lo mismo con el análisis de nivel latente.
La categorización consiste en agrupar bajo la misma categoría uni-
dades de análisis que hacen referencia al tópico de la categoría.
de poner en algún aprieto a sus p1·ofesores. Si las categorías están bien definidas esto
no pasaría: en el primer caso nos moveríamos en relación con el interés/ motivación ,
en e l segundo podríamos hablar de introversión /ex traversión. Y en el último,
podría tratarse de categorías relacionadas con el tipo de relaciones humanas: amis-
tosas, colaborativas, distantes, agres ivas ...
8
Sin embargo, en ocasiones se cometen errores graves. Por ejemplo, al diseñar
las áreas de conocimiento en la Universidad, determinadas materias se agrupan
atend iendo al tipo de profesional que forman mientras otras lo hacen en función de
la naturaleza de su contenido. Ello conduce a situaciones en que una misma mate-
ria se sitúe en diferente área según la universidad de que se trate .
El proceso de codificación se concreta en la asignación a cada

unidad del código de la categoría correspondiente. A través de la
codificación se asignan "etiquetas" a las unidades analizadas.
Estos códigos pueden ser números -el mismo número a toda uni-
dad situada en una categoría- o abreviaturas de palabras.
Un paso más avanzado consiste en establecer sistemas de categorí-
as. Se trata de agrupaciones de categorías que responden a algún sis-
tema de relación entre ellas. Cuando esto es posible, disponemos de
una organización de categorías que permite planteamientos expli-
cativos más ricos que los que derivan de unas categorías aisladas. Los
casos citados de Flanders, García Hoz o Spranger podrían tener
aquí su acomodo.
17.4.6. Interpretación de los resultados

Fase creativa del proceso que consiste en dar sentido a los
resultados alcanzados.
La interpretación resulta esencial en el caso de análisis des-
tinados a contrastar hipótesis e incluso, en el caso exploratorio,
a formular hipótesis que deberán contrastarse en nuevos aná-
lisis.
En el caso que nos ocupa, se tratará de dar respuesta a las
preguntas que nos hicimos al iniciar el trabajo de evaluación del
programa o a decidir sobre el grado de logro de los objetivos
fijados , tanto del análisis como, sobre todo, del programa eva-
luado.
17.5. ALGUNOS PROBLEMAS TÉCNICOS
Además de los problemas fundamentales ya referidos, ligados

al establecimiento de las unidades de análisis y de las categorías,
uno de los problemas técnicos a considerar es el relativo a la fia-
bilidad de la categorización y a su propia validez.
La fiabilidad puede estimarse median te la constatación del
grado de coincidencia en la categorización de un determinado
documento, llevada a cabo por dos o más codificadores. Como
alternativa, podemos plantear la coincidencia de un codificador
onsigo mismo en varios momentos, convenientemente distan-
iados en el tiempo.
El problema de la validez tiene que ver con el de las propias

categorías, que deben ser relevantes para el tipo de análisis a
realizar. La información puede ser sometida a análisis muy dife-
rentes, pero sólo algunos, o uno, de ellos dirá algo en relación
con nuestro problema. Que sean esas y no otras las categorías,
que estén o no correctamente definidas, que la información se
pueda ubicar razonablemente en ellas, ... son indicios de validez
de la categorización. Parece, por tanto, que el juicio de exper-
tos es la técnica adecuada para disponer de información sobre
la validez.
CAPÍTULO 18
LA OBSERVACIÓN EN SUS DIVERSAS MODALIDADES.

LOS AUTOINFORMES
ÜBJETTVOS

capaz de:
• La importancia, el sentido y la naturaleza de los objetivos

del denominado dominio afectivo en una educación de cali-
dad.
• Los componentes básicos del planteamiento evaluativo de

actitudes y valores: función, objeto, criterios y referencias,
metodología, uso de la información.
• La aportación de la observación a la evaluación de pro-

gramas en sus diversos momentos o etapas y dimensiones,
así como a los diferentes tipos de objetivos educativos, en
particular a los del dominio afectivo.
• Las principales técnicas para la evaluación de actitudes y

valores, su adecuación, sus posibilidades y limitaciones.
Tal vez sea la observación la técnica por excelencia en el cono-

cer humano y de lo humano; en efecto, si por una parte se suele
presentar la observación como una modalidad de acercamiento a
la realidad diferente de la experimentación, natural aquella y arti-
ficial esta, por otra no quedan dudas de que también la observa-
ción puede constituirse en un componente fundamental de la
metodología experimental.
Por otro lado, la observación ha sido la forma ordinaria de
conocer del ser humano a lo largo de la historia de la
Humanidad. Fruto de su capacidad de observar y de su ejercicio
de la observación le fue posible avanzar y asentarse en el dominio
del mundo, reconociendo el terreno en que vivía, las condiciones
ambientales, los riesgos y posibilidades ...
Pues bien, a esta importante técnica para la recogida de infor-
mación dedicaremos el presenta capítulo, fundamental para una
correcta evaluación de programas.
18.1. LA OBSERVACIÓN EN EL MARCO DE LA EVALUACIÓN DE

PROGRAMAS
En el ámbito de la evaluación de programas, la observación

tiene una amplia aplicabilidad y un notable recorrido, ya que si
puede ayudar a identificar, detectar y tipificar necesidades y
carencias, también se convierte en una técnica esencial para valo-
rar la eficacia cuando de objetivos de comportamiento se trate.
En efecto: la observación puede convertirse en "técnica de
prueba", incluso en la técnica preferible y deseable, y hasta
superior a los tests y las pruebas objetivas, cuando se trata de
comprobar si se han alcanzado objetivos relativos a habilidades,
estrategias, destrezas, actitudes o valores, tomados como metas
del programa. Piense el lector en la diferencia existente entre
comprobar que una persona es capaz de responder a una prue-
ba sobre el código de la circulación y el hecho de observar su
comportamiento al volante, sobre todo si no se sabe observado 1•
En definitiva: la observación puede ser utilizada para apreciar la
eficacia del programa, tanto en su momento final como en el
proceso de aplicación del mismo.
1
Dejemos constancia de los problemas éticos que ello puede representar en la
mayoría de las ocasiones.
LA OBSERVACIÓN EN SUS DNERSAS MODALIDADES 353
Junto a ello, la observación es la técnica por excelencia para reco-
ger información sobre procesos. Desde el momento en que se proce-
de a implantar e implementar el programa hasta el de la evaluación
de su eficacia pueden pasar meses, e incluso años. Pues bien: la infor-
mación de mayor relieve sobre este amplio período, aunque puede
tomar la forma de encuestas y cuestionarios y hasta de pruebas sobre
la eficacia parcial, es la que puede ofrecer la observación.
Añadamos a lo anterior que determinado tipo de información
difícilmente se alcanza si no es por esta vía; pensemos en el caso
de personas -niños, deficientes- que no pueden o no saben ver-
balizar sus sentimientos o experiencias. En definitiva: podemos
recoger información mediante la observación en relación con los
tres grandes momentos o etapas de la evaluación de programas:
evaluación inicial, procesual y final.
Si de los momentos o etapas pasamos al contenido de tal obser-
vación, debemos hacer notar su adecuación para un ámbito de
especial relevancia dentro de los programas educativos: el consti-
tuido por los objetivos que trascienden lo académico, tanto en su
dimensión más reductiva, caso de los de conocimientos, como en
su concepción más amplia: los de formación intelectual2. Pues
bien: para tales tipos de objetivos, la observación, y su registro tanto
mediante técnicas genéricas -incidentes críticos, listas y escalas-
como a través de las específicas para el mundo afectivo, resulta de
especial relieve. Por ello dedicamos el presente capítulo a su estu-
dio y análisis, con especial referencia a su aplicación a la evaluación
de objetivos del denominado dominio afectivo.
18.2. LAS DIMENSIONES NO COGNITfVAS DE LA EDUCACIÓN
Si el sujeto de Ja Educación es la persona, no parece dema-

siado difícil mantener que la acción de los educadores, para no
se r tachada de reductiva, debe abarcar más aspectos que el del
saber y el de la formación intelectual, destinados a dotar a las
nu evas generaciones de los conocimientos necesarios para abor-
d ar los desafíos del mundo que les toque vivir y de las herra-
mi entas para seguir adquiriendo, y hasta descubriendo , nuevos
1onocimientos.
~ En el lenguaje oficial estaríamos hablando de contenidos conceptuales y pro-

11·dimentales.
Así ha sido entendido, y plasmado en algunas clasificaciones de

objetivos -taxonomíar que resultan de gran utilidad tanto para el
diseño de los programas como para su aplicación y, desde luego,
para su evaluación. Dado que no existe unanimidad entre los espe-
cialistas, y con el único propósito de que sirva de ejemplo o mode-
lo, acudiremos a la tal vez más conocida de todas, por ser la pione-
ra: la debida a Bloom, Hastings y Madaus ( 1971). Allí se parte de
una gran división en lo que los autores denominan dominios, en con-
creto el cognoscitivo, el afectivo y el psicomotor. U na síntesis de las cate-
gorías del dominio cognoscitivo, a cuya evaluación se dedica un
capítulo posterior, se recoge en el cuadro l.
CATEGORÍA DESCRIPCIÓN
De lo específico
CONOCIMIENTO De los conceptos universales y abstractos de una materia
dada
Transferencia
COMPRENSIÓN Interpretación
Extrapolación
A otros campos de los conceptos científicos
APLICACIÓN
Predicción de las posibles consecuencias
De los elementos
ANÁLISIS De las relaciones
De las normas de estructuración
Elaboración de un mensaje único
SÍNTESIS Elaboración de un plan
Deducción de relaciones abstractas
Juicios en función de la evidencia interna
EVALUACIÓN
Juicios en función de criterios externos
CUADRO 1: Síntesis de la taxonomía de Bloom y cols. en el dominio cognoscitivo.
Junto a estas categorías, se incluyen las relativas al denomina-

do dominio afectivo, integrado por las siguientes:
lA OBSERVACIÓN EN SUS DIVERSAS MODALIDADES 355
RECEPCIÓN (ATENCIÓN)
- Conciencia
- Predisposición a la recepción.
- Atención controlada o se/,ectiva.
RESPUESTA:
- Aceptación de la respuesta.
- Predisposición a la respuesta.
- Satisfacción en la respuesta.
VALORACIÓN:
- Aceptación de un valor.
- Preferencia por un valor.
- Entrega.
ORGANIZACIÓN:
- Conceptualización de un valor.
- Organización de un sistema de valores.
CARACTERIZACIÓN:
- Perspectiva generalizada.
- Caracterización.
C UADRO 2: Síntesis de la taxonomía de Bloom y cols. en el dominio afectivo.
Sin dar por buena esta clasificación, sí debemos manifestar la

conveniencia de que el educador, el profesor, o el evaluador en
su caso, acuda a ella, o a otras taxonomías alternativas, a la hora
de d efinir su programa, su asignatura3 , de seleccionar los objeti-
vos a lograr a través de la temática de la misma, configurando así
la tabla de especificaciones, y en el momento de evaluar, eligiendo las
técnicas más adecuadas y construyendo o seleccionando los instru-
mentos correspondientes 4 •
Pues bien, centrando nuestra atención en la anterior clasifi-
cación, cobran especial sentido las palabras con las que inicia
Bloom su propuesta de técnicas para la evaluación de objetivos
por él denominados afectivos, acudiendo a una cita de McMurrin,
qu e transcribo a continuación:
3 O, en general , el conten ido del programa a evaluar.

4
El lector puede acudir a una variada bibliografía en este campo. Recomen-
1l.11nos: Rodríguez Diéguez (1980); García Hoz (1988). En esta obra presenta una
1111 c resante aportación sobre el Sistema de Objetivos Fundamental.es de la Educación.
... debemos preguntar si, al ocuparnos en forma tan exclusiva de esta

función cognoscitiva de la educación -en la educación para habili-
dades verbales y conceptuales- no hemos descuidado seriamente
otras facetas más importantes y a veces más simples de la personali-
dad y la vida, como, por ejemplo, los placeres estéticos que se acre-
cientan con una agudización de los instrumentos de la percepción
sensible, o los valores intrínsecos en la apreciación de la poesía y el
arte que están a disposición de aquellos cuya educación ha cultivado
sus poderes intuitivos y refinado sus capacidades para la simpatía y el
sentimiento.
La aportación de McMurrin, ya de por sí importante por abor-

dar dimensiones especialmente nobles del ser humano, puede
enriquecerse acudiendo a reflexiones y propuestas de otros auto-
res. Tal puede ser el caso de D. Goleman (1996: 65) y sus ideas
sobre la competencia emocional, que incluye aspectos de tanto relie-
ve como la capacidad para:
• Motivarnos a nosotros mismos

• Perseverar en el empei'io a pesar de las posibles frustraciones
• Controlar los impulsos
• Diferir las gratificaciones
• Regular nuestros propios estados de ánimo
• Evitar que la angustia interfiera con nuestras facultades racionales
• Empatizar y confiar en los demás.
De hecho, y de un tiempo a esta parte, la sociedad y los orga-

nismos responsables, van tomando conciencia no ya de la conve-
niencia sino de la urgente necesidad de abordar la por nosotros
denominada educación integral, entre cuyos componentes se
encuentra sin duda la creación y refuerzo de actitudes positivas y
la formación moral 5 .
'' Ello no obsla para que haya aULores que manifieslan sus dudas y reLicencias, y
hasla posLuras conLrarias, como puede ser el caso de Hills que se manifest.aba en
esLos Lérminos: "No está claro todavía si las acLitudes deben enseñarse en las escue-
las .... pero lo fundamental es que si hubiese acuerdo en el sentido de que las acLi-
LUcles son importantes objetivos de la enseii.anza, Lendríamos que llamar a volación
a nuestras comunidades para no enseñar aquellas actitudes que los padres de
muchos alumnos rechazarían''.
Sin embargo, el propio Hills reconoce explícitamente que, se quiera o no, se
dan influencias educativas en esle pumo, lo que ha llevado a muchos a plantear la
18.2.1. La aportación de UNESCO
La toma de conciencia a la que nos referimos puede con-
cretarse en un importante documento de UNESCO que, refi-
riéndose no ya a la educación básica o a la media, sino a la uni-
versitaria, la más tradicionalmente alejada de este tipo de consi-
deraciones, hace recomendaciones dignas de ser tomadas en
cuenta.
En efecto, después de haber mantenido en 1995 y ratificado
en 1998 en el documento de trabajo La Educación Superior en el
siglo XXI: Visión y acción 6 , la importancia de facilitar la formación
pedagógica del profesorado, en el capítulo dedicado a la Calidad,
tras mantener que la principal riqueza de cualquier empresa radi-
ca en el capital humano, refiriéndose a las funciones de las insti-
tuciones superiores, afirma:
Estas requieren por parte de los docentes y de los investigadores

no solamente unos niveles de aptitud ciertamente elevados, sino tam-
bién una voluntad de compromiso y unos valores éticos de acuerdo
con las exigencias de una calidad orientada por la pertinencia social.
Y más adelante, (punto 110) añade:
La calidad del personal, como consecuencia de las diversas muta-

ciones de la sociedad y de la educación superior, va a depender cada
vez más de dos cambios de tipo general. El primero afecta a la for-
mación pedagógica de los docentes que adopta cada vez más fre-
cuentemente concepciones y métodos pedagógicos más innovadores,
más interactivos, que aprovechan los recursos que ofrecen las nuevas
tecnologías de la información y de la comunicación ...
conveniencia de abordar, abierta y sistemáticamente , su formación. Dice Hills (1981:

379): "Aunqu e el maestro no se ocupe deliberadamente de formar actitudes en sus
alumnos, estas aparecen como resultado d e la influencia ejercida por la escuela y
por el medio extraescolar".
Entre quienes defienden la conveniencia y necesidad de abordar la formación
sistemática podemos citar a los autores del Diseño Curricular Base, editado en 1989
por el Ministerio de Educación y Ciencia. Vid. pág. 42.
6
En el Documenlo de PolíLica para el Cambio y el Desa-rrollo en la Educación Superior;
prologado por su Directo1· General, profesor F. Mayor Zaragoza (1995); en 1998 se
ratifica esta posición , e n el marco de la Con/eren.ria Mundial sobre la Eduración SujJerior,
en el artículo 10 del documento denominado Declaración Mundial sobre la Eduración
Superior en el siglo xx1: Visión y Acción.
Y unas paginas más allá (punto 114), dentro del apartado

dedicado a la calidad de los programas, se afirma:
Es importante tener unos objetivos estándares y comparables y
esto lleva a una formación básica y una educación en valores cohe-
rentes con los principios axiológicos enunciados en el primer capí-
tulo y con la necesidad de pertinencia social citada varias veces.
Entre los principios axiológicos a que se hace referencia, des-

tacamos los siguientes:
La universalidad de la educación superior supone .. .
iii) una vocación no sólo de enseñar sino también de educar.

iv) tener una función ética de orientación en período de crisis de
valores.
vi) que se desarrolle a través de todas sus actividades una cultura de
paz.
x) tener como principio axiológico, último y aglutinador de todos
los demás, trabajar por la unidad de los hombres y mujeres en la
diferencia y complementariedad solidarias.
Como se puede apreciar, la preocupación por una formación

especializada de los profesores -formación pedagógica- y por su
valía personal para afrontar la formación en valores de los edu-
candos, está presente en las grandes declaraciones de un organis-
mo de tanta importancia como la UNESCO.
18.2.2. Los objetivos del dominio afectivo
Intereses, motivación, actitudes y valores son aspectos clave de

una formación integral de calidad, y ello, al menos, por dos razo-
nes de relieve: la primera, por su importancia intrínseca, al ser
considerados valiosos por sí mismos; la segunda por su valor de
medio y su papel condicionante de los resultados estrictamente aca-
démicos.
Desde el primero de los aspectos, parece fácil argumentar que
la calidad de la educación está íntimamente ligada al hecho de
que las personas logren establecer una escala de valores, capaz de
dar sentido de unidad a su vida, y de hacerla realidad, de forma
coherente, día a día, acto a acto. En la medida en que intereses y
actitudes se relacionan con los valores, estaría justificado nuestro

planteamiento.
Desde el segundo, no hay duda alguna de que los intereses
personales y profesionales favorecen la motivación intrínseca por
ciertas actividades intelectuales, profesionales y sociales, mientras
que las actitudes son un claro condicionante, positivo o negativo,
para poner el esfuerzo necesario al servicio de la actividad aca-
démica o de cualquier otro tipo. En cuanto a los valores, son, pro-
bablemente , el motor más fuerte del trabajo y del esfuerzo en
aquellos casos en que la motivación intrínseca falla o es muy
débil.
Pero todavía podemos mejorar nuestra argumentación si acu-
dimos a la relación existente entre un aprendizaje académico
sólido, profundo, y este tipo de objetivos educativos. Como man-
tiene Smith (1966: 50-59):
... enseñar un concepto, principio o teoría no sólo es e nse11ar para
su comprensión, sino también para una actitud: la d e aceptación o
rechazo del concepto, principio o teoría como útil , co nfiabl e ...
En la misma línea se manifiesta García Hoz ( 1982), que afir-

ma:
... el conocimiento alcanza su plenitud cuando llega a todas las zonas
de la realidad . Concretamente, el conocer no es sólo representación
de lo que una cosa es en su estricta objetividad, sino descubrimien-
to de su valor y de su sentido. No parece difícil aceptar que conocer
es penetrar en la realidad a través de sus apariencias, descubrir la
verdad y distinguirla del error, aceptar la evidencia y tolerar la incer-
tidumbre , discernir el bien ... del mal...
Es más, en otro lugar (1970: 176) llega a mantener:

En realidad, los objetivos cognoscitivos y afectivos interfiere n y
en el trabajo por alcanzarlos unos y otros se entrecruzan. [ ... ] Es difí-
cil la cuestión de señalar prioridad entre unos y otros. Verdad es que
el conocimiento precede a la acción; pero no es menos cierto que
para conocer es men ester decidirse previamente a prestar atención
al objeto de conocimiento y prestar atención no es una actividad
cognoscitiva, sino que entra formalmente dentro de los objetivos
afectivos.
360 EVALUACIÓN DE PROGRAMAS EDUCATrYOS
Esta posición también está apoyada por Bloom y Krathwohl

(1964: 66) cuando afirman:
Toda conducta afectiva tiene como contrapartida algún tipo de

conducta cognoscitiva y viceversa. [ ... ] Cada dominio se utiliza con
frecuencia como un medio hacia el otro, si bien el camino más
común va del cognoscitivo al afectivo.
Parece conveniente, por tanto, plantearse el logro, y evalua-

ción, de este tipo de metas, bien sea en el seno de programas
específicos destinados a su consecución, bien en su considera-
ción de elementos condicionantes de otro tipo de objetivos, los
específicos del programa. AJcanzar el interés y la motivación,
crear actitudes positivas, promover y afianzar valores, puede lle-
gar a ser un medio excelente a su servicio en el marco de pro-
gramas destinados a objetivos cognoscitivos y cognitivos, así como
a otros centrados en habilidades personales y sociales.
18.3. CONCEPTOS BÁSICOS EN LA EVALUACIÓN DE ACTITUDES Y VALORES
Antes de plantear la propuesta para la evaluación d e objetivos

del dominio afectivo, en la que la observación tiene una especial
presencia y relevancia, deberemos abordar la clarificación de los
conceptos del enunciado: evaluación, actitudes y valores. Habiendo
tratado reiteradamente el primero de ellos, parece que única-
mente nos resta definir los otros dos.
18.3.1. El concepto de actitud

Las diferencias entre actitud y valor no son todo lo nítidas
que pudiera pensarse, como veremos más adelante. La actitud se
entiende como una predisposición aprendida -no innata- y esta-
ble a reaccionar valorativamente, de modo favorable o desfavora-
ble, hacia personas, hechos, objetos o situaciones. Una de las
definiciones más conocidas es la aportada por Allport:
Estado mental y neurológico de disposición , organizado a través
de la experiencia, que ejerce un impulso dinámico y directivo sobre
la respuesta de un individuo a todos los objetos y situaciones con los
que se encuentra relacionado.
LA OBSERVACIÓN EN SUS DIVERSAS MODALIDADES 361
Las actitudes son, pues, fruto de la experiencia; en ellas en-

contramos una dimensión cognitiva -concretamente informa-
ción/ creencias-, otra de naturaleza afectiva -valoraciones- y una
tercera de tipo conativo, esto es, una tendencia o inclinación
hacia ...
Dos autores importantes en este campo, Ajzen y Fishbeim
(1980: 26), destacan claramente que las actitudes no determinan la
conducta, ya que ésta se explica, además, por otros factores. Eso sí:
cuentan con un componente cognoscitivo y un soporte expe-
riencia!, y aunque, como afirma Gagné (1979), se aprenden sobre
todo de modo incidental y en función de las condiciones que
rodean a los sujetos, no es menos cierto que en el centro educa-
tivo, y en la propia vida académica, se pueden diseñar -intencio-
nal y sistemáticamente- situaciones favorables para su nacimien-
to, refuerzo y afianzamiento, facilitando así la realización de com-
portamientos deseables.
18.3.2. El concepto de valor

Las dificultades para diferenciar entre actitudes y valores
han llevado a Rockeach a proponer la sustitución del concepto
de actitud por el de valor, dado que los valores incorporan tres
componentes: cognitivo, afectivo y conductual, lo que va más
allá de la mera inclinación o disposición favorable o contraria
hacia, como ocurre con las actitudes. De hecho, y según
Pérez-Delgado y cols. ( 1991: 4 7), "los valores determinarían tan-
to la conducta como las actitudes ... "7 .
Por otra parte, también se dan discrepancias sobre el concep-
to de valor; la principal radica en la concepción de los valores
bien como algo objetivo, que transciende a las personas, y que vale
7 "Los autores, no obstante, reconocen que difieren en algunos aspectos: El
valor es una creencia única mientras la actitud es una organización de diversas cre-
encias focalizadas sobre un objeto o situación dada; las actitudes se centran y se
orientan hacia situaciones y objetos específicos. El valor, sin embargo, trasciende
objetos y situaciones; un valor es un estándar de "podría" o "debería", mientras las
actitudes no; una persona tiene tantos valores como creencias aprendidas, relaciona-
das con modos de conducta o estados últimos de existencia, y tantas actitudes como
encuentros directos o indirectos ha tenido con objetos y situaciones específicas. De
ahí que el número de valores aparezca menor que el de actitudes; los valores ocu-
pan un lugar central en la estructura de la personalidad".
al margen de que los humanos lo valoremos o no, o bien como

algo subjetivo: el valor se da porque alguien concede valor a algo.
Dos definiciones pueden ilustrar esta distinción: Marín lbáñez
( 1976: 21) propone la siguiente:
El valor es la perfección o dignidad que tiene lo real, o que debe

tener y reclama de nosotros el adecuado juicio y estimación.
Desde una perspectiva psico-social, los valores son entendidos

de otro modo; para sus defensores 8
Un valor es una creencia duradera de que un específico modo de

conducta o un estado final de existencia es personal o socialmente
preferible a otro modo de conducta o estado final de existencia
opuesto o contradictorio.
Del análisis de tal definición destacamos por su importancia

los siguientes aspectos:
• Es una creencia, concretamente de carácter prescriptivo

según la concepción de Rokeach; los valores son formas de
preferencia: algo es valor porque es preferible para un suje-
to; por ello representan cierta obligatoriedad.
• La preferencia proviene de que, por medio del valor, la
persona mejora su autoconcepto -elemento clave del yo-,
algo que se relaciona con la competencia -se poseen des-
trezas, habilidades ... que permiten el éxito y que se aplican
adecuadamente- o con la moralidad -la persona hace el
bien sea para sí, sea para los otros o para las cosas.
• Tal creencia tiene cierto nivel de permanencia.
En lo que sí parece haber acuerdo es en su importancia; así,

desde la perspectiva o enfoque psicosocial, Escámez les atribuye
esta triple manifestación de trascendencia:
• Son patrones que guían la vida del ser humano. Ejercen una
función dinámica, de estímulo a la conducta.
8 Escámez Sánchez, y Ortega Ruiz (1988: 116).

• Constituyen un plan general que permite evaluar, resolver con-
flictos y tomar decisiones. La evaluación se refiere no sólo a
las cosas o a las otras personas sino también al propio yo.
• Permiten mantenery exaltarla autoestima, el autoconcepto,
del que son su expresión y explicitación.
Otros autores, como Allport, apoyándose enJahoda, conside-

ran que los valores favorecen la unidad de vida, una manifestación
de la personalidad madura.
Al margen de la posición de cada uno respecto del carácter
objetivo o no de los valores, desde un punto de vista pedagógico
es evidente que lo que al final interesa es que las personas valoren
ideas, principios, metas, objetos ... ; de no ser así, difícilmente
podrán mantener comportamientos valiosos.
18.3.3. Planteamiento evaluativo de actitudes y valores

Aunque de modo sintético, presentaremos los aspectos fun-
damentales que configuran un planteamiento evaluativo de acti-
tudes y valores, que, a nuestro juicio, se concretan en su función,
en el objeto, en los criterios y referencias y en la metodología a utilizar.
Más adelante, analizaremos con algún detalle las técnicas funda-
mentales, ligadas a Ja observación.
La función
En lo relativo a la función , debe quedar clara la diferencia
entre una evaluación orientada a Ja mejora de las personas y la
centrada en la eficiaca de los programas, siendo sumativa en este
caso y formativa en aquel.
Allí, toda la evaluación adquiere un carácter privado, propio
de la tutoría, y, desde luego, una dimensión profundamente per-
sonalizada. Aquí, la persona se difumina en el grupo -a no ser en
el caso de programas destinados a una persona concreta- ya que
lo que suele importar es el número de sujetos que alcanzan los
objetivos previamente definidos y los niveles establecidos.
El objeto
En lo relativo al objeto de la evaluación, parece obvio señalar
que deberá ser congruente con los objetivos del programa a eva-
luar. En tal sentido, habiendo reseñado previamente la aporta-

ción de Bloom y colaboradores en su taxonomía, podemos com-
pletarla acudiendo al profesor García Hoz, que incluye los
siguientes grandes apartados (cuadro 3):
RECEPTMDAD VALORATIVA:
• Tomar conciencia: hacerse cargo.
• Receptividad . Apertura.
• Atención selectiva o controlada.
REACTMDAD O RESPUESTA: ACEPTACIÓN:
• Conformidad.
• Buena voluntad para responder.
• Satisfacción en la respuesta. Alegría.
VALORACIÓN. ELECCIÓN:
• Reconocimiento de un valor.
• Preferencia por un valor.
• Sistematización. Conceptualización.
• Organización de un sistema de valores.
• Elección.
REALIZACIÓN:
• Compromiso.
• Generalización. Iniciativa.
• Caracterización.
CUADRO 3. Objetivos del dominio afectivo, según García Hoz.
Por tanto, y en coherencia con lo anterior, el objeto a evaluar

puede adquirir notable complejidad al incorporar dimensiones
claramente diferentes:
• Conocimiento de los valores.
• Actitud positiva hacia algo como valor.
• Aceptación personal de algo como valor.
• Preferencia por un valor.
• Jerarquización de los valores.
• Conformidad de la conducta con los valores y con la propia escala
valora l.
• Compromiso con los valores aceptados.
Parece obvio que, en consecuencia, las técnicas a utilizar

deberían variar en función de los aspectos seleccionados. Así,
mientras en el caso del "conocimiento" cabe acudir a pruebas clá-

sicas, como las utilizadas en la evaluación de objetivos cognosci-
tivos y cognitivos, en los de "conformidad" y "compromiso", nin-
guna técnica supera las aportaciones de la observación.
Una cuestión complementaria tiene que ver con los valores que
serán objeto de evaluación. Para ello es necesario acudir, de una
parte, a los que formen parte del Proyecto educativo del centro o del
programa de que se trate. Para su selección cabe tomar como refe-
rencia las grandes formulaciones que ha llevado a cabo la Huma-
nidad, como los subyacentes en la Declaración Universal de ws Derechos
Humana>, promulgada por la ONU en 1948; por otra, a las propias
opciones valorales del alumnado, donde cabe analizar la coherencia
de los comportamientos con la propia escala o jerarquía de valores 9 .
En e l ámbito específico de la evaluación de programas, los
valores serán aquellos que sean objeto del mismo, es decir, los
que el programa se propone desarrollar o aquellos que son nece-
sarios para el logro de sus objetivos 10 •
Los criterios y referencias

La valoración en que toda evaluación consiste requiere, como
ya sabemos, criterios, merced a los cuales podamos emitir el juicio,
y referencias que, junto a aquellos, concretan la valoración.
Teniendo en cuenta lo anterior, los criterios más adecuados a
nuestro juicio son los siguientes:
• Claridad conceptual.
• Madurez intelectual: posicionamiento reflexivo y crítico.
• Aprecio, alegría, satisfacción.
• Comportamiento.
• Coherencia.
• Constancia.
9
Recomendamos algún texto especialmente relevante, como el d e Corlina Ons
(1995). Tambié n la ponencia de la misma autora (2003: 39-52). Del mismo modo, se
recomienda la obra de Marín Ibáñez (1993).
10
No se olvide, no obstante, nuestra posición en defensa de que la entidad, cali-
dad, relevancia ... de los objetivos de los programas debe ser objeto de evaluación. De
este modo, un programa podría ser ser eficaz en el logro de determinados objetivos
(en este caso, valores) y, a la vez, merecer una valoración negativa porque los valores
perseguidos sean irrelevantes, inadecuados o insuficientes.
En cuanto a las referencias, al igual que ocurre en lo relativo a

las funciones, no cabe duda alguna de que la más adecuada, y pro-
bablemente la única en el caso de la evaluación de los logros del
alumnado, ha de ser la personalizada, esto es, aquella en que la
valoración se realiza tomando a la persona y a sus circunstancias
como elemento de referencia. ,En tal sentido, el avance, el pro-
greso, Ja conciencia, el compromiso personal... pueden ayudar a
valorar los niveles educativos que van alcanzando los alumnos.
Sin embargo, cuando nos movemos en el ámbito de la eva-
luación de programas, en cuyo caso deben ftjarse los niveles a
alcanzar (recordemos que a este enfoque se le denomina "eva-
luación criterial"), la evaluación debe establecer si se ha alcanza-
do o no tal criterio preestablecido.
La metodología
Por último, y en relación con la metodowgia, analizaremos, como
elementos fundamentales, los siguientes: el proceso a seguir, las téc-
nicas a utilizar y el uso que se debe dar a la información.
Desde luego, y por la propia naturaleza del objeto, conviene
una recogida continuada de información, de forma que pueda
apreciarse el progreso de los destinatarios del programa. Con
todo, cuando se trate de evaluar la eficacia, es obvio que lo fun-
damental será la información recogida a su finalización.
En relación con las técnicas, y sin perjuicio de que a este
aspecto se le dedique gran parte de lo que resta del capítulo, deja-
remos constancia de la conveniencia de no renunciar a ninguna,
dado que cada una tiene sus aportaciones y limitaciones. Sin
embargo, hay tres especialmente adecuadas:
• Las pruebas, aplicadas a la dimensión intelectiva. Gracias a

ellas el profesorado puede conocer la madurez intelectual
de los educandos, básica para una auténtica autonomía
moral. De alguna manera, el objeto de atención de este
tipo de técnicas puede quedar subsumido en las entrevistas
y, sobre todo, en la observación.
• Las entrevistas tutori4les, en las que el tutor alcanza una
comprensión clara y profunda del proceso valorativo, de la
claridad conceptual, de la profundidad en los criterios, de
la corrección interpretativa ... Sin embargo, debe quedar
1A OBSERVACIÓN EN SUS DIVERSAS MODALIDADES 367
constancia de que todo lo que se considera aportación

positiva en el ámbito educativo se convierte en limitación
en el de la evaluación de programas.
• La observación, la más adecuada para comprobar el grado
en que los valores se viven. No se olvide que tanto la acti-
tud como el valor se aprecian en verdad no en manifesta-
ciones verbales o en respuestas a cuestionarios que, forzo-
samente, se plantean en términos hipotéticos, sino en los
comportamientos, y estos sólo pueden apreciarse a través
de la observación 11 •
La coherencia entre pensamiento, apreciac1on y vida no

puede darse más que en el comportamiento, y este únicamente
puede ser captado en toda su riqueza y profundidad a través de la
observación cuando las conductas se producen, bien en las situa-
ciones ordinarias de la vida, bien porque los responsables del pro-
grama "crean" situaciones adecuadas para poder captarlas. En la
medida en que los valores no llegan a ser tales si no se hacen vida,
la observación fuera del aula -por parte de la familia- puede
resultar de gran utilidad. Ello permitirá, además, una activa coo-
peración entre padres y profesores.
El registro de tal observación es lo que será llevado a cabo en los
cuestionarios, inventarios y escalas a las que nos venimos refiriendo.
Por último, y en lo relativo al uso de la información, conviene
señalar que estamos ante uno de los aspectos más delicados.
Si en el marco de una evaluación estrictamente pedagógica, cen-
trada en la mejora del alumnado, no nos parece razonable utilizar la
información con el carácter de control, o en modalidades cercanas,
como la calificación, siendo obligado que toda la información recogi-
da en estos ámbitos sea utilizada con privacidad en el ámbito de lo
tutorial y en forma de diálogo entre tutor y tutelado, en el de la eva-
11 Al igual que el procedimiento más adecuado para crear, modificar o mante-
ner una acútud es la experiencia personal, la forma de valorarlas es el comporta-

miento, como ocurre con los valores. Un ejemplo de esta afirmación es la experien-
cia realizada en España por la ONCE (Organización Nacional de Ciegos), en relación
con la actitud de las personas con visión normal hacia las barreras arquitectónicas,
consistente en ponerles en una sala desconocida, con algunos obstáculos, los ojos
tapados y un simple bastón. No hace falta nada más para entender las demandas de
estas personas, ni grandes discursos, ni razonamientos, ni debates ... : la experiencia
es suficiente.
luación de programas debe respetarse esa misma privacidad, si bien

aquí desde otra perspectiva: dejando los datos de las personas con-
cretas en el anonimato. Lo que importa ahora es cómo funciona el
programa, cuáles son sus puntos fuertes y sus limitaciones, cuáles sus
resultados, ... y para ello lo importante es el cortjunto de destinata-
rios del programa, o los subgrupos en que, por razones diversas,
puede este dividirse. Esa es la información básica para diseñar las
acciones de mejora que se consideren pertinentes.
En el marco específico de la evaluación de programas, la
información no debe traspasar el ámbito general de logro de los
objetivos. Por otra parte, la información personal debe quedar
reservada ya que, en todo caso, hablaríamos de sujetos -sin nom-
bre y apellidos- que logran o no los niveles establecidos.
18.3.4. El prob/,ema de la integración de los resultados y juicios de valor

Todo nuestro planteamiento en torno a la evaluación gira
alrededor de una idea directriz, de un principio fundamental: la
necesidad de coherencia entre la finalidad de la educaci(m y los
objetivos en que se concreta, por una parte, y entre tales objeti-
vos, los medios puestos a su disposición -que constituyen la
dimensión de plan que dimos en su momento al programa- y la
propia evaluación, bien al considerarla como uno de tales medios,
bien al tomarla como una actividad destinada a comprobar el
grado en que aquellos objetivos se lograron.
Ahora bien, dado que hemos mantenido una concepción edu-
cativa en la que nos hemos manifestado partidarios de una educa-
ción integral, lo que implica no sólo plantearse sistemáticamente la
mejora de todas y cada una de las dimensiones que constituyen al
ser humano sino el logro de una finalidad elevada que dé armo-
nía y unidad a todo el proceso educativo, cabría esperar, del
mismo modo, una evaluación que fuera capaz de llegar a un jui-
cio de valor unitario y armonizador de las diferentes valoraciones.
Ese juicio debería ser algo así como una valoración unitaria de la
persona que cada educando es.
Como ya hemos señalado, conviene dejar constancia de que,
hoy por hoy, este planteamiento no tiene una solución y de que,
tal vez, no la tenga nunca. La razón radicaría en la propia natu-
raleza del ser humano, capaz de comportamientos social y moral-
mente ejemplares siendo una persona académicamente ignoran-
te y sin la debida formación intelectual, o de todo lo contrario.
Sin embargo, sí parece que se puede plantear como un desidera-
tum para la formación integral el lograr la unidad de vida, esto es,
el compromiso y consiguiente comportamiento de la persona de
conformidad con metas intelectualmente consideradas valiosas y
afectivamente asumidas como tales.
En tal sentido, si bien es posible integrar las dimensiones cog-
noscitivas y cognitivas en un único juicio de valor 12 , resulta posi-
ble que las personas no valoren como bienes determinados valo-
res que la inteligencia les presenta como tales y, todavía más, que
su comportamiento se aleje de aquellos, los haya valorado o no
como positivos.
Todavía cabe un elemento más a considerar. Dado el necesa-
rio respeto a la libertad humana, básico en todo tipo de plantea-
mientos educativos, y siempre que se respeten las normas sociales
y los valores generalmente asumidos, caben formas muy diversas
de comportarse a partir de una misma formación intelectual.
Valorar esos comportamientos no deja de ser algo discutible. Tal
vez no quepa otro tipo de valoraciones que las de su coherencia
con las opciones personales y, dentro de ella, el grado en que se
mantiene en situaciones, momentos y circunstancias diferentes.
En el ámbito específico de la evaluación de programas, estos
aspectos serán o no un elemento problemático, dependiendo de
cuáles sean los objetivos del mismo. Cosa diferente será si tales
objetivos son o no correctos y adecuados desde una perspectiva
pedagógica.
18.4. EVALUACIÓN DE LOS OBJETIVOS AFECTIVOS. TÉCNICAS

FUNDAMENTALES 1~
En otro capítulo de esta monografía analizaremos la conve-

niencia y necesidad de utilizar de modo preferente pruebas, sean
1
12
Piénsese que cuando se califica una actividad, pongamos un examen tradi-
ional, estamos valorando simultáneamente aspectos de contenido -dominio de la
materia- y ciertas dimensiones formativas , tales como rigor en la exposición, siste-
matización de la presentación, relación entre las partes, originalidad ... o cuales-
quiera otras pre,~amente seleccionadas.
13
Utilizamos la expresión de Bloom y cols. Lo de menos es la denominación; lo
importante es saber que con tal término nos referimos a ámbitos diferentes de los
saberes académicos y, en cierta medida, de la formación intelectual.
estas elaboradas por expertos -tests de rendimiento académico- sean

de elaboración propia -objetivas o no- para evaluar objetivos cog-
nitivos y cognoscitivos 14 , si bien hay otras técnicas disponibles,
centradas en la evaluación de las actividades desarrolladas por los
alumnos en el aula, además, obviamente, de su propio comporta-
miento tanto en las aulas como en los demás ámbitos de la activi-
dad educativa. Del mismo modo, analizaremos la evaluación de
los trabajos de elaboración personal, o en equipo, como la técni-
ca adecuada para apreciar el nivel de logro en lo que podríamos
considerar objetivos académicos complejos de alto nivel.
Ahora, a continuación, vamos a analizar dos grandes clases de
técnicas, especialmente adecuadas para los objetivos no cognitivos
ni cognoscitivos 15 ; se trata, por una parte, de la observación, con-
cretada en tres tipos de instrumentos, y, por otra, de los cuestiona-
rios, inventarios y escalas, especialmente adecuados para la evalua-
ción de los valores y las actitudes, bien sea a partir de las respues-
tas de los sujetos -autoinformes- bien a través del resultado de la
observación llevada a cabo por el evaluador.
18.4.1. La observación como técnica para la evaluación

La observación ha sido siempre una forma básica de conocer
y, por tanto, de conocer a los demás, al ser humano; sin embargo,
no se nos escapa que, con frecuencia, el ser humano tiende a rea-
lizar juicios precipitados a partir de pocas y, a veces, circunstan-
ciales evidencias; estas apreciaciones, subjetivas por lo general,
vienen viciadas por los apriorismos de quien observa tanto en
14
Los denominados contenidos conceptua[Ps y procedimentales en nuestro sistema
educativo.
1
'' Vale la pena dejar constancia de la difi cultad para trazar una línea divisoria
nítida entre unos y otros tipos ele objetivos. De hecho , siguiendo los planteamientos
del profesor García Hoz, la evaluación de objetivos cognitivos d e alto nivel permite
apreciar ciertas dimensiones de la personalidad, tales como las capacidades de ini-
ciativa, de cooperación, de esfuerzo, de perseverancia, de deseo de perfección y
hasta de respeto a los demás, al no aceptar una obra o actividad chapucera; es más,
su propuesta sobre el Sistema d:e la Obra Bien Hecha hace referencia al sentido de res-
ponsabilidad d el alumno al afrontar la evaluación de la propia actividad, de forma
que sea capaz de reconocer lo que está bien y lo que no lo está, así como la adecua-
ción de los medios, en especial del esfuerzo, a los objetivos iniciales que, para bien ,
deberían ser formulados no sólo con inteligencia sino con prudencia.
relación con la realidad observada como con la persona que es

objeto de atención.
Estas son, precisamente, las grandes limitaciones de la obser-
vación, limitaciones que deben ser abordadas con decisión si se
desea utilizar esta técnica para emitir los juicios de valor en que
consiste la evaluación, como base para la toma de decisiones de
mejora sobre el programa.
18.4.1.1. Evitar juicios precipitados

Cuando se desea que los juicios a los que se llega sean válidos,
esto es, se correspondan con la realidad observada, es preciso
tomar dos decisiones técnicas de gran importancia: a) responder
a un plan sistemático y organizado, intencional por tanto, al ser-
vicio de la recogida de la información pertinente; y b) contar con
suficientes datos como para tener una razonable seguridad de
que nuestro juicio no se basa en un acontecimiento casual, y que,
en consecuencia, representa la forma de ser y comportarse de las
personas observadas. Obviamente, lo segundo depende en gran
medida de lo primero.
En la medida en que, con frecuencia, se observan comporta-
mientos que se toman como indicios o indicadores de lo que
constituye el verdadero interés del observador, pero que, en sí, no
está directamente expuesto a la observación 16 , resulta necesario
acudir a la formación del observador de modo que sea capaz de
reconocer aquellos comportamientos que se consideran manifesta-
ción de la realidad que interesa observar.
Una técnica adecuada a tales efectos, a la que nos referiremos
más adelante, es la conocida como anecdotario o registro de inci-
dentes críticos.
16
Considere el lector que a un observador le interesa, por ejemplo, establecer
si un alumno es o no solidario, o perseverante, o agresivo, o ... Sin embargo, lo que ten-
drá ante sus ojos serán comportamientos que él d eberá identificar como propios o
no de solidaridad, perseverancia o agresividad. Reconocer los comportamientos como
propios de un rasgo o característica abstracta es una de las dificultades de la obser-
vación, tanto mayor cuanto más compleja y abstracta sea tal característica. Por ejem-
plo: un niño que quita algo a otro niño, ¿se puede co nsiderar, sin más, qu e lo hace
porque es un ladrón? ¿Podría, tan sólo, representar una forma de buscar la atención
de los adultos? O, tal vez, ¿podría ser un enfermo, un cleptómano?
18.4.1.2. Responder a un plan sistemático

Las anécdotas o, mejor, los incidentes críticos, a los que acabamos
de hacer referencia, pueden ser fruto de la atención general del
observador, de su "pre-ocupación" en la tarea de conocer a las
personas observadas; por ello, cada vez que, en su presencia, se da
un acontecimiento digno de ser reseñado, lo registra.
Sin embargo, hay ocasiones en que específicamente se trata
de observar el comportamiento de determinadas personas a los
efectos de conocerles "en general" o en relación con algún
aspecto concreto: su rendimiento, sus habilidades sociales, su
carácter, sus hábitos de estudio, sus técnicas de trabajo intelec-
tual..., como ocurre en la evaluación de programas. En tales
casos debe plantearse una observación sistemática durante
determinados periodos de tiempo en circunstancias considera-
das relevantes y en ámbitos especificados; en esta tarea puede
participar un único o varios observadores. El registro acumula-
tivo unirá en este caso la característica de una observación pla-
nificada, sistemática, organizada, y, en consecuencia, más válida
y rigurosa que la anterior.
No obstante, ambas modalidades de observación pueden
actuar como complementarias, enriqueciendo la una a la otra y
dotándose mutuamente de mayor validez cuando los resultados
son coherentes.
Para el registro de la información que responda a estas exi-
gencias, disponemos de técnicas como las listas y escalas de obser-
vación, así como las escalas descriptivas, todas ellas con sus diversas
modalidades, que serán presentadas más adelante.
18.4.1.3. Estar fundamentada: una observación "ilustrada"

Mario Bunge (1979), en su magnífica aportación sobre la obser-
vación, la caracteriza como "una percepción intencionada e ilustra-
da. Intencionada o deliberada porque se hace con un objetivo
determinado; ilustrada, porque va guiada de algún modo por un
cuerpo de conocimiento".
Ese carácter de intencionada lleva al observador a atender de
forma selectiva, esto es, a centrarse en los objetos de su interés; el
de ilustrada le confiere naturaleza interpretativa: consideramos
que algo que ocurre ante nuestros sentidos es una manifestación
de algo que nos interesa, precisamente por te_ner su fundamento
en el cuerpo de conocimiento que apoya el guión de observación

o los elementos integrantes de cualquiera de las técnicas al uso.
Es ese cuerpo de conocimiento el que permite al observador
"ver", captar, reconocer lo que debe ser observado y, en conse-
cuencia, registrarlo y hasta describirlo. La importancia de ese
carácter ilustrado, por tanto, es difícil de exagerar, ya que es la
clave de la calidad de los datos para la evaluación.
18.4.2. Cuestionarios, inventarios, escalas

Como indicábamos más arriba, además de las técnicas gene-
rales para el registro de la información relativa a objetivos no cog-
nitivos, podemos acudir a cuestionarios, inventarios y escalas para
la evaluación de actitudes y valores, metas importantes de muchos
programas tanto de educación institucional como de educación
no formal, como puede ser el amplio abanico de los programas
conocidos como de educación social.
Por cuestionario entendemos la técnica para el registro de la
observación -por parte del observador o de la persona objeto de
atención- organizada en forma de preguntas. Los inventarios se
diferencian en el hecho de que, en lugar de preguntas, se plan-
tean enunciados a los que responde el observador o el sujeto de
la observación, normalmente marcando SI o NO. Por último, las
escalas representan una modalidad en la que los sujetos sitúan a
los observados a lo largo de un continuo, o bien son Jos propios
sujetos los que se sitúan en ellos 17 • A ellos nos referí remos a con-
tinuación.
18.5. ANÁUSIS DE LAS DIFERENTES TÉCNICAS
Señalábamos más arriba que, entre las dificultades a las que

debe hacer frente la observación, la fundamental se refiere al
logro de la validez de la información. Evitar juicios precipitados y
asegurar la objetividad en la medida de lo posible son las metas a
onseguir. Pues bien: en esa línea podemos analizar algunas
importantes técnicas que presentamos a continuación.
17
En el capítulo siguiente se harán algunas consideraciones sobre los cuestiona-
1ios como concreción de la técnica d e encuesta.
18.5.1. Técnicas generales para el registro de datos de observación

Reseñamos a continuación aquellas técnicas generales, esto
es, aplicables a cualquier tipo de hechos que ocurren en presen-
cia del observador y, por tanto, especialmente adecuadas para uti-
lizar en la observación de los procesos educativos.
18.5.1.1. El registro de incidentes críticos

Un juicio precipitado es el que se basa en insuficiente infor-
mación. Para disponer de suficientes datos, se ha ideado el registro
de anécdotas o anecdotario, también denominado registro de inciden-
tes críticos 18 • En esencia, consiste en el registro, bien sea en forma
de ficha, bien de cuaderno, de aquellos comportamientos consi-
derados significativos por parte del observador. Para evitar la gran
limitación de la observación, el subjetivismo, se aconseja deslindar
el puro registro del comportamiento, en el que, además, aparecen
los datos objetivos relativos a las circunstancias del hecho -lugar,
momento, personas presentes, elemento desencadenante ... - de
lo que es la valoración del observador, que puede escribirse en la
parte posterior de la ficha.
Cuando el observador está afectado más o menos directa-
mente por el hecho registrado, como ocurre cuando realiza esta
tarea el profesor, el fruto de su observación puede traducirse en
alguna valoración precipitada que, un tiempo después, podría
atemperarse. Por ello, la separación entre el registro objetivo y la
valoración ayudará en su momento a una interpretación más dis-
tanciada y, presumiblemente, objetiva de la realidad.
Ningún único registro, por llamativo que sea, puede conside-
rarse suficiente para enjuiciar a una persona, para situarla en una
determinada categoría; sin embargo, la acumulación de eviden-
cias en un determinado sentido sí puede ser una importante
ayuda al caracterizarla y, en consecuencia, diseñar actividades sis-
temáticas de mejora en el momento en que sea preciso. Si esta
acumulación evita la contaminación de juicios del observador al
haberlos separado de la descripción objetiva de los hechos, se
18
Vid. Rodríguez Di éguez (1980: 353-356). Prefiere el término incidente crítiro
porque el concepto de anécdota parece poco adecuado para la importancia que este
tipo de registro puede llegar a tener.
habrá conseguido un conocimiento válido y no contaminado por

la subjetividad.
Por otra parte, esa acumulación puede permitir apreciar si el
comportamiento registrado se da sólo en ciertas circunstancias o
contextos o si es generalizado, lo que, evidentemente, es una
información valiosa tanto en el marco de la evaluación de los pro-
gramas como, especialmente, en el de sus destinatarios a título
personal.
18.5.1.2. Listas y escalas de observación

En el caso anterior, el observador "se encuentra" con hechos
significativos, bien porque acontecen en su presencia sin él estar
pendiente de que así sea, bien porque está tratando de apreciar
hechos que tengan relación con algún campo de interés para el
conocimiento y actuación pedagógica subsiguiente.
En otras ocasiones, por el contrario, lo que interesa es poder
indicar si determinados comportamientos, de la índole que
sean, se dan o no, o bien si se dan con cierta intensidad, fre-
cuencia, duración, generalidad, persistencia, ritmo, variedad .. . En el
primer caso, nos encontramos ante una situación propicia para
utilizar instrumentos de observación conocidos como listas de
control mientras en el segundo estamos ante las escalas de aprecia-
ción.
a) Listas de control
En las listas de control, por otros denominadas sistemas de signos,
el observador se limita a indicar, para cada una de las personas
observadas, si un determinado comportamiento se da o no se da;
en algunos casos, existe además una alternativa, expresada como
¿ ? o como dudoso, para las situaciones en que el observador no
tenga seguridad. Por ejemplo:
.)
Sabe escuchar a los demás SI NO <'.·
Se distrae en clase SI NO DUDOSO
Las listas pueden cumplimentarse en determinados momen-

tos -por ejemplo, al evaluar a los alumnos- o tras uno o varios
periodos específicos de observación sistemática, de duración esta-
blecida 19 . En este segundo caso nos encontramos ante una obser-

vación sistemática, planificada y orientada en una dirección
determinada. Los instrumentos suelen recoger una amplia gama
de manifestaciones que se consideran como definitorias de la
característica a observar: por ejemplo, los hábitos de estudio, las
habilidades sociales, la disciplina en las aulas ...
Tres son las claves para la calidad de este enfoque:
- Una lista completa.
Que la lista recoja suficientemente el conjunto de manifesta-

ciones esenciales de lo que se desea observar, evitando tanto la
insuficiencia como una excesiva minuciosidad; si las consecuen-
cias parecen obvias en el primer caso, en el segundo se puede
producir un efecto no deseado. En efecto: cuando la cantidad de
aspectos a observar es excesiva, el observador, antes de dejar algu-
no sin puntuar, suele contestar mediante el denominado "efecto
halo" o tendencia a extender a otros comportamientos la valora-
ción general, positiva o negativa, que se tiene sobre la persona
observada, algo evidentemente no deseable.
Una interesante forma de proceder para confeccionar listas
consiste en la celebración de sesiones técnicas en que personas
experimentadas ponen sobre la mesa los elementos o ítems que,
a su juicio, deberían integrarlas. De la discusión y el contraste de
pareceres se puede llegar a listas consensuadas.
El procedimiento anterior puede resultar más sólido si se
cuenta como base con listas ya elaboradas y publicadas y si el
grupo tiene a su frente a una persona con la debida formación,
como puede ser un orientador escolar, un inspector o, en gene-
ral, un especialista en el tema ..
No obstante, conviene dejar sentado que, en el caso de la eva-
luación de programas, la responsabilidad última corresponde al
evaluador, dado que él es quien deberá emitir el correspondien-
te juicio en relación con el diseño, procesos o resultados del pro-
grama.
- Una lista con lenguaje claro y preciso.
19
Medley y Mitzel (1963: 247-338) plantean este tipo de actuacion es desde la
segunda perspectiva.
Que la descripción de los componentes de la lista evite, tanto

como sea posible, la interpretación del observador, de forma que
se elimine o reduzca el componente de subjetividad.
Si se sigue para la elaboración de las listas el procedimiento
anterior, resulta relativamente fácil alcanzar esta meta. En efecto,
al seleccionar los ítems o elementos componentes se puede alcan-
zar una cierta operacionalización que contribuya al posterior regis-
tro. En cualquier caso, probar la lista en una aplicación piloto
siempre es algo recomendable.
- Disponibilidad de información válida por parte del observador.
Una buena lista no es sino un instrumento para el registro de

características o comportamientos. La validez de la información
aportada será cuestión, a partir de ese momento, de la fidelidad
con que se vuelquen a la misma las observaciones disponibles. En
consecuencia, y a partir de este momento, cobra todo su sentido
lo ya dicho sobre juicios precipitados y subjetividad de toda obser-
vación.
En otro orden de cosas, esta característica resulta especial-
mente difícil, a la vez que necesaria, en los casos complicados.
En efecto, en programas destinados a alumnos con dificultades
especiales, los comportamientos directamente observables pue-
den ser manifestaciones de características diversas, cuyo reco-
nocimiento no resulte fácilmente accesible sino a auténticos
especialistas.
b) Escalas de valoración
Por lo general, una lista de control se convierte en una escala, la
más simple de todas, cuando el observador no ha de limitarse a
indicar si la conducta a que se refiere cada uno de los enunciados
se da o no, sino que debe calificarla a lo largo de varios rangos
- por lo general no más allá de 5- en relación con dimensiones
del comportamiento tales como la frecuencia, la intensidad, la dura-
rión, el ritmo, la persistencia, Ja variedad ... de las situaciones -de cara
a la generalización del rasgo o característica de que se trate- o
1ualquier otra dimensión que se considere relevante a los efectos
d(' la evaluación.
Ejemplo de .frecuencia:
Atiende en clase: l. 2. 3. 4. 5.
Atiende en clase: Nunca. Pocas veces. A veces. Casi siempre. Siempre.
Ejemplo de intensidad
Fuma: l. 2. 3. 4. 5.
Fuma: Nada. Poco. Algo. Bastante. Mucho.
La escala puede venir precedida de una instrucción al evalua-

dor de un tenor similar al siguiente:
Valore, de uno -mínimo- a cinco -máximo- los siguientes aspec-

tos:
El problema de la cuantificación deriva de la dificultad para que

el observador asigne rangos intermedios; los extremos -nunca/siem-
pre, todo/nada, ...- no presentan dificultad por lo general; sin embar-
go, rangos como bastante, casi siempre, pocas veces, a veces ... son clara-
mente imprecisos, por lo que el evaluador no tiene claridad para
otorgarlos, lo que suele traducirse en lo que se denomina tendencia
central o inclinación de los evaluadores a elegir el rango mediano -el
3 en una escala de 5- siempre que tiene dudas.
Este hecho, que es una de las limitaciones de este tipo de escalas,
lleva a algunos autores a proponer escalas con número par de ran-
gos, lo que obliga al evaluador a definirse por valoraciones positivas
o negativas. Sin embargo, es preciso reconocer las dificultades reales
que encuentran en ocasiones los evaluadores para realizar esta
opción con ciertas personas, a las que claramente les es aplicable la
categoría central, por lo que suprimirla puede no ser acertado.
Las dificultades para la asignación de rangos intermedios pue-
den abordarse de dos modos: decidiendo de antemano cómo asig-
narlos (por ejemplo: cuando una conducta haya sido observada x
veces; cuando su intensidad alcance niveles similares a los propues-
tos como ejemplo ... ), o partiendo de la experiencia acumulada, deci-
diendo en función de la misma (por ejemplo: si una gran mayoría de
los niños a lo largo del curso académico no llega tarde a clase en más
de 10 ocasiones, asignar la categoría de A veces, de Normal o de
Regular, según el enunciado, a todos aquellos que han llegado tarde
entre 8y10 ocasiones).
La cuantificación puede planlearse en forma de números, otor-
gando un 1 a la situación extrema negativa (nunca, nada, en ningu-
LA OBSERVACIÓN EN SUS DfVERSAS MODALIDADES 379
na circunstancia) y el 5 a la extrema positiva (siempre, todo, en todas

las circunstancias); sin embargo, en ocasiones puede tomar la forma
gráfica (figura 1), que permite utilizar incluso puntos intermedios.
En la figura, el observador ha marcado 2,5:
1 2 3 4 5
Respeta el turno de palabra: / _ _ / _ x _ _ /_ _ _ /__J
Figura 1: Escala de observación
c) Escalas descriptivas
Una interesante alternativa es la constituida por las denomi-

nadas escalas descriptivas; en ellas, los diferentes "escalones" están
definidos en términos de comportamientos diferentes, conside-
rados como rangos que ponen de relieve una situación de menos
a más. Su evidente ventaja para los evaluadores se convierte en
una clara dificultad para los constructores, que deben ser capaces
de identificar esas manifestaciones, jerarquizadas en dimensiones
tales como intensidad, frecuencia, duración, persistencia ... de la
realidad evaluada, y, a ser posible, acercarse a unos escalones que
tiendan a cierto grado de equidistancia, algo que , como veremos
más adelante, requiere una serie de actuaciones técnicas por lo
general no exigibles al profesorado.
Un ejemplo lo tenemos en la siguiente propuesta (Escala de
Comportamiento) referida al rasgo "critica":
Tendencia a la crítica:
• Aparenta no criticar, pero excita a los demás.
• Indifere nte : no se preocupa ni analiza las cosas de los demás.
• Critica poco y, cuando le parece necesario, critica adrede
demasiadas cosas.
• Mordaz y negativo e n muchas ocasiones.
Un somero análisis de la misma pone de relieve tanto la limi-

tación en lo relativo al orden de los rangos como, sobre todo, en
relación con la posible equidistancia entre los mismos.
18.5.2. Técnicas específicas para evaluar actitudes y valores

La evaluación de actitudes y valores encuentra las mismas resis-
tencias apreciadas al hablar de su educación. Queda claro que no
tiene sentido abordar su evaluación si previamente no se ha intenta-

do -de forma sistemática- su cultivo y desarrollo; pero, a la vez, y
dado ese principio fundamental de la eficacia en educación según el
cual debe darse coherencia plena entre objetivos, proceso educativo
y evaluación, allí donde se plantee un proyecto que incluya objetivos
de estos ámbitos es preciso proceder a su evaluación, fundamental-
mente para tomar las decisiones pertinentes de cara a su mejora así
como a la del propio proyecto o programa diseñado al efecto.
Como afirman Bloom y cols. (1981: 340), de no hacerlo así, los
centros educativos "no contarían con ninguna evidencia sobre la que
basar las modificaciones de su currículo y sus métodos pedagógicos",
ni con información imprescindible para afrontar la mejora de los
educandos mediante programas específicos, añadimos nosotros.
Por otra, parte, dada la relación, bastante bien establecida,
entre el currículo real de los centros educativos y la evaluación, la
no evaluación en este ámbito lleva, por lo general, a su abandono
o postergación con respecto a otro tipo de objetivos.
Sin embargo, es preciso reconocer los problemas que implica
su evaluación, entre los que no son menores los relativos al fingi-
miento/deformación si el evaluado sospecha que, a partir de los
datos, vendrán críticas, castigos o alguna incidencia en sus resul-
tados académicos, aspecto este que no debería tener sentido en el
caso de evaluaciones de programas.
18.5.2.1. Técnicas y procedimientos

Otro problema adicional es el relativo a las técnicas a utilizar,
muy variadas y, en muchas ocasiones, notablemente complejas
para personas no especializadas. Bloom, en general, habla de las
siguientes técnicas:
• Entrevistas.
• Cuestionarios.
• Cuestionarios con ítems de opción final abierta.
• El Diferencial semántico.
• Técnicas proyectivas.
Nosotros añadiremos dos de especial utilidad: la observación de

las conductas y las escalas.
18.5.2.2. Recogida de datos sobre actitudes

Es frecuente referirse a Ja medida de actitudes utilizando el
término escalas. Este concepto se debe al hecho de que, por lo
general, los sujetos se sitúan -o son situados por otros- en un
determinado lugar o posición a lo largo de un continuo. Las esca-
las clásicas son de tres tipos:
• Diferenciales.
Se deben a Thurstone. Son las más perfectas, pero las más

difíciles de construir por la complejidad del proceso. Su cons-
trucción se orienta a conseguir que presenten intervalos sucesivos
aparentemente iguales en amplitud.
Enunciado núm 39:"Crc o que lo lgle¡ia u abso lutamente nccuarla po-

ro v1mcar ta tendendo ha cia et 1nd1vldua\1 smo y el egoísmo. Practico bot
tan tc bien lo rt:glo dur1a :·
: 1,00 ,......,,......,-,-,-r::..,.,..-r-.-.-r-,--,,...-,
l 0,90 f--ll--l-+--t..-c+-+--+-+--+-+-j--j-+
"" O, 80 1----i--t-+-
/,.._---+--+--+--+--t--+--+--<1----i
~ º·70 f--ll--l-+,r +---+--+--+-+--+-+-j--j-+
~ º· 60 1----i--t-lf-t----+--+--+--+--t--+--+--<l----i
~ O, 50 l----i--t-,·• -+-+--1--1--+-+--+---+--+-<
§ O,l.O 1--1--+-H--!--+--+-+-l--I - 1---
:;: O 30 f--ll--l+/-+-+-+--t-+valor dc csc¡I~ : :·; -
f ~w 1
1 1
i º· ': O
./ ' 1 Z l t. 5 6 7 B 9 10 11 12
cotcgorlas de 1scalo
Emmcu;id'tl nUm 8 "Creo Que lll Iglesia CJCICf. l.lno buena mllutncoa so
brc las cla ses boJllS y los no educadas, pero que no l•cnc nmgUn valor
para l<1s clases altos y las educados:·
~ 1,00 , . . . . . . , , , - , - , - - , . - - , - , - - , - . , . - - , -,,,,,.,......,
,
2. o.901--11--1-+-+--+-+--+-+--+-+v->+--t-j
~ 0,80 t--+--+-+-1--t- +--+-+---+-/_.,,_-+-+-<
~ O, 70 l----if---t-+-+--+--1--+--t-- V -<-+·-+---l
~ 0.60 l----if---t-+-+-+--1--+--1+.I-+-+--+--<~
~ O, 50 1---<f---t-+-+--+---+---i--
/ A--+-+-1--1--<
5 O,l.O 1--il--l--+-+--+-+--í'-+--+-+-j--j-4
: 0.301----if---t-+--+-+/
!"!: oº· 21oº0--1-+-+·
--h'·~-~rd~l;_
.1 1 . 1 1
1----if---t-+--+-.k-t--+-tt--+-t·+--+--<~
=
&.o V' s 1
o 1 2 J 4 5 6 1 8 9 10 11 12
caltgorios ck tscola
FIG URA 2. h)emplos de valores escalares de dos ítems de un test de actitudes.
A partir de un muy elevado número de enunciados que

representan todo el continuo favorable / desfavorable hacia el
objeto de la actitud, y merced al juicio de expertos, se asigna a los
ítems seleccionados un determinado valor escalar. Un ejemplo del
valor escalar es el recogido en la figura 2, tomado de Anastasi

(1967: 533) y referido a una escala de actitud hacia la Iglesia, debi-
da a Thurstone y Chave.
Los sujetos eligen entre los ítems propuestos; su puntuación
es la suma de los valores de los ítems seleccionados. Conviene
señalar, como afirman Selltiz y cols. (1976: 405), que
Teóricamente, si una escala tipo Thurstone es totalmente fiable y
si la escala mide una sola actitud más que un complejo de actitudes, un
individuo debería marcar solamente los ítems que se hallan inmediata-
mente contiguos en la escala de valores [ ... ] Las respuestas muy difusas
pueden indicar que el sujeto no tiene adoptada actitud alguna y que
su actitud no está organizada en la forma prevista en la escala.
• Sumativas
Son las más conocidas y se deben a Likert. Por lo general, y

dado un determinado pie -enunciado inicial- se ofrecen a los
sujetos una serie de respuestas ordenadas desde la más favorable
a la más opuesta, o viceversa. Los sujetos marcan en cada ítem su
alternativa entre, por lo general, cinco a siete, aunque las hay con
menor número de rangos. En ocasiones, en lugar de respuestas se
ofrece al sujeto una gradación en rangos.
Veamos un ejemplo:
"Una persona que ama a sus semejantes debería rehusar comprometerse en
guerra alguna, por muy serias que fuesen las consecuencias para su país".
Apruebo Desapruebo
Apruebo Indeciso Desapruebo
decididamente decididamente
5 4 3 2 1
• Acumulativas
Se deben a Guttman. Su nota más distintiva -y lo que hace de

ellas algo difícil de alcanzar- es el intento de lograr unidimen-
sionalidad, esto es, de que todos y cada uno de los ítems estén
midiendo la misma realidad con diferente intensidad. Por tanto, la
elección de un ítem concreto representa el acuerdo con todos los
que le preceden en la escala.
• El diferencial semántico
Una técnica diferente es el diferencial semántico, debido a

Osgood, que se vale de adjetivos bipolares separados por una
serie de rangos -siete a nueve por lo general- entre los que el
sujeto evaluado se sitúa a lo largo del continuo.
Una recomendación de Osgood es que el instrumento recoja
en su estructura las tres grandes dimensiones que él considera
esenciales para este tipo de instrumento:
• Evaluación, que se corresponde con el aspecto favorable/ desfa-

vorable;
• Potencia o poder del objeto de la actitud, traducible por aspectos del
tipo fuerte/débil,
• Actividad, en la que situamos actividad/pasividad.
Un ejemplo 20 , relativo a las actitudes hacia la lengua castella-

na21, se incluye en el cuadro 4.
ABCDEFG
mala . . . . . . buena
- ·. - ·. - ·. - ·. - ·
. - .· -
necesaria - ·.- ·. - ·. - ·. - · innecesaria
interesante . -·
. - aburrida
- ·.- ·. - ·. - ·. - ·
. -·
. -.
complicada -·-·-·-·-·-·-· sencilla
fácil . . . . . . difícil
atrayente . ·.- ·. - ·. - ·
- . -· . -· . -. indiferente
·
.. - ·
.. - ·
.. - ·.. - ·.. - ·.. - ·.. - ·
perfecta imperfecta
clara .- .- .- .- .- .-.- confusa
·
. -·. - .· - .· - .· -.· -.· -.
emocionante ·-· apagada
elemental . -·. - ·. - ·. - ·. - ·. - ·. compleja
- ·.- ·.- ·.- ·.- ·.- ·.- ·.
útil - ·.- ·.- ·.- ·.- ·.- ·.- · inútil
perjudicial - ·. - ·. - ·. - ·. - · provechosa
fea . - .· - bonita
-·-·-·-·-·-·-
instructiva . . . . . .
-·-·-·-·-·-·- superflua
monótona . . . . . . absorbente
- ·.- ·. - ·. - ·
. -·
. -·
. -
agradable -·-·-·-·-·-·- desagradable
CUADRO 4. Ejemplo de Diferencial semántico en relación

con la Lengua castellana.
20
Debido al profesor X. Rubal (1985: 560).
21Las leu·as tienen el siguiente significado: A y G: MUY; By F: BASTANTE; C y E:
ALGO; D: INDECISO.
18.5.2.3. Recogida de datos sobre valores

En cuanto a los valores, Rokeach propone acudir a tres tipos
de técnicas:
- Observación del comportamiento e inferencia de valores a partir
de la conducta.
- Pregunta directa al sujeto sobre los valores que explican y apoyan
sus conductas.
- Ordenación de una serie de valores que se le proponen, según su
propia escala.
Con la intención de ejemplificar procedimientos de evaluación

de valores, presentarnos a continuación dos instrumentos, uno de
ellos, de los más conocidos en este ámbito: el Estudio de ws Vawres (A
Study ofValues) de Allport, Vernon y Lindzey, publicado originalmen-
te en 1.960, y otro de nuestro país, debido al profesor V. García Hoz.
a) El Estudio de los Valores (A Study of Values) de Allport, Vernon y

Lindzey
El cuestionario está basado en las formas de vida, de Spranger:
teórica (verdad), utilitaria (utilidad), estética (armonía), social (amor
altruista), política (poder) y religiosa (unidad), una propuesta consi-
derada optimista por algunos ya que, a su juicio, faltarían formas de
vida menos elevadas (hedonismo, sensualidad, consumismo), ade-
más de algunas otras poco definidas y hasta acomodaticias (mover-
se por las circunstancias del momento).
La prueba consta de dos partes, con 30 y 15 ítems respectiva-
mente. En los 30 primeros se otorgan, en función del grado de
preferencia, 3-0 ó 2-1 puntos en las diferentes alternativas. En la
segunda, da 4, 3, 2 y 1 puntos a las respectivas elecciones, por
orden de preferencia.
Cada valor se compara igual número de veces con todos los
demás, de forma que sea posible llegar al final a un psicograma, de
carácter idiográfico, sobre la importancia relativa de los diferentes
valores, siendo esta una de sus limitaciones, reconocida por los
autores, ya que "el valor más bajo en una persona con elevada
'energía de valores' puede resultar más dinámico para su vida que
el valor alto en otra con apatía y falta de interés" 22 .
22 Allport, Vernon y Lindzey (1960: 532).

lA OBSERVACIÓN EN SUS DIVERSAS MODALIDADES 385
En el cuadro 5 se presentan dos ítems, uno de cada tipo, a
título de ejemplo. Una vez cumplimentada la prueba, las puntua-
ciones globales se representan en forma de perfil (cuadro 6) refle-
jando cada una la intensidad relativa con que ha sido seleccionado
el valor.
EJEMPLO DE LA PARTE 1
¿Cuál cree Vd. que es la más importante fun-
ción de los modernos dirigentes?
a) Procurar la realización de objetivos prácti-
cos; (a) (b)
b) Fomentar el interés por los derechos del
prójimo.
EJEMPLO DE LA PARTE 11
Las grandes hazañas y aventuras de los descu-

descubridores, como las de Co lón, Magalla-
nes, Byrd, etc., le parecen importantes porque:
a) Constituyen conquistas del hombre sobre
la naturaleza. (a)
b) Aumentan nuestros conocimientos sobre
geografía meteorología, oceanografía ... (b)
c) Sirven de lazo de unión para los intereses
y los sentimientos de los diversos pueblos
del mundo. (c)
d) Contribuyen a la comprensión del universo. (d)
CUADRO 5. A)empLos de ítems del instrumento para La medida de Los valores,

de ALlport, Vernon y Lindzey.
80
70
60
50
40
30
-~
~
- -- -
""""" -.-- ~
..........
- -
20
10
Teórico Económico Estético Social Político Religioso
CUADRO 6. Perfil de valores según el instrumento de Allport, Vernon y Lindzey.

b) El Test de Reacción Valorativa, de García Hoz

Otro instrumento, más reciente y de nuestro contexto, es el
debido al profesor García Hoz. A partir de sus estudios sobre el
vocabulario ( 1977), ideó un instrumento "para estimar, cuan ti-
ta ti va y cualitativamente, la reacción de un sujeto frente a la rea-
lidad".
El instrumento se enmarca en los objetivos del dominio afecti-
vo, siguiendo las ideas de Krathwohl, que incluyen cuatro etapas:
a) receptividad valorativa; b) reactividad o respuesta; c) valora-
ción, elección; d) realización.
Como afirma el profesor García Hoz (1977: 106),
dado que la valoración de la realidad no puede realizarse sin la

receptividad y la respuesta, puede considerarse que de las cuatro eta-
pas mencionadas, se incluyen tres en este trabajo: la receptividad, la
reactividad y la valoración en el sentido estricto. La realización de los
valores queda de momento fuera de consideración.
La técnica consiste en el ofrecimiento de un cortjunto de pala-

bras agrupadas en torno a los siguientes valores: Dinero, Fama,
Poder, Placer, Actividad, Arte, Técnica, Saber, Servicio Social y Religión.
Los sujetos deben marcar, para cada una, si les resulta muy simpáti-
ca, simpática, indiferente, antipática o muy antipática.
Las puntuaciones permiten captar la intensidad de la reacción
-de muy alta a muy baja-y el sentido, que va de muy positivo a muy
negativo. Gráficamente, la intensidad puede expresarse mediante
curvas de reacción valorativa (cuadro 7): Ja curva permite apreciar
el predominio, para cada sujeto, de Ja opción por los diferentes
tipos de reacción: muy simpática, simpática... ; cuando la repre-
sentación gráfica recoge las valoraciones globales para cada tipo
de valor: dinero, fama, poder... , estamos ante el perfil de reacción
valorativa (cuadro 8). Obviamente, en el caso de programas pue-
den elaborarse curvas y perfiles para el grupo que realiza el pro-
grama.
LA OBSERVACIÓN EN SUS DIVERSAS MODALIDAD ES 387
I A
120 120 120 '

\ '
100 100 100 '
I \ \
80 80 I 80
' !'. fiO
\
6-0
V \ \
40 I
4-0 40
20
\
20
I
'' 20
\
' '
MS A MA MS A MA MS A MA
Cu1va A C mv;1 B Curva H1
120 120
11
120
1
HKJ
80
1 1
100
80 I
- 1
\00
80 I
I I
60 60 60
1/ \ \ 1
1
1
I
40 ' 40 ,. / 1
I \
20 20
I
20
'
MS A MA ~1 S A MA MS A MA
C urva B, CunaC C111 \<1C,
CUADRO 7. Curvas de reacción valorativa a partir del test de reacción valorativa

de García Hoz.
~ 40
I
,, ,...
¡:::~o
~ 1( 1
t l'u i>IAcArT <. t Po PI \e \1 T <.

l'nlil<k re.tcci(ín 1;1lor.1ma l'e11i1de1c.u111)111.1loi.ui1.t
t'l ,l ! Pl .\
:: 10 H-+-+-H-+-+-H-++-+-H-++-1-1 ~ 40 H-++-H-++-+-K-+-+-H-+-+-H
7 /
: 30 H-+-+-H-+-+-H-++-+-H-++-1">'1 ;: :'\o H--t-t-t-i--t-t-t-t-t-t--t-H--tt~

¡:. :..>ti l=t~:l=l=t:4::$:$;j:J:=t::t:~=t:i'.r::I
/
~ IU H-+-+-H-+-+-H-+~+-i.<+-++-f-1
O F Po l'I i\( A1 T A F l'o l'I Ac A1

l'ulil dt· 1c.irdú111.ilor;11i1.1 l'nlilfk1c<Kckin1;ih11,1111,1
l'I U l'!l T
CUADRO 8. Perfiles de reacción valorativa a partir del test de reacción valorativa

de García Hoz.
18.6. AUTOEVALUACIÓN
Ya hemos señalado previamente como un hecho a tener en

cuenta la dificultad misma para plantearse y evaluar objetivos
ligados a las actitudes y valores y que, sin embargo, considerába-
mos que no se podía renunciar a ellos. Indicábamos entonces
que la autoevaluación puede realizar notorias aportaciones en
este punto, especialmente relevantes por su notable valor forma-
tivo.
En efecto, a través de la autoevaluación, el alumno llega a
conocer criterios relevantes y adecuados, a capacitarse en su aplica-
ción a producciones concretas y, con el tiempo, a seleccionar los
mejores para valorar situaciones nuevas, no experimentadas con
anterioridad.
En la medida en que los objetivos de evaluación están entre
los más elevados de la formación intelectual, y que la posesión
de criterios es un elemento básico de la formación moral, pare-
ce clara la conveniencia de estimular, desde perspectivas esen-
cialmente pedagógicas de la evaluación, los procesos autoeva-
luativos.
Podríamos añadir a lo anterior el valor que la práctica de la
autoevaluación tiene de cara a la elaboración de un adecuado
concepto de sí, equilibradamente alejado tanto de hipervalo-
raciones sin base como de hipovaloraciones injustificadas. Del
contraste continuado entre las propias autovaloraciones y las más
"objetivas" -por desapasionadas y técnicas- del profesorado, el
alumno podrá ir ajustando su apreciación de sí a la realidad de sí,
un objetivo educativo de primera importancia.
Obviamente, en el marco de la evaluación de programas, lo
aquí dicho sólo tiene sentido si el programa se plantea este tipo
de objetivos, bien en forma directa bien indirecta, ligada a los
objetivos expresos del programa. En tales casos, la autoevalua-
ción podrá considerarse desde dos perspectivas diferentes:
como actividades destinadas al logro de los objetivos apunta-
dos, y también como una técnica para recoger la información
pertinente. En este segundo caso habrá que actuar adecuada-
mente para evitar las limitaciones -distorsiones de los denomi-
nados por Ca tell ( 1977: 58-61) datos Q como la deseabilidad
social o la aquiescencia, esto es, la tendencia a dar respuestas
conformes con la imagen que se desea proyectar ante Jos demás
LA OBSERVACIÓN EN SUS DIVERSAS MODAL!OADES 389
-primer caso- por considerarlas adecuadas y preferibles, y a

responder afirmativamente, con independencia del contenido
de las cuestiones formuladas en el segundo 23 .
2
~ Por ello, se recomienda que los enunciados se formulen de forma que las res-
puestas deseables o socialmente preferibles pueda n requerir respuestas positivas en
unos casos y negativas en otros, y estar o rganizadas de forma aleatoria o, al menos,
sin un patrón predeterminado.
CAPÍTULO 19
ENCUESTAS Y CUESTIONARIOS.
LA ENTREVISTA
ÜBJETfVOS

capaz de:
• Los conceptos de encuesta, cuestionario y entrevista.
• La adecuación de estas técnicas para la recogida de ciertos

tipos de información.
• Las diversas modalidades y las características técnicas que

deben reunir estas técnicas para que la información sea
válida y útil.
• El proceso y los procedimientos a seguir para la adecuada

recogida de información mediante las citas técnicas.
Entre las fuentes productoras de información -datos- para la

evaluación de programas educativos ninguna más utilizada que
los destinatarios de los programas. Y entre los diferentes tipos de
información solicitada, pocos tan frecuentes como las opiniones,
percepciones y valoraciones de tales destinatarios.
Este tipo de información puede tomar la forma de consulta
sobre necesidades, carencias y demandas; sobre el interés, la
motivación o la disposición favorable a participar en el programa;
sobre el grado de satisfacción por el desarrollo del programa o lo
atractivo de las actividades que se vienen desarrollando; sobre los
resultados alcanzados, la eficacia percibida, la conveniencia de
seguir aplicando el programa, los cambios que se considera con-
veniente introducir...
Pues bien: para estos tipos de información, sobre todo cuan-
do las personas están en condiciones de poder ofrecerla' y el
número de personas que deben ser consultadas es elevado, nada
mejor que la técnica de encuesta, generalmente en forma de cues-
tionarúJ. Esta técnica permite recuperar fácilmente la informa-
ción, organizarla y analizarla con facilidad, incluso por procedi-
mientos estadísticos, sobre todo cuando se acude a cuestiones
cuyas respuestas están altamente estructuradas.
Cuando las personas a consultar son pocas, cuando lo que
importa es la relevancia de las mismas -por su reconocido presti-
gio, por su especial conocimiento del tema, por su experiencia,
por su carácter representativo de determinados grupos ... - se
suele acudir a la entrevista.
Si bien en la entrevista puede someterse al entrevistado a un
cuestionario como los antes citados, lo habitual es que esta técni-
ca tenga una gran flexibilidad y que se dé un amplio margen de
libertad tanto al entrevistador como, sobre todo, a las respuestas
de los entrevistados.
1
Programas destinados a ni11os o a personas con deficiencias tanto para la
expresión como para la valoración, representan situaciones inadecuadas para este
tipo de técnica de recogida de datos.
~ Una alternativa es el inventario. Su peculiaridad radica en que, en lugar de
hacer preguntas como en el cuestionario, se acude a afirmaciones -enunciados- en
relación con las cuales el consultado se manifiesta a favor -de acuerdo- o en contra
-desacuerdo- aunque cabe la opción de indiferente, ele duela o ele desconocimien-
to.
ENCUESTAS Y CUESTIONARIOS 393
Obviamente, lo que en el caso del cuestionario estructurado

representa una gran facilidad para el posterior análisis de la infor-
mación, en el del material procedente de entrevistas se traduce
en una notable dificultad, siendo preciso por lo general acudir a
métodos como el análisis de contenido y demás procedimientos de
análisis cualitativo de datos.
Señalar para cerrar este punto, que, con frecuencia, se acude
a ambas técnicas para recoger información, dada la complemen-
tariedad de sus aportaciones. Si el cuestionario ofrece gran canti-
dad de información notablemente estructurada, la entrevista per-
mite profundizar en los aspectos esenciales de la misma, encon-
trando así explicación, razones, argumentos, matices ... difíciles
de apreciar en aquel.
19.1. LA ENCUESTA
Aunque el sistema de encuestas 3 puede ser utilizado para fina-

lidades diferentes, como puede ser la de identificar determinadas
características de los sujetos encuestados 4 , su aportación funda-
mental es la de recoger la información que necesita el evaluador
para poder emitir sus valoraciones en relación con las diferentes
cuestiones que suscita una realidad tan compleja como es la eva-
luación de un programa, con sus diferentes momentos o etapas,
dimensiones, objetos y objetivos. En definitiva: la encuesta ofrece
algo que el evaluador desconoce.
En la medida en que la encuesta esté bien concebida, tal
información le será suficiente para que sus juicios puedan ser váli-
dos, fiables y útiles a quienes deben servirse del informe que ela-
bore a la hora de tomar las decisiones pertinentes sobre el pro-
grama. Conviene dejar constancia, no obstante, de las caracterís-
ticas de esta información, por lo general subjetiva y sometida a
3 En sus dos grandes modalidades: cuestionario y entrevista.

4
A través de la entsevista o del cuestionario el investigador puede tratar de
conocer no tanto la información por la que se pregunta sino características tales
como el grado de conocimiento, la actitud, el interés ... Por ejemplo: cuando se pre-
gunta a unos sujetos lo que dice el Tratado de la Unión Europea en torno a la eco-
nomía, el matrimonio o las relaciones laborales, el encuestador ya lo sabe; lo que
interesa saber es si los encuestados lo conocen , si están interesados o desinteresados,
si están o no de acuerdo ...
todas las limitaciones derivadas de las experiencias, prejuicios y

posiciones ideológicas de los informantes 5 .
19. l. l. Aspectos a considerar

En el párrafo anterior se hace referencia implícita a algunas
de las cuestiones fundamentales que deben ser tomadas en con-
sideración. En efecto: a fin de cuentas, lo que se pretende es, por
una parte, que la información en que se sustente el juicio de valor
sobre el programa sea válida, esto es, refleje la realidad, y, por
otra, que las decisiones derivadas sean adecuadas y, por tanto, úti-
les.
19.1.1.1. Cualidades de la información

Ni lo uno ni lo otro podrá lograrse si la información recogida
fuera incompleta, sesgada y careciera de representatividad. Lo prime-
ro tiene que ver con la validez y fiabilidad de la técnica. La cons-
trucción del cuestionario o la realización de la entrevista deben
permitir la reco~ida de toda la información necesaria, aunque
sólo la necesaria , cumpliendo así con el requisito de la validez de
contenido.
La carencia de representatividad de la información recogida
nace de los defectos en la selección de los informantes, de la
muestra. Salvo en los casos en que se puede consultar a todos los
interesados/afectados por el programa y de que todos ellos res-
pondieran7, la información se obtiene a partir de muestras, que
5
Es conveniente tener claro que las percepciones de los informantes son sub-
jetivas por su propia naturaleza, pero que las percepciones son, con frecuencia, tan
importantes como la realidad objetiva para determinado tipo de decisiones.
6
No son pocas las ocasiones en que se solicita colaboración para realizar un
cuestionario muy amplio, cuya información sólo en parte es necesaria a los efectos
solicitados. Esta forma de actuar tiene dos inconvenientes: que algunos encuestados
no respondan ante el tiempo que se les exige, o que lo hagan sin la debida seriedad,
ofreciendo así una información no válida.
7 Si se consulta a todos, pero sólo algunos responden, no tenemos garnntías de
que los que lo hacen sean una muestrn imparcial del total. Por ello, cuando se consulta
a todos -población- suele extrnerse una muestrn imparcial de todos los que han res-
pondido, en lugar de utilizar todas las respuestas recibidas. O bien , contrastar los resul-
tados de la muestra imparcial con los procedentes de total que responde.
deben ser representativas de la población, del total de las partes

interesadas.
Que la muestra sea representativa de la población quiere
decir que ha de reflejar con fidelidad sus características funda-
mentales8 de forma que todas ellas aparezcan y lo hagan en la
magnitud y proporción adecuadas. El logro de la representativi-
dad depende del tamaño de la misma, que ha de ser suficiente 9 , y
de su selección mediante procedimientos imparciales, en esencia
aleatorios, con sus diversas modalidades 10 .
Por último, el sesgo en la información se da cuando el proce-
dimiento participa de ambos defectos: puede tener que ver tanto
con la información solicitada como con quienes la proporcionan.
En el primer caso, la deficiencia deriva de la falta de validez, y
puede deberse a aspectos como la sobrerrepresentación de cierto
tipo de información con la consiguiente infrarrepresentación de
otros, o de la forma tendenciosa de plantear las cuestiones. Pero
también el sesgo puede estar en las personas que responden, sea
por no proceder de toda la población afectada por el programa o
por no constituir una muestra imparcial de la misma. En cual-
quier caso, la consecuencia parece lógica: el juicio de valor sobre
el programa no será correcto y las decisiones que sigan a la eva-
luación no serán adecuadas.
19.1.1.2. Preguntas y tipos de respuestas

A fin de cuentas, el sistema de encuesta no es sino un medio de
recoger información a través de la formulación de preguntas para las
que se espera respuesta por parte de las personas interrogadas. La
pregunta es el estímulo del que se vale el evaluador para conseguir
lo que necesita: la información sobre algunas cuestiones relativas al
programa.
Las preguntas deben abarcar la realidad toda sobre la que se
necesita información; de no ser así, los riesgos apuntados de
8 Cuando la población es homogénea en sus características fundamentales , la
selección de una muestra representativa es fácil. Cuando es heterogénea, es preciso

extremar el cuidado para lograrlo.
9 Los manuales de muestreo nos permiten obtener tal cifra atendiendo a aspec-
tos como el tamaii.o de la población , el error de estimación que se está dispuesto a

aceptar y el nivel de confianza elegido.
'ºAleatorio simple, sistemático, estratificado, por conglomerados, por cuotas.
información incompleta, sesgada o no representativa se harán

una realidad.
Para evitarlos, el evaluador deberá analizar con sumo cuidado
el campo sobre el que ha de recoger información e identificar los
distintos ámbitos que lo integran. Del mismo modo, deberá esta-
blecer el enfoque de la información solicitada: meramente des-
criptiva o enunciativa, apreciativa o valorativa 11 .
Una forma de asegurar que la información carecerá de las
limitaciones apuntadas tiene que ver con la construcción de una
tabla de especificaciones, algo así como el plano de la encuesta. Con
este instrumento como guía será más fácil comprobar después si,
con las preguntas formuladas, podrá el evaluador recolectar la
información que necesita, algo que suele comprobarse a priori
mediante el correspondiente proceso de validación.
19.1.1.3. Las preguntas

Como se ha podido apreciar, hemos realizado varias afirma-
ciones en torno a la formulación de las preguntas. Y es que, en
efecto, de ella depende en gran medida la calidad de la informa-
ción recogida a través de las respuestas.
Una cuestión fundamental se refiere al lenguaje utilizado,
que ha de resultar claro y preciso para las personas preguntadas;
esto es: el evaluador debe utilizar un lenguaje sencillo y directo,
perfectamente inteligible para el encuestado 12 y sin margen
para la ambigüedad, que tendría como consecuencia que dife-
rentes encuestados enfocaran su respuesta desde perspectivas
diversas.
La claridad y precisión del lenguaje deben ir acompañadas de la
concreción, sobre todo en aquellos casos en que las dimensiones
temporal o espacial, o las características del objeto valorado, así lo
aconsejen.
11
Es muy diferente preguntar a los destinatarios del programa si quienes lo apli-
can cumplen el horario; si las actividades son interesantes, útiles o difícil es; si se
encuentran satisfechos con las ayudas que se les dan; si recomendarían a sus amis-
tades inscribirse en futuras ediciones ...
12
No será lo mismo encuestar a universitarios que a personas sin formación
básica, a profesionales que a usuarios, a individuos que dominan el idioma que a
extranjeros que están aprendiendo ...
Junto a estas características, la formulación de la pregunta debe
evitar cualquier forma de sesgo o tendenciosidad por parte del eva-
luador. La claridad en la intención o finalidad perseguida a través
de la pregunta 13 no debe confundirse nunca con la manipulación
de las respuestas. Debe ponerse todo el cuidado preciso para evitar
que el enunciado de la pregunta pueda sugerir, de forma más o
menos velada, lo que se considera respuesta adecuada o deseable.
La neutralidad y la imparcialidad deben cuidarse con exquisitez.
Por último, haremos mención de otra cualidad que deben
cumplir las preguntas, y que no es sino la necesidad de recabar un
único elemento de información. Cuando la realidad evaluada
presenta aspectos o elementos diferentes, se deberá recurrir a
varias preguntas, en lugar de hacerlo a una única.
19.1.1.4. Tipos de respuestas

Muchos de los problemas anteriores tienen que ver en espe-
cial con ciertos tipos de respuestas. Y es que aunque las preguntas
son únicas, caben diferentes tipos de aquellas, desde las total-
mente libres a las altamente estructuradas, en las que el encuestado
se limita a marcar una de las opciones propuestas.
La utilización de preguntas en las que se demanda respues-
tas totalmente libres resultan especialmente adecuadas cuando
las posibles respuestas no son claramente previsibles, cuando no
se conoce anticipadamente las principales opciones; del mismo
modo, cuando hay un acercamiento preliminar a un tema, con-
viene crear oportunidades para que toda la información rele-
van te pueda manifestarse. Por último, se puede acudir a esta
modalidad en los casos en que los encuestados son profesio-
n ales, expertos o personas con alta experiencia, porque el es-
tímulo que es la pregunta puede desatar una amplia informa-
ción.
Sin embargo, debe reconocerse que este formato exige bas-
tante tiempo a los encuestados y, en su momento, al evaluador,
que deberá extraer los aspectos relevantes, organizarlos, analizar-
los y llegar a conclusiones.
Terminaremos señalando que esta modalidad resulta espe-
cialmente adecuada cuando, dirigida a personas expertas, se
13
Que el encuestado afirme, que aporte sugerencias, que valore ...
trabaja en torno a la detección de necesidades y carencias, o

cuando se trata de evaluar inicialmente el programa, en parti-
cular, su fundamentación o su adecuación a los destinatarios del
mismo.
Una alternativa que pretende reducir sus limitaciones es la
que representan las preguntas con respuesta libre limitada, bien
en cuanto al espacio concedido, bien en el contenido, al indicar
el evaluador los aspectos para los que espera o demanda infor-
mación.
En el extremo opuesto se encuentran aquellas cuestiones para
las que el evaluador propone al encuestado una serie de respues-
tas de entre las cuales deberá marcar su opción o, en ocasiones,
opciones. Esta modalidad resulta especialmente adecuada en los
casos en que el evaluador conoce todas las alternativas relevantes
para sus objetivos, algo que ocurre cuando tiene suficiente expe-
riencia sobre el tema, cuando el programa ya ha sido evaluado en
etapas anteriores o cuando el cuestionario ha pasado por una
aplicación experimental o piloto.
La gran ventaja de esta modalidad es la facilidad posterior
para organizar, estructurar y analizar la información recogida.
Una situación intermedia es la que se da cuando, además de
las opciones de respuesta presentadas a cada pregunta, se ofrece
una opción libre; esta situación permite obviar las limitaciones
del caso anteribr, en que los consultados se sienten con frecuen-
cia demasiado encorsetados por la rigidez del procedimiento.
Conviene señalar, no obstante, que aunque muchos encuestados
suelen quejarse de las limitaciones de un cuestionario con res-
puesta totalmente estructurada, son muy pocos los que, cuando
se les ofrece esta oportunidad, la utilizan. Por otra parte, dado el
bajo número de respuestas recogidas y la variedad de enfoques de
las mismas, tal información no suele tener relevancia a los efectos
del evaluador, pero sí evita que algunos de los consultados dejen
de contestar al cuestionario.
19.1.1.5. Registro de la información

Una importante cuestión es la relativa al registro de informa-
ción. Obviamente, la cuestión afecta en particular a la modalidad
de encuesta mediante entrevistas y, en menor medida, en el de
cuestionarios de respuesta libre.
El registro es sumamente fácil en los sondeos y en las encues-
tas mediante cuestionarios estructurados, ya que el encuestado se
limita a marcar la opción elegida, dejando así registrada su posi-
ción.
Sin embargo, tanto en los cuestionarios de respuesta libre o
casi libre como en las entrevistas no estructuradas, el problema es
serio. En el primer caso, el evaluador debe decidir qué elemen-
tos de la información son relevantes y qué otros no; en el segun-
do, las entrevistas, debe optar entre la pérdida de gran parte de
información 14 si no es registrada y los problemas incluso éticos
ligados a su registro en audio y vídeo, con o sin el consentimien-
to de las personas entrevistadas.
19. l. 2. Modalidades
Dejando de lado ciertas caracterizaciones de las encuestas
-por muestreo, sondeos ... - haremos una referencia a las que
derivan del modo de recoger la información.
En este sentido podemos citar las encuestas por teléfono, ade-
cuadas en el caso de que el número de preguntas sea corto y de
que el tipo de información sea el que Fox denomina superficial
(concreta, de fácil recuerdo). Su gran ventaja es la rapidez de
recolección, pero tiene inconvenientes tales como los intentos de
contacto fallidos , los casos en que la persona encuestada declina
contestar -algo más fácil que cuando el contacto es cara a cara-
y hasta la mayor posibilidad de ofrecer información no válida,
dado el medio impersonal utilizado.
Junto a la encuesta por teléfono, Ja remitida a través del
correo, lo que permite llegar a grupos de gran tamaño y con
notable grado de dispersión. Esta modalidad tiene entre sus
inconvenientes la baja tasa de respuestas recogidas, lo que puede
alterar, y lo hace con frecuencia, la representatividad de la infor-
mación. Por el contrario, sus ventajas derivan de la posibilidad de
unas respuestas más reposadas, además de facilitar el anonimato,
algo difícil de lograr en las telefónicas.
En la actualidad, cuando los grupos consultados cumplen
determinados requisitos, se puede acudir a encuestas electróni-
14
Por cierto: una pérdida selectiva, que in cide negativamente en la validez.
cas 15 . Los cuestionarios se depositan en la red y los encuestados

emiten allí mismo sus respuestas procediendo a su envío por este
mismo medio. De alguna manera une a las ventajas de la encues-
ta por correo su mayor rapidez y las facilidades posteriores para
la organización y análisis de los datos.
Haremos mención, por último, de un procedimiento más
sólido, pero mucho más caro, como es el de la encuesta pre-
sencial mediante entrevistadores que se dirigen a los encuesta-
dos en sus lugares de trabajo o residencia. La carestía deriva de
la necesidad de contar con personas formadas para la tarea,
pues deben ser capaces de ganar en el primer momento la con-
fianza del encuestado, evitando así la pérdida de sujetos inicial-
mente seleccionados, y de mantenerla, sobre todo cuando las
cuestiones formuladas entran en lo que Fox denomina nivel
subsuperficial (cuestiones que afectan al encuestado, tales como
actitudes, opciones personales ... ) que pueden dar lugar a que
los encuestados rehúsen la respuesta, preservando así su inti-
midad.
19.1.3. El proceso
El proceso a seguir en la técnica general de encuesta no se
diferencia en lo sustancial de lo exigido en otros procedimientos
de recogida de información, si bien, como también ocurre en
todos los demás, tiene sus propias peculiaridades.
En el primero de los sentidos, es fundamental su etapa de
preparación ya que todas las acciones posteriores vienen condi-
cionadas por la calidad de esta.
Una vez decidido por el evaluador que para el tipo de infor-
mación que necesita debe acudir a esta técnica, es preciso elegir
entre el cuestionario o la entrevista o decidir su complementa-
riedad. Acto seguido deberá optar por la modalidad de cuestio-
nario y el tipo de respuestas que desea, y, en el caso de tratarse de
15
Con motivo de los trabajos recientes sobre los planes de estudio universitarios
orientados hacia Ja convergencia europea, se ha acudido a este tipo de consultas. Las
personas consultadas en las diferentes universidades españolas respondieron a la
consulta a través de internet. Mucho más simples son las encuestas de los periódicos
en las que, por lo general, sólo debe votarse en torno a una única cuestión y con dos
opciones: a favor o en contra.
una entrevista, por la modalidad correspondiente: estructurada o

abierta. Como en toda técnica, estas decisiones deben estar con-
dicionadas por los objetivos de la evaluación y por el objeto
mismo a evaluar, algo generalizable al resto de técnicas.
A partir de este momento, lo fundamental es la construcción
del instrumento, sea cuestionario o entrevista, en cuyo caso suele
tratarse de algo así como un guión para su desarrollo. Es aquí
donde se juega la calidad de la información ya que esta sólo se
referirá a las preguntas que integren el cuestionario y la entrevis-
ta, con lo que tendrá la calidad, o los defectos, de su formulación,
adecuada o no.
Las principales acciones, y las decisiones a tomar en este
momento clave son las siguientes:
• El objeto a evaluar: necesidades, carencias, demandas, materiales,

recursos, resultados ...
• Los criterios a utilizar en la valoración: satisfacción, pertinencia,
adecuación, relevancia, eficacia ...
• Número y tipo de preguntas a formular: todas las necesarias pero
no más que las necesarias.
• Tipo de respuestas solicitadas: libres, cerradas .. .
• Formulación inicial de las preguntas, todas las que, de entrada, se
consideren con sentido.
• Clasificación de las preguntas en esenciales o críticas y secunda-
rias. Esto permitirá su selección en el caso de que el número resul-
tante sea demasiado elevado.
• Selección de las preguntas que integrarán el cuestionario o la
entrevista.
• Validación del instrumento.
Las actuaciones a llevar a cabo se refieren a la f~ación del pro-

cedimiento, donde el sistema de muestreo es fundamental. Junto
a ello, el establecimiento de las fechas de realización, el sistema
de recogida y los procedimientos de tratamiento y análisis de la
información.
19.2. EL CUESTIONARIO
Como se ha indicado, el procedimiento de recogida de infor-

mación a través de encuesta puede tomar el formato de cuestio-
nario o de entrevista. El cuestionario se presta más a encuestas de
402 EVALUACIÓN DE PROyRAMAS EDUCATNOS
amplio espectro y número elevado de ítems, destinado a recoger

información de muestras amplias y dispersas.
19. 2 .1. El cuestionario como modalidad de encuesta

Un cuestionario no es sino un instrumento de recogida de
información organizado en forma de preguntas. La denomina-
ción de cuestionario suele reservarse para aquellas encuestas escri-
tas remitidas generalmente por correo -también ahora por siste-
mas electrónicos- sin apenas relación interpersonal entre el eva-
luador y el encuestado. Por lo general, está integrado por pre-
guntas cuya respuesta está estructurada en forma de alternativas
propuestas para elegir una de ellas.
Para la construcción del cuestionario resulta de gran utilidad
elaborar una tabla de especificaciones (figura 1) en la que se esta-
blecen Jos aspectos a valorar -objeto- y los enfoques de la valora-
ción -criterios- señalando las intersecciones que resultan de inte-
rés al evaluador.
La tabla de especificaciones nos permite orientar la construc-
ción del cuestionario, ya que nos informa de aspectos muy rele-
vantes:
- Lo que interesa al evaluador que valoren los encuestados (objeto).
- La perspectiva desde la que solicitará la valoración (criterios).
- Los ítems que deberá formular (al menos uno por cada X, inter-
sección de objeto y criterio).
~
ADECUACIÓN
A las
Al alumno A la
exigencias COHERENCIA EFICIENCIA EFICACIA
que modalidad
científicas INTERNA 16
aprende de enseñanza
r y técnicas
Contenidos X X X*
Objetivos X X X*
Recursos didác-
ticos X X X X*
Sistema de eva-
luación X X X X*
Lenguaje X X X X*
Estructura X X X X*
Elementos mate-
ria les X X X X*
Relación entre
estos elementos X
Costos X
Resultados X
FIGURA l. Tabla de especificaciones de un cuestionario para evaluar

textos didácticos a distancia 17 .
La tabla de especificaciones también servirá al evaluador de pauta

para la validación ya que, sobre la misma, podrá recoger informa-
ción sobre el cuestionario a través de dos procedimientos compa-
tibles: la aplicación a una muestra piloto, fundamentalmente des-
tinada a comprobar el funcionamiento del cuestionario (si la for-
mulación es clara, si ofrece dudas a los encuestados, si produce
cansancio o fatiga ... ) y la consulta a expertos, en este caso desti-
nada a decidir, fundamentalmente:
16
El símbolo * se refiere a la cohe rencia de cada elemento consigo mism o a lo
largo de las difere ntes unidades didácticas.
17
Basada en la propuesta de l a uto r presentada en San José d e Costa Rica. Pérez
Juste (1989).
• Si los "objetos" sobre los que se pregunta agotan la realidad a eva-

luar.
• Si los "criterios" son adecuados, si sobra alguno, si falta alguno.
• Si todas las preguntas -ítems- son necesarias.
• Si falta o sobra alguna cuestión.
• Si las preguntas asignadas a cada ámbito -intersección "objeto" /
"criterios"- son las necesarias y suficientes para disponer de la
información .
• Si el lenguaje utilizado es claro y preciso, sin dar lugar a interpre-
taciones que puedan traducirse después en respuestas erróneas.
Con frecuencia, en la validación se suele pedir a los expertos

que asignen los ítems que se les proponen a los diferentes cruces
o intersecciones. El hecho de que los ítems sean asignados a los
lugares previstos por el constructor del cuestionario es una
buena prueba de su corrección y validez.
19.2.2. Tipología de las preguntas

En este punto nos limitaremos a remitir al lector a lo dicho
en la parte general del capítulo, tanto en lo relativo a las modali-
dades de preguntas cuanto en lo relacionado con sus caracterís-
ticas técnicas.
19.3. LA ENTREVISTA
Si en la modalidad de encuesta mediante cuestionario por co-
rreo la interacción entre el evaluador y el encuestado es prácti-
camente nula, en el caso de la entrevista la situación se invierte,
dándose una relación amplia y, en ocasiones intensa y hasta rei-
terada18. ·
19.3.1. Principales modalidades

Con todo , esa nota fundamental de la relación entrevista-
do/ entrevistador, sea éste el evaluador o una persona que reco-
ge la información para él, admite una amplia gama de modali-
dades.
18
La entrevista, en efec to , puede ocupar varias sesiones, de duración más o
menos amplia.
De hecho, en una entrevista se puede "pasar" un cuestiona-

rio, con la única diferencia sobre la situación anterior de que el
entrevistador hace las preguntas de viva voz y el entrevistado res-
ponde, bien sea eligiendo una de las opciones propuestas, bien
matizando la respuesta acudiendo a la opción libre, bien incluso,
dando su respuesta libre, que puede ser registrada o no, y en caso
afirmativo por diversos procedimientos.
Pero en ese preguntar y responder, el entrevistador puede limi-
tarse a formular las cuestiones o dialogar con el entrevistado, bus-
cando así matices y mayor riqueza en las respuestas. Hasta puede
llegar a "discutir" las respuestas ofrecidas, de forma que el entrevis-
tado se sienta impelido u obligado a razonar sus puntos de vista.
Conviene señalar que, en función de la modalidad, el entre-
vistador deberá reunir determinadas cualidades, siendo funda-
mental la de ser capaz de establecer un "rapport'', una relación
franca y cordial ya desde los primeros momentos que evite reser-
vas y sesgos por parte de los entrevistados.
Junto a ella, el entrevistador debe conocer su papel. Si en el
caso de las entrevistas estructuradas debe ser consciente de que
no puede salirse del guión, dado que se busca la comparabili-
dad de la situación de entrevista y, por tanto, de la información
recogida, en las no estructuradas gran parte de la cantidad y
calidad de la información recogida depende de su habilidad
técnica para provocarla.
Tales hechos nos indican que los entrevistadores en el pri-
mer caso no tienen por qué ser especialistas en evaluación ni en
el tema del programa, dado que su papel está tasado y fijado de
antemano, mientras en el segundo hacen falta verdaderos espe-
cialistas en el arte de entrevistar que, además, conozcan con
suficiente profundidad el programa y sus diversos elementos
componentes.
19.3.2. Registro de la información

Como se ha indicado en la parte general de este capítulo, una
de las cuestiones más delicadas en relación con la entrevista es la
relativa al registro de la información.
Hay investigaciones que han puesto de relieve el alto porcen-
taje de información que se pierde si no se registra sobre la mar-
cha el contenido de las respuestas; es más, que la pérdida de
información no es aleatoria sino selectiva, lo que suele originar

información sesgada 19 •
La forma más adecuada de evitar esto es el registro sonoro y
hasta visual de las entrevistas20 . Pero esta actuación, que garanti-
za la fidelidad del registro así como su integridad, puede tener al
menos dos inconvenientes fundamentales: el primero, la falta de
naturalidad de las respuestas ante el artefacto utilizado, que
puede coartar la libre manifestación y hasta la expresión sincera
de las posiciones; el segundo, la pérdida de sujetos, que no están
dispuestos a dejar constancia de sus posiciones, especialmente
cuanto afecten a su intimidad o cuando representen posiciones o
ideas que pueden ser socialmente no reconocidas 21 . Este fenó-
meno ha sido estudiado bajo el concepto de deseabilidad social o
tendencia a dar las respuestas que se consideran socialmente pre-
feribles.
La falta de espontaneidad y naturalidad en las respuestas, no
obstante, es algo que afecta especialmente a los primeros momen-
tos. Por ello, con el fin de obviar el problema, suelen ocuparse
estos primeros minutos para solicitar la información más super-
ficial, menos comprometida, a la vez que el clima entre evaluador
y entrevistado va siendo progresivamente más natural, relajado y
confiado.
La opción de grabar sin autorización choca frontalmente con
la ética y no debe utilizarse en este tipo de situaciones.
19
El entrevistador suele recordar en mayor medida lo que concuerda con sus
planteamientos, y olvidar lo discordante o lo que le interesa y preocupa en menor
medida.
20 El registro visual permite apreciar gestos que aportan a la información deter-
minados matices enriquecedores.

21
Se ha hecho famosa la expresión de lo "políticamente correcto".
CAPÍTULO 20
LOS DATOS DE PRUEBA. TESTS Y ESCALAS
ÜBJETIVOS

capaz de:
• La diversidad y complejidad de los objetivos educativos,

incluso en el marco de los del denominado dominio cog-
noscitivo.
• El concepto, naturaleza, características y adecuación de las

técnicas de prueba para la evaluación de este tipo de obje-
tivos educativos.
• Las características técnicas que debe reunir la información

recogida mediante técnicas de prueba.
• Las características diferenciales de las pruebas normativas

y criteriales.
En nuestro esquema de trabajo, la evaluación final de un pro-

grama tiene como objetivo fundamental -aunque no único- apre-
ciar su grado de eficacia. En el capítulo correspondiente hacíamos
notar que aunque quepa hablar, y hasta pueda ser conveniente
hacerlo, de una eficacia subjetiva o percibida, no cabe duda de la
superioridad de la dimensión objetiva a la hora de decidir sobre
el grado de eficacia de un programa.
Valorar la eficacia objetiva del programa representa en la
mayoría de las ocasiones, si no en todas, poner a los sujetos del
programa en situaciones de prueba, esto es, como decíamos allí,
poner "a los destinatarios del programa en situación de superar o
no un determinado desafío, de alcanzar un nivel, de conseguir
una marca, de demostrar una capacidad o habilidad, ... ".Vale la
pena dejar constancia de la existencia de otro tipo de pruebas o
evidencias de eficacia del programa, como puede ser la constata-
ción del porcentaje de personas que, habiendo seguido el pro-
grama, abandonan un determinado comportamiento -consumo
de drogas, alcoholismo, mendicidad ... -, obtienen puestos de tra-
bajo adecuados y más elevados, mejoran sus relaciones personales
o concluyen determinados estudios, por ejemplo.
Dejando constancia de ello, el objeto de atención del presente
capítulo es el de estudiar las principales técnicas para poner a prue-
ba a los sujetos de un programa, en particular, las pruebas, destina-
das a apreciar o medir objetivamente determinados contenidos,
como son los conocimientos, las habilidades y las destrezas.
Intereses, actitudes y valores, aunque también pueden ser
"objetos" a evaluar mediante pruebas en la medida en que se con-
sideren objetivos de un programa, pueden ser evaluados
median te la observación, tal y como se hizo notar en un capítu-
lo anterior. Como se dijo en su momento, la observación tam-
bién puede ser utilizada para "probar" a los destinatarios de un
programa en este tipo de objetivos (incluso es conveniente
hacerlo preferentemente en algunos casos), registrándose la
información pertinente mediante las correspondientes escalas.
Pero esta temática ya ha sido objeto de atención y análisis.
20.1. Los OBJETrYOS EDUCATIVOS
Dos son las notas fundamentales que distinguen a los objeti-

vos educativos en un planteamiento de calidad de la educación:
LOS DATOS DE PRUEBA 409
por una parte, su complejidad, debida a la cantidad de aspectos o
componentes que integran la realidad personal de los educan-
dos; por otra, su diversidad, ligada no sólo al hecho de que el edu-
cando, la persona, sea la integración de importantes y muy dife-
rentes dimensiones, sino a las propias características de las mate-
rias de aprendizaje.
Ambas notas representan una evidente dificultad para los
educadores; en efecto, ciertos objetivos son relativamente fáciles
de alcanzar y ello en breves unidades de tiempo; otros, por el
contrario, necesitan de un continuado y persistente esfuerzo de
largo alcance, siempre que se conjuguen favorablemente las
actuaciones de los educadores y profesores con las de los padres,
el interés, la capacidad y motivación de los alumnos y un conjun-
to de circunstancias ambientales favorables.
Obviamente, las dificultades para los educadores lo son tam-
bién para los evaluadores, sean estos los propios profesores o edu-
cadores o personas ajenas -evaluadores externos- como puede
ocurrir en la evaluación de programas.
20 .1.1. Diversidad y compf,ejidad

Con este marco de referencia, podremos entender la dificultad
de una evaluación rica y de calidad si atendemos, de una parte, a los
ámbitos del "producto" educativo y, de otra, a las dimensiones que
lo integran.
El profesor De la Orden (1985: 271-283) clasifica ese "produc-
to", esto es, los resultados del proceso educativo, atendiendo a
dos grandes criterios (Cuadro 1): el ámbito, social o individual, y
el momento, mediato o inmediato. Por lo general, la evaluación
se ha centrado con clara preferencia en el individual e inmediato,
lo que si, desde el primero de los criterios, supone dejar de lado
importan tes aspectos de la actividad educativa, desde el segun-
do representa el carecer de la evidencia clave sobre la utilidad
de la educación; en efecto, de poco sirve un éxito académico
que no tenga continuidad en la vida, tanto personal como social
o profesional de los actuales educandos.
PRODUCTO INDIVIDUAL SOCIAL
INMEDIATO Inmediato - individual Inmediato - social

MEDIATO Mediato - individual Mediato - social
CUADRO 1: Clasificación del producto educativo.
Si de la clasificación pasamos al análisis de sus dimensiones

nos encontraremos con una gran diversidad de posibles resulta-
dos, algo que debería tener repercusiones a la hora de llevar a
cabo la evaluación. Veamos (cuadro 2):
DIMENSIONES DEL PRODUCTO EDUCATIVO

DIMENSIÓN RESUl:TADOS COGNITIVOS RESULTADOS NO COGNITIVOS
PSICOLÓGICA Habilidades básicas de Autoconcepto

aprendizaje (cómo Actitudes y valores
aprender) Motivación para el rendimiento
Aptitudes específicas Locus de control
Razonamiento Satisfacción sobre la práctica
Pensamiento crítico escolar
SOCIOLÓGICA Madurez vocacional Hábitos personales
Expectativas y logros Relaciones personales
educativos y culturales Civismo y ciudadanía
Nivel de responsabilidad Trabajo de y en grupo
en el trabajo Actitudes familiares ante el
Status ocupacional y nivel hecho educativo y la institución
de ingresos educativa
INSTRUCTIVA Saberes culturales Expresión de sentimientos
Saberes instrumentales Comprensión y conocimiento
de sí mismo y de los demás
CUADRO 2: Multidimensionalidad de los resultados de la acción educativa'
Con independencia de compartir o no todos los contenidos

del cuadro, lo que parece evidente es la complejidad de los resul-
tados que se esperan de los procesos educativos y la enorme diver-
sidad de los mismos. Sean estas dimensiones o sean algunas de
ellas y otras más, la realidad será, y es, diversa y compleja.
1
Vid. Rodríguez Espinar ( 1985: 284-304).
20 .1. 2. El principio de complementariedad metodológi,ca aplicado a la

evaluación: diversidad de fuentes, técnicas e instrumentos
Como ya señalamos en su momento, las características de los
objetivos educativos exigen como respuesta la aplicación del prin-
cipio de complementariedad metodológi,ca; en concreto, en el ámbito
de los objetivos del aprendizaje y la formación no sólo es reco-
mendable y adecuado sino que se convierte en una exigencia acu-
dir a diversas técnicas, concretadas luego en instrumentos, para reco-
ger la información que ha de ser valorada a través de los criterios y
de las referencias a las que se refiere nuestro concepto de evaluación.
En efecto: recordemos que la utilización exclusiva de una téc-
nica concreta, la que sea, se suele traducir en la evaluación de un
cierto tipo de objetivos dejando de lado al resto. En consecuencia,
el mensaje subliminal que percibe el destinatario del programa es
que determinados objetivos son los que interesan y que el resto, si
los hubiere, alcanzan una importancia secundaria, limitada, por lo
que no abordarlos puede no tener consecuencias negativas para él
en el momento de la calificación.
A la hora de plantear la evaluación de una materia o de par-
tes de la misma resulta de gran utilidad acudir a alguna clasifi-
cación de objetivos -taxonomía- que, obviamente, deberá ser la
misma utilizada en el proceso de planificación de los procesos
de enseñanza/aprendizaje para asegurar la tan reiterada como
imprescindible coherencia entre ambos procesos. En un capítu-
lo anterior presentamos, con el simple carácter de ejemplo,
modelo o muestra la más conocida de todas, por ser la pionera:
la debida a Bloom, Hastings y Madaus ( 1971). Allí se parte de
una división de los objetivos en lo que los autores denominan
dominios, en concreto el cognoscitivo, el afectivo y el psicomotor. El
cuadro 3 presenta las principales categorías del dominio cog-
noscitivo2, objeto de nuestra atención en el presente capítulo.
2 Un dominio que, si bien resulta especialmente adecuado a los objetivos de los
programas académ icos, también puede ap lica rse a otros de educación no formal,
como aque llos destinados a personas con dificultades y problemas de relación y con-
vivencia, o los destinados a la capacitación para la convivencia, e l trabajo o la parti-
cipación ciudadana, por ejemplo.
CATEGORÍA DESCRIPCIÓN
CONOCIMIENTO De lo específico:
• De la terminologfo
• De hechos específicos
De los métodos de estudio de los hechos específicos:
• De los convencionalismos
• De las tendencias y secuencias
• De las clasificaciones y categorías
• De criterios
• De la metodología
De los conceptos universales y abstractos de una
materia dada:
• De los principios y generalizaciones
• De las estructuras y teorías
COMPRENSIÓN Transferencia
Interpretación
Extrapolación
APLICACIÓN A otros campos de los conceptos científicos
Predicción de las posibles consecuencias
ANÁLISIS De los elementos
De las relaciones
De las normas de estructuración
SÍNTESIS Elaboración de un mensaje único
Elaboración de un plan
Deducción de relaciones abstractas
EVALUACIÓN Juicios en función de la evidencia interna
Juicios en función de criterios externos
CUADRO 3: Síntesis de la taxonomía de Bloom y cols.

en el dominio cognoscitivo.
Si bien la anterior es una propuesta que puede no ser la asu-

mida por los diseñadores del programa, sí manifestamos la con-
veniencia de que el educador, el profesor, o el evaluador en su
caso, acuda a ella, o a otras alternativas, a la hora de definir el
objeto de su programa3 , de seleccionar los objetivos a lograr a tra-
vés de su temática, configurando así la tabla de especificaciones, y en
el momento de evaluar, eligiendo las técnicas más adecuadas y
3
O, en general , el contenido del programa a evaluar.
construyendo o seleccionando los instrumentos correspondientes4 .

Una herramienta de esta naturaleza facilitará el conjunto de activi-
dades técnicas implicadas en la formulación del Programa.
20.2. EVALUACIÓN DEL APRENDIZAJE: OBJETIVOS COGNITIVOS
Ante tal diversidad de objetivos educativos, y ante su manifiesta

complejidad, la variedad de programas educativos es tan amplia que
los resultados esperados, por fuerza, serán también muy variados, si
bien, de modo genérico, podríamos denominarlos aprendizaje.
Aprendizaje es lo que se espera de los tradicionales y comunes
programas académicos que se llevan a cabo en el sistema educativo;
aprendizaje es lo que se busca en una academia de idiomas o de
conducir; aprendizaje es lo que se pretende en un gimnasio, en un
centro de cocina o de corte y confección; aprendizaje, y profundo,
es el que se desea conseguir en un centro de rehabilitación de delin-
cuentes o de desintoxicación de la drogadicción ... Pero resulta evi-
dente que esos aprendizajes pueden ser de muy diversa naturaleza,
presentar dificultades específicas y exigir procedimientos de evalua-
ción diversos. Por ello, aunque de forma elemental, deberemos
hacer referencias a técnicas e instrumentos diferentes para su eva-
luación.
20.2.1 . Principales técnicas en el ámbito de los objetivos cognitivos

Como venimos afirmando, la técnica por excelencia para la eva-
luación de la eficacia de un programa, entendida como el logro de
los objetivos, son las pruebas, sean estas construidas ad hoc o elabora-
das por expertos en el ámbito genérico de los conocimientos pro-
pios de una determinada etapa o asignatura (tests de rendimiento).
Conviene señalar, no obstante, que otros tipos de evidencias
pueden tener el carácter de prueba para la evaluación de la eficacia
de un programa; tal puede ser el caso del porcentaje de destinata-
rios del programa que concluyen sus estudios, que se incorporan a
4
El lector puede acudir a una variada bibliografía en este campo. Reco-
mendamos: Rodríguez Diéguez (1980); García Hoz (1988). En esta obra presenta
una interesante aportación sobre el Sistema de Objetivos Fundamentales de la
Educación.
la actividad productiva, que abandonan un comportamiento nocivo

(como puede ser el tabaquismo o el consumo de alcohol o de dro-
gas), que establecen relaciones satisfactorias con personas de otro
sexo, que se implican en actividades de ayuda solidaria ...
Volviendo a la idea tradicional de prueba, y contrariamente a
lo que se cree o, al menos, se practica habitualmente, la evalua-
ción para apreciar la eficacia no debe estar limitada a las pruebas.
Podríamos acudir, al menos, a otras dos importantes fuentes de
información: la observación de la actividad académica y la valora-
ción de los trabajos.
Sin embargo, sea cual sea la fuente utilizada por los responsa-
bles del programa -y se aconseja recurrir a todas ellas- cada tipo
de objetivos encuentra en alguna de las técnicas el procedimiento
más adecuado para su evaluación. Aquí analizaremos la proble-
mática de la construcción de pruebas -normativas y criteriales-
pero también pasaremos revista a algunas cuestiones relativas a la
evaluación de objetivos complejos, presentando algunas propues-
tas a modo de ejemplo.
20.2.1.1. Construcción de pruebas para evaluar aprendizajes

cognoscitivos y cognitivos
Como hemos señalado reiteradamente, la evaluación no será
de mayor calidad que la que pueda tener la información recogi-
da. De ahí la necesidad de atender con especial cuidado a las cua-
lidades que debería reunir tal información. El cuadro 4 presenta
de forma esquemática las cualidades que debe reunir la informa-
ción a recoger para evaluar aprendizajes cognoscitivos.
Aunque todas estas características deben ser cuidadas con la de-
bida atención, desde nuestra perspectiva de la evaluación de progra-
mas debemos conceder una especial relevancia a las cuatro primeras.
En efecto: la primera de ellas, la coherencia, se convierte en la
conditio sine qua non: si no se diera tal coherencia, la evaluación
nos informaría de unos resultados que o no corresponderían al
programa o lo harían sólo de forma parcial5 .
5 Con todo, conviene hacer notar que ese defecto suele ser más común de Jo
que parece, como han puesto de relieve múltiples investigaciones en las que se ha
podido constatar que sólo los objetivos de menor relieve (conocer, comprender,
aplicar, calcular, ... ) suelen formar parte de las pruebas ordinarias realizadas por los
CUALIDAD DESCRIPCIÓN
COHERENCIA Plena concordancia entre los objetivos

planteados, las actividades docentes desa-
rrolladas y el contenido de la evaluación.
SUFICIENCIA Número de ítems necesario para emitir
valoraciones sobre el grado de dominio del
ámbito de aprendizaje objeto de evalua-
ción.
REPRESENTATIVIDAD La composición de la información ha de
permitir apreciar el grado de dominio de
las diferentes partes en que se estructura el
campo evaluado -contenidos y objetivos-
con una presencia equilibrada de todos
ellos.
PONDERACIÓN El peso atribuido a los diferentes elementos
del contenido deberá contribuir adecuada-
mente a la configuración de las diferentes
calificaciones, tomando en consideración la
importancia de los mismos.
RELEVANCIA SOCIAL El contenido debe seleccionarse de forma
que el saber apreciado sea importante para
la sociedad ante la que se acredita.
RELEVANCIA El contenido debe seleccionarse sobre la
CIENTÍFICO/ ACADÉMICA base de lo que en cada disciplina es impor-
tante y representa el dominio de la misma.
RELEVANCIA El contenido debe permitir la ide ntifica-
PEDAGÓGICA ción de las carencias y errores del destina-
tario del programa, de las dificultades expe-
rimentadas por él en el proceso de apren-
dizaje y de sus posibles causas
CUADRO 4: Características que debe reunir la información para la evaluación.
Las características de suficiencia, ponderación y representatividad

vienen a contribuir a su logro ya que es difícil alcanzarla si, en el
caso de la evaluación de un programa amplio y complejo, sólo
u tilizamos unos pocos ítems; como también lo es con un núme-
profesores e, incluso, de algunas realizadas por expertos. El lector puede encontrar

algunas referencias en PérezJuste (1989: cap. 4).
ro suficiente pero no equilibrado y proporcionado en relación

con las diversas partes en que se estructura el programa, o sin la
adecuada ponderación de los ítems en atención a su importancia
relativa en el marco del programa6 .
Las medidas que deben tomarse, de carácter técnico, pueden ser
generales, pero también diferenciadas en función de las dos referen-
cias a las que se hizo mención en la primera parte: la normativa y la
criumal. Entre las medidas generales cabe destacar las siguientes:
• Planificar la prueba
La coherencia entre los objetivos del programa, las activida-
des puestas a su servicio para su logro y el contenido de las prue-
bas es fundamental.
Para lograrlo es recomendable la construcción de una tabla de
especificaciones en el momento de llevar a cabo la programación, tabla
que deberá servir de base en el desarrollo de las actividades docen-
tes a lo largo del curso y que habrá de respetarse al construir las
pruebas para evaluar su eficacia, sea esta del programa global, de
una parte significativa (trimestre o cuatrimestre) o de cada uno de
los bloques en que se haya estructurado el programa. La figura 1
recoge una tabla de especificaciones parcial correspondiente a un
programa de Estadística desarrollado en su momento por el autor.
• Construir ítems o elementos adecuados

Los ítems deben permitir apreciar los niveles de logro alcan-
zados por los destinatarios del programa en los aspectos funda-
mentales que cubra la tabla de especificaciones. Dada la diversi-
dad de objetivos, se debe cuidar este aspecto de modo especial
para no caer en una de las carencias fundamentales constatadas
a través d e la investigación: centrar las pruebas en aspectos liga-
dos a los objetivos más bajos de la escala, en concreto a los de
6
En un trabajo del autor destinado a analizar el contenido de las pruebas de los
últimos cursos de EGB se pudo constatar cómo una prueba de Lengua y Literatura,
integrada por 10 ítems o cuestiones, estaba estructurada del siguiente modo: 6 de
ortografía, 4 de morfología y 1 de literatura. El contenido objeto de evaluaci ón
incluía, además de lo anterior, morfología, nociones de fonética y métrica además de
Literatura. Piense e l lector que los sujetos que dominaran la ortografía alcanzarían
una evaluación positiva mientras que quienes dominaran todo lo demás, pero falla-
ran en ortografía, no lo lograrían.
puro conocer (h echos, cifras, datos, principios, terminología ... ), o

a lo sumo a los de comprender y aplicar, dejando fuera los qu e
representan nive les de calidad superior: análisis, síntesis, pensa-
miento crítico, razonamiento, etc.
Tabla de especificaciones de los objetivos-contenidos

perseguidos por el profesor
OBJETIVOS J! ;¡;
'3g l .;;
EXPRESAR ~ ,, ~ J!
ORAFICA·
UTI·
L17..AR
INTER-
PRETAR
~
l! zi e
i
t
NUMERIC A·
8
MENTE MENTE ~
8. ~ -~
CONTEN IDOS
~t i ~ ll
¡¡ e s
t
z
......
ge -ª e~
~~ ~
~ ª li.
~
g. :g "g.
i
~ ~j ~
ª -~
"'~ h
l
. z¡¡ ! 1
Q
_g §g .;; -ll
g -~~
-E~ ~ ·§ ~ ·E R :> e -~
} o
ti 1! ~e
~t
...< H E ~
! "" ~M j ~
;.;
:!!- ~e i
á~
~ ~
al e~ ¡;¿ '-' in.a ¿J "
.::i ~
w~ :. :. z
J. OrdcnariOn y eatc¡onzaciOn
datos. DntnbuciOft«
d~ 1ot
11
,_. 1
1. Ordm.aaón
2. CttfSOnuciOn
l . Dntribuclon«
11 . Rtprewncacioocs artr•C~U
1. °'*trama de berras
JI l>.1 1 •. )
2. Ha.tograma
). Polltono 6c r~ndu acviinulad.a•
'1 DOaC'\U'Mllldu
4. Pcrfiln
S. C*pa,..., de dcsanol~
6.. O..graruJ de d.spcniótl
111. M..Sldaa )6 69 7).J 2~1

1 Dt 1t6dc:M"ta ornlral 2A 12.2 J
1. 1. Mc-dlt. arnmtt1C11
t.l. Mediana
1.l Moda
l. Dc- vaoabthdaJ )1 19.l
2..1 . Recomdo
l.l. Oari&eiOn tMdia
2.3. Ampliutd scmi·inter~artilic&
2.4. Varianza X
2.6. Coef"tcicatc ck variaaón X
). ladhi dNla 2) 11 ,l
).l. Puotuadó• direc.1.9
.),l. PuQtuaáóa CCfttil
3.3. Pua1u.cióft 1lpica
4. Conel•óoOCi o 21.1
'-1 . Dt Pu.non
4.2. De Spaunan
o . De con11~M:N. : e
4..4. Bistti.aJ
O . BiKrial por punto.
4.4. TctrDC6rice
<1.1. •Phi•
,
IY. El mo6c-lo de la dis1r1kabft 1uwmaJ
" 9.6 ) l.S.4
il. Ptoporaoan
~=:ncs~4klaf.ducanM
'f PfObabllidada
X
4.. Tablas
NAmcto de clcmcnccw pot' ob;c1ivo 40 ... 26 )$

l).l 11.1
,, TOTAL 191
POC'ceDlajc QIK tC'J)raCftla tOb«: ti to.al 20.S 22.J 26.•
Poodcnci6a del oti;td"o 1 1 ).> 2 1.$
Porct0tlje qQe se conupondc en lli Pf'\lltbe 12.4 n.• ll.2 21.7 24.1
NimctO ~ prquatas sobn un lotal de l"4
• s 10 1 1 TOTAL )4
( 1) Los de meatos de to. wauo H1b&pert&dot te bu adjudicado co• arupo • poadcnaona rdali"U 4cn1ro ~ 10\aJ dd ~lo 111.
FI GURA 1. Tabla de especificaciones, parcial, del programa de una asignatura

de Estadística.
• Establecer la calidad de los ítems

Se debe utilizar algún procedimiento riguroso para decidir sobre
la calidad de los mismos. La calidad depende fundamentalmente de
su validez, por lo general de la validez de contenido, es decir, de su cohe-
rencia y suficiencia para medir lo que se desea medir, que no debe
ser sino el grado de logro de las metas u objetivos del programa.
El establecimiento de la validez es una de las cuestiones más
difíciles y problemáticas, y excede las posibilidades de esta mono-
grafía. Baste reseñar algunas modalidades, como la validez de cons-
trucción, la concurrente o la predictiva, haciendo notar la necesidad de
complejas técnicas estadísticas que requieren algunas de ellas.
Una modalidad más asequible la constituye la validez de conte-
nido, que puede abordarse por los equipos de personas expertas
en el objeto del programa, sometiendo a juicio de varias de ellas
lo que cada uno de tales ítems pretende medir. La coincidencia
por parte de los jueces en el tipo de objetivos apreciados por los
diversos ítems puede ser tomada como un indicio de su validez.
Del mismo modo, tales equipos -pueden ser los profesores de
los equipos docentes- pueden probar la fiabilidad de los resulta-
dos, comprobando si, dada la forma en que están redactados, ori-
ginan calificaciones idénticas o con muy bajo índice de dispersión.
Una vez respetados estos principios, los evaluadores disponen
de una especie de bancos de ítems, que pueden ser utilizados en
ediciones sucesivas del programa, dando lugar a pruebas de
estructura y contenidos similares, lo que les permitirá otorgar
calificaciones que representen un nivel estable de exigencia. De no
ser así, un concreto nivel de conocimientos puede dar lugar a
calificaciones muy diferentes de curso a curso, dificultando clara-
mente cualquier intento de comparabilidad.
Respetando estas cualidades generales, caben dos alternativas
diferentes a la hora de construir la prueba, atendiendo a las dos
referencias a que hemos hecho alusión, algo que analizaremos más
adelante.
20.2.2. Evaluación de objetivos complejos

La importancia que hemos concedido, y que concederemos
en el siguiente punto, a la construcción de pruebas clásicas, inte-
gradas por un conjunto más o menos amplio de ítems, no debería
llevarnos a la falsa conclusión de que la recogida de información

para la evaluación de estos objetivos queda limitada a este tipo de
pruebas.
Por el contrario, a continuación dedicaremos un importante
apartado al análisis de diversas técnicas especialmente adecuadas
para la evaluación de objetivos complejos, en los que cada unidad
de información puede permitir apreciar aspectos diferentes y de
muy diversa naturaleza.
Piénsese, en efecto, en la evaluación de la resolución de un
problema matemático, de una composición escrita, de un comen-
tario de texto, de un "trabajo" de elaboración personal en torno
a un tema del programa ... donde el profesor se verá obligado a
tener en cuenta, de modo simultáneo, una cantidad más o menos
amplia de criterios, sobre cuya base otorgará la calificación corres-
pondiente.
La evaluación de los denominados objetivos operativos, por
sus propias características, no presenta mayores dificultades; si un
objetivo fuera formulado en términos parecidos a los siguientes:
escribir correctamente nueve de cada diez palabras a las que sea aplicable
la regla de que "antes de by p se escribe m", el responsable del pro-
grama únicamente tendría que hacer lo siguiente: a) enseñar la
regla ortográfica y practicarla; b) construir un dictado con 1O o
más palabras que cumplan la regla; c) calificar como superado el
objetivo a todos los alumnos que cumplan con el estándar.
Sin embargo, la mayoría de los objetivos educativos son
mucho más complejos y tanto su logro como la comprobación del
mismo requiere más tiempo. La complejidad se aprecia en los
aspectos, variados y diferentes, que pueden distinguirse en cada
uno de ellos. Objetivos tales como los siguientes:
a. Argumentar, oralmente y por escrito, sobre los derechos humanos.

b. Realizar con corrección un comentario de texto (sea literario, filo-
sófico, histórico, sociológico ... )
c. Elaborar personalmente un ensayo o trabajo sobre el tema: El
calentamiento del Planeta Tierra.
d. Resolver un problema estadístico e interpretar adecuadamente sus
resultados.
e. Dis61ar un plan para la prevención del consumo del tabaco y del
alcohol entre los compaúeros de clase.
f. Planificar un programa para fomentar la solidaridad mediante Ja
colaboración con ONG's.
nos s1tuan ante una realidad que, para ser evaluada y, previa-
mente enseñada, requiere la actividad técnica de definirla -en el
primer caso- y de establecer los criterios de evaluación en el
segundo. Analizaremos, a título de ejemplo, algunas de las técni-
cas de evaluación más utilizables en estos casos.
20.2.2.1. Los exámenes tradicionales

Tanto en el marco de los programas académicos como en otros
de educación no formal es frecuente acudir a exámenes, un tipo
concreto de pruebas. Dentro de lo que, de modo genérico, se cono-
ce como exámenes tradiciona/,es, hay dos grandes técnicas, además de
las pruebas objetivas, de uso generalizado: las denominadas pregun-
tas breves y los temas de ensayo. Dejando de lado las primeras, a las
que nos hemos referido ya, pasaremos a las otras dos.
Preguntas breves
Estamos ante enunciados que requieren del alumno respuestas
de diversa naturaleza, pero siempre de desarrollo limitado. Este
tipo de enunciados resulta especialmente apto para poder abarcar
un amplio contenido de la parte de la materia sometida a evalua-
ción. En efecto, dada la brevedad de la respuesta solicitada, el eva-
luador puede hacer un número de preguntas que, sin llegar a las de
una prueba objetiva, sí permiten disponer de una información más
representativa del total que la que hace posible un terna d.e ensayo.
Un examen de esta naturaleza, puede estar integrado por
ocho o diez cuestiones, lo que hace posible preguntar por diver-
sidad de contenidos y hacerlo desde la perspectiva o enfoque pro-
pio de diversos objetivos.
En el caso de seleccionar este tipo de técnica, el evaluador
debe cuidar con esmero el enunciado de la pregunta, de forma que,
por una parte, el sujeto del programa tenga claro lo que se espera
de él y, de otra, el responsable del programa pueda aplicar el cri-
terio adecuado en el momento de valorar. Y es que las principales
limitaciones de esta técnica derivan de carencias ligadas a la for-
mulación de las preguntas 7 . En efecto, resulta frecuente oír que-
7 El lector pued e encontrar información rel evante e n el clásico texto de Burton ,
editado por Magiste rio Español en 1962, Orimtarión <iPl aprmdizaje, en particular en
su cuarta parte.
jarse a los alumnos de que han contestado "lo que está en el libro"
o en los apuntes de clase y que el profesor ha valorado mal o bajo
sus respuestas. En tales casos, es frecuente oír a los profesores que
los alumnos se limitan a contestar, más o menos memorísticamen-
te, lo que está en los libros o en los apuntes.
Para evitar estos hechos, lo fundamental es utilizar enuncia-
dos en que aparezca el verbo o el sustantivo adecuado en lugar
de simples enunciados nominales. Así, preguntas como: Los ali-
mentos, Lope de Vega, La expulsión de los judíos, Kant, El teorema de
Pitágoras, La célula, El arte gótico ... , parecen demandar una res-
puesta que refleje tan fielmente como sea posible lo que aparece
recogido en los textos. Si el profesor desea otra cosa, debe acudir
a expresiones como las siguientes: Fijar y justificar la composición
de una dieta alimenticia equilibrada, Valorar la obra teatral de Lope de
Vega; análisis de las causas y consecuencias de la expulsión de los judíos;
valoración del imperativo categórico de Kant; demostrar el teorema de
Pitágoras; definir el concepto de célula, caracterizar el arte gótico ...
Estas especificaciones técnicas, no obstante, darán sus frutos
en mayor medida si vienen a complementar la actividad docente
en el aula. Queremos decir que el profesor deberá haber realiza-
do durante el proceso de enseñanza/aprendizaje dos importan-
tes actividades, una estrictamente docente y otra de naturaleza
orientadora:
La actividad docente, consistirá en practicar con los alum-

nos e l matiz fundamental que representa el verbo o el sus-
tantivo utilizado. Los alumnos pueden, de este modo, dife-
renciar entre la exposición meramente descriptiva del
imperativo categórico, su valoración desde diversas pers-
pectivas -la propia filosofía kantiana, el relativismo moral,
la ética fundada en la Religión ... - o su aplicación para la
resolución de dilemas morales actuales.
La actividad orientadora se concretará en hacer notar al
alumnado, de modo expreso, que , en el momento de la
evaluación, el profesor podrá optar por comprobar el
dominio del enunciado, por su valoración o por su aplica-
ción ... , entre otros posibles enfoques. En modo alguno el
alumno debería verse "sorprendido" en el momento de la
prueba por formas de evaluación sin conexión con los pro-
cesos de enseñanza/aprendizaje.
Acudir a verbos o a expresiones verbales tiene, por otra parte,

una gran ventaja: de alguna manera ese tipo de enunciados viene
a indicar el criterio que será utilizado en la evaluación.
Las pruebas de ensayo

Una prueba de ensayo centra todo o la mayor parte del examen
en un único tema; su aportación es la profundidad en el desa-
rrollo y su limitación la insuficiencia y la falta de representativi-
dad, sobre todo en el caso de exámenes que abarcan todo el pro-
grama o una parte amplia del mismo.
No cabe duda de que, dejando de lado ese gran defecto, las
pruebas de ensayo resultan especialmente aptas para apreciar un
conjunto de cualidades de los alumnos que bien pueden consi-
derarse objetivos educativos de alto nivel, además, obviamente,
del dominio del tema en cuestión. Nos referimos a su asimilación
de los conocimientos, a la organización del saber, a la facilidad de
expresión, a su capacidad de crítica, a su originalidad ... en defi-
nitiva, a su madurez.
En la medida en que todos estos u otros aspectos sean objeto
de atención y valoración por parte del evaluador -profesor o res-
ponsable del programa-, es preciso hacerlo saber a los destinata-
rios del mismo. No puede llevarse a cabo un tipo de aprendizaje
y luego valorar una realidad diferente 8 . Por ello, conviene seña-
lar la importancia de que tanto el profesor como los alumnos ten-
gan claridad en los criterios de evaluación ya que si a aquél le faci-
litan su valoración, a éstos les ayuda a alcanzar el éxito.
A título de mera propuesta, señalamos algunos de los crite-
rios especialmente adecuados para este tipo de pruebas:
• En relación con el contenido: suficiencia, profundidad, nivel

de dominio, documentación, precisión en el uso del len-
guaje técnico, adecuación de la respuesta al enunciado ...
8 El autor tiene una exper·iencia personal como alumno con un a materia ele
Historia del ArlP. Después ele haber presentado el profesor el arte románico y el góti-
co, el examen consistió en una sola pregunta: Relacionar las características del arle
gótico con las del románico. Hubo una "revuelta" estudiantil por considerar que el
profesor pretendía evaluar algo que en modo alguno había enseñado, dado que se
había limitado a presentar -con gran altura y rigor, eso sí- las características ele uno
y otro esti lo, pero no había enseñado a "relaciona rl as".
• En relación con la exposición: organización, estructura, rela-

ción, argumentación, originalidad ...
• En relación con la expresión: corrección, claridad ...
Una técnica en alguna manera complementaria o alternativa

a la prueba de ensayo es el esquema. El esquema, en cuanto esque-
leto de una prueba de ensayo, permite apreciar muchas de sus
características en un tiempo menor; no abordará, sin embargo,
los aspectos relativos a la expresión y al contenido. Sin embargo,
puede utilizarse para valorar la capacidad del alumnado de orga-
nizar sus ideas, de estructurarlas personal y hasta creativamente
cuando la temática y el enunciado así lo aconsejen.
Pruebas mixtas
Como se ha podido constatar, cada una de las anteriores téc-
nicas presenta aspectos fuertes y débiles; lo mismo podríamos
decir de las pruebas objetivas o de las técnicas que analizaremos
a continuación.
Para salir al paso de unas y otras, tal vez nada mejor que un
examen mixto: una prueba objetiva, capaz de abarcar el dominio
de aspectos concretos de la materia objeto de evaluación; unas
preguntas breves, destinadas a comprobar el dominio del voca-
bulario técnico de la materia, y una prueba de ensayo y un esque-
ma, para apreciar el dominio profundo de dos de los temas del
programa. Por cierto, si tales temas se seleccionan con algún cri-
terio específico, puede aumentarse la validez de la prueba al aña-
dir representatividad.
Naturalmente, estas afirmaciones valen para cierto tipo de
materias; en otros casos, el tema podrá ser sustituido por un
comentario de texto, por la realización de problemas o por la
resolución de casos, ... pongamos por ejemplo.
20.2.2.2. Evaluación de la composición escrita

Entre los muchos objetivos complejos con los que podríamos
ejemplificar la problemática de la evaluación acudiremos a uno
de los campos de mayor valor formativo: el lenguaje; además de
dar lugar a una materia fundamental en todos los idiomas, tiene
un evidente carácter instrumental de aplicación al resto de los
campos del saber.
Dentro del lenguaje, la capacidad para comprender mensajes

y para expresarse con corrección es, a su vez, uno de los objetivos
básicos. Pues bien, para su valoración cabe acudir a dos técnicas
fundamentales : la conversación, con evidentes connotaciones de
habilidades sociales, y la composición escrita.
En la evaluación de una composición escrita podemos conside-
rar dos enfoques diferentes, pero ambos relacionados con la eva-
luación: la disponibilidad de información para su mejora sistemáti-
ca y la calificación de los niveles de logro.
Evaluación para la calificación

Si bien es verdad que un evaluador experto, como puede ser
un profesor con varios años de experiencia, puede calificar las
composiciones con notable pericia y coincidencia de calificacio-
nes de una a otra vez 9 , no es menos cierto que las valoraciones
atribuidas por dos profesores diferentes pueden variar amplia-
mente10. La existencia de unos criterios para valorar, ayuda al pro-
fesorado a disciplinar su atención, concentrándola en aquellos
aspectos que él considera fundamentales, lo que permite evitar o,
al menos, reducir la dispersión de las calificaciones.
No es fácil establecer tales criterios ya que los expertos no se
ponen de acuerdo ni en cuáles son ni es su peso o importancia
relativa. Sin embargo, sí es vital que cada profesor los explicite,
los dé a conocer a sus alumnos, los trabaje en clase y los utilice a
la hora de calificar. En e l caso de la evaluación de programas,
resultará esencial que el evaluador asegure la coherencia en la
valoración de este tipo de actividad y los objetivos del programa,
así como de la actividad desarrollada durante el proceso de apli-
cación del mismo.
9
Interesa resaltar Jo de "notable pericia" ya que hay indicios de que un juez
-profesor- no consigue mantener una misma pauta al calificar de nuevo una com-
posición. Nada menos que en un 48 % de los casos se dieron variaciones de una a
otra vez. Vid. De Landsheere (1973: 25 s.)
10
En una experiencia realizada por el autor en un curso de formación con unos
60 profesores de bachillerato, las calificaciones otorgadas oscilaron entre 3 y 9 pun-
tos, toda la gama -suspenso a sobresaliente- de las califi cacion es.
La evaluación para la mejora

Aunque en la evaluación de programas lo relevante suele ser
Ja valoración sumativa para decidir sobre el grado de eficacia, ello
no debería impedir utilizar la información recogida para la mejo-
ra tanto de los sujetos como del propio programa.
Pues bien: si, a los efectos de una calificación fiable, válida y
justa, disponer de criterios es una exigencia, donde no cabe nin-
guna duda sobre su utilidad y necesidad es en el marco de una
evaluación específicamente docente o para la mejora.
En su momento, ya indicamos que la evaluación formativa no
tenía por qué concretarse en calificaciones sino tomar la forma
de un breve informe sobre lo que va bien y lo que no. Pues bien,
cuando un profesor debe informar a un alumno sobre su avance
o progreso en composición escrita, nada mejor que hacerlo en rela-
ción con los criterios sobre los cuales ha emitido su juicio de valor
y en torno a los cuales estructuró sus actividades docentes.
En el marco de la evaluación de programas, esta información
personalizada no es relevante ya que no se trata de evaluar los resul-
tados de cada destinatario del programa sino de establecer, para el
conjunto de destinatarios, el grado de eficacia y de disponer de
información sobre los puntos fuertes y débiles del mismo. Sin
embargo, en este contexto, tal información para Ja mejora resulta
de especial interés a la hora de elaborar el informe evaluativo.
A título de ejemplo, se recogen a continuación dos propues-
tas diferentes, a modo de instrumentos que puede utilizar el res-
ponsable del programa en el momento de evaluar tanto formati-
va como sumativamente 11 , ambos, de diverso contenido pero
idéntica finalidad, permiten al evaluador tener una idea del pro-
greso del alumno y de los puntos fuertes y débiles, lo que le faci-
lita la elaboración de breves informes formativos.
Guías para valorar una composición escrita

Presentamos dos guías que permiten tanto una valoración como
una información cualitativa. En el primer caso, el evaluador podría
11 Como afirma Bloom, "No existe una clara distinción entre una unidad for-
mativa y una sumativa. La diferencia fundamental... reside ... en el propósito de la

evaluación. Si la evaluación se 1·ealiza para determina•· hasta dónde los estudiantes
han dominado los diversos elementos de una jerarquía postulada de modo que pue-
dan adoptarse d ecisiones sobre la mejor manera de continuar la enselianza, en ton-
asignar puntos a cada uno de los componentes y sumarlos, igualita-

ria o ponderadamente, para obtener la calificación global; en el
segundo, el profesor puede ofrecer a su alumnado una información
cualitativa de alto interés y utilidad. He aquí la primera de las guías:
ASPECTO CONTENIDO
CONTENIDO l. Claridad del pensamiento

2. Continuidad del pensamiento
3. Sistematización de las ideas
ELEMENTOS 4. Vocabulario utilizado
EXPRESIVOS 5. Variedad de las frases
6. Viveza de la exposición
ESTRUCTURA 7. Corrección de las oraciones
8. División en frases o periodos dentro de la uni-
dad general
ASPECTOS 9. Ortografía
MECÁNICOS 10. Puntuación
CUADRO 5: Guía para valorar una composición escrita 12
Una alternativa es la propuesta de Remondino, que recoge un

total de hasta 17 aspectos que pueden ser tomados como ele-
mentos a considerar a la hora de valorar 13 :
Legibilidad Precisión de la información

Estética Exhaustividad
Presentación Concisión
Exactitud de la ortografía Propiedad en el lenguaje
Exactitud morfológica Estilo
Exactitud sintáctica Originalidad
Estructura de la expresión Madurez
Riqueza de ideas Imaginación
Pertinencia de las ideas
CUADRO 6: Cualidades de una composición escrita.
ces tien e una naturaleza formativa .... si el propósito es simplemente calificar al estu-
diante al final de una unidad , antes de pasar a la siguiente, entonces la evaluación
es sumativa". (pág. 52).
12
García Hoz (1969: 206-207).
1
~ Vid. al respecto De Landsheere (1973).
Conviene dejar constancia de que si, por un lado, es intere-

sante ampliar la lista de cualidades, por otra resulta muy difícil
mantenerlos presentes a la hora de calificar cuando su número
pasa de 4 o 5. Sin embargo, una lista como la anterior no tiene
por qué ser utilizada "de una vez". Es posible que en el programa
se vaya trabajando, de modo progresivo, sobre varias de tales cua-
lidades, con lo que la lista sirve para planificar la enseñanza y para
concretar la evaluación a lo largo de uno o varios cursos acadé-
micos.
Los anteriores instrumentos merecen, no obstante, un
comentario crítico, comentario que tiene que ver con una hete-
rogeneidad de planteamientos; en efecto, en algunos casos, los
elementos recogidos son aspectos a considerar, en otros, por el con-
trario, estamos ante verdaderos criterios para valorar. Veamos el
caso volviendo al cuadro 5.
Términos como claridad, continuidad, variedad, viveza, correc-
ción, pueden ser tomados como criterios; no es este el caso de los
elementos 4, 8, 9 y 10. Un profesor debe tener claro qué aspecto,
enfoque o regla tomará para valorar la ortografía, la puntuación,
el vocabulario o la división de frases; tal vez la corrección pueda ser
el criterio en los puntos 9 y 10, la variedad, riqueza, precisión y estilo
(por ejemplo, utilización de figuras como el símil, la metáfora, la
metonimia ... ) podrían ser los criterios del punto 4, y en el 8 podría
acudirse a las reglas sobre unidad, proporción y equilibrio.
No obstante, a pesar de estas matizaciones todavía el profesor
debe esforzarse más tanto en el momento de ayudar al alumno en
su proceso de aprendizaje como en el de comprobar lo logrado, sea
para mejorarlo sea para calificarlo. Piénsese cómo decidir si hay sufi-
ciente riqueza en el vocabulario, sistematización de las ideas o
corrección en la puntuación. Sin embargo, el hecho de haber
decidido que esos son los aspectos a considerar y los criterios para
valorar ya es una importante ayuda en el proceso de enseñanza y
en el de evaluación del progreso y de la eficacia del programa.
Si estas aportaciones críticas las hacemos a la primera de las
Guías, las que deberían realizarse a la segunda, los 17 aspectos
recogidos por Remondino, son todavía mayores. Piense el lector
en los criterios necesarios para valorar los elementos 2, 3, 14, 15,
16 y 17.
Concluimos este apartado con la recomendación al / los res-
ponsable (s) del programa de seleccionar o elaborar una guía
tanto para que sus destinatarios aprendan a expresarse como para,

después, comprobar el grado en que lo logran -si es que su inten-
ción al evaluar es la calificación- o para identificar los aspectos en
que deben mejorar, en el caso de evaluaciones formativas. Y para
quienes manifiestan la insuperable dificultad para ftjar tales crite-
rios, valdría la pena que reflexionaran sobre una afirmación a mi
juicio indiscutible: quien no es capaz de ftjar los criterios para su
evaluación, carece de ideas para su eficaz enseñanza.
20.2.2.3. Los "trabajos" de elaboración personal

U na de las técnicas más utilizadas por los profesores para
apreciar, de una forma global, la madurez del alumnado en el
campo de su asignatura es el encargo de trabajos sobre una parte
de la materia, sobre un tema concreto o sobre un aspecto capaz
de poner de relieve cómo integra el alumnado aspectos que son
objeto de estudio de varios de los temas del programa.
El concepto de madurez es difícil de definir: tiene mucho qu"e
ver con la asimilación de la materia objeto de estudio, con la capa-
cidad de pensar, organizar y elaborar de modo personal el mate-
rial aprendido, y hasta con una serie de características que bien
podríamos considerar como propias de la personalidad más o
menos madura.
En este sentido, es adecuada la reflexión del profesor García
Hoz cuando, en su obra La práctica de la Educación Personalizada,
plantea su propuesta sobre lo que él denomina el Sistema para la
Obra Bien Hecha, para la cual parte de una afirmación radical: sólo
lo bien hecho educa; según el autor, una obra bien hecha ha de
estar:
- Bien ideada.
- Bien preparada.
- Bien realizada.
- Bi en acabada, y
- Bien valorada.
Obviamente, cada materia puede tener pautas específicas en

relación con lo que es un buen trabajo; sin embargo, estas cinco
cualidades, que bien pueden traducirse en criterios, pueden valer
para valorar todo tipo de trabajos. En cualquier caso, el ejemplo
que se ofrece a continuación no es sino una propuesta a tener en
cuenta, que puede servir de pauta para la elaboración de criterios
propios por parte de los responsables del programa; se trata de la
pauta utilizada por el autor para valorar los trabajos de su alum-
nado en una materia universitaria (Cuadro 7).
CRITERIOS DESCRIPCIÓN
SIS11™ATIZACIÓN Existencia de un Índice

Ideas jerarquizadas, enlazadas y ordenadas.
DOCUMf,"NTACIÓN Existencia de referencias bibliográficas ade-
cuadas, precisas y pertinentes.
Bibliografía actualizada y adecuada.
Integración de la documentación en el con-
tenido del trabajo.
APORTACIÓN PERSONAL Exposición razonada, argumentada, en
defensa de las propias ideas.
Apoyo documental a las ideas propias.
Discusión de los puntos objeto de crítica.
C UADRO 7: Criterios jxira la elaboración y valoración de un trabajo personal.
Como puede apreciarse, la propuesta incorpora criterios dentro

de los criterios. Así, dent:o del primero de ellos, la sistematización, se
propone la existencia del Indice f~ente a la carencia de él. Del mismo
modo, para la valoración de tal Indice se acude a criterios como la
jerarquización de las ideas en él recogidas. Algo similar podríamos
afirmar en relación con los otros dos grandes criterios. Así, al valo-
rar el trabajo atendiendo al hecho de estar o no documentado, se
utilizan los criterios de actualización y de adecuación; del mismo
modo, en el marco del último, la aportación personal, se considera
valioso el hecho de que esté razonada y argumentada.
Un tipo especial de trabajos es aquél que tiene relación con la
planificación, desarrollo y culminación de una investigación. Con
frecuencia, en el marco de los estudios universitarios no es posi-
ble realizarlas por completo por cuestiones de tiempoI 4 , por lo
que se puede solicitar a los alumnos o bien el diseño de una inves-
tigación o bien su propia valoración de una investigación real con
arreglo a alguna pauta o guía de referencia.
14
Una investigación puede ocupar todo el curso o más.
A continuación se ofrecen dos pautas: la primera, para la ela-

boración de un trabajo de investigación empírica y la segunda, para
valorar la resolución de problemas.
ELEMENTOS CRJTERIOS
EL PROBLEMA:
Antecedentes Fundamentación: estado de la cuestión
Formulación Precisión, resolubilidad.
LA HIPÓTESIS:
Existencia RPlación entre variables.
Formulación Compatibilidad, congruencia, fundamentación,
razonabilidad, contrastabilidad
VALIDAClÓN DE LA
HIPÓTESIS:
Población y muestra Suficiencia, representatividad
Datos Fiabilidad, validez
Diseño Adecuación
Tratamiento estadístico Adecuación, corrección, exactitud
INTERPRETACIÓN
Conclusiones Coherencia con los datos
Discusión Solidez, apoyo rientífico
Integración de las ronclusiones
NUEVA SITUACIÓN
Replanteamiento
CUADRO 8: Pauta para la elaboración y valoración de un trabajo

de investigación.
La pauta para la valoración de la resolución de problemas parte de

la idea de que un problema es una situación para la que, en prin-
cipio, no se cuenta con la solución adecuada. Por ello, muchos
autores reconocen como etapas básicas las siguientes: comprensión
del problema, identificación, planteamiento de una hipótesis o ten-
tativa de solución al problema, valoración de las alternativas, selec-
ción de la que se considera "a priori" más adecuada, elaboración
de una estrategia adecuada para su solución, aplicación de la estra-
tegia elegida, obtención del resultado, interpretación, valoración de
los resultados y, en ocasiones, extracción de las consecuencias
pertinentes.
A continuación se propone una pauta para la valoración de la

resolución de problemas:
ASPEC..10 CRITERIOS
IDENTIFICACIÓN
Aderuación, precisión, exactitud
DEL PROBLEMA
Explicitación del principio, teoria, regla
PLANTEAMIENTO justificación de los pasos a dar
Indicación de lo que se espera lograr
Adecuación de la secuencia
PROCESO Orden
Corrección
SOLUCIÓN:
Resultados J:,xactitud
Interpretación Adecuación
Discusión Fundamentación
CUADRO 9: Pauta para valorar la resolución de un problema.
20.3. CONSTRUCCIÓN DE PRUEBAS
Junto a las indicaciones generales a las que nos hemos referi-

do en el apartado anterior para la construcción de pruebas, pasa-
remos ahora a considerar Ja problemática diferencial de dos tipos
diferentes: las normativas, destinadas a situar a las personas a lo
largo de un continuo tomando como referencia los valores del
grupo al que pertenecen, y las criteria/,es, cuyo sentido es el de
determinar el grado en que Jos sujetos de un programa superan
o no un dominio de aprendizaje bien definido.
20.3.1. Construcción de pruebas normativas

Cuando de lo que se trata es de elaborar una prueba capaz de
discriminar entre los alumnos que han estudiado un mismo pro-
grama de forma que puedan ser ubicados a lo largo de un conti-
nuo, lo fundamental, además de la validez de los elementos o
ítems seleccionados, es obtener su grado o índice de dificultad. Si
todos ellos fueran muy fáciles, la inmensa mayoría de los destina-
tarios del programa los resolvería correctamente, no permitiendo

identificar a aquellos que tienen mayor capacidad, interés y cono-
cimientos; por el contrario, si todos fueran muy difíciles, ocurri-
ría justamente lo contrario.
Una forma de salir de esta situación es la de probar los ítems
mediante una prueba piloto aplicada a un grupo de alumnos,
estableciendo en ellos su índice de dificultad, algo muy fácil de
hacer ya que consiste, simplemente, en dividir el número de los
alumnos que lo resuelven correctamente por el total de los que
son sometidos a prueba. Este cociente arroja valores entre 1
-máxima facilidad- y O, que representa un elemento tan difícil
que nadie ha sido capaz de resolverlo. '
El grupo que sirve de referencia -grupo normativo- debe reu-
nir dos importantes características: tener un tamaño tan grande
como para que resulte una muestra suficiente del conjunto (pobla-
ción) y ser representativo, esto es, que cuente con una estructura y
composición que resulte similar a la propia del grupo general del
que forma parte. Si es así, los datos obtenidos en tal grupo norma-
tivo pueden aplicarse como una especie de regla de medida a nue-
vos destinatarios de ediciones posteriores del programa pertene-
cientes a Ja misma población.
Una prueba bien calibrada en dificultad estará integrada,
aproximadamente, por los siguientes porcentajes de ítems de los
diversos niveles de dificultad (tabla 1):
ÍNDICE DESCRIPCIÓN % DE ÍTEMS
~ 0,25 Muy difícil 10

0,25 a 0,44 Difícil 20
0,45 a 0,54 Dificultad media 40
0,55 a 0,74 Fácil 20
;:o: 0,75 Muy fácil 10
TABLA 1: Estructura de la dificultad de los íterns de una prueba orientada

a la evaluación normativa.
De esta forma, el conjunto de alumnos que realiza una prue-

ba tiende a dar una distribución próxima a la curva normal de
probabilidades o campana de Gauss (figura 2). A partir de aquí, y
para interpretar las puntuaciones obtenidas en la prueba, se
puede proceder de diferentes maneras: a) crear un baremo;

b) establecer una correspondencia entre las calificaciones ordi-
narias, que van de O a 10, y las puntuaciones a que da origen la
prueba que, obviamente, dependen del número de ítems que la
integran, de la regla para puntuar los ítems y de la ponderación
que pueda atribuirse a cada uno de ellos.
z
s o 10 30 !50 70 90 100
T 20 30 40 50 60 10 80
CEEB 200 300 o400 500 600 700 800

1
Enea tipos
'º 2º 3º 40 !5º 6c 7º ao 90
1
Pentas 30 40
'º 5e
2º
20 4!J 1G? 80 9!5
elº
Centiles e e 1 1
10 30
1
50
1
10 ~' 99
FIGURA 2. Campana de Gauss -curva normal de probabilirlades-

con la equivalencia entre diferentes tipos de puntuaciones.
La segunda opción no presenta demasiadas dificultades; la

construcción de baremos, por el contrario, requiere la aplicación
de determinados conocimientos estadísticos que permiten tradu-
cir una puntuación directa, esto es, aquella que resulta de sumar
las valoraciones alcanzadas en todos y cada uno de los ítems de la
prueba, en una puntuación tipificada, como son los cuantiles,
entre los que los deciles y los percentiles son los más conocidos. Otra
alternativa es la de servirse de las propiedades de la curva normal
para que tales puntuaciones u otras, como puede ser la escala de
pentas o la de eneatipos, estén normalizadas.
Un decil se interpreta en términos de décima parte de la

población: así, cuando a la puntuación directa de un alumno le
corresponde el decil 7, se interpreta en el sentido de que supera
a 7 de cada 10, quedando por encima de él 3 de cada 10 de los
alumnos que constituyen el grupo total, la población; en el caso
de los percentües la interpretación se lleva a cabo en términos de
porcentaje: si a la puntuación directa de un alumno, pongamos
23, le corresponde el percentil 37, debemos interpretarla en el sen-
tido de que supera al 37 % de los alumnos de su grupo de refe-
rencia, quedando por encima de él el 63 %. Conviene dejar cons-
tancia de que la distancia entre dos percentiles consecutivos no es
constante: en el centro de la distribución las distancias son muy
pequeñas mientras en los extremos son tanto mayores cuanto más
alejadas se encuentren del centro 15 •
Acudir al nivel de dificultad de los diferentes ítems es, por tanto,
una estrategia para diferenciar a los alumnos, esto es, para situarlos
a lo largo de un continuo; la otra, que puede utilizarse simultánea-
mente, tiene que ver con el tiempo. Un tiempo limitado permite que
aquellos alumnos que dominan en mayor medida la materia resuel-
van más ítems, alcanzando una puntuación superior.
Con todo, la estrategia de limitación del tiempo debe ser utili-
zada con prudencia, ya que produce mucha frustración al alumna-
do comprobar que no ha podido poner de relieve todo lo que sabe.
El profesor debería analizar esta variable y ajustar con cuidado la
duración a la cantidad y calidad de las tareas que integran las prue-
bas, en especial cuando, como ocurre en la evaluación de progra-
mas, se trata, precisamente, de disponer de información sobre sus
resultados.
20.3.2. Construcción de pruebas criteriales

Para la evaluación de programas, la referencia normativa no
suele ser adecuada 16 : lo importante aquí es el grado en que sus
15
Re mitimos al lector al capítulo 21, donde se presenta el concepto de nivel o
escala de medida. Pues bien, los cua ntiles -deciles, percentiles- son medidas de nivel
ordinal.
16
Cabe, sin embargo, establecer la eficacia del programa en términos tales
co mo que sus destinatarios se sitúen todos -o un concreto porcentaje del total- por
e ncima de un determinado percentil, penta o puntuación z del grupo normativo. En
tal caso, sí es relevante este tipo de referencia.
destinatarios logran los niveles predefinidos de eficacia, algo que

enlaza claramente con la denominada referencia criterial.
En la referencia criterial la dificultad de los ítems para discrimi-
nar a unos alumnos en relación con los demás no tiene ningún inte-
rés. Lo que en verdad importa es el hecho de que los diferentes ele-
mentos, en coajunto, constituyan una buena medida del dominio de
aprendizaje perfectamente definido al que se refiere Popham ( 1983:
134) al definir este tipo de evaluación. De esta manera, la evaluación
permite al profesor situar a cada uno de sus alumnos en relación
con ese dominio de aprendizaje que se somete a evaluación.
Debe quedar de manifiesto que la dificultad para construir
pruebas criteriales aumenta en la medida en que ese dominio
también lo haga; esto es, resulta más fácil construir una buena
prueba criterial para evaluar una unidad de aprendizaje -un
tema, una unidad didáctica- que el conjunto de la materia sobre
el que se ha trabajado durante un cuatrimestre o todo un curso
académico.
Dos son las razones, cercanas entre sí, que explican este
hecho: el dominio se constituye en el universo de medida, y resultan
necesarios muchos ítems -más que en el caso de las pruebas nor-
mativas 17- para evaluar con cierta seguridad un dominio ya que
"si incluimos un número de ítems demasiado reducido no obten-
dremos una determinación fiable de la posición del examinado
con respecto al de la conducta que nos proponemos medir" 18;
por otra parte, una prueba demasiado larga puede llegar a no
valorar lo que, en principio, cabía esperar: en efecto, demasiados
ítems producen fatiga, hecho que puede incidir seria y negativa-
mente sobre su validez.
Para que un ítem responda a la exigencia anunciada es preci-
so que los evaluadores tengan muy clara la naturaleza de la reali-
dad que desean medir; estamos ante lo que Popham denomina el
plan descriptivo del test, algo que sirve tanto para que los destinata-
rios sepan con claridad lo que la prueba mide como para que los
17
Popham (1983: 143) afirma que "el error más importante que debe evitarse
... es, en general , el de quedarse corto en el número de ítems". Más adelante (pág.
145) mantiene que una regla práctica sería la de incluir un mínimo de diez ítems
por dominio de conducta, añadiendo: "El mínimo debe elevarse cuando la apuesta
es importante, y rebajarse cuando no lo es tanto".
is Popham (1983: 141).
redactores de ítems puedan redactarlos en plena sintonía con lo

que se pretende medir. Parece evidente que cuanto mayor clari-
dad se alcance en este punto más fácil será lograr la coherencia
entre objetivos y evaluación.
Dos problemas deben ser abordados en este punto: el primero,
el de encontrar alguna evidencia de que los ítems, en efecto, res-
ponden a tales especificaciones; el segundo, el de disponer de un
medio que permita, con cierta facilidad, elaborar una gran cantidad
de ítems para apreciar con suficiencia los diferentes dominios y
hasta para contar con una base de ítems, un banco, que haga posible
crear pruebas paralelas que se puedan aplicar en años sucesivos
manteniendo los mismos estándares o niveles de exigencia.
Calidad de los ítems

Para el primer problema se han ideado dos estrategias; se trata
de la revisión de los ítems desde una perspectiva lógica o empírica. En
el primer caso, y a través de jueces, que pueden ser profesores de la
misma materia del propio centro educativo o personas expertas en
la misma, se ha de analizar, por una parte, si se da coherencia entre
el ítem y el objetivo a medir; por otra, la propia calidad técnica del
ítem, entendida como el cumplimiento de las características recogi-
das en el plan descriptivo de la prueba al que ya nos hemos referi-
do; por último, es preciso analizar Ja posibilidad de que el ítem dé
lugar a sesgos que favorezcan o perjudiquen a subgrupos de alum-
nos, algo que puede deberse fundamentalmente a limitaciones de
los mismos en aspectos tales como el dominio de la lengua o las
experiencias a las que están habituados 19 •
La revisión empírica utiliza datos "a posteriori" para establecer
si la prueba arroja unos resultados acordes con los planteamien-
tos que sirvieron al elaborarla -hipótesis-; en concreto se anali-
zan aspectos como su capacidad de discriminación o sensibilidad
para apreciar el aprendizaje logrado 20 •
19
Piénsese en las dificultades que experimentan determinados grupos étnicos o
culturales, y hasta quienes residen en zonas rurales frente a las urbanas, cuando el
enunciado de los ítems tiene como marco de referencia las experiencias vitales de
grupos de otras etnias, culturas y zonas urbanas.
20
Popham (1983: 152-154) plantea un índice de sensibilidad hacia la instrucción,
entendido como la diferencia entre los porcentajes de alumnos que responden correc-
tamente al ítem en el postest y el ese mismo test aplicando antes de la instrucción.
En general, y a todos estos efectos, se considera conveniente

acudir a la aplicación piloto de la prueba antes de considerarla
apta para su utilización.
Estrategias para la redacción de ítems

La otra importante cuestión tiene que ver con las estrategias
para redactar ítems; ya sabemos que este enfoque necesita de
mayor cantidad y, a la vez, de una cierta equivalencia tanto en
los aspectos medidos como en su estructura, coherencia, difi-
cultad ...
No es de extrañar, por tanto, que se hayan ideado procedi-
mientos que, a través de las reglas de generación de ítems, hagan la
tarea más llevadera y eficaz. Entre las tecnologías disponibles
pueden destacarse los siguientes: Formatos de ítems, debida a
Hively; transformaciones lingüísticas, de Bormuth; diseño de facetas,
de Guttman, y análisis de conceptos, de Tiemann y Markle.
A título de puro ejemplo, hacemos una breve referencia a la
tecnología conocida como diseño defacetaS2' (cuadro 10). Como se
verá, a partir de las instrucciones presentadas, se puede llegar a
construir un elevado número de ítems, en este caso un total de
36, llevando a cabo las combinaciones oportunas: si bien el ejem-
plo es elemental, cada profesor, aplicando a su campo del saber
las instrucciones contenidas en el cuadro, puede llegar a solucio-
nes semejantes, lo que le permitirá ahorrar tiempo a la hora de
crear sus propios bancos de ítems, tanto para las actividades de
aprendizaje como para las de evaluación.
21 Tomado deJornet y Suárez (1994: 419-443).

OBJETIVO:
Dominio de la adición de números cuya suma no supere las unidades.
TIPOS DE PRESENTACIÓN Y RESPUESTA:
Presentación: Oral Escrita
Respuesta: Oral a b
Escrita c d
APLICACIÓN DEL DISEÑO DE FACETAS: TIPO d
SENTENCIA DIRECTRIZ Juan tiene FACETA A caramelos y su padre
le da otros FACETA B. ¿Cuántos caramelos
tiene ahorajuan?
DESCRIPCIÓN DE LAS FACETA A: Primer sumando. Cifra original.
FACETAS Elementos 1,2,3,4,5,6,7 y 8.
FACETA B: Segundo sumando. Cifra de adi-
ción. Elementos: 1,2,3,4,5,6,7 y 8.
REGLAS DE GENERACIÓN l. Aleatorizar entre los elementos de la
DE ÍTEMS faceta A.
2. Aleatorizar entre los elementos de la
faceta B.
3. Condición restrictiva: que Faceta A +
Faceta B.,:; 9
EJEMPLO DE ÍTEM Juan tiene CUATRO caramelos y su padre le
da otros DOS. ¿Cuántos caramelos tiene
ahora Juan?
CUADRO 1O: Ejemplo de la aplicación del dise1io de facetas para la generación

de íterns en fJruebas criteriales .
.éstablecimiento de estándares y puntuaciones de corte

A partir de estos momentos, dos son los problemas técnicos
que deben abordarse: el establecimiento de estándares y de pun-
tuaciones de corte, conceptos que, aunque no son idénticos, se
utilizan con frecuencia indistintamente. A los efectos prácticos de
la situación de un evaluador, se trata de decidir la puntuación que
permite diferenciar entre los que han alcanzado el dominio
-superan la prueba- y los que no.
El establecimiento de la puntuación de corte es una cuestión
técnica en la que se suele acudir al juicio de expertos, aunque
existan procedimientos estadísticos complejos especialmente
diseñados para ello; en la práctica, la decisión se suele tomar tras
un proceso iterativo de ajuste entre las decisiones y las conse-

cuencias para sujetos conocidos. Sin embargo, y aunque parezca
una paradoja, no son pocos quienes consideran que para esta
decisión podría acudirse a datos normativos -lo que, según ellos,
no alteraría para nada lo esencial de las pruebas criteriales: que
se pueda saber con claridad, gracias a su plan descriptivo, lo que
los alumnos saben y no saben en relación con el dominio de con-
ducta perfectamente definido-y, sin embargo, facilitaría tanto la deci-
sión como la misma interpretación de los resultados de la prue-
ba22.
Y es que, en efecto, para establecer la puntuación de corte no
se suele disponer de algún criterio objetivo indiscutible; por ello,
contar con información sobre lo que ocurre "normalmente" en el
conjunto de la población es un medio razonable para decidir
dónde situar la línea de demarcación. Al menos, es una opción,
que puede ponerse en relación con la propia opinión de los
expertos.
22 Piénsese que no siempre se dispone de información objetiva para saber si es
razonable o no que determinados conocimientos, habilidades, destrezas o estrate-

gias sean dominadas por determinados porcentajes de los componentes de un grupo
concreto de personas.
CAPÍTULO 21
TRATAMIENTO Y ANÁLISIS DE DATOS (I) 1
OBJETIVOS

capaz de:
• La diversidad y complejidad de la información que debe

ser recogida en función de la complejidad de los progra-
mas y de los objetivos de su evaluación.
• El concepto de tratamiento y análisis de datos, en su dos

grandes modalidades: cuantitativos y cualitativos.
• La relación entre la naturaleza de las variables, la regla de

medida y el tipo de tratamiento y análisis adecuado.
• Las principales modalidades de análisis de datos con una,

dos o más variables: organización, reducción y representa-
ción gráfica de datos.
• Las posibilidad de tratamiento inferencial de datos para

valorar la eficacia de los programas.
1
Conviene comenzar este capítulo con una advertencia general, válida también
para el siguiente, en relación con su alcance. Tanto en un caso como en otro, el
autor no pretende sino ofrecer una panorámica general de dos amplísimos campos.
El lector interesado de berá acudir a obras especializadas si desea dominar los cono-
cimie ntos mínimos para poderlos aplicar en evaluaciones de programas.
Si recordamos nuestro concepto de evaluación y nuestro

modelo/propuesta de evaluación de programas, seremos cons-
cientes de que siempre es preciso recoger información -datos- si
bien, como afirma Bunge, a pesar de su nombre, los datos tienen
poco o nada de "dados", siendo preciso identificarlos, extraerlos,
cuando no construirlos ex profeso para la situación.
A lo largo de esta tercera parte hemos podido conocer y ana-
lizar diversos procedimientos y técnicas para disponer de tales
datos, desde su extracción a partir de documentos y registros dis-
ponibles mediante técnicas como el análisis de contenido a su
identificación por procedimientos de consulta a expertos, como
puede ser el caso de la técnica Delphi o las entrevistas y cuestiona-
rios, pasando por la tradicional consulta a usuarios y demás par-
tes interesadas por medio de encuestas y cuestionarios o su obten-
ción mediante procedimientos de observación y de comproba-
ción a través de pruebas y escalas.
Llegado es el momento de estudiar el procedimiento a seguir
con tal información, generalmente conocido como tratamiento y
análisis de datos.
21.1. DEL PROGRAMA A LOS DATOS
Recordemos que nuestra propuesta de evaluación de progra-

mas incluye tres momentos fundamentales: la evaluación inicial
del programa en cuanto tal, la de su implantación e implementa-
ción y la de sus resultados.
Recordemos, asimismo, que el primero de tales momentos
puede incluir o no el de la evaluación de necesidades, y que en el
caso de programas que se aplican con la intención de pervivencia,
esos tres momentos como tales tienen un sentido especial en el
caso de que se institucionalice la evaluación.
Pues bien: en todos esos momentos, será preciso acudir a
recoger información cuyo sentido será el de aportar las respues-
tas a las cuestiones de que se trate, y que ya han sido objeto de
estudio a lo largo de la segunda parte de esta monografía. A títu-
lo de meros ejemplos, podemos encontrarnos ante cuestiones
como las siguientes:
a) ¿Cuáles son las necesidades, carencias y demandas, en el ámbito
de la educación para la convivencia y la paz, en los jóvenes espa-
ñoles?
TRATAMIENTO Y ANÁLISIS DE DATOS 443
b) ¿Responde el programa objeto de evaluación a las necesidades y

demandas detectadas?
c) ¿Está fundamentado científica, técnica y pedagógicamente el pro-
grama?
d) ¿Es viable en la práctica? ¿Es potencialmente evaluable?
e) ¿Está resultando interesante y motivador?
f) ¿Se está aplicando de conformidad con lo planificado?
g) ¿Se da coherencia entre la filosofía del programa y el ambiente del
centro educativo? ¿Y con su Proyecto educativo?
h) ¿Se han alcanzado los niveles de logro previamente establecidos?
i) ¿Está satisfecho el personal y los usuarios con el desarrollo y los
resultados del programa?
Obviamente, son muchas más las cuestiones a que nos hemos

referido en la segunda parte; pero sólo con estas tenemos sufi-
ciente para apreciar cuán diversa deberá ser la información a
recoger y cuán diferente la forma de tratarla.
21.2. LAS GRANDES MODALIDADES DE TRATAMIENTO DE DATOS:

ANÁLISIS DE DATOS CUANTITA'TIVOS2
A los efectos del tratamiento y análisis de datos podemos

hablar de dos grandes modalidades, según se trate de informa-
ción de naturaleza cuantitativa o de carácter cualitativo.
Estudiaremos a continuación los de carácter cuantitativo, dejan-
do para el siguiente capítulo los de tipo cualitativo.
21.2.1. Niveles o escalas de medida

Para afrontar este apartado conviene comenzar situándonos
ante el concepto de nivel o escala de medida. En función de la natu-
raleza de las variables y de las operaciones que podamos realizar
con los valores a ellas asignados, distinguiremos cuatro grandes
niveles o escalas:
• Nominal
Las variables medidas a este nivel sólo nos permiten distinguir
entre lo que es igual o diferente. Así, dos objetos iguales recibirán
2 Recomendamos la obra de J. Etxeberría y J. Tejedor (2005).

el mismo número y dos objetos diferentes, números distintos. Nos

hallamos ante lo que se conoce como variables cualitativas, entre
las que podemos citar, a modo de ejemplo, el sexo, la clase social,
el estado civil, la profesión, el lugar de origen, el nivel de estu-
dios ... También podemos tratar nominalmente variables cuantita-
tivas, como puede ser el caso de las categorías "pasa" "no pasa" en
una prueba de Selectividad.
Los valores asignados a tales variables sólo nos indican que
todo Jo que tenga el mismo número es igual y lo que reciba núme-
ro diferente es distinto de lo demás.
• Ordinal
Las variables medidas a este nivel nos permiten establecer ran-
gos u órdenes, de mayor a menor o viceversa. De este modo,
podemos decir que un alumno es el primero de Ja clase, que las
niñas obtienen mejores puntuaciones que los niños en lenguaje,
que los alumnos españoles se encuentran en el puesto vigésimo
por su nivel de conocimientos entre los países de la OCDE ... Este
tipo de variables se denominan ordinales, si bien otros autores pre-
fieren utilizar el término cuasi-cuantitativas.
En estos casos, la diferencia entre dos rangos consecutivos no es
constante: puede ocurrir que entre el primero y el segundo de los
corredores al llegar a la meta apenas haya unos segundos, mientras
entre el segundo y el tercero pueda haber un intervalo de varios
minutos. Por tanto, los rangos u órdenes serán: primero, segundo y
tercero, pero las diferencias entre ellos pueden variar ampliamente.
• De intervalo
Las variables así medidas unen a las dos características ante-
riores la de poder establecer diferencias constantes entre valores
consecutivos y, por ello, comprobar cuántas veces una diferencia
es mayor o menor que otra. Contamos, por tanto, con una unidad
de medida constante.
Tal puede ser el caso de variables como la temperatura expre-
sada en grados centígrados: entre 10º y 20º hay la misma diferen-
cia que entre 60º y 70º, y la mitad que entre 30º y 50º. Sin embar-
go, no podemos afirmar que 20º sea la mitad de 40º, sencilla-
mente porque Oº no significa ausencia de calor. Para ese tipo d e
operaciones debemos contar con un cero absoluto.
En el caso de la Educación, en el supuesto de alcanzar una
unidad de medida constante para medir el aprendizaje 3 , el O no
significa ausencia total de conocimientos sino simplemente el no
haber respondido correctamente a ninguna de las cuestiones que
fueron objeto de examen mediante la prueba utilizada para
medirlo.
Con este tipo de variables se pueden realizar las operaciones
de suma y resta, y las de multiplicación y división entre las dife-
rencias de los números así asignados, pero no la multiplicación y
división con tales números.
• De razón o cociente
Las variables así medidas son plenamente cuantitativas; cuentan
con unidad constante y origen o cero absoluto, por lo que pueden
realizarse con sus valores todo tipo de operaciones. Ejemplos claros
e intuitivos son los de la edad, el peso, la longitud, Ja altura ... En
nuestro ámbito podemos descartar, por lo general, este nivel de
medida.
Reconociendo que la anterior clasificación de niveles o esca-
las de medida 4 es, en realidad, arbitraria, no deja de ser útil para
nuestros propósitos. Sin embargo es conveniente dejar constancia
de que, en la práctica, no es habitual un purismo en el uso y apli-
cación de estos principios, dado que con ello se impediría el uso
de las principales técnicas estadísticas, en especial las conocidas
como pruebas paramétricas5 . Por ello, es frecuente tratar estadís-
ticamente muchas variables que están medidas a nivel ordinal,
como si fuera de intervalos 6 , aplicándoles ese tipo de pruebas y
estadísticos tan conocidos como la Media (principal medida de
posición), Ja desviación típica o la varianza (medidas más perfec-
tas de dispersión o variabilidad) o rx (correlación de Pearson, el
índice más perfecto de los disponibfcs).
3 En términos estrictos podemos decir que no lo lograremos. Sin embargo,
cuando las pruebas se construyen co n rigor y se cuida su validez y fiabilidad , se suele

trabajar como si lo hubiéramos conseguido.
4
Debida a Stevens.
5 Utilizadas en el contraste de hipótesis; tal sería el caso de la t de Student o la
F de Fisher (Análisis de varianza).

6
Siempre que el número de rangos sea amplio y se haya cuidado la construc-
ción de los instrumentos utilizados para su medida.
Concluiremos este apartado haciendo notar la diferencia que

puede darse entre las variables sobre las que se recoge informa-
ción y las "medidas" de las mismas. Cuando nos referimos a los
niveles o escalas de medida lo hacemos en realidad a los valores
obtenidos mediante determinados instrumentos.
Es verdad que hay variables naturalmente nominales, como
son los denominados atributos: sexo, clase social, estado civil... 7 ,
pero variables "medidas" ordinalmente bien pudieran ser plena-
mente cuantitativas, siendo el problema el de construir instru-
mentos o disponer de procedimientos adecuados para lograrlo.
Por ejemplo: bien podría ser que el aprendizaje fuera una varia-
ble cuantitativa continua, pero que nuestras pruebas estén muy
lejos de poderlo poner de manifiesto.
21.2.2. Tratamiento de los datos

La información recogida a través de los diferentes instrumen-
tos y procedimientos es traducida a valores numéricos -medida,
si damos a este término un significado amplio8- llegando el
momento de proceder a su tratamiento y análisis, por lo general
a través de la Estadística.
La Estadística es una ciencia, rama de la Matemática, que estu-
dia los fenómenos aleatorios y la teoría de la probabilidad. Como
toda ciencia, tiene entre sus metas las de descripción, análisis y
predicción 9 • En su dimensión práctica, la Estadística apli ca esos
principios a la mayoría de los campos del saber, desde la Medicina
a la Pedagogía, pasando por la Sociología, la Psicología o la
Biología.
Su tarea fundamental es la de establecer inferencias a partir
de unos valores obtenidos en una muestra -conocidos como esta-
dísticos- para generalizarlos a toda la población (parámetros). Este
7
Aunque caben precisiones: ¿no se puede hablar de personas más o menos mas-
culinas o femeninas? ¿No se puede estar más o menos cerca de una clase social supe-
rior o infe1·ior?
8
Medir, en sentido amp lio, es atribuir o asignar números a los objetos d e acuer-
do con ciertas reglas. En semido estricto, es comparar una cantidad con una unidad
de su misma naturaleza. Con este segundo concepto muchos objetos o característi-
cas de tales objetos no serían medibles en sentido estricto. En sentido amplio pode-
mos alcanzar las diversas escalas o niveles rese1iados.
9 García Hoz y Ferrer Martín (1966: 12).
salto de los valores muestrales a los de la población se realiza
sobre la base de la probabilidad de los fenómenos, lo que exige
conocer cómo se distribuyen para calcular sus probabilidades de
ocurrencia. Este tipo de Estadística se conoce como muestra[ o infe-
rencia[, dado que realiza inferencias de los valores muestrales a los
poblacionales. Sin embargo, y previamente, la Estadística permi-
te un tratamiento descriptivo de los mismos, importante y útil en
Ja evaluación de programas.
21.3. TRATAMIENTO DESCRIPTTVO DE DATOS
La Estadística, en efecto, puede plantearse metas menos ambi-

ciosas que la inferencia, como son el conocimiento de los valores
característicos de tales muestras, sin importar las inferencias.
Entonces nos situamos en el plano de la Estadística descriptiva,
cuyas funciones fundamentales son las de organización y reducción
de datos a fin de presentarlos de una manera comprensible.
Comenzaremos con el análisis y tratamiento de datos correspon-
diente a una sola variable.
21.3.1. Tratamiento de una sola variable

En muchas ocasiones, el evaluador tan sólo desea conocer y
apreciar lo que ha ocurrido en una determinada variable, como
puede ser aquella que pone de relieve el grado de eficacia de un
Programa.
21.3.1.1. Organización de los datos

A los efectos de nuestras siguientes reflexiones nos pondremos
en el caso de la evaluación de la eficacia de un programa para el
dominio del Inglés básico mediante una prueba objetiva, constitui-
da por 34 ítems, calificados como 1 -respuestas correctas- y O en el
caso de las incorrectas. La prueba ha sido aplicada a los 52 sujetos
(N = 52) que han seguido el programa. El criterio de eficacia de la
prueba ha sido ftjado en el logro de puntuaciones iguales o supe-
riores a 25 puntos por al menos los 2/3 de los sujetos. En adelante
nos referiremos a estos datos como prueba de Inglés básico.
La recogida de información da lugar a una masa más o menos
grande de datos -dependiendo del número de personas que la
aportan, representado por N- que aparece ante el evaluador de

modo informe. En nuestro caso, las 52 puntuaciones, tal y como
se presentaron ante el evaluador, fueron las siguientes:
X.= 20, 20, 22, 16, 20, 20, 13, 26, 17, 29, 11, 22, 26, 23, 26, 11, 14, 26, 26,
28, 14, 22, 20, 14,32, 28, 22, 17, 26, 16, 28, 25, 17, 16, 23, 20, 19, 20, 23,
22, 23, 23, 20, 28, 22, 23, 19, 20, 20, 20, 19, 20, 36
TABLA 1. Datos originales de la prueba de Inglis básico.
Dos son las actuaciones fundamentales en este momento:

ordenar los datos, de forma creciente o decreciente, y depurarlos.
La mera ordenación nos muestra ciertas características de los
mismos: rango de la serie -puntuación mayor y menor- continui-
dad o discontinuidad de los valores, presencia o no de sttjetos ais-
lados, crecimiento o decrecimiento de una forma regular, pro-
gresiva o sin pauta apreciable ...
He aquí los datos ordenados en forma decreciente:
X¡ =36,32, 29, 28, 28,28,28,26, 26,26,26,26, 26, 25, 23,23,23, 23,23,

23, 22, 22 , 22, 22, 22, 22, 20, 20, 20, 20, 20, 20,20, 20, 20, 20, 20, 20, 19,
19, 19, 17, 17, 17, 16, 16, 16, 14, 14, 14, 13, 11 , 11 .
TABIA 2. Datos ordenados en forma decreciente de la prueba de Inglés básico.
En esta tabla podemos apreciar:

- Que hay puntuaciones no obtenidas por ninguno de los sujetos
tanto a lo largo ele Ja distribución como, particularmente, en la
parte inferior de la misma 1º;
- Que se da acumulación de puntuaciones medias (23, 22, 20);
- Que hay cierta progresividad, aunque no regular.
El mero análisis de los datos anteriores debe tener conse-

cuencias para la organización posterior; por ejemplo, el estable-
cimiento de intervalos para construir distribuciones de frecuen-
cias puede venir afectado por estos hechos, a fin de evitar algunos
intervalos con ningún caso o con muy pocos casos.
10
Mientras en la parte a lta sólo las puntuaciones 33 y 34 no han sido obtenida'
por ninguno de los sujetos, en la inferior nadie ha obtenido menos de 11 puntos.
La depuración de datos nos permite apreciar errores y elimi-
narlos antes de proceder a nuevos procesos de análisis, como los
que veremos a continuación, de reducción de datos.
Entre esos errores podemos señalar los relativos a la aparición
de valores fuera de rango, es decir, puntuaciones inferiores o supe-
riores a los que se pueden obtener con el instrumento de medida
y la regla de medida utilizada. Evidentemente, se trataría de un
error al puntuar o al trasladar la puntuación desde el instrumento
de medida a la matriz de datos. Otro error que puede aparecer es
la presencia de más, o menos, sujetos que los que realizaron la
prueba o aportaron su información. En el primer caso podemos
estar ante la repetición de algunos valores y en el segundo ante un
fallo al pasar los valores a la matriz. En nuestro caso apreciamos
que en lugar de los 52 sujetos contamos con 53 puntuaciones y
que, además, una de las puntuaciones está fuera de rango de la
prueba 11 •
En el caso de matrices de datos con más de una variable
puede darse el caso de la existencia de valores perdidos ( missing
values) que obliga a tomar decisiones al respecto. En efecto: la
cuestión básica es si los casos perdidos pueden alterar la natura-
leza de las muestras sometidas a análisis como consecuencia de
constituir una submuestra con características propias o si, por el
contrario, pueden considerarse casos sin pauta específica alguna,
esto es, siguiendo el mero azar.
U na vez organizados, es recomendable proceder al denomi-
nado análisis exploratorio de datos (Exploratory Data Analysis), lo
que nos permitirá conocer algunas características de los mismos
e identificar, y depurar si fuera preciso, casos como los denomi-
nados outliers, esto es, sujetos claramente atípicos, muy alejados
de lo que es la pauta general de la distribución 12 •
Es cierto que estos outliers pueden ser reales, es decir, sujetos
que realmente mantienen una pauta claramente diferente del
11
Lo que sitúa ante dos posibles errores: que esa puntuación no corresponda a
ninguno de los sujetos o que sí corresponda alguno de ellos, pero con un valor dife-
rente. En cualquier caso, estamos obligados a revisar todas las puntuaciones. En nues-
tro caso suponemos que, tras esa revisión, la puntuación 36 no corresponde a ningún
sujeto.
12
Se han ideado técnicas para la detección de casos aúpicos; puede consultarse la
siguiente obra: Barnett y Lewis ( 1978).
conjunto, pero también puede tratarse de un error en la pun-

tuación o en la traslación de datos a la matriz. Por ello, el inves-
tigador tendrá que analizar la situación y valorar si los toma o no
en consideración 13 •
21.3.1.2. Reducción de datos

Cuando el número de sujetos con los que se trabaja es peque-
ño, es fácil hacerse una idea de las características del conjunto
con su sola ordenación; pero en nuestro ámbito es fácil contar
con valores de N elevados, lo que aconseja su reducción.
En el marco del denominado análisis exploratorio de datos
aparecen dos técnicas muy interesantes por su valor intuitivo: el
gráfico de caja y el de tallo y hojas. En el primero de ellos, aspec-
tos como la amplitud de la caja y la longitud de las líneas nos dan
una idea de la concentración y dispersión de los datos; la ubica-
ción de la línea negra interior 14 nos informa del grado de sime-
tría de la disLribución central.
La figura 1 nos sitúa ante ejemplos claramente diferentes,
que muestran al evaluador las características relevantes de sus
datos. La figura 2 representa los datos de Ja prueba de inglés bási-
co que venimos utilizando como ejemplo.
Por su parte, el gráfico de tallo y hojas (stem and leaj) es otra
forma intuitiva de presentar los datos. El ejemplo siguiente (tabla
3) recoge los intervalos de la distribución (tallo), las frecuencias
de cada uno, las puntuaciones concretas de cada intervalo (hojas)
y los valores extremos. En la tabla 4 se representa por este mismo
procedimiento Ja distribución correspondiente a nuestra prueba
de inglés básico.
1
~ Por ejemplo: puede u·atarse de sujetos reales, pero el investigador puede con-
siderar que son claramente atípicos y no representan en modo alguno las caracterís-
ticas del grupo, que pueden verse notablemente modificadas por su presencia.
14
En ocasiones, tal lín ea es sustituida por otro símbolo, como puede ser un aste-
risco.
ASIGNATURAS
Matemáticas o
11
o o
Le ngua Española
1 1
Ciencias Naturales o o o o
Geografia/ Historia o
1
00 o o
Físi ca y Química
1
4.00 5.00 6.00 7.00 8.00
CALIFICACIONES
FIGURA 1. Gráfico de caja con la distribución de las puntuaciones de una muestra

de alumnos en varias asignaturas del currículo
10 20 25 30
FIG URA 2. Gráfico de caja con la distribución de las puntuaciones df' la prueba de
lnglés básico. N = 52
PUNTUACIONES EN UNA PRUEBA DE CONOCIMIENTOS

DE LITERATURA UNIVERSAL
TALLO
(Intervalos)
FRECUENCIAS HOJAS
Puntuaciones
extremas
(> 100) 1 103
91-100 2 93, 96
81-90 8 81, 81, 83, 83, 86, 86, 87, 90
71-80 12 71, 71, 72, 72, 72, 74, 74, 76, 77, 77, 78, 79
61- 70 15 61 , 62, 62, 63, 63, 63, 63, 65, 65, 65, 67, 67, 67, 68, 70
51-60 20 52, 52, 52, 52, 52, 54, 54, 54, 54, 54, 55, 56. 56. 56, 57, 57, 57, 58, 59, 59
41-50 17 41 , 41 , 44, 44, 44, 45, 46, 46, 46, 47, 47, 47, 48, 48, 48, 49, 50
31-40 13 33, 33, 34, 34, 34, 35, 35, 36, 36, 36, 37, 39, 40
21-30 9 22, 24, 25, 25, 26, 27, 29, 29, 30
JI - 20 2 15, 16
Puntuaciones 7, 9
extremas 2 (<11)
TABLA 3. Gráfico de tallo y hojas, con la distribución de las puntuaciones

en una prueba de conocimientos de Literatura Universal.
Para nuestro ejemplo (prueba de inglés básico), la situación

es la siguiente:
PUNTUACIONES EN UNA PRUEBA DE INGLÉS BÁSICO PARA VALORAR

LA EFICACIA DE UN PROGRAMA. N = 52
TALLO
(Intervalos)
FRECUENCIAS HOJAS
Puntuaciones
extremas
1 (> 34) 36
30-33 1 32
26-29 11 26, 26, 26, 26, 26, 26, 28, 28, 28, 28, 29
22-25 13 22, 22, 22, 22, 22, 22, 23, 23, 23, 23, 23, 23, 25
18-21 15 19, 19, 19, 20, 20, 20, 20, 20, 20, 20, 20, 20, 20, 20, 20
14-17 9 1~1~1~1~1~1~1~1 ~17
JO- 13 3 11 , 11 , 13
Puntuaciones
extremas O(< 11)
TABLA 4. Gráfico de tallo y hojas, con la distribución de las puntuaciones

en la prueba de lng/,és básico.
Una forma de reducir los datos, evitando al máximo la pérdi-

da de información, consiste en su traducción a distribuciones de fre-
cuencias, con o sin intervalos. De por si, tales distribuciones ofre-
cen una información relevante al permitir apreciar, entre otras
características, la continuidad y progresión de las puntuaciones o
la forma de la distribución (unimodal, bimodal, simétrica o
no ... ). Sin embargo, la reducción es superior cuando se calculan
los valores representativos de determinadas características.
Estamos ante una importante función de la Estadística descripti-
va: obtener índices que caracterizan y representan al conjunto de
valores de la muestra.
Si un programa se aplica a cientos o miles de personas, la mera
ordenación de los datos se nos muestra de una manera poco com-
prensible. Si esos datos se ordenan en dos columnas, una con las
puntuaciones y otra con las frecuencias -número de veces que una
puntuación aparece repetida- toda la serie se nos muestra ordenada
en muy poco espacio (tablas 5 y 6).
Modelo a Modelo b
Frecuencia
Intervalo Frecuencia Intervalo Frecuencia acumulada
1 t; I f; fa
10 1 66-70 5 222
9 o 61-65 11 217
8 12 56-60 20 206
7 19 51-55 29 186
6 24 46-51 36 157
5 33 41-45 44 121
4 20 36-40 30 77
3 13 31-35 22 47
2 7 26-30 14 25
1 2 21-25 9 11
o 1 16-20 2 2
TABLA 5. Distribuciones de frecuencias con las puntuaciones

en sendas pruebas.
Si el rango de puntuaciones es pequeño, la distribución de fre-

cuencias puede seguir el modelo a) en que la amplitud del intervalo
es la unidad; si es muy amplio, es preferible una distribución con
intervalos de más de un punto de amplitud (modelo b). En este caso,

a los efectos de los cálculos que procedan, cada intervalo queda
representado por su marca de clase o punto medio del mismo (18, 23,
... 63, 68) 15 .
Pero la reducción de datos queda más patente y se hace
máxima cuando una serie, por grande que sea N, queda carac-
terizada por un solo valor, o por unos pocos, cada uno de los
cuales representa una característica de la distribución. En este
sentido, las dos características fundamentales son su posición o
nivel y su dispersión o variabilidad. También se pueden calcular
índices de simetría y de apuntamiento. Las medidas de posición
son promedios -se denominan así porque se ubican hacia el
centro de la distribución (tendencia central). Las más utilizadas
son la Media, la Mediana y la Moda o Modo, que son adecuadas
para variables cuantitativas, ordinales y nominales respectiva-
mente. En el caso de las dos series anteriores son, respectiva-
mente: 5.32, 5 y 5, en el primer caso, y 44.37, 43 y 43 en el segun-
do. Las medias, 5.32 y 44.37 respectivamente, son las que mejor
representan la posición global de ambas series de datos o el
nivel medio de las mismas.
Las medidas de variabilidad o dispersión indican el grado en
que las puntuaciones se dispersan alrededor de las medidas de
posición. Pueden darse distribuciones sin dispersión alguna
-todas las puntuaciones coinciden con la medida de posición ele-
gida- o con gran dispersión, alejándose mucho de ellas. En los
ejemplos anteriores, la máxima dispersión se daría si todas las
puntuaciones se situaran en los valores extremos, es decir, la
mitad con O y la otra mitad con 10 en el primer caso, y con 16 y
70 en el segundo 16 •
is Las puntuaciones directas se suelen representar por el símbolo X;; las fre-
cuencias por f;; en el caso de intervalos, cuyo símbolo es I, la marca de clase se repre-
senta por X. Las frecuencias acumuladas se representan por fª.
16
No es el caso de calcular aquí las medidas de dispersión o variabilidad. Baste
saber que las dos más perfectas son la desviación típica y la varianza (cuadrado de la
anterior). La desviación típica se representa por el símbolos y se obtiene hallando
la raíz cuadrada del cociente entre la suma de las desviaciones de cada puntuación
directa en relació'l con la media del grupo, elevadas al cuadrado, y el número total
de casos (N): s = '\/I.x 2 /N, donde x = X; - Media.
En el caso de la prueba de inglés básico, la distribución y sus

valores representativos son:
f¡ Valores representativos
30- 33 l N= 52
26-29 11 Media: 21,1
22- 25 13 Mediana: 20
18 - 21 15 Moda: 20
14-17 9 Desviación típica: 3,715
10- 13 3
TABLA 6. Distribución de frecuencias y valores representativos de la prueba

de Inglés básico.
La valoración de estos valores deberá realizarse de confor-

midad con los criterios previamente especificados. En nuestro
programa, la eficacia se situó en el hecho de que los 2/ 3 de los
destinatarios del mismo alcanzaran al menos la puntuación de
25. Como sólo 13 de los 52 (el 25 %) alcanzan ese valor, podre-
mos afirmar que el programa no fue eficaz. Si el criterio hubie-
ra sido que al menos el 50 % estuviera por encima de los 20
puntos (una evaluación criterial), podríamos considerar que el
programa había sido eficaz, ya que 37 sujetos (el 71,15 %) lo ha
logrado.
21.3.1.3. Representación gráfica de los datos

Las diversas formas de reducción de datos que hemos pre-
sentado pueden completarse con la representación gráfica de los
mismos. Son muchas las modalidades de representación gráfica,
destacando entre ellas las siguientes: diagrama de barras (figura
3), histograma, curvas y pictogramas.
ETAPA DE ADOPCIÓN DE LAS NUEVAS TECNOLOGÍAS EN EL AULA
40 -
'.10-
~
u
z 20 -
~
¡,J
::i '
-
u
~ ~1
""" 10 - ~' m_;;]'
rrr;;]%
o 1 [;]
1
1
1 1 1 1 1
Toma de Aprcndintjc Comprensión Familiaridad Adaptación a Aplicación

conciencia del proceso y arlicación y confianla a oLros a l'IUC\'OS
de proceso contextos contextos
FIG URA 3: Diagrama con los datos de un estudio sobre la etapa de adopción de las
nuevas tecnologías por una muestra de profesores.
En el caso de variables cualitativas o medidas cualitativamen-

te, el diagrama de barras presenta las barras separadas unas de
otras y sin un orden necesario; para variables cuasi-cuantitativas
las barras aparecen unidas, unas a continuación de otras en el
orden que corresponda.
En el caso de variables cuantitativas se suele recurrir a los his-
togramas: diagramas de barras con altura proporcional a la fre-
cuencia y base proporcional a la amplitud del intervalo. La figu-
ra 4 nos muestra el histograma correspondiente a los datos de la
tabla 1, modelo b). La figura 5 se corresponde con los datos de
nuestra prueba de Inglés básico.
50
45 ~
40
"'~
...... 35
u
¡:::::
<l.)
30 - t---
25 Seriel j
;:::l -
u 20
....<l.)
¡:.;¡..
15
~
s
JO
5
o F
16- 21- 26- 31- 36- 41- 46- 51- 56- 61- 66-
20 25 30 35 40 45 50 55 60 65 70
Puntuaciones en una prueba de Literatura
Universal
FIGURA 4. Histograma con las puntuaciones obtenidas en una prueba

de Literatura universal por 222 sujetos.
Puntuaciones obtenidas por un grupo de 52

sujetos en una prueba de 32 ítems
1 6 ~----
14 > - - - - - - - - - - <
12
~
"ü 10
a5 s 22-25
J: 6 llll 26-29
30-33
4r----- - - - <
2
o '----'~~_._. .................._ _ __L_ _, _ __ _ , __ __ , _ _ _ _ ,
1nte rvalos
FIGURA 5. Histograma con las puntuaciones obtenidas en una prueba

de inglés básico.
Los gráficos permiten presentaciones más complejas, como la

recogida en la figura 6, donde podemos apreciar simultánea-
mente la evolución de los resultados durante varios años antes de
implementar un programa (1998-99 a 2001-02) y una vez implan-
tado (curso 2002-03)
9.00-
7.50-
6.00-
[::::::J Curso 1998-99
;'.S O Curso 19f}9.()0
Cl 4.50-
~ 0Curso2000-01
:¿ O Curso 2001-02
::\.00 - O Curso 2002-ü3
1.50 -
0.00
ASIGNATURAS
l. Lengua 5. Física y Química
2. Literatura 6. Ciencias de la Naturaleza
3. Geografía e Historia 7. Matemáticas
4. Idioma extranjero
FIG URA 6: Histograma con las puntuaciones de una muestra de alumnos,

durante varios cursos, en varias áreas del curriculo.
Polígonos de frecuencias, no acumuladas o acumuladas.

Son la representación gráfica, sobre un eje de coordenadas de
los valores de una distribución de frecuencias. Si en las figuras 4
y 5 uniéramos los puntos medios de cada intervalo (marca de
clase), estaríamos ante un polígono de frecuencias. Cuando las
frecuencias son acumuladas, los valores de cada intervalo son acu-
mulativos. Tal es el caso de la figura 7, donde se representan los
datos de la figura 4, con las puntuaciones de la tabla 5, en forma
de frecuencias acumuladas.
Polígono de frecuencias acumuladas

250
"'ol 200
"O
ol
:;
E 150 - Polígono de
;:l
u frecuencias
ol
"'ol 100 acumuladas

"ü
¡:;
Q)
;:l
u
Q)
50
....
"" o
16- 21- 26- 31- 36- 41- 46- 51- 56- 61- 66-
20 25 30 35 40 45 50 55 60 65 70
Puntuaciones en una prueba. N = 222
FIGURA 7: Polígono de frecuencias acumuladas con las puntuaciones

de una muestra de 222 alumnos (Datos de la tabla 5).
Entre las formas intuitivas de representar los resultados obte-

nidos en una muestra se encuentran los sectores circulares,
donde las áreas son proporcionales a la magnitud representada
(frecuencias o porcentajes, como ocurre en la figura 8)
La variedad de representaciones gráficas es enorme, siendo
una de las más intuitivas los denominados pictogramas17 ; en ellos
se toma una figura concreta, que hace alusión a la variable repre-
sentada, y se presenta en tamaños (áreas) proporcionales al dato
de que se trate (frecuencia, porcentaje).
17
Un pictograma puede ser la representación de un billete de 500 €cuya área
sea proporcional a la renta de los diferentes subgrupos de la muestra; o un birrete
académico, para representar el número de doctores en las diferentes carreras uni-
versitarias en un período determinado.
Experiencia en uso del ordenador

17%
• Hasta ahora no lo he usado
•Lo uLilizo como procesador
de textos y hoja de cálculo
29% para preparar mis clases
D Sólo lo utilizo en tareas
administrativas
D Lo utilizo como medio
para mi informac ión
11!1 Me sirvo del ordenador

para enseiiar en el aula
FIGURA 8. Porcentaje de profesores de una muestra que se sirven del ordenador

en diferentes tareas y actividades.
La figura 9 es la representación de los datos de nuestra prue-

ba de inglés básico.
Porcentaje de alumnos que obtienen diversas

puntuaciones en una prueba para medir Ja
eficacia de un Programa
2% 6%
• 13-16
• 14-17
D 18-21
0 22-25
26-29
• 30-33
F1cuRA 9. Porcentaje de alumnos que obtienen las diversas puntuaciones en la

fJrueba de inglés básico, utilizada para medir la eficacia del Programa.
La figura 10 presenta de forma intuitiva el grado de eficacia/

ineficacia de nuestro programa según el criterio fijado -alcanzar
o no 25 puntos al menos los 2/3 del total- que, en este caso, resul-
ta claramente ineficaz.
Porcentajes de alumnos que alcanzan el criterio

de eficacia del programa
o 11-24
025-32
75%
FIGURA 10. Alumnos que alcanzan -25 %- y no Uegan -75 %- al criterio

de eficacia del programa en la prueba de inglis básico.
21.3.2. Tratamiento de datos bivariados o multivariados

En ocasiones interesa el estudio simultáneo de dos o más
variables. El caso más sencillo es aquel en el que se debe analizar
conjuntamente la forma y el grado en que se relacionan dos series
de datos, por ejemplo, el grado de asistencia a las sesiones del
programa y los resultados conseguidos por sus destinatarios.
Por lo general, cuando las dos series son cualitativas -nomi-
nales- se suele estudiar si se da o no asociación entre ambas, para
lo que se utilizan tablas de contingencia e índices de asociación,
como puede ser el caso de C, símbo\o del coeficiente de contingen-
cia. Su cálculo sigue la fórmula C = >J X2 / N + x2 • El símbolo X2
se lee chio ji cuadrado.
Las tablas de contingencia sitúan los valores de las variables en
los ejes de un sistema de coordenadas. Por su parte, X2 es un esta-
dístico (valor obtenido en una muestra) que mide el grado de dis-

crepancia entre una distribución teórica de datos (en nuestro
caso, que las frecuencias se distribuyen proporcionalmente entre
las celdillas de la tabla) y la distribución empírica. Si se da discre-
pancia, el hecho representa que existe una tendencia de las pun-
tuaciones a ir en una determinada dirección, acumulándose en
un sentido y dejando con menos casos el resto de las casillas: en
definitiva, hay asociación. Que sea o no significativa en términos
estadísticos implica acudir a la estadística muestra!, asignando al
valor de chi cuadrado una determinada probabilidad.
La tabla 7 muestra las frecuencias empíricas (obtenidas como
datos a partir de una muestra de 490 varones y 510 mujeres) en
los diversos niveles de estudio. Junto a ellas, las frecuencias teóri-
cas bajo el supuesto de distribución proporcional a filas y colum-
nas18. El estadístico X2 nos permitirá saber si se da discrepancia
significativa entre ambas series de datos, algo que podremos apre-
ciar en el apartado siguiente 19 •
~
Sin Estudios Secundaria
s estudios primarios obligatoria Bachillerato Universidad TOTAL
o primarios
Varón 25 190 152 77 56 490

(28,42) (196) (147) (66,64) (51,94)
Mujer 33 210 148 59 50 510
(29,58) (204) (153) (69,36) (54,06)
TOTAL 58 400 300 136 106 1000
TABLA 7. Frecuencias empíricas y teóricas (entre paréntesis) correspondientes a los

niveles acadi'micos de hombres y mujeres de una muestra de 1000 personas.
Para calcular C debemos obtener X2 y conocer el valor de N

(en este caso, 1000).
18
Se obtienen multiplicando las frecuencias de Ja fila por las de la columna res-
pectiva, y dividiendo por el total de casos.
19 x2 es el cociente ente las diferencias existentes entre las los valores de las fre-
cuencias empíricas y las teóricas, elevadas al cuadrado, y el de las frecuencias teóricas.

2
(f f )
x2 = :¿ "~ , = 5, 2855
1
Por tanto, C = ~ 5,2855/1000 + 5,2855 = ~ 0.0052 = 0.07, valor

muy pequeño, prácticamente nulo y presumiblemente, no signi-
ficativo. Parece, por tanto, que, en esta muestra, la distribución
de varones y mujeres a través de los diferentes niveles educativos
no evidencia diferencias de relieve.
Cosa bien diferente es la que ocurre con los datos de la tabla
8. Como podemos observar, el valor de chi cuadrado es muy ele-
vado por lo que el valor de C será notablemente superior.
~
Sin Estudios Secundaria
s estudios primarios obligatoria Bachillerato Universidad TOTAL
o primarios
Varón 25 190 152 77 56 490

(34,79) (235,2) (132,3) (55,86) (31,85)
Mujer 56 290 118 37 9 510
(36,21) (244,8) (137,7) (58,14) (33,15)
TOTAL 71 480 270 114 65 1000
TABLA 8. Frecuencias empíricas y teóricas (entre paréntesis) correspondientes a los

niveles académicos de hombres y mujeres de una muestra de 1000 personas.
2
(f f )
x2 = :¿ "~ , = 76, 805
1
Por tanto, C = ~ 76,805/1000 + 76,805 = ~ 0.0713 = 0.27

Cuando se trata de variables cuantitativas se calcula el coefi-
ciente de correlación. En el caso de que los datos lo permitan
-nivel de medida de intervalos 20- el estadístico preferible es el
coeficiente de correlación de Pearson 21 (rx).
20
Debemos recordar que es frecuente aplicarlo también a datos ordinales cuan-
do el número de rangos es amplio y la prueba ha sido construida con el debido rigor
y cuidado.
21 Su símbolo, rxy' se lee: coeficiente de correlación entre las variables X e Y Un
valor de Oo próximo a O indica ausencia de correlación. Valores de 1 (+ 1 o -1) re pre-

Uno de los usos de este estadístico es destinado a determinar

el grado de fiabilidad de una prueba, por ejemplo, por el proce-
dimiento de dos mitades (coeficiente de consistencia interna). Con
nuestros datos de la prueba de Inglés básico, los valores de las dos
mitades (puntuaciones en Jos ítems pares e impares en este caso)
fueron las siguientes:
Pares Impares Pares Impares Pares Impares

10 10 11 9 11 12
11 11 7 9 11 9
9 11 9 11 11 8
5 8 14 12 9 11
9 8 14 15 11 12
6 5 11 11 10 12
14 12 13 10 10 13
14 12 6 5 11 12
8 6 12 14 9 11
14 12 15 13 14 14
6 8 12 10 10 12
10 10 8 6 13 10
16 16 14 14 9 10
12 10 7 10 10 10
12 14 8 8 9 11
15 13 11 14 11 9
7 10 9 7 10 9
TABLA 9. Puntuaciones en los ítems pares e impares de la prueba de Inglés

para estab/,ecer su fiabilidad.
Los anteriores datos arrojan una correlación r ¡22 = 0.72, lo que

representa una fiabilidad de Ja prueba de 0,8423 , uh valor aceptable
aunque es deseable que sea mayor (por encima de 0.90).
sen tan una correlación perfecta, positiva o negativa, y los valores intermedios, corre-
laciones imperfectas, ue son las más frecuentes. El cálculo de r,r sigue la fórmula:
r xy = :E xy / L x 2 :E y2
22
El símbolo genérico r, 1 lo convertimos en este caso en rpi ya que X = ítems
pares e Y= ítems impares.
21
' El valor rpi = O, 72 sería la fiabilidad de una prueba de 36 ítems. Como, en rea-
lidad, tiene 52, se hace la estimación mediante el procedimiento de Spearman-
Brown: Rxx = 2 rpi / l + 2 rpi = 2 x 0.72 / l + 0.72 = 0.84. Existen otros dos procedi-
mientos para estimar la fiabilidad: el de Rulon y el de Guttman
La representación gráfica de este tipo de datos se denomina
diagrama de dispersión (figura 11) y la recta que mejor representa
al conjunto de los datos, recta de regresión.
Diagrama de dispersión: puntuaciones en las mitades formadas por los ítems

pares e impares de la prueba de Inglés.
Coeficiente de fiabilidad
18
""'.... 16
"'o..
.§ 14
. __...-. -
"' 12
E
.
.~
.2
e
""'
"eo
10
8
6
.
·~
. ----
"ü 4
3"' 2
e
:l
c., o
o 5 10 15 20
Puntuaciones en los ítems pares
FIGURA 11. Diagrama de dispersión con las puntuaciones en los ítems pares
e impares de la prueba de Inglis, utilizadas para estimar
la fiabilidad de la misma.
Cuando en lugar de la relación entre dos variables nos situa-

mos en el caso de la relación entre varias variables antecedentes
o predictoras de un único criterio (variable predicha) estamos
ante la correlación múltiple, representada por el símbolo R. La
siguiente fórmula se leería: la correlación múltiple entre la varia-
ble criterio (1) y las variables predictoras 2, 3, 4y 5 es igual a 0.85:
Rt234s = 0.85
Una representac1on intuitiva de la correlación múltiple la

tenemos en la figura 12. Se ilustra, de forma figurada, la correla-
ción múltiple entre un criterio -c- y cinco predictores (variables
1, 2, 3, 4 y 5). La zona del criterio no "cubierta" por los predicto-
res es la parte del mismo no explicada por ellos.
Predictores:
• "locus" de control= l;
• inteligencia= 2;
• técnicas de estudio = 3;
• conocimientos básicos = 4;
• motivación= 5.
Datos supuestos:
R c.12345 = 0.85;
La interpretación en términos de % de la varianza de la varia-

ble criterio predicha por los cinco predictores seleccionados por
el procedimiento paso a paso - "stepwise regresión"- consiste en elevar
R al cuadrado, multiplicando tal valor por %:
d 2 = R2 X 100 = 0,85 X 100 = 72,25 %
Por tanto, con un valor tal de R, y con los datos -ficticios- ofreci-
dos, el cortjunto de los cinco predictores explicaría el 72,5% de la
varianza del criterio, valor elevado, si bien es preciso decir que impli-
ca la existencia de otro 27,5% cuya explicación desconocemos.
Predictor 3
Predictor 4
Predictor 5 :
Predictor l
- -.
... -
Predictor 2
FIGURA 12. Representación gráfica de la correlación múltiple entre un criterio

y cinco predictores. La línea discontinua representa la superficie
de la varianza de criterio.
21.4. TRATAMIENTO INFERENCIAL DE DATOS
En los casos anteriores, nos hemos limitado a describir una

serie de características de los datos, sean estos los de la población,
en el raro supuesto de que hayamos podido acceder a todos ellos,
o en el más frecuente de haberlas analizado y descubierto en una
muestra representativa de aquella.
Hemos visto que entre tales características se sitúan su posi-
ción o nivel, con estadísticos como la Media, la Mediana y la
Moda, su dispersión o variabilidad, donde hemos destacado la
desviación típica y la varianza, y la relación entre variables, sea la
asociación entre variables nominales o la correlación, cuando las
variables son cuantitativas, ordinales, de intervalo o razón.
Haremos aquí una breve referencia, puramente testimonial, y
con la intención de ejemplificar su naturaleza, al tratamiento
inferencial de datos, esto es, a su generalización a la población a
partir de los estadísticos obtenidos en las muestras. Y lo haremos
con un caso en relación con la asociación y correlación, y con
otro referido a la prueba de hipótesis sobre diferencias entre valo-
res representativos, como la media aritmética, lo que nos remite
a la temática que trataremos en el último capítulo, donde habla-
remos de las posibilidades de la metodología experimental en la
21.4.1. Inferencias sobre asociación y correlación

En los ejemplos anteriores sobre nivel de estudios de varones
y mujeres, hemos calculado los valores de un estadístico, x2 , que
nos ha permitido obtener el valor de otro, el coeficiente de contin-
gencia, simbolizado por C.
Si además de obtener tal valor estuviéramos interesados en
decidir si es estadísticamente diferente de O en toda la población
de la que procede la muestra de mujeres y varones -asociación
n ula-, deberíamos afrontar un proceso de inferencia.
El estadístico X2 tiene una determinada distribución -que
lleva su nombre- lo que nos permite establecer hasta qué valor se
puede considerar compatible con el azar o la casualidad como
explicación (en este caso, asociación nula) y, lógicamente, aquel
a partir del cual el azar o la casualidad son explicaciones poco
razonables, si bien, en ambos casos, la afirmación no la realiza-
mos con certeza sino con una probabilidad a nuestro favor deci-
dida por el propio investigador o evaluador.
Tal valor de probabilidad, conocido como nivel de confianza,
suele ser del 0.99 (en términos de porcentaje 99%) o del 0.95
(porcentaje del 95%) . Su valor complementario, conocido como
nivel de significación, se representa por la letra griega alfa (a), sien-
do del 1 % y del 5% (probabilidad de 0.01 o de 0.05) respectiva-
mente.
El valor que nos interesa lo podemos encontrar en las tablas
del estadístico x2 teniendo en cuenta tal nivel de confianza y los
grados de libertad -g.1.- (número de valores que pueden variar
libremente), que en el caso de tablas de contingencia son el pro-
ducto del número de filas menos uno por el de columnas menos
uno.
Para nuestro caso, y en el supuesto de un nivel de confianza
del 0.99, y 4 g.l. , es de 13.28. Por tanto, como en el primer caso
-tabla 7- obtuvimos
2
(f - f )
x2 = :¿ e • = 5.285 , claramente menor que 13.28, debe-
f,
mos considerar que no es estadísticamente significativo, que es
compatible con un valor C = O en toda la población, puesto que
puede ser explicable por puro azar. Esta afirmación, no obstante,
se realiza asumiendo que corremos el riesgo del 1 % de tomar una
decisión errónea.
Sin embargo, en el segundo caso -tabla 8- tal valor fue mucho
más elevado:
x = L, (fe- f,}2 = 76.805 , que es muy superior al citado valor

2
f,
crítico.
Por tanto, deberemos concluir, con un margen de error del 1
% (probabilidad de 0.01), que tal valor de C no es razonable atri-
buirlo al azar sino que puede explicarse como consecuencia de la
relación -asociación- entre el hecho de ser varón o mujer y el
nivel de estudios alcanzado.
21.4.2. Inferencias sobre diferencias

A continuación se presentan unos datos de naturaleza dife-
rente pero de estructura similar. Los datos representan las res-
puestas dadas por dos muestras aleatorias de 250 niños cada una,
en una escala tipo Likert, en relación con personas marginadas y
excluidas.
Mientras la primera de las muestras no recibió programa
alguno, la segunda, si lo recibió a lo largo de cuatro sesiones
semanales de una hora de duración. Como podremos apreciar,
nos encontramos ante la falta de eficacia del mismo en el primer
caso (tabla 10) y ante un programa eficaz en el segundo (tabla
11). Veamos:
~
Muy Muy
Desfavorable Indiferente Favorable TOTAL
g desfavorable favorable
30 92 83 26 19 250
NO
(27,5) (88,5) (86,5) (27,5) (20)
25 85 90 29 21 250
SI
(27,5) (88,5) (86,5) (27,5) (20)
TOTAL 55 177 173 55 40 500
TABLA 10. Frecuencias empíricas y teóricas (entre paréntesis) correspondientes

a /,as actitudes manifestadas por dos muestras a/,eatorias de 250 niños. La primera
muestra no recibió programa alguno; la segunda sí recibió un programa para
promover actitudes Javorab/,es hacia las personas excluidas.
En ambos casos debemos establecer si los valores de x2 son o

no estadísticamente significativos para el nivel de confianza (o el
de significación, su complementario) elegido. Con los datos de la
tabla 10, x2 = 1,2868.Este valor debemos contrastarlo con el valor
. teórico de x2 para un nivel de confianza del 0,99, y 4 g.l., que es
de 13,28 (9,49 para a:::; 0,95).
Como nuestro X2 = 1,2868 < 13,28 (y que 9,49), la diferencia
entre las actitudes manifestadas por ambas muestras no es esta-
dísticamente significativa; por tanto, no podríamos afirmar que el
programa habría sido eficaz.
La tabla l lnos muestra unos datos muy diferentes. Aquí, el
valor empírico de x2 = 14,08.
~
Muy Muy
Desfavorable Indiferente Favorable TOTAL
a desfavorable favorable
30 92 83 26 19 250
NO
(23) (83) (84) (32,5) (27,5)
16 74 85 39 36 250
SI
(23) (83) (84) (32,5) (27,5)
TOTAL 46 166 168 65 55 500
TABLA 11. Frecuencias empíricas y teóricas (entre paréntesis) correspondientes a as

actitudes manifestadas por dos muestras aleatorias de 250 niños. La primera mues-
tra no recibió programa alguno; la segunda sí recibió un programa para
promover actitudes favorables hacia las personas excluidas.
En efecto: como X2 = 14,08 > 13,28 (y, obviamente, que 9,49)

la diferencia entre las actitudes manifestadas por ambas muestras
si es estadísticamente significativa; por tanto, podríamos afirmar
que el programa habría sido eficaz24 . De la inspección de los
datos se desprende que la eficacia del programa se ha dado en el
sentido de favorecer unas actitudes positivas, dado que los cam-
bios se aprecian en relación con las categorías extremas (menos
casos en las de desfavorable y muy desfavorable, y más en las de favo-
rable y muy favorable) .
En el caso del coeficiente de fiabilidad, simbolizado por rx =
r pi = 0,84 25 , se puede establecer si tal correlación es compatible
con un valor de O en toda la población para un nivel de confian-
za determinado.
Para ello, contamos con tablas estadísticas que nos indican a
partir de qué valor de rx, para un determinado nivel de confian-
za y valor de N de la mJestra, podemos rechazar la hipótesis de
que en la población tal valor puede ser O. En nuestro caso, en el
que N = 52, y para un nivel de confianza del 95 %, tal valor es de
aproximadamente 0,23, por lo que concluimos que nuestro valor
es claramente significativo, esto es, diferente de O, o que en con-
secuencia, sí hay correlación entre ambas series de datos.
24
Recuérdese, no obstante, que además de este hecho debe cumplirse que no
haya explicación rival o alternativa, como tuvimos ocasión de señalar en el capítulo
16 al hablar del principio MAX-MIN-CON.
2
" Habitualmente se utiliza el símbolo rxy , pero al tratarse de una correlación
entre ítems pares e impares de una prueba Jo hemos sustituido por rp;·
21.4.3. Inferencias sobre diferencias de medias

En el caso de que la evaluación de programas se plantee en
términos experimentales, la hipótesis del evaluador puede ser
que los resultados del programa evaluado son superiores a los de
otro programa o a los de ediciones anteriores del mismo, lo que
indicaría que se habían producido avances, que se había sido eficaz.
En tales casos suele acudirse a pruebas estadísticas, siendo las
más potentes y conocidas la t de Student26 y la F de Snedecor27 ,
también conocida como análisis de la varianza (simbolizada en
inglés como ANOVA y en castellano como ANAVA), ambas de
carácter paramétrico28 .
La idea básica del ANAVA es la división de la varianza total -la
varianza de las puntuaciones de todos los sujetos que han sido
sometidos a los dos programas que se comparan- en dos partes:
- La varianza producida por la variable independiente (el Programa)
- La denominada de error, o aleatoria, cuya fuente productora es
ajena al efecto del programa.
Supongamos que deseamos probar experimentalmente,

según lo establecido en el último capítulo, que el Programa A, el
nuevo, es más eficaz que el B. Supongamos que para ello, el eva-
luador selecciona aleatoriamente 100 estudiantes y los asigna,
también al azar, al Programa A (50 alumnos) y al B (los otros 50).
Cabe pensar que la selección y la asignación imparcial a los
dos programas hará que, antes de comenzar la implantación del
Programa a evaluar, ambos grupos estén equiparados en términos
estadísticos, esto es, que las posibles diferencias iniciales entre las
26
Student es el seudónimo con el que Sealey Gosset publicó durante algún
tiempo sus trabajos de estadística
27
El nombre de la distribución, F, se debe a que su autor quiso con ello home-
najear al gran matemático Fisher.
28
Las pruebas paramétricas son más potentes que las no paramétricas, esto es,
permiten rechazar la hipótesis de nulidad con más facilidad en igualdad de condi-
ciones. Pero esa mayor potencia exige que se cumplan determinadas exigencias,
enu-e otras, la de contar con un nivel de medida de intervalo, que no siempre se
cumplen, que raram e nte se cumplen, por lo que, con frecuencia, se violan tales
supuestos. La violación de los mismos sólo es grave en determinados casos, que
deben ser evitados. Si no se pudiera evitar, sería necesario utilizar la correspondien-
te prueba no pararnétrica, tal como T de Wilcoxon (sujetos igualados) o U de
Mann-Whitney (sujetos independientes) .
puntuaciones de ambos sean casuales, estén entre los límites

explicables por puro azar.
Pues bien: si el Programa A fuera más eficaz que el B, después
de su aplicación encontraríamos diferencias en sus valores repre-
sentativos a favor del mismo. Tales diferencias, si se cumple el
principio MAX-MIN-CON 29 , en este caso el CON, se podrán atri-
buir al efecto del Programa.
El ANAVA estima el valor de esta influencia constatando la varian-
za entre grupos, esto es: la dispersión o variabilidad que se da entre las
puntuaciones de los dos grupos: el que recibe el Programa A y el que
lo hace con el B. Recuérdese que antes de aplicar el programa,
mediante la selección por un procedimiento imparcial de los sujetos
y su posterior asignación a los programas también por procedimien-
tos imparciales, no habría varianza entre grupos o, mejor, la varianza
entre grupos no sería significativa en términos estadísticos.
Varianza experimental
F=------
Varianza de error
:Varianza total
FIGURA 13. Representación intuitiva de un ANVA de dos grupos.
Ahora bien: es seguro que las puntuaciones de todos los que

reciben el Programa A no son las mismas; y lo mismo podemos
decir de las obtenidas por quienes reciben el Programa B. Hay,
por tanto, una varianza dentro de los grupos cuya fuente u origen no
es el programa sino otras diferentes 30 . La figura 13 representa de
modo intuitivo esa situación:
Pues bien: la varianza total, esto es, la de las puntuaciones de
todos los sujetos en torno a su media, se divide en dos grandes
29 Se remite al lector a lo dicho al respecto en el capítulo correspondiente a las
posibilidades de la metodología experimental en la evaluación de programas.

~ 0 Entre ellas, las diferencias naturales de Jos sujetos y los errores de medida con
instrumentos que no son plenamente fiables.
componentes: la varianza entre grupos, también denominada expe-

rimental, por tener como origen la variable independiente -el
Programa- y la varianza dentro de los grupos, aleatoria o de error,
cuyo origen es diferente del programa.
El ANAVA calcula ambas varianzas y las compara mediante una
razón F (varianza entre grupos dividida por varianza dentro de los
grupos). Si aquella es suficientemente mayor que esta, se conclu-
ye que el Programa ha producido el efecto anunciado en la hipó-
tesis. El problema es establecer cuánto más grande debe ser el
numerador que el denominador, o lo que es lo mismo, a partir de
qué valores de F podemos afirmar que las diferencias van más allá
de las que cabe esperar como efecto del puro azar.
A ello nos ayuda, como en casos anteriores, el conocimiento
de la distribución de F, en la que encontramos esos valores en
función del nivel de confianza -o de su complementario: el nivel
de significación, simbolizado por a- y de los grados de libertad
del numerador y del denominador.
A los efectos de cálculo, vamos a trabajar sobre el supuesto de
que se han seleccionado 20 alumnos al azar, asignados, también
al azar, a los programas A y B, siendo sus puntuaciones directas las
siguientes 31 (taJ?la 12):
XA x 2A XB x2 B
4 16 5 25
7 49 4 16
8 64 5 25
6 36 5 25
9 81 6 36
7 49 3 9
9 81 4 16
8 64 6 36
3 9 5 25
9 81 4 16
:EX32 70 530 47 229
TABLA 12. Puntuaciones directas (XA y X 8 ) y puntuaciones directas eúroadas
al cuadrado ( X2 A X2 8 )
31
Recuérdese que las puntuaciones directas obtenidas en la prueba se repre-
sentan por XA ; el valor X2A se utilizará para los cálculos posteriores.
32 El símbolo L: se utiliza para indicar la suma de las puntuaciones. 70 será la
suma de las diez puntuaciones bajo XA y 530 la de sus cuadrados, situados bajo X2A
Con estos datos podemos realizar los cálculos necesarios para

un ANAVA. En ellos la varianza entre grupos queda representada
por la media cuadrática entre grupos, y la varianza dentro de los
grupos, por la media cuadrática dentro de los grupos.
- Suma de cuadrados total: SC¡, = (530 + 229) - [(70 + 47) 2 / 20) =

759 - 1172 / 20= 759 - 684.45 = 74.55
- Suma de cuadrados entre grupos: SCE = (70 2 + 47 2 ) : 10 - (117 2 /
20) = 710.9 - 684.45 = 26.45
- Suma de cuadrados dentro de los grupos: SC¡, - SCE = 74.55 -
26.45 = 48.1
Con los datos anteriores podemos realizar el cuadro resumen del

ANAVA, así como una representación gráfica aproximada de los mis-
mos (figura 14). Los valores de MC (medias cuadráticas) se obtienen
dividiendo los valores de SC por los correspondientes g.l. Y el valor F
empírico no es sino el cociente entre los dos valores de MC.
Fuente de variación se g.l. M.C. F(em/JÍrirn) 1'r11·ónrn)
• Entre grupos 26.45 l 26.45 9.91 4.41

• Dentro de los grupos 48.1 18 2.67
TOTAL 74.55 19
TABLA 13. Cuadro resumen del ANAVA en un diseño de dos grupos.

N = 20; nA = 10 y n 8 = 10.
Para valorar nuestro valor de F (9.91) debemos enfrentarlo o

contrastarlo con el de la distribución de este estadístico para
nuestro nivel de confianza y los grados de libertad en el numera-
dor (varianza entre grupos) y denominador (varianza dentro de
los grupos). La simbolización de tal valor es la siguiente: 0 .95 F 1 Y 18
esto es, F para un nivel de confianza del 95% y para 1 y 18 g.l.
Pues bien, en las tablas tal valor es de 4.41.
Como 095F 1 18 = 4.41 < 9.91, la diferencia es estadísticamente
significativa cori una probabilidad de error no superior al 5 %.
Admitimos que el Programa cuya media aritmética sea mayor,
esto es, el A (Media de 70 : 10 = 7) ha sido más eficaz que el otro,
el B (Media de 47: 10 = 4.7) 33 .
33
La expresión 0 .95 F 1. 18 debe leerse: F, para un nivel de confianza de 0.95 (95
%) y para l y 18 grados de libertad (g.l.). Los g.l. del numerador se obtienen res-
La representación gráfica, aproximada, de los datos anterio-

res la recogemos en la figura 14.
ANAVA PARA VALORAR LA EFICACIA

DE UN PROGRAMA
varianza de error: 2,67

O varianza expedmental
09,17%\ D varia111.a de error
varianza total
varianza experimental: 26,45 26,45

F = - - = 9,91
2,67
FIGURA 14. Representación gráfica del ANA VA para decidir sobre la significación
estadística de la diferencia de medias aritméticas correspondientes a los resultados
de los Programas A y B. Diferencias estadísticamente significativas para a :<=:; O. 05
21.4.4. Significación estadística y tamaño del efecto

Frente al planteamiento anterior, bien en forma complemen-
taria, bien alternativa, hay especialistas que defienden la estima-
ción de la eficacia del Programa mediante la determinación del
tamaño del efecto.
tando uno al número de grupos (en este caso 2-1); y los del denominador, restando
de N (en este caso 20) el número de grupos (en este caso, 2): 20 - 2 = 18. Los g.I.
para el total son N - l; obviamente, sumando los g.I. del numerador y del denomi-
nador debemos obtener los g.I. totales. Por la misma razón, la SCy = seE +seo; y lo
mismo diríamos con las medidas de cuadrados (MC) entre grupos (varianza entre
grupos, MC,) y dentro de los grupos (varianza denu·o de los grupos, Me 0 ), cuyo
cálculo no es sino el cociente de las respectivas se por sus correspondientes g.I.
Debemos ser conscientes de que la probabilidad de que F sea

estadísticamente significativa aumenta en muestras grandes y, por
tanto, disminuye en el caso de valores pequeños. Por ello, y al
margen del efecto real del Programa, pequeñas diferencias de
medias entre los resultados de dos programas pueden ser signifi-
cativas (con muestras grandes) mientras diferencias más amplias
pueden no serlo para muestras de menor tamaño, y ello sin que
el efecto real del programa se haya alterado.
Veamos un ejemplo sencillo aplicando la prueba F de
Snedecor a una diferencia de dos medias, correspondiente a dos
programas, A y B, con 1O sujetos en cada programa.
XA x2A XB x2 B
4 ] 6 ,; 6 36
7 49 7 49
8 64 5 25
6 36 5 25
9 81 6 36
7 49 6 36
9 81 7 49
8 64 6 36
3 9 5 25
9 81 5 25
sx 70 530 58 342
Media de A = 70 / 1O = 7. SA = 2,11
Media de B = 58 / 10 = 5,8 SB=0.79
Con tales datos, los cálculos para el ANAVA son los siguientes:
- Suma de cuadrados total: SCT = (530 + 342) - [(70 + 58) 2 / 20] =

872 - 128 2 / 20= 872 - 819.2= 52,8
- Suma de cuadrados entre grupos: SCE = (70 2 + 582 ) : 10 - (l 28 2 /
20) = 826.4 - 819.2 = 7.2
- Suma de cuadrados dentro de los grupos: SCT - SCE = 52.8- 7.2=
45.6
Y el cuadro resumen del ANAVA:

· TRATAMIENTO Y ANÁLISIS DE DATOS 477
Fuente de variación se g.l. M.C. F!empüim) F(teó1iaz)

• Entre grupos 7.2 1 7.2 2,84 4.41
TOTAL 52.8 19
Como 0 .95 F 1 18 = 4.41 > 2.84, la diferencia no sería estadísti-

camente signifi~ativa, afirmación que realizaríamos con un nivel
de confianza del 95% y un riesgo de error máximo del 5% al
tomar la decisión de mantener la hipótesis de nulidad. Por tanto,
el programa A, con media aritmética más alta, no sería más eficaz
que el B.
Ahora bien: si en lugar de N = 20, pasáramos a N = 40, sim-
plemente duplicando el número de sujetos 34 pero manteniendo
constantes las medias de ambos grupos, las cosas cambiarían radi-
calmente. El programa seguiría teniendo el mismo efecto y, sin
embargo, la diferencia de medias sí sería claramente significativa
en términos estadísticos, con lo que el programa sí sería eficaz.
Los datos ahora serían:
PROGRAMA I:X I:X2 Media

A 70 + 70 = 140 530 + 530 = 1060 140: 20 = 7
B 58 + 58 = 116 342 + 342 = 684 116: 20 = 5.8
TOTAL 256 1744
Por tanto, los cálculos para el ANAVA son ahora:

- Suma de cuadrados total: SC¡. = (1060 + 684) - [(140 + 116) 2 / 40]
= 1744 - 256 2 / 40= 1744- 1638,4= 105.6
- Suma de cuadrados entre grupos: SCE = (140 2 + 1162 ) : 20 -
(256 2 / 40) = 1652.8-1638.4 = 14.4
- Suma de cuadrados dentro de los grupos: SC¡. - SCE = 105.6--
14.4= 91.2
Y la tabla resumen:
~ 4 Como si cada sujeto tuviera su "doble''. Las medias aritméticas, obviamente,

permanecen constantes.
Fuente de variación se g.l. M.C. F'rn11píiira) F(teóiira)

• Entre grupos 14.4 1 14.4 6 -4.08
TOTAL 105.6 39
Como 095F 1 38 - 4.08 < 6, ahora la diferencia es claramente

significativa. Y
Esta es una de las razones por las que muchos autores no
aceptan el procedimiento de la significación estadística para deci-
dir sobre la relevancia de los resultados, en nuestro caso de la efi-
cacia de un programa, recomendando analizar no sólo la signifi-
cación estadística de las diferencias sino su significación pedagó-
gica. Y a su lado, la magnitud del efecto y hasta el intervalo de con-
fianza en torno a la diferencia de medias.
Este procedimiento tiene una importante ventaja; al transfor-
mar los datos a una escala común, podemos comparar los resul-
tados de trabajos diferentes. Utilizando uno de los procedimien-
tos más sencillos, un índice del tamaño del efecto se obtiene
mediante la siguiente fórmula:
d = MediaA - MediaB / sAB

esto es: diferencia de las medias aritméticas de ambos grupos divi-
dida por la desviación típica de ambos, que suponemos aquí equi-
valentes. Cuando, como ocurre en nuestro caso, las desviaciones
típicas no lo son, se recomienda utilizar una estimación acudien-
do a la media de ambas desviaciones.
En el primer caso, tendríamos: 7 - 5.8 / 1.33 = 0.9
En el segundo: 7 -5.8 / 1.345 = 0.89
Como se puede apreciar, el tamaño del efecto es prácticamente
idéntico a pesar de que en un caso la diferencia era no significativa
y en el otro claramente significativa en términos estadísticos.
Aunque no es este el lugar para detenernos en este punto sí
conviene señalar que se han establecido puntos de corte para
interpretar el valor del tamaño del efecto. Según Cohen (1988)
estos valores son 0.2, 0.4 y 0.8 como pequeño, mediano y grande
respectivamente, por lo que, en nuestro caso, estaríamos ante un
efecto grande. Se reconoce que tales valores son arbitrarios, pero
están fundados en la experiencia acumulada en torno a los estu-
dios de este índice.
Para finalizar, y con el simple propósito de indicar alternativas
para la intepretación del tamaño del efecto, presentamos un grá-
fico que analiza el hecho a partir del tanto por ciento de no sola-
pamiento de las distribuciones que se comparan.
En la figura 15 presenta intuitivamente el caso de proceder a
la obtención del índice mediante el cociente entre el área som-
breada y el área total de las distribuciones correspondientes a los
programas A y B.
A B
FI GU RA 15. Ejem/Jlificación para la interpretación del índice

del tamaño del efecto.
Otras alternativas posibles no son incluidas por considerarlo

innecesario en el contesto que nos ocupa.
CAPÍTULO 22
TRATAMIENTO Y ANÁLISIS DE DATOS:

II. DATOS CUALITATIVOS'
OBJETIVOS

capaz de:
• La naturaleza de la información cualitativa.
• Las principales tareas, y sus correspondientes actividades

asociadas, en el proceso de análisis cualitativo: reducción,
disposición y obtención y verificación de conclusiones.
• Las aportaciones de la informática al análisis cualitativo de

datos.
1
Como se ha indicado en el capítulo anterior para datos cuantitativos, el trata-
miento dado aquí a los cualitativos no puede pasar de una elemental presentación.
Se recomienda al lector acudir a los siguientes textos: Gil Flores (1994), Rodríguez
Gómez y otros ( 1995).
Mucha de la información recogida en la evaluación de un pro-

grama es de carácter cualitativo, esto es: en esencia, textual, bien
sea escrita, bien gráfica, bien audiovisual. Su tratamiento y análi-
sis siguen unas pautas y procesos diferentes de los anteriores que,
en forma sintética, trataremos de presentar aquí.
Quede constancia de que la naturaleza de los objetivos del pro-
grama y de su evaluación es el criterio fundamental, ajuicio de los
especialistas, para la elección del tipo de metodología, en particu-
lar de las técnicas dentro de la opción metodológica seleccionada.
22.l. EL DATO CUALITATIVO
Ya se ha señalado previamente que el término "dato'', contra-

riamente a lo que sugiere su etimología2, representa una realidad
que es preciso construir por parte del propio investigador, en
nuestro caso del evaluador3 . Al respecto, es muy ilustrativa la
siguiente cita, debida a lbáñez (1985: 119-160):
... en vez de hablar de 'data' habría que hablar de 'capta', pues los
dispositivos de captura no sólo seleccionan sino que también confor-
man -transformándolo para informar de ello- lo que captan ...
Taylor y Bogdan (1986: 153 s.) concuerdan con tal plantea-

miento cuando afirman:
Sería engañoso sostener que los estudios descriptivos se escriben

solos. En todos los estudios los investigadores presentan y ordenan los
datos de acuerdo con lo que ellos piensan que es importante. [ .. .]
Además, al realizar sus estudios, los investigadores toman decisiones
sobre lo que deben observar, preguntar y registrar, decisiones que deter-
minan lo que pueden describir y el modo en que lo describen.
Una característica fundamental de lo denominado "dato" en

la investigación cualitativa es su enorme diversidad y complejidad,
hasta tal punto que algunos autores los definen en forma negati-
2
Del latín datum, algo que nos es dado.
3
En 1969 Blalock afirmaba: "Los hechos no hablan por sí mismos". Vid. Blalock
(1969: 2).
va4 • Podríamos decir que se tomará como datos el conjunto de

informaciones en que se concretan las interacciones entre los
sujetos y entre estos y el evaluador, así como las relativas a los pro-
pios contextos en que la información se produce y a las mismas
circunstancias en que se origina.
La información puede registrarse en formas muy variadas,
entre las que podemos reseñar expresamente las notas de campo
y del observador/entrevistador, así como los gráficos, fotografías,
documentos de diversa índole (diarios, documentación legal o
administrativa ... ) y, desde luego, los relatos de los propios prota-
gonistas. Podríamos concluir afirmando que esta modalidad de
investigación/ evaluación da lugar a una muy elevada cantidad de
materiales que, fundamentalmente, tienen un carácter textual.
22.2. RECOGIDA Y ANÁLISIS DE DATOS
Si bien en alguna medida las ideas que siguen también pue-

den aplicarse a los datos cuantitativos, conviene reseñar que en el
ámbito de los cualitativos se da una notable relación y hasta inte-
racción entre la recogida de datos y su propio análisis. Es más,
para algunos especialistas 5 , es frecuente la simultaneidad entre
diversos procesos propios de esta metodología, como son los de
recogida y de elaboración de informes.
Una vez reflejado este hecho, centraremos nuestra atención
en su análisis y tratamiento, un proceso complejo, difícil y con un
notable componente de originalidad y creatividad por parte de
quien debe realizarlo. En ese sentido, Woods (1987) atribuye al
buen analista de datos, junto a la imaginación y la creatividad, un
"olfato de detective".
22.2.1. Concepto
En nuestro contexto, el análisis viene a ser un proceso desti-

nado a captar, a extraer significado de la información recogida; y
4
Tal es el caso de Tesch (1990: 3) , cuando los define por exclusión al indicar
que son aquellos "que no son cuantitativos, es decir: datos cualitativos son todos los
que no pueden ser expresados con números"
5 Vid . al respecto Gil Flores (1994: 33).
ello porque la información bruta -tal como es recogida por eleva-

luador- no siempre representa una importante aportación a los
efectos de la evaluación.
Una buena definición de análisis de datos es Ja debida al pro-
fesor Gil Flores (1994: 33):
... conjunto de manipulaciones, transformaciones, operaciones,

reflexiones y comprobaciones realizadas a partir de los datos con el
fin de extraer significado relevante en relación con e l problema de
investigación.
La definición pone de relieve la notable problemática que re-

presenta esta etapa, en parte explicable por su propia naturaleza:
textos frente a números, más difíciles de reducir a realidades inter-
pretables.
Tal vez por ello, todavía no se dispone de un cuerpo de saber
suficientemente elaborado y aceptado por los especialistas, lo que
puede explicar ese componente creativo y original al que nos
hemos referido, y que ha llevado a Taylor y Bogdan ( 1986: 159) a
afirmar que "todos los investigadores desarrollan sus propios
modos de analizar los datos cualitativos".
22.2.2. Proceso
Pues bien, sin extendernos en un tema de tanta amplitud 6 , sí

reseñaremos a continuación lo que puede considerarse como el
proceso general del análisis, concretado en tres grandes tipos de
tareas y en un conjunto de actividades:
6 Recom e ndamos al leclO r acudir a citado texto de Gil Flores (1995) y a los de
Rodríguez Gómez y otros (1996).

TAREAS ACTIVIDADES
Reducción de Datos Separación de unidades

Identificación y clasificación
Agrupamiento
Presentación de Datos Transformación
Presentación
Obtención y verificación Extracción de conclusiones
de conclusiones Verificación de las conclusiones?
22.2.2.1. La reducción de datos
La reducción de datos resulta prácticamente imprescindible

cuando nos encontramos ante una elevada cantidad de material,
como suele ser el caso de la información recogida mediante
metodologías cualitativas. Dado que al ser humano le resulta muy
difícil hacerse cargo y comprender este tipo de materiales, su aná-
lisis, su descomposición en partes, facilita su comprensión, su
inteligibilidad.
La reducción consiste en la separación o troceamiento de la
información original en partes, una tarea básica que puede afron-
tarse de formas diferentes, atendiendo a criterios de carácter tem-
poral o espacial, a unidades de tipo gramatical (como la palabra,
el párrafo o la oración) o dialogal (turnos de palabra) o de tipo
temático, si bien en tal caso las dificultades son, por lo general,
mayores, dada Ja variabilidad que puede darse en cuanto a su
extensión.
Una vez llevado a cabo el troceamiento o separación del
texto en unidades, se procede a su identificación y clasifica-
ción mediante operaciones y procesos de codificación y categori-
zación.
La codificación de la información, según Miles y Huberman

(1984: 56), es "una abreviación o un símbolo aplicado a un grupo de
palabras -muchas veces una frase o un párrafo de notas de campo
transcritas- para clasificarlas". Taylor y Bogdan, por su parte, consi-
deran que la codificación "es un modo sistemático de desarrollar y
refinar las interpretaciones de los datos". Y añaden: "Lo que inicial-
7
Nosotros preferimos utilizar la expresión validación a la de verificación.
mente fueron ideas e intuiciones vagas, se refinan, expanden, des-

cartan o desarrollan por completo".
El proceso de categorización es complejo y admite diversas

opciones. Las más apartadas entre sí, constituyendo los extremos
del continuo, son: los sistemas precodificados, de naturaleza deduc-
tiva, en los que se parte de unas categorías preestablecidas a las que
se van asignando fragmentos de la información recogida, y los siste-
mas plenamente inductivos, creando las categorías a partir del estu-
dio detallado y del conocimiento de la información acumulada.
Glaser distingue entre una categorificación sustantiva, espe-
cialmente adecuada en aquellas situaciones en que el investiga-
dor va descubriendo las categorías a partir de los datos, o teórica,
apropiada para integrar las propias anotaciones. Esta modalidad
de categorización permite conceptualizar la forma en que se rela-
cionan las categorías sus tan ti vas.
Se han ideado sistemas de categorización que se encuentran
entre los totalmente inductivos y los deductivos. Propuestas de
este tipo se deben, entre otros, a Lofland y Lofland (1984: 132),
que recurren a tres grandes tipos de carpetas, y Bogdan y Biklen
(1982), que parten de una serie de familias de categorización.
La codificación, por su parte, no es sino la tarea de asignar a
cada unidad separada un código, que bien puede ser un número
o unas palabras, por lo general en forma de abreviatura. El senti-
do de la codificación no es otro que el de ayudar a clasificar la
información analizada.
Dado que las operaciones de categorización y codificación tra-
tan de vincular las unidades de análisis con las categorías, convie-
ne dedicar un poco más de atención a la fase de categorización,
esencial en este primer momento.
Pues bien: comenzaremos haciendo notar que las categorías
pueden decidirse por un procedimiento a priori, que puede tener
como base alguna teoría sobre el fenómeno estudiado, investiga-
ciones previas, la experiencia del evaluador o hasta sistemas gene-
rales de categorías. En ocasiones, cuando se utilizan instrumentos
para la recogida de información, puede acudirse a las que pue-
dan subyacer a los mismos.
El proceso de categorización, que deberá ser objeto de vali-
dación para tratar de evitar los errores materiales y de fondo,
tiene en su definición operativa una de las herramientas funda-
mentales: cuanto más clara esté la definición de todas y cada una

de las categorías, más fácil será reconocer las unidades que deben
ser asignadas a cada una y más difícil la equivocación en el pro-
ceso categorizador.
Pero también cabe hablar de una categorización inductiva, o
lo que es lo mismo: ir construyendo las categorías para la clasifi-
cación de las diferentes unidades a partir de la lectura del mate-
rial estudiado; si en el sistema a priori, una vez definida la catego-
ría, se trata de identificar unidades que se corresponden con la
definición, aquí debemos encontrar un concepto, un nombre,
capaz de acoger la información que vamos leyendo.
Obviamente, con este modo de proceder es prácticamente
seguro que se deberán reformular las categorías inicialmente for-
muladas, precisándolas en el grado que sea necesario, según se
avance en el proceso.
El proceso final de esta primera gran tarea consiste en la sín-
tesis o agrupamiento de la información asignada a cada una de las
categorías. Sistemas a priori, mediante diccionarios de análisis de
contenido, o a posteriori, de carácter empírico, que clasifican las
palabras por métodos como el análisis factorial o el de conglo-
merados, son los más utilizados.
22.2.2.2. La presentación de los datos

La siguiente tarea se centra en la presentación de los datos. Tras la
reducción de la información para que sea manejable y comprensi-
ble, es preciso mostrarla, acudiendo a diversas modalidades de pre-
sentación. Habitualmente se recurre a diversos tipos de tablas y de
representaciones gráficas. Entre las primeras podemos reseñar las de
contingencia (presentan la relación entre al menos dos variables
nominales u ordinales), de incidencia (en que se aprecia la presen-
cia o ausencia de fenómenos) y de valores numéricos que, como su
nombre indica, reflejan los valores apreciados para las variables de
que se trate, que corresponden a los sujetos estudiados.
En cuanto a las representaciones gráficas, podemos reseñar
los tan conocidos diagramas (de caja, en árbol. .. ), las matrices y sis-
temas de redes.
Las tablas de contingencia permiten apreciar la relación exis-
tente entre dos o más variables de tipo nominal, como, por ejem-
plo, la que pueda darse entre la intensidad de las actitudes gene-
radas por un programa -variable ordinal- y el sexo -variable

nominal- de los destinatarios de mismo. Sexo e intensidad de la
actitud son dos variables que se sitúan como ejes de ordenadas y
abscisas, y los valores que se dan en las correspondientes inter-
secciones ponen de relieve la realidad que deseamos analizar.
Por su parte, las tablas de incidencia nos muestran la presen-
cia o ausencia del fenómeno analizado. En el caso anterior, po-
dríamos estar interesados en comprobar si determinado compor-
tamiento, tomado como indicio o indicador de la actitud que
trata de promover el programa, se da o no entre los sujetos que
lo realizan y entre los de un grupo de control, que no siguen el
programa. En las celdillas de intersección se sitúa un símbolo, por
lo general el número 18 si de da tal comportamiento, y otro sím-
bolo -el O- cuando no se da.
Una situación más completa es la que se da cuando se pasa de
variables nominales -se da/ no se da un comportamiento- a varia-
bles cuantitativas, generalmente discretas: se da un comportamien-
to, como indicio de la actitud que promueve el programa, con
mayor o menor intensidad. La intensidad puede valorarse a partir
de su frecuencia o de indicios que nos ponen de relieve la fuerza, la
decisión, la determinación o cualquier otro indicio de intensidad,
bien en escalas de observación , bien en autoinformes.
Pues bien: en tales casos podemos acudir a tablas de valores
numéricos. Lo que antes eran símbolos o palabras, ahora son
valores numéricos registrados en los instrumentos de recogida de
información.
Junto a estas formas de presentación, de carácter numérico,
podemos acudir, preferiblemente como complemento, a las
representaciones gráficas, en esencia similares o muy próximas a
las ya presentadas en el anterior capítulo para datos cuantitativos
con variables nominales u ordinales: diagramas de caja, curvas de
nivel, pictogramas, polígonos de frecuencias.
No obstante, debemos hacer una mínima referencia a dos for-
mas de representación gráfica especialmente adecuadas a nuestro
caso: las matrices y el sistema de redes.
A Miles y Huberman (1984) se debe una interesante aunque
compleja propuesta, para presentar en una matriz Ja información
correspondiente a la intersección de diferentes categorías -eje de
8
Puede ser A y B respectivamente, o SI y NO, por ejemplo.
ordenadas- y sujetos -abscisas- aunque también puede tratarse
de casos, acontecimientos, situaciones, etc. La información se
sitúa en la intersección correspondiente.
En el caso de un programa, aplicado a una muestra de jóvenes
que no alcanzaron el Graduado escolar, puede tratarse de apreciar
el grado de interés que suscita en sus diversas materias en situacio-
nes regladas y no regladas, ubicando la información codificada pre-
viamente en las correspondientes intersecciones.
Por último, nos referiremos a los sistemas de redeS1; a través de
estos sistemas, el investigador/ evaluador puede presentar, en for-
matos diferentes según sus intereses, los elementos diferenciales
d e las diferentes categorías. Los formatos pueden ser descriptivos,
relacionales, de inclusión/ exclusión, de precedencia ...
22.2.2.3. La obtención y validación de conclusiones

Por último, debemos referirnos a la obtención y validación de
conclusiones. Como en todo trabajo de investigación , la metodo-
logía se convierte en una herramienta auxiliar para que el inves-
tigador pueda llegar a "resolver" el problema que le preocupa.
Conclusiones
Si el proceso seguido hasta aquí tenía como meta la compren-

sión de una realidad compleja, como son los materiales textuales 10 ,
ahora es preciso proceder a extraer la información de esas partes
en que hemos troceado y organizado el informe de la información
recogida, a fin de darle una determinada estructuración que resul-
te significativa para los objetivos de la evaluación.
A través del proceso de reducción y de presentación de datos
el investigador puede ir estableciendo relaciones que le permiten
avanzar en la comprensión de los hechos y en la forma en que se
organizan y estructuran. Con ello, el investigador/ evaluador
puede ir avanzando desde la mera presentación de datos de
carácter descriptivo a su uso explicativo, progresivamente más
abstracto. La extracción de conclusiones implica aportar infor-
9 El lector puede acud ir a Bliss, Monk y Ogborn (1983).

10
Recordemos, no obstante, que e l término "textuales" no agota el concepto
de lo cualitativo, al que he mos llegado a definir por oposición a lo cuantitativo.
mación que resulte coherente, que respalde determinados enun-

ciados, que pueda ser argumentada. Para ello se acude a los pro-
cesos ya enunciados: al análisis de la información organizada o a
la comparación de los diversos elementos analizados.
En ese proceso de llegar a conclusiones a partir de los datos
hay pocas normas seguras, siendo la creatividad y la experiencia
del investigador, junto a la amplitud de sus lecturas y el conoci-
miento de los trabajos relevantes lo que le puede ayudar. Sin
embargo, sí pueden plantearse algunas recomendaciones, siendo
tal vez las fundamentales las tres siguientes:
Lectura atenta, intensa y reiterada de la documentación,
- Aceptación inicial de intuiciones e interpretaciones surgi-
das de tal lectura,
- Y prudencia antes de darlas por buenas: durante mucho
tiempo, tales interpretaciones son, sólo, tentativas.
En cualquier caso, sí podemos afirmar que las conclusiones o

enunciados que sintetizan lo alcanzado por el evaluador, deben man-
tener una relación lógica y, por tanto, argumentable, con la infor-
mación de partida adecuadamente analizada y presentada. Si bien es
cierto que, como acabamos de señalar, hay pocas reglas seguras en
este punto, no es menos cierto que tales enunciados no pueden apa-
recer como fruto de una prestidigitación, sino como resultado de un
proceso de síntesis sólidamente argumentada y razonada.
Pues bien: en ese proceso cabe destacar una importante
herramienta que puede venir en ayuda del evaluador; nos esta-
mos refiriendo a la comparación de las diferentes elaboraciones
realizadas por el evaluador: tablas y gráficas. Si a ellas se unen las
que pueda realizar con otros trabajos similares, sea con sujetos
semejantes sea en contextos con elementos diferenciales, el resul-
tado de su elaboración estará más asentado.
Verificación/validación de conclusiones 11
La verificación o validación de las conclusiones extraídas con-

siste en someterlas a algún tipo de procedimiento que permita
11
No es este el lugar para hacer notar las diferencias que este concepto tiene
en el marco de los estudios cualitativos en relación con los cuantitativos. Remitimos
comprobar la veracidad o la validez de las mismas. Este proceso

acude a determinadas actuaciones tales como la conocida trian-
g71lación, la discusión con colegas, el contraste con la posición de los
sujetos investigados o la búsqueda de la evidencia en contra, sin
olvidar algunas manifestaciones de rigor en el proceso que avalan
las conclusiones del investigador.
22.3. APORTACIONES DE LA INFORMÁTICA
Las anteriores tareas se han venido realizando de modo arte-

sanal, a través de procedimientos físicos, como los aludidos de
Lofland y Lofland, y sus tres grandes tipos de carpetas. Sin embar-
go, en este, como en otros tantos campos, la informática ha veni-
do en socorro del investigador al ofrecerle diferentes programas,
desde los genéricos de procesamiento de la información, a los
específicos para el análisis de datos cualitativos. Haremos una
breve referencia a los dos más completos y útiles, ajuicio de quien
escribe: AQUAD y NUDIST.
22.3.1. El programaAQUAD
AQUAD -Analysis of Qualitative Data- de Huber, es un progra-

ma informático que está elaborado al servicio de las complejas y,
con frecuencia, tediosas tareas de análisis de datos cualitativos.
En concreto, el investigador cualitativo puede servirse de este
programa en las fases de reducción, presentación y extracción o
elaboración de las conclusiones.
La codificación es una de las tareas en las que el programa
muestra su gran aportación; de un lado hace posible la división
del texto en fragmentos, marcando su inicio y final, así como la
etiquetación de cada uno mediante la asignación de códigos.
Por otro, el programa facilita el agrupamiento de los diferen-
tes fragmentos que hayan sido etiquetados con el mismo código,
lo que hace más asequible el establecimiento de las comparacio-
nes destinadas al descubrimiento de las metacategorías.
Incluso las tareas más creativas, como son las de formula-
al lector a Jos manuales al uso, recogidos en Ja bibliografía, entre ou·os los de Goezt
y Lecompte y de Cuba y Lincoln.
ción y comprobación de hipótesis, se ven facilitadas por medio

de la utilización de AQUAD. En efecto, mediante el estudio de
los temas más frecuentes y de los correspondientes agrupa-
mientos en relación con los códigos que alcanzan frecuencias
más elevadas, pueden detectarse "regularidades y estructuras
de significado" que facilitan la tarea de formulación de hipó-
tesis.
Por último, y mediante un estudio empírico de las agrupacio-
nes de códigos, que se nos muestran como tendencia, se puede
llegar al contraste de las hipótesis formuladas.
22.3.2. El programa NUDIST
NUDIST, por su parte, es un programa elaborado en la

Universidad de La Trabe, Australia, diseñado en especial para el
análisis de datos cualitativos tales como los mencionados en la
presente unidad temática.
NUDIST puede manejar dos grandes sistemas: el de documentos,
referido a las fuentes de información de que parte el investigador,
sean éstas sus teorías, sus ideas previas e, incluso , las hipótesis que
pretende someter a contraste, o el cortjunto de la información
recopilada a través de los diferentes métodos y técnicas utilizados,
tales como la observación participante o las entrevistas en pro-
fundidad; y el de indización, que consiste en un gráfico en forma
de árbol invertido en el que los conceptos se ponen en relación a
través de diferentes ramificaciones.
El sistema de documentos está integrado por dos grandes grupos:
los denominados online, que consisten en la trascripción textual
de la información, que deben ser almacenados en el ordenador
para, más adelante, poder realizar búsquedas de palabras o recu-
peración de fragmentos, y los ofjline, integrado por la documen-
tación no almacenable en el ordenador, tal como fotografías,
vídeos o información considerada no relevante.
En cuanto al sistema de indización permite organizar la infor-
mación mediante el análisis de las intersecciones de las diversas
ramas, formando lo que se conoce como nudos12 , lo que hace
posible el manejo de la información con enorme flexibilidad.
12
Se distingue el nudo raíz, e l primero, y los nudos hijo, hermano o padre.
La forma de trabajo es lo suficientemente compleja como

para poder reflejarla en un apartado de un capítulo. Por ello
recomendamos acudir a la documentación original o, en su
defecto, a la obra de Rodríguez Gómez y otros ( 1995), recogida
en la bibliografía.
22.4. DE LOS DATOS A LA TEORÍA
Si bien un investigador cualitativo puede conformarse con

"resolver" su problema, con la comprensión profunda de la realidad
estudiada 13 , la naturaleza de la investigación pide más: demanda
que, a partir de la investigación, se pueda llegar a elaborar leyes
o planteamientos generales, teorías, que sean capaces de explicar
la realidad.
Dos son las posiciones que se mantienen en este punto: la de
quienes consideran que los estudios cualitativos deben orientarse
a la generación y desarrollo de teorías y la de quienes optan por
su verificación o validación. Naturalmente hay quienes, la mayo-
ría, aceptan ambas posiciones.
Al frente de los primeros podríamos situar a Glaser y Strauss
( 1967), con su obra The Discovery of Grounded Theory y su pro-
puesta de la teoría fundamentada. Para estos autores, tal tarea se
encuentra reservada a personas capacitadas: "Solamente los
sociólogos están entrenados para desearla, buscarla y generarla"
(págs. 6-7).
Para alcanzar esa meta, los autores proponen dos grandes
estrategias: el muestreo teórico y la comparación constante. A través de
ésta, el investigador refina sus conceptos, descubre relaciones,
tantea interrelaciones y llega a integrar sus elaboraciones en una
teoría coherente. Mediante la primera, el investigador va aña-
diendo nuevos casos que, una vez estudiados, le permiten refinar
sus conceptos y expandir sus teorías.
Para Glaser y Strauss, el propósito de los investigadores no es
verificar o probar sus ideas sino comprobar si se ajustan y si fun-
cionan, concepto que definen del siguiente modo:
1
~ Taylor y Bogdan (1986: 159) manifiestan: " ... en contraste con Glaser y
Strauss, a nosotros nos interesa menos el desarrollo de conceptos y teorías que la
comprensión de los escenarios o las personas en sus propios términos".
Por 'ajuste' entendemos que las categorías deben ser fácilmente

aplicables (sin forzarlas) a los datos que se estudian y surgir de ellos;
el 'funcionamiento' supone que deben ser apropiadas y capaces de
explicar la conducta en estudio.
Por su parte, la opción que centra el objeto de los estudios en

la verificación o validación acude a la inducción analítica que, para
Znaniecki, pretende nada menos que llegar a proposiciones uni-
versales y a leyes causales.
Una caracterización detallada de este procedimiento, aunque
bajo la denominación de investigación analítica, se debe a Katz,
siendo sus momentos fundamentales los siguientes:
a) Definición aproximada del fenómeno objeto de atención.

b) Formulación de una hipótesis explicativa de tal fenómeno.
c) Estudio de un caso con la finalidad de apreciar si tal hipo-
tesis se ajusta o no.
d) En caso negativo, reformulación de la hipótesis o redefi-
nición del fenómeno.
e) Búsqueda activa de casos que refuten la hipótesis.
f) Si se encuentran casos negativos, reformulación de la
hipótesis o redefinición del fenómeno.
g) Continuación del proceso hasta que la hipótesis haya sido
plenamente puesta a prueba.
Es preciso reconocer la importancia del procedimiento, en

especial en lo relativo a la búsqueda activa de casos negativos, para
plantear generalizaciones. Sin embargo, son muchos los que
dudan del mismo como herramienta adecuada para el estableci-
miento de leyes causales.
Concluiremos el presente capítulo señalando que este último
apartado no suele ser objeto de los intereses y actividades del
evaluador de programas, salvo cuando la evaluación se afronta
como investigación, en cuyo caso le puede hacer aportaciones
relevantes.
CAPÍTULO 23
LA METODOLOGÍA EXPERIMENTAL
OBJETIVOS

capaz de:
• Las posibilidades y limitaciones de la metodología experi-

mental aplicada a la evaluación de programas.
• El concepto de diseño y de diseño experimental, su nivel de

exigencia e implicaciones para la evaluación.
• Las posibilidades y limitaciones del diseño experimental

clásico y de algunas alternativas razonables de carácter
cuasi-experimental.
Nuestros planteamientos generales sobre metodología de eva-

luación de programas han dejado patente una opción decidida
por la complementariedad de métodos, procedimientos, fuentes
productoras de datos, técnicas e instrumentos.
En ese marco de reflexión, hemos mantenido la conveniencia
de acudir a opciones metodológicas tan rigurosas y exigentes
como sea posible, planteando como desideratum el poder estable-
cer una relación causal entre la aplicación de un programa y unos
concretos resultados. Tal vinculación causal exige metodologías
de carácter experimental, en las que el control de planteamientos
alternativos -hipótesis rivales- permita descartar una explicación
diferente de los resultados constatados.
Pues bien: al análisis de este enfoque metodológico, de sus
posibilidades y de sus limitaciones, dedicamos el capítulo final de
la presente monografía.
23.1. EL DISEÑO Y LOS DISEÑOS
Como hemos tenido ocasión de señalar, toda actividad siste-

mática implica un plan de acción. Una investigación exige un plan
o, como afirma Kerlinger, un diseño. Diseño para Kerlinger es el
plan, la estructura y la estrategia de la investigación al servicío de aos
objetivos: dar respuesta_a l ~s preguntas de la investigación y con-
trolar la varianza.
23.1.1. El diseño romo plan general de acción
Hemos tenido ocasión de analizar el segundo de los objetivos

al hablar del tratamiento de datos cuantitativos. Centrando ahora
nuestra atención en el primero, toda investigación necesita de un
plan de acción, de un determinado esquema de actuación, de unos
métodos que nos permitirán recoger y ordenar los datos con los
que dar respuesta a las preguntas en que traducimos el problema
a investigar.
Ahora bien: estamos hablando de investigación , pero la pre-
sente monografía se refiere a la evaluación, en concreto a la eva-
luación de programas. ¿Es que son dos términos intercambiables?
En modo alguno; sin embargo, si se consideran ambos a lo
largo de un continuo podemos encontrar en algún momento lo
LA METODOLOGÍA EXPERIMENTAL 497
que se conoce como investigación evaluativa, lo que nos da idea de

cierta proximidad, de algún parentesco entre ambas modalidades
de actuación.
Vale la pena, no obstante, que, aunque sea esquemáticamen-
te, señalemos los elementos diferenciales entre uno y otro tipo de
actuación, elementos que se concretan en su naturaleza, en sus
respectivos objetivos y en el alcance de sus resultados 1.
La evaluación, por su propia naturaleza, es valorativa y se
orienta a la toma de decisiones: emitir un juicio de valor sobre la
realidad evaluada -aprendizajes, programas, materiales didácti-
cos, centros educativos, sistema educativo- es el elemento carac-
terístico de la evaluación. Sin embargo, en el caso del investiga-
dor, su actividad se orienta al descubrimiento de la verdad.
Obviamente, los descubrimientos se pueden valorar, pero no es
esa la esencia del acto investigador.
Los evaluadores realizan su actividad tratando de disponer de
la información, rigurosa y válida, necesaria para tomar las opor-
tunas medidas de mejora, para tomar decisiones que representen
mejoras de la realidad evaluada. Los investigadores buscan sobre
todo el conocimiento de los fenómenos, un conocimiento que,
según el paradigma de que se trate , tendrá en el horizonte su
comprensión o su explicación, a ser posible por sus causas. Tomar
decisiones o llegar a conclusiones son, pues, los objetivos funda-
mentales de estos tipos de actuación.
Por último, el investigador pretende llegar a conclusiones tan
generalizables como sea posible. De hecho, a la validez interna de
la investigación, exigencia básica según Campbell en las investi-
gaciones experimentales, se debe unir la validez externa -gene-
ralización- en el mayor grado posible. Sin embargo, en el caso de
la evaluación no existe esa pretensión: se evalúa una realidad, un
objeto concreto -en nuestro caso un programa- y eso es lo que
importa.
1 Popham (1980: 22) prese nta e l siguie nte cuadro como síntesis de las diferen-
cias e nu·e evaluación educativa e investigación educativa:
Características a estudiar Evaluaci ó n educativa Investigació n educativa

Objetivo Decisiones Conclusiones
Generalización Baja Alta
Énfasis valorativo Valor Verdad
Digamos, no obstante, que ambas actividades, investigación y

evaluación, tienen alguna nota esencial en común: la de ser siste-
máticas, planificadas, respondiendo a planes de acción rigurosos y
exigentes, entre los que cabe destacar los métodos para el logro
de los objetivos y, en particular, las técnicas para la recogida, aná-
lisis y tratamiento de datos.
Por ello, no debe extrañarnos que, al igual que en una inves-
tigación, hablemos de su diseño como plan de acción, un plan sis-
temático y riguroso al servicio de sus propios objetivos.
23. l. 2. Los diseños
Ahora bien, junto a esta idea del diseño corno plan general de la
investigación o de la evaluación, puesto al servicio de sus respecti-
vos objetivos, cabe hablar de los diversos tipos de diseños, expresión
que se aplica especialmente en el marco de las investigaciones
empíricas de nivel experimental, esto es, aquellas que pretenden
establecer una relación causal entre un antecedente, denominado
variable independiente, y un consecuente o variable dependiente.
En el caso que nos ocupa, la variable independiente sería esa
realidad compleja que denominamos programa, y la dependie.nte
los efectos del programa. Como se puede apreciar, cuando habla-
mos de eficacia estamos acercándonos a esta exigente concepción
de la evaluación como investigación evaluativa.
¿Es posible establecer una relación de esta naturaleza en el
ámbito de la evaluación de programas? ¿Debemos plantearlo sólo
como un desideratum? ¿Tendremos que conformarnos con evalua-
ciones situadas en el marco de los diseños cuasi-experimentales?
Esta es la cuestión que analizaremos a continuación. Baste
avanzar aquí que si existe dificultad para llevar a cabo investiga-
ciones auténticamente experimentales, esto es, estableciendo
relaciones causales, las dificultades aumentan extraordinaria-
mente cuando pasamos al ámbito de la evaluación dadas sus espe-
cíficas cararacterísticas.
23.2. EL DISEÑO EXPERlMENTAL [
Como hemos señalado, la meta más elevada de una investiga-

ción consiste en el establecimiento de relaciones de causa a efec-
to entre una variable denominada independiente -en nuestro
caso el programa-y otra dependiente, que, en nuestro caso, serían
sus efectos o resultados, o, como en algunos ámbitos se prefiere,
su impacto.
Establecer este tipo de relaciones hace posible en gran medida
otro importante objetivo de la investigación científica: el control de
la realidad. El control permite actuar de determinada manera con
la finalidad de evitar que ocurran ciertos acontecimientos inde-
seables o, por el contrario, de que se den comportamientos consi-
derados positivos y deseables: si se pudiera controlar el grado de
humedad podría producirse -o evitarse- la lluvia o la nieve; si se
controla la ingestión de determinados alimentos, bebidas o deter-
minados principios, se pueden evitar enfermedades y accidentes;
si se controla la velocidad se pueden evitar accidentes, ...
Una meta tan elevada como el establecimiento de relaciones
causales exige no sólo establecer esa relación entre variable inde-
pendiente y dependiente sino la exclusión de explicaciones alter-
nativas que, en el marco de la investigación, suelen denominarse
variables extrañas y que se convierten en hipótesis rivales a la del
investigador: en concreto que es la variación producida en la
variable independiente -por ejemplo: programa frente a ausencia
de programa, o bien programa A frente a programa B- la que da
lugar a los resultados apreciados en la dependiente.
La exclusión aludida representa la exigencia de control por
parte del investigador, un control no sólo inicial2 sino durante el
proceso de la investigación: cualquier otra variable que pudiera
influir en los resultados debe quedar bajo el dominio del investi-
gador y no influir en la variable dependiente.
Pero la investigación, como proceso riguroso que es, necesita
poder hacer sus afirmaciones con razonable seguridad, ya que no
con plena certeza, que no es posible en el campo del saber huma-
no. Por ello, y en el caso más sencillo, el de dos grupos, a través
del diseño contrasta sus resultados contra otros alternativos o
contra una hipótesis de nulidad (no se dan efectos). Y para reali-
zar ese contraste se vale de la Estadística, que asigna a los resulta-
dos atribuidos a la variable independiente -el programa- una
2
Hay que asegurarse de que antes de aplicar el programa, las situaciones a
comparar -por ejemplo: niños que lo reciben frente a los que no lo reciben- están
en condiciones equiparables.
probabilidad de que sean reales frente a que se deban simple-

mente al efecto del azar.
23.2.1. Un principio básico
Kerlinger expresa magistralmente estas ideas de una forma

sintética a través de su principio max-min-con, que, cuando se cum-
ple, nos sitúa ante una investigación experimental bien concebi-
da y realizada.
Max representa la meta de maximizar, esto es, de hacer tan
grande como sea necesario, la varianza3 debida a la variable inde-
pendiente; min, por el contrario, la de minimizar o hacer tan
pequeña como se pueda aquella varianza explicable por efecto de
las diferencias individuales o del azar4 ; y con no es sino la gran exi-
gencia: el control de toda hipótesis rival o alternativa de la formu-
lada por el investigador, algo que se denomina técnicamente vali-
dez internas.
Max y min son importantes para conseguir que los resultados
de una investigación puedan llegar a ser estadísticamente signifi-
3 Recordemos: varianza es una medida que indica la dispersión de las puntua-

ciones de un grupo en torno a su media aritmética. Se tratará, por tanto, de que la
varianza, esto es, la dispersión de las puntuaciones debida a la variable indepen-
diente (v.i.: el programa en nuestro caso) sea tan grande como sea posible: de este
modo, si la v.i. influye se podrá apreciar mejor el efecto a ella atribuido. Si no hubie-
ra varianza una vez aplicado el programa, sería un indicio de que el programa no
produce efectos.
4 Cuando se comparan en un dise1io de dos grupos -uno que recibe el progra-
ma y otro que no lo recibe o que recibe un programa diferente- los valores obteni-
dos por los sujetos de ambos grupos en la variable dependiente (v.d.) , apreciamos
que, a pesar de que en ese aspecto están en la misma situación, no obtienen la
misma puntuación en la variable dependiente (v.d.). Pues bien: esa varianza no
debida al efecto de la v.i. se considera varianza de error, y es preciso reducirla tanto
como se pueda para que el efecto de aquella sea tanto más grande, en relación a
esta, como sea posible.
5 La validez interna representa la posibilidad de poder afirmar que es la variable
independiente -en nuestro caso el prograrna- y sólo e lla, la que explica los cambios
producidos en la variable dependiente. Campbell y Stanley han identificado ocho
tipos de variables que podrían actuar como extrañas y que se denominan como
sigue: historia, rnaduración, adrninistración de tests, instrumentación, regresión estadística,
sesgos en la selección de sujetos, rnortalidad experimental e interacción entre dos o más de
las anteriores.
cativos, esto es, para que el investigador pueda decidir, con un
elevado nivel de confianza, que no se deben al azar sino al efecto
de la variable independiente (nuestro programa), lo que repre-
senta la posibilidad de rechazar H 0 esto es, la hipótesis nula o de
nulidad y, en consecuencia, poder aceptar la suya, Hl' admitiendo
un riesgo cuya probabilidad denominamos nivel de significación,
representado por a, y cuyo valor es complementario del nivel de
confianzafi.
Pero aunque Max y Min logren ese objetivo, si con el diseño
no se consigue el Con, no habremos hecho nada. En efecto:
podremos afirmar que las diferencias son estadísticamente signi-
ficativas, pero no sabremos a qué se deben, ya que, junto a nues-
tra variable independiente, caben otras explicaciones, otras hipó-
tesis rivales o alternativas: las correspondientes a las variables
extrañas, esto es, no controladas7.
Otro problema es el de generalizar los resultados de la inves-
tigación a otras muestras de la misma población, esto es, la validez
externa, un desideratum en toda investigación, pero que, por su pro-
pia naturaleza, es muy difícil lograr en la investigación experi-
men tal8. Una alternativa razonable es la replicación de investiga-
ciones, de experimentos, que aporta evidencias, nunca definiti-
6 Si el nivel de confianza fuera del 95%, el de significación es del 5%. O en tér-
minos de probabilidad: 0,95 y 0.05 respectivamente.

7
Imaginemos un programa orientado a dejar de fumar: debemos contrastar la
hipótesis de que quienes realizan el programa dejan de fumar en mayor medida
que quienes no lo realizan . Para ello, trataremos de cumplir con max y con min y,
por medio de la Estadística, determinar si el valor que relaciona ambos -por lo
general, la prueba Fo, en su lugar t- va más allá de lo esperable por efecto del azar
(rechazando así H 0 ) o no, en cuyo caso mantendremos que el efecto apreciado
puede explicarlo el azar.
Sin embargo subsiste la gran cuestión: ¿será tal efecto debido al programa y no
a otra cosa, a la mezcla -interacción- del programa con esas otras cosas? Por ejem-
plo: ¿podría ocurrir que se deba a la interacción entre los efectos del programa y
los de una campaiia del Ministerio de Sanidad? Si fuera así, nos situaríamos ante la
denominada por Campbell y Stanley Historia. Si, por la razón que fuere, se "pier-
den" sujetos del experimento, de tal forma que sean los más propicios a fumar -o
a no fumar- se producirían cambios que no tendrían que ver con el programa. Esta
variable se denomina "Mortalidad experimental".
8 Situación bien diferente es la que se da en los estudios de encuestas o en la
baremación de instrumentos de medida, donde resulta imprescindible su logro a tra-

vés de los correspondientes procedimientos de muestreo.
vas, en la línea que interesa al investigador. En efecto: cuando se

replican experimentos y los resultados son compatibles, aumen-
ta la confianza en que los resultados que una y otra vez se vienen
constatando puedan generalizarse de forma cada vez más segu-
ra a la población. Sin embargo, como hemos señalado, esto no
es un inconveniente en el caso de evaluaciones, ya que en ellas
no se pretende generalizar sino valorar el programa y tomar
decisiones.
En el marco de actuaciones de las investigaciones empíricas,
la Estadística juega un importante papel en el tratamiento de los
datos que elabora y recoge el investigador para solucionar su
problema.
En efecto: en general, y dada la necesidad de que los resul-
tados de la investigación no valgan sólo para los sujetos de tal
investigación sino para otros sujetos que participan de sus mis-
mas características -validez externa o generalización- cualquier
intento de pasar de unos datos a una información más general
es una inferencia, y eso necesita de técnicas estadísticas, funda-
mentadas en la probabilidad. Cualquier decisión que se tome a
partir de los datos será, siempre, probabilística, y en consecuen-
cia, nunca estaremos plenamente seguros de la misma. Ello nos
obliga a hablar del riesgo de cometer errores, bien sea el de dar
por buena nuestra hipótesis cuando los datos en realidad no lo
avalan 9 , bien su contrario: no aceptar nuestra hipótesis cuando
en realidad debió aceptarse 10 .
23.2.2. ¿Son posibl,es los diseños experimentales en evaluación

de programas?
Sin descartar de forma categórica su posibilidad, forzoso es

reconocer las dificultades prácticamente insalvables para la apli-
cación de este tipo de diseños. Veamos dos tipos de diseños bási-
cos de carácter experimental:
9 Se denomina error tipo I, y su probabilidad máxima es la del valor decidido
por el investigador para a. (recordemos que si su nivel de confianza es del 95% (en
términos de probabilidad de 0,95) a.~ 5 % o 0.05
10
Error tipo II.
FIG URA 1: Diseño experimental: grupo experimental / grupo de control.
GRUPO ASIGNACIÓN MEDIDA V. INDEPEN- V. DEPEN-

PREVIA DIENTE DIENTE
A (experimental) Azar X (o XA) Ya
B (control) Azar - (o XB) yb
FIG URA 2: Diseño experimental: grupo experimental/ grupo de control

con medidas previas.

A (experimental) Azar Yal X (o XA) Y a2
B (control) Azar ybl - (o XB) yb2
En ambos casos los grupos, tanto el que recibe la variable

independiente (experimental) como que el que no (grupo de
control), o bien el que recibe la modalidad de programa que se
somete a contraste -por ejemplo: programa A- como el que reci-
be la modalidad de comparación -grupo de control, programa
B- se constituyen asignando los sujetos al azar, esto es, de una
forma imparcial.
La asignación al azar se considera una forma de actuar que, al
menos en teoría, controla las variables que podrían hacer dife-
rente al grupo experimental frente al de control en la situación
de partida. Si, después, durante la investigación, se mantiene el
control, se asegura la validez interna del diseño y se pueden atri-
buir las diferencias medidas en la variable dependiente (Yª - Yb)
al efecto exclusivo del programa (frente al no programa o frente
al programa en su modalidad B).
Ahora bien: la asignación de los sujetos a los grupos A y B no
suele ser aleatoria. En efecto, si se tiene en cuenta que, de ordi-
nario, se evalúan programas concretos, que se aplican a sujetos o
grupos concretos -los que interesan en función de los objetivos
decididos por los responsables de los programas en respuesta a
las necesidades o carencias detectadas (evaluación de necesida-
des) o a las demandas o expectativas recibidas por parte de per-
sonas o grupos sean los destinatarios de los programas o los que
se beneficiarán indirectamente de los efectos del programa sobre
tales destinatarios- se comprenderá fácilmente que resulta muy
difícil cumplir con las dos condiciones básicas de este tipo de

diseños:
• La aleatoriedad en el proceso de selección de las muestras

de sujetos.
• La existencia de un grupo de control: programa/ no pro-
grama o programa A frente a programa B.
Ambos hechos proyectan dudas razonables para el estableci-

miento de relaciones causales entre los efectos (resultados,
impacto) medidos (variable dependiente) y el programa (varia-
ble independiente).
En efecto: bien pudiera ocurrir que las personas -sujetos- que
reciben el programa tengan características diferentes de aquellas
que no lo reciben, lo que pudiera explicar las diferencias en la
variable dependiente (tanto si son a favor como si fueran en con-
tra del grupo que recibió el programa).
Y bien podría ocurrir, también, que aun en el caso de que lo
anterior no ocurriera, elementos ajenos al propio programa
actuaran durante el periodo de su aplicación, por lo general
largo , siendo los causantes de los resultados medidos o, al
menos, cocausantes de los mismos, interactuando con el propio
programa.
En términos técnicos, en este caso estaríamos hablando de
factores que afectan a la validez interna, invalidando el diseño. Así,
por ejemplo, acontecimientos ajenos al programa, como puede
ser cualquier circunstancia contextual 11 (cambios en las personas
que aplican el programa, alteraciones en los medios y tiempos dis-
ponibles ... ); cambios ajenos al programa en los propios sujetos
(por ejemplo: relaciones naturales entre las personas destinata-
rias del programa, cambios evolutivos en las mismas ... 12 ), pueden
considerarse explicaciones alternativas al propio programa como
causa de los efectos medidos o apreciados.
Junto a estos problemas, cabe plantearse en ocasiones alguno
de naturaleza ética: ¿es aceptable que, con el fin de probar una
relación causal, se excluya de los beneficios de un programa a
11
Técnicamente, a estos hechos se les suele reconocer con el nombre genéri-
co de "Historia".
12
Suele denominarse en lenguaje técnico "Maduración".
determinados potenciales destinatarios que deberán formar parte

del grupo de control?
Y, para terminar, otro problema, aunque de naturaleza técni-
ca. Dado que, al menos en bastantes casos, los programas se apli-
can a personas que forman parte de determinados grupos antes
de su aplicación, su separación en subgrupos -experimental y de
control- puede tener consecuencias en las relaciones humanas,
con incidencia en los resultados del propio programa.
Como se puede apreciar, existen notables dificultades para
poder utilizar este tipo de diseños con la finalidad de apreciar la
eficacia o la efectividad de un programa educativo. En el supues-
to de superarlas, el tratamiento estadístico de los datos recogidos,
si tienen un nivel de medida adecuado (ver capítulo 21) es el de
una prueba paramétrica ( t o F). En el caso del diseño esquemati-
zado en la figura 1, comparando las medias aritméticas de ambos
grupos. En el de la figura 2, el análisis de covarianza, donde se
comparan las medias aritméticas ajustadas, esto es, las medias arit-
méticas en el post-test tomando en consideración las posibles
diferencias iniciales en el pretest. Una dudosa alternativa es la
comparación entre las diferencias existentes entre pre-test y
pos-test (ganancias) en ambos grupos. Kerlinger (1981: 237), en
relación con este punto, afirma:
Una peculiaridad interesante y difícil de este diserio lo constitu-

ye el carácter de las puntuaciones ordinariamente utilizadas: pun-
tuaciones de diferencia o cambio Ya - Yb =D. No se recomienda el
análisis de las puntuaciones de diferencia, a menos que el efecto de
la manipulación experimental sea notable.
23.3. ALTERNATfVAS RAZONABLES Y POSIBLES
Dando por bueno cualquier intento de acercarse cuanto se pue-

da a ese tipo de diseii.os, plantearemos a continuación algunas pro-
puestas metodológicas que, genéricamente, agruparemos bajo el
concepto de diseños cuasiexperirnenta/,es como alternativas razonables.
Esta denominación agrupa una variedad de planteamientos
evaluativos en los que el investigador no puede utilizar la aleato-
riedad para seleccionar y asignar sujetos a grupos -grupo experi-
mental/ grupo de control- o no dispone de auténticos grupos de
control.
Aunque la diversidad terminológica es notable en este punto,

nos referiremos a los siguientes diseños:
• Diseño de grupo de control no equivalente

• Diseño de series cronológicas
• Diseño de N = 1
23.3.1. Diseño con grupo de control no equivalente
Como hemos tenido ocasión de apreciar, en una investigación

experimental clásica uno de los diseños básicos fundamentales
consiste en la disposición de dos grupos de sujetos, constituidos
mediante procedimientos aleatorios, a uno de los cuales se le apli-
ca la variable independiente -en nuestro caso el programa- y al
otro no (fig. 1). Cuando la asignación aleatoria no ha sido posi-
ble, tenemos el diseño recogido en la figura 3, que no es sino el
diseño 10 en la clásica monografía de Campbell y Stanley Diseños
experimentales y cuasi-experimentales en la investigación social.
FIGURA 3: Diseño cuasi experimental con medidas previas.

(pre-test)
A NO Azar Y.. , X (o XA) Ya2
B NO Azar ybl - (o XB) yb2
En este diseño se constituyen dos grupos bajo el supuesto de

que no son equivalentes: no obstante, se dispone de datos previos
en ambos grupos, o se mide a ambos en variables que se conside-
ran relevantes para el programa 13 (Yai· Yb 1); después, se aplica la
variable independiente a uno de los grupos 14, el experimental, y
13
Por ejemplo: si el programa pretende mejorar las relaciones humanas con
personas de grupos minoritarios, los integrantes de ambos grupos pueden ser
sometidos a una prueba de actitud hacia las minorías.
14
Recuérdese la alternativa: aplicar a un grupo la modalidad experimental del
programa (por ejemplo, la A) y al otro una modalidad diferente, no experimental ,
la B.
lA METODOLOGÍA EXPERIMENTAL 507
vuelven a ser medidos ambos en lo que se consideran efectos de
la variable independiente (Y32 . Yb2 ).
Como los grupos son naturales, esto es, no fueron constituidos
por procedimientos aleatorios, quedan dudas razonables de que, ya
en la situación de partida, tuvieran características diferenciales que
podrían explicar las diferencias finales (si las hubiere) al margen
del hecho de que uno y otro grupo reciban o no el programa o dife-
rentes versiones del mismo. Del mismo modo, cabría pensar que
tales diferencias se pueden deber a una combinación de tales cir-
cunstancias y del efecto del programa (interacción).
Obviamente, además, como ya se dijo en el diseño experi-
mental correspondiente (figura 2) será preciso conseguir que
durante el proceso de aplicación del programa se controlen las
variables extrañas (validez interna), para que las diferencias
medidas en la variable dependiente se pudieran atribuir al efecto
de la variable independiente.
El tratamiento estadístico de los datos recogidos en este tipo de
diseños suele ser el análisis de covarianza. En este análisis no se
comparan directamente las medias aritméticas post-test de ambos
grupos sino las medias ajustadas, que toman en consideración las
posibles diferencias iniciales en el pre-test, lo que confiere a estos
datos un papel de extraordinario relieve 15 • Recordemos lo dicho
más arriba en relación con la alternativa de comprar puntuaciones
de ganancia, desaconsejadas por Kerlinger.
23.3.2. Diseños de series cronológicas
En este tipo de diseños, también denominados de discontinui-

dad en la regresión, los sujetos son asignados a los grupos en fun-
ción de su situación en una serie de puntuaciones previas. Tales
puntuaciones previas en una determinada variable relevante per-
miten establecer una puntuación de corte que sirve para asignar
los sujetos al programa y al no programa, o al programa en sus
modalidades A y B.
15
En efecto: si el pre-test es una variable releva nte, altamente relacionada con
la variable dependiente (efectos del programa) , su control estadístico será de gran
valor. En caso contrario, no añadirá nada nuevo a la hora de poder atribuir al pro-
grama los efectos diferenciales medidos en el post-test.
La hipótesis de no eficacia del programa -no se producen

diferencias frente al grupo que no lo recibe, o frente al que reci-
be la otra modalidad del programa- supondría que, después de la
puntuación de corte, los sujetos de ambos grupos mantendrían
una recta de regresión similar a la anterior.
Por el contrario, cuando el programa produce efectos -es efi-
caz- cabe pensar que quienes lo experimentan obtengan ganan-
cias superiores a quienes no reciben el programa o reciben la otra
modalidad.
La recta de regresión será ahora discontinua, con una posi-
ción superior si las ganancias implican cambios positivos (por
ejemplo: mayores aprendizajes académicos) o inferior en caso
contrario (por ejempló: reducción de conductas agresivas).
La figura 4, tomada de la monografía de Campbell y Stanley
( 1979: 78), esquematiza diferentes situaciones y modalidades de
rectas de regresión. Si se analizan con cuidado se podrá llegar a
la conclusión de que tan sólo en las dos primeras parece razona-
FIGURA 4. &quema de diversas situaciones en un diseño de series cronológicas.
X
, __ _ _ A.
'---~~~~-'--,-.,-·--r-r -
o. O, O. O, O, O. O, O,
ble hablar de un efecto de la variable Programa (simbolizada por
X) en la discontinuidad de la línea de regresión. En efecto: en el
caso C se aprecia cómo pasado el posible efecto, las mediciones
posteriores siguen aumentando sus valores más allá del mismo;
en la Del posible efecto es posterior a X (programa) aunque cabe
pensar en un efecto retardado del mismo; en E las mediciones
inmediatamente anterior y posterior a X siguen la misma línea de
crecimiento, situación que es más clara en F. En G los cambios en
los datos son más o menos similares antes de X que después. H
necesitaría nuevas mediciones para poder pronunciarnos.
El tratamiento estadístico de los datos recogidos en este tipo
de diseños es complejo y supera las pretensiones de esta mono-
grafía. Tan sólo señalaremos que, según los especialistas
(Campbell y Stanley, 1979: 85), un buen análisis podría ser "una
prueba de la desviación de 0 5 respecto de la extrapolación de 0 1
-0/. Con ello trataríamos de contar con indicios de si 0 5 va más
allá, o no, de las ganancias esperables en función de lo apreciado
en las cuatro mediciones previas a X (programa).
23.3.3. Diseños de N = 1
Este tipo de diseños recibe, entre otras denominaciones, las

de diseños con línea de base y de series temporales.
FIGURA 5: Diseño cuasi experimental de sujeto o grupo único.
MEDIDAS VARIABLE MEDIDAS

PREVIAS INDEPENDIENTE POSTERIORES
Su característica fundamental radica en la disponibilidad de

una serie de medidas que sirven de base para valorar el efecto de
la introducción de una variable independiente. En efecto: las
medidas previas a la introducción de la variable independiente
ofrecen la situación ordinaria; si una vez introducida la variable
independiente -el programa- se aprecian cambios significativos
en otra serie de mediciones posteriores, cabe pensar que estas son
debidas al programa, a la variable independiente.
Las medidas posteriores a X -en la fig. 5, 0 8 a 0 1r pueden

poner de relieve cambios en el nivel, esto es, elevación o dismi-
nución de los valores, y en la pendiente (grado de inclinación) que
puede ser diferente, en relación con las medidas previas (0 1 a 0 7)
Es preciso dejar constancia de las dificultades existentes para
valorar la eficacia del programa cuando la línea de base no es esta-
ble, o cuando los efectos de X puedan ser retardados.
Sin embargo, una de sus aportaciones fundamentales consiste
en el hecho de que es capaz de controlar una de las más impor-
tantes fuentes de la varianza de error: en concreto la que se debe
a las diferencias individuales.
Por otro lado, y en cuanto a su adecuación a la práctica edu-
cativa, este tipo de diseños para evaluar la eficacia de los pro-
gramas, resulta idóneo en los casos de programas destinados a
sujetos concretos 16 con características y necesidades muy especí-
ficas.
FIGURA 6. Diseño N = 1. El programa se introduce después de la puntuación 7ª.
Diseño N = 1. El programa se introduce después

de la puntuación 7~ROGRAMA
11
10
9
--------- ----- ~
~ 8
/
___.,.,_ ¡¡
g 7
A.
'ü
~
6
5
" /
"'-../
l- Serie1 I
e: 4-
~ 3
2
1
o
2 3 4 5 6 7 8 9 10 11 12 13 14
Puntuaciones línea de base (valores 1 a 7) y
posteriores al programa (puntuaciones 8 a 14)
16
Pe nse mos e n e l niño autista, hiperactivo, agresivo ...
BIBLIOGRAFÍA 511
En relación con el tratamiento de los datos recogidos, son

muchos los expertos que recomiendan la representación gráfica
de las medidas (figura 6), lo que ofrece una visión muy intuitiva,
al margen de si estadísticamente se puede considerar o no que se
da una diferencia significativa a un determinado nivel de signifi-
cación (a) 17 .
Del estudio de la figura 6, en efecto, el evaluador puede lle-
gar a la conclusión de que al margen de la significatividad esta-
dística, se ha producido un cambio de nivel relevante, manteni-
do por un tiempo razonable (medidas 8ª a 13ª). Por otra parte,
el cambio que se aprecia en la medida 14ª merecería ser estudia-
do para apreciar si es que la efectividad del programa tiene una
duración limitada o si se trata de un cambio sin continuidad.
Probablemente, lo más razonable en este caso sería continuar
con las medidas postest.
BIBLIOGRAFÍA
Presentamos a continuación una serie de textos recomenda-

dos especialmente para el estudio de esta tercera parte, seguidos
por la bibliografía general para la monografía.
A) Bibliografía Básica
Anguera, Mª T. (1982). Metodología de la observación en las Ciencias humanas.

Madrid: Cátedra.
Ander-Egg, E. (1987). El análisis de contenido. En Técnicas de investigación
social, México, El Ateneo, págs. 327-336.
Bardin, L. (1986). Análisis de contenido. Barcelona: Akal.
Bunge, M. (1979). La investigación científica. Barcelona: Ariel.
Etxeberria Murgiondo,J. y Tejedor Tejedor, J. (2005). Análisis descriptivo de
datos en Educación. Madrid: La Muralla.
Fox, DJ. (1981). El proceso de investigación en Educación. Pamplona: EUNSA.
Gil Flores,]. (1994). Análisis de datos cualitativos. Barcelona: PPU.
Kerlinger, F.N. (1981). Investigación del comportamiento. México:
Interamericana.
17
Vid. al respecto el capítulo 21. Con todo, hay elaboraciones ad hoc de prue-
bas con t y F para este tipo de situaciones y datos.
Linstone, A. y Turoff, M., (eds.) (1975), The Delphi Method: Technique and
Applications. Massachusetts.
Mochmann, E (1985). Análisis de contenido mediante ordenador aplicado
a las Ciencias Sociales. En Revista Internacional de Sociologfo, 43, 1, 11-44.
Mucchielli, R.: (1974). L'analyse de contenu des documents et des communications.
Paris: Librairies Techniques.
Pérezjuste, R. y otros (l 991 ). Pedagogía Experimental!!. Madrid: UNED.
Pérez.Juste, R. y otros (1991). La medida en Educación. Madrid: UNED.
Rodríguez Gómez, G. y otros (1995). Análisis de datos cualitativos asistido por
ordenador: AQUAD y NUD!ST. Barcelona: PPU.
Rodríguez Gómez, G. y otros (1996). Metodología de la investigación cualitati-
va. Málaga: Aljibe.
Selltiz, C. y otros (l 976). Métodos de investigación en las relaciones sociales.
Madrid: Rialp.
Taylor, SJ. y Bogdan, R. (l 986). Introducción a los métodos cualitativos de inves-
tigación. Buenos Aires: Paidós.
Valera Espín, A. y Sánchez Meca,J. ( 1997). "Pruebas de significación y tama-
ño del eíecto''. En Anales dP Psicología, 13 (1 ), 85-90.
B) Bibliografía General
Sobre temas metodológicos
Adkins Wod, D. (1976). Elaboración de tests. México: Trillas.

Al vira, F. ( 1991). Metodología de la roaluación de programas, Madrid: CIS
AIDIPE (l 989). "Evaluación de Centros: Nuevas perspectivas en la investi-
gación sobre organizaciones educativas'', Revista de Investigación
Educativa, monográfico, Vol. 7, 13.
Alvarez González, M. (2001). Diseño y evaluación de jJrogramas de educación emo-
rional. Barcelona: Cis/ Praxis.
Alvarcz Rojo, V. (2002). Diseño y evaluación de programas y proyectos df' inter-
vención socio-educativa. Madrid: EOS.
Alvira Martín, F. (1971). Metodología de la evaluación de programas. Madrid:
CIS.
Amescua, C. y Jiménez, A. (l 996). ñvaluación de programas sociales. Madrid:
Díaz de Santos.
Ander-Egg, E. (1984). Evaluación de programas de trabajo social. Buenos Aires:
Humanitas.
Ander-Egg, E. (1987). El análisis de contenido. En Técnicas de investigación
social, México: El Ateneo, págs. 327-336.
Anderson, G. L. (1973). The assessrnent of Leaming Environrnent lnventory and
the My Class Inventory, Halifax: Canadá Atlantic Institute of Education.
Barberá y Albalat, V. ( 1990). Método para la evaluación de centros, Madrid:
Escuela Española.
BIBLIOGRAFÍA 513
Barbier, J. M. (1993). La evaluación en los frrocesos de formación, Madrid:

Paidós-MEC.
Bardin, L. ( 1986). Análisis de contenido. Barcelona: Ak.al, 1986.
Bassedas, M., Darder, P. y otros (1992). E.C.E.!. (Evaluación de Centros de
Educación Infantil), Barcelona.
Berelson, B. (1952). ContentAnalysis in CommunicationResearch. Glencoe, 111 .,
Free Press.
Bisquerra Alzina, R. (Coord). (2004). Metodología de la Investigación
Educativa. Madrid: La Muralla.
Blanco Felip, L. (1993). Autoevaluación modular de centros educativos,
Barcelona: PPU.
Bloom , B.S. y otros (1981). Evaluación del aprendizaje, Buenos Aires: Troquel.
Bolivar, A. (1995) . La evaluación de valores y actitudes, Madrid: Anaya-Alauda
Borrell, N. (1992). "Modelos de evaluación de centros", En M. Álvarez
(Coord.). La dirección escolar: formación y puesta al día, Madrid: Escuela
Española, pp. 179-199.
Brown, F.C. (1980). Principios de la medición en Psicología y Educación, México:
El Manual Moderno
Bruera, R. ( 1992). Tecnología de la enseñanza. La evaluación instituciona4
Rosario: Centro de Didáctica Experimental.
Bunge, M. (1979). La investigación científica. Barcelona: Ariel.
Bunge, M ( 1981). La Ciencia: Su método y su filosofía. Buenos Aires: Ediciones
Siglo xx.
Cabrera, F. y Espín, J. V. (1986). Medición y evaluación educativa, Barcelona:
PPU.
Casanova, Mª A. (1991). La evaluación del centro educativo, Madrid: M.E.C.
Castejón, FJ. (1996). Evaluación de programas de Educación física. Madrid:
Gymnos. Editorial deportiva.
Castillo Arredondo, S. (2003 ). Evaluación de programas de intervención socioe-
ducativa: Agentes y Ámbitos. Madrid: Prentice Hall.
Cicourel, A.V.: (1982). El material histórico y el análisis de contenido. En El
método y la medida en sociología, Madrid, Editora Nacional, págs. 189-206.
Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences (2ª edc).
New York: Academic Press
Cohen, E. y Franco, R. (1993). Evaluación de Prayectos sociales. Madrid: Siglo
XXI
Colás, P. y Rebollo, M. A. (1993) . Evaluación de programas. Una guía práctica,
Sevilla: Kronos.
Coll, C. y Martín, E. (1993). La evaluación del aprendizaje en el currículum
escolar: una perspectiva constructivista. En C. Coll y otros. El constructi-
vismo en el aula. Barcelona: Graó.
Confederación Española de Centros de Enseñanza (1997). Guía de autoeva-
luación. Centros Educativos y formativos no universitarios. Modelo europeo de
Calidad total en la gestión, Madrid: CECE-Club Gestión de Calidad.
Confederación Española de Centros de Enseñanza (1997). Cuestionario para
la autoevaluación. Centros Educativos y formativos no universitarios. Modelo

europeo de Calidad total en la gestión, Madrid: CECE-Club Gestión de
Calidad.
Consejo de Universidades (1991). La evaluación de las instituciones universita-
rias, Madrid: Secretaría General del Consejo de Universidades
Cruz Martínez, J. ( 1997). Evaluación de programas de Educación para la carrera.
Sevilla: Kronos.
Darder, P. y López, J. A. ( 1985). Cuestionario para el análisis y funcionamiento
de la escuela, Barcelona: Onda.
Davis,J. A. (1975). Análisis e/,emental de encuestas, México: Trillas
Dawes, R.M. (1975). Fundamentos y técnicas de Medición de Actitudes, México,
Limusa.
Departamento de Educación Universidades e lnvestigación (1992). Clima
Organizativo y de Aula. Teorías, modelos e instrumentos de medida, Vitoria:
Servicio de Publicaciones del Gobierno Vasco.
Duverger, M.: (1962). La técnica del análisis de contenido. En Métodos de las
ciencias socia/,es. Barcelona: Ariel, págs. 172-197
ECCIS ( 1987). Cuide to School Evaluation and Accreditation, Hampshire.
Elliot,J. (1.990). La investigación-acción, Madrid: Morata
Escudero Escorza, T. (1980). ¿Se pueden evaluar los centros educativos?,
Zaragoza: I.C.E. de la Universidad de Zaragoza.
*Etxeberria Murgiondo,J. y Tejedor Tejedor, J. (2005). Análisis descriptivo de
datos en Educación. Madrid: La Muralla
Fernández Pérez, M. (1986). Evaluación y cambio educativo. Madrid: Morata
*Fernández Sierra, J. y Santos Guerra, M. A. (1992). Evaluación cualitativa de
programas de Educación para la salud. Granada: Algibe
Fox, D. J. (1981). El proceso de investigación en Educación. Pamplona: EUNSA
Fraser, B.J. y Walberg, H.J. (1991). Educational Environments. Evaluation,
Antecedents and Consequences, Oxford: Pergamon Press.
García Hoz, V. (1975). "Una pauta para la evaluación de centros educati-
vos", Revista Española de Pedagogía, 130, 117-150.
García Ramos, J. M. (1989). Bases pedagógicas de la evaluación, Madrid:
Síntesis.
Gel pi, E. y otros (1987). Técnicas de evaluación y seguimiento de programas de for-
mación profesional. Madrid: Editorial Largo Caballero.
Gil Flores, J. (1992). Análisis de datos cualitativos. Aplicación al caso de los datos
procedentes de grupos de discusión, Tesis Doctoral. Sevilla, Universidad de
Sevilla.
*Gil Flores,J. (1994). Análisis de datos cualitativos. Barcelona: PPU
Gómez Arbeo, B. (1990). Evaluación criterial. Apuntes IEPS, nº 51. Madrid:
Narcea.
Hills, Jh. R. (1982). Evaluación y medición en la escuela, México: Kapelusz
mexicana.
Hopkins, D. (1989). Evaluation far School Development, Mil ton Keynes: Open
University Press.
BIBLIOGRAFÍA 515
House, E. R. (Edit) (1973). School Evaluation. The Politics and Process,

McCuchan Publishing Corporation.
Ibáñez, J. (1985). Análisis sociológico de textos o discursos. En Revista
Internacional de Sociología, nº 43, 1, págs. 119-160.
for Evaluations of Educational Programs, Projects and Materia/,s, New York:
McGraw-Hill.
Instituto de Estudios Pedagógicos Somosaguas (1990). Evaluación criterial.
Una metodología útil para diagnosticar el nivel de aprendizaje de los alumnos,
Madrid: Narcea.
Jorba,J. y Sanmartí, M. (1996). Enseñar, aprender y evaluar. Un proceso de regu-
lación continua. Madrid: Servicio de Publicaciones del Ministerio de
Educación y Cultura (MEC)
Jornet,J. M. y Suárez,J. M. (1989). Conceptualización del dominio educati-
vo, desde una perspectiva educadora en una evaluación referida a cri-
terio (ERC) . En Bordón, 41,2, 237-275.
Jornet, J. M. y Suárez, J. M. (1989). Revisión de modelos y métodos en la
determinación de estándares y en el establecimiento de un punto de
corte en medición referida a criterio (ERC) . En Bordón, 41,2, 277-301.
Jornet,J. M. y Suárez,J. M. (1989). La sensitividad instruccional: caracterís-
tica métrica para los elementos de los tests de referencia criterial (TRC).
En Bordón, 41,2, 303-323.
Kemmis, S. (1989). "Seven Principies for Programs Evaluation in
Currículum Development and Innovation", en E. R. House (Ed.), New
Directions in Educational Evaluation. Lewes: Falmer Press. (pp. 117-140).
Kerlinger, F. N. (1981). Investigación del comportamiento. Méxi co:
Interamericana
Ladeta, J. ( 1999). El metodo Delphi. Ariel: Barcelona.
Lecompte, M. y Goetz, J. (1982). Problems of Reliability and Validity in
Ethnographic Research. Review of Educational Research.
Lewy, A ( 1976). Manual de Evaluación formativa del Curriculo, Colombia:
Voluntad Editores. Editorial de la UNESCO
Livas González, l. ( 1977). Análisis e interpretación de los resultados de la evalua-
ción educativa. México: Trillas
Linstone, A y Turoff, M. (eds.) ( 1975), The Delphi Method: Technique and
Applications. Massach usetts.
Lofland, Jh. y Lofland, L. H. ( 1984). Analyzing social settings: A guide to quali-
tative observation and analysis, Belmont, California: Wadsworth Pub. Co.
Vol. 52, pág. 31-60.
López González, E. (2003) . "Las pruebas de significación: una polémica
abierta". En Bordón. Revista de Pedagogía, 54 (2), 241-252
López Yañez,J. y Bermejo Campos, B. (1990) (Coords). El centro educativo,
Sevilla: GID.
Lozano, A. y Sabirón, F. (1998). Evaluación de la Educación compensatoria.

Zaragoza: Librería Central.
Luján y Puente, J. (1996). Evaluación de Centros. El Plan EVA, Madrid: MEC.
Magnusson, D. (1977). Teoría de los tests, México: Trillas
Martin, Mª T. y Sarrate, M. (coords.) (1999). Evaluación y ámbitos emergentes
en animación sociocultural. Madrid: Sanz y Torres.
Martínez de Toda, M. J. (1991). Metaevaluación de necesidades educativas.
Tesis. Universidad Complutense.
Martínez Mediano, C. (1996). Evaluación de programas educativos, Madrid:
UNED.
McDonald, B (1983). La evaluación y el control de la educación. En]. Gimeno
y A. Pérez, La enseñanza: su teoría y su práctica, Madrid: Akal, 467-478.
MEC ( 1997). Evaluación en la Educación Secundaria Obligatoria, Madrid:
Servicio de Publicaciones del MEC
Mestres, J. (1990). Model d'indicadors pera l'avaluació i gestió de qualitat de
Centres i Districtes: SAPOREI, Universidad de Barcelona.
Miguel Díaz, M. de (1988). "Modelos de investigación sobre organizaciones
educativas'', IV Seminario de modelos de Investigación Educativa.
Santiago de Compostela
Miles, M. B. y Huberman, A. M. (1984). Qualitative data analysis. A sourcebo-
ok of new methods. Beverly Hills.
Mochmann, E (1985). Análisis de contenido. mediante ordenador aplicado a
las Ciencias Sociales. En Revista Internacional de Sociowgia, 43, 1, 11-44.
Moos, R. ( 1979). 1'.valuating Educational Environments, London: Josey Bass.
Morales, P. ( 1988). Problemas metodológicos en la medición de actitudes, San
Sebastián: Tarttalo.
Mucchielli, R.: (1974) . L'analyse de contenu des docurnents et des comrnunications.
Paris: Librairies Techniques.
Nevo, D. (1986). "The Conceptualization of Educational Evaluation" en
E.R. House (Edit). New Directions in Educational Evaluation, Lewes,
Falmer Press, 15-30.
Nevo, D. ( 1990). "Role of the Evaluator'', en H. J. Walberg y G. D. Haertel
(eds.). The Jntemational Encyclopedia of Educational Evaluation, Oxford:
Pergamon Press. (pp. 89-90).
Parlett, M. R. y Hamilton, D. (1977). "Evaluation as illumination: A new
approach to the study of innovative programs'', en D. Hamilton y otros
(eds.). Beyond the numbers garne, London, McMillan Education.
Pascual, J. y otros ( 1994). "Análisis comparativo del tamaño del efecto y la
potencia en función de la naturaleza del trabajo, en la revista Anuario
de Psicología". En C. Arce y J. Seoane (coords). JI! Simposiurn de
Metodologí,a de las Ciencias del Comportamiento. Santiago de Compostela:
Servicio de Publicaciones de la Universidad, 1093-1101
Patton, M. Q. (1980). Qualitative evaluation methods, Beverly Hills: Sage.
Perales Motolío, Mª J. (2002). Enfoque de evaluación de F.PO. Estudio de valida-
ción de un modelo. Valencia: Generalitat Valenciana.
BIBLIOGRAFÍA 517
Pérez Campanero, Mª P. (1991). Cómo detectar las necesidades de intervención

socioeducativa. Madrid: Narcea.
PérezJuste, R. y otros (1991). La medida en Educación. Madrid: UNED.
PérezJuste, R. (1988). "La evaluación de instituciones educativas aplicada a
los Centros Asociados de la UNED'', en Revista Iberoamericana de
Educación Superior a Distancia, ( 1), 7-30.
Pérezjuste, R. y Martínez Aragón, L. (1989). Evaluación de Centros y Calidad
Educativa, Madrid, Cincel.
Pérezjuste, R. (1992). La evaluación en Educación infantil, en V. García
Hoz: Educación infantil personalizada, Madrid: Rialp, 309-352.
PérezJuste, R. (1993). La evaluación en el nivel primario, en V. García Hoz:
La educación en el nivel primario, Madrid: Rialp, 230-276.
Pérez Juste, R. (1995). Evaluación de programas educativos. Metodología
para la evaluación de programas educativos, en A. Medina y L.M. Villar:
Evaluación de programas educativos, centros y profesores, Madrid: Universitas,
73-145.
PérezJuste, R. (1996). La evaluación en la Universidad, en V. García Hoz:
La educación personalizada en la Universidad, Madrid: Rialp, 431-478.
PérezJuste, R. (1996). Evaluación de la Universidad, en V. García Hoz: La
educación personalizada en la Universidad, Madrid: Rialp, 479-522.
Pérezjuste, R. (1997). Evaluación: calidad y eficacia de las instituciones edu-
cativas, en C. Martínez Mediano: Encuentros en la Facultad de Educación
sobre Evaluación, Madrid: UNED, 23-42.
Pérez Llan tada, M. C. ( 1999). /c,valuación de programas de salud y servicios socia-
IRs: metodología y ejemplos. Madrid: Dykinson
Pérez Serrano, G. (1984). El análisis de contenido de la prensa. Madrid:
UNED.
Pérez Serrano, G. ( 1994). Investigación cualitativa. Métodos y técnicas. Buenos
Aires: Docencia.
Popham, W.J. (1980). ProblRmas y técnicas de la evaluación educativa, Madrid:
Anaya.
Popham, W. J. ( 1983). Evaluación basada en criterios, Madrid: Magisterio
Español.
Rodríguez Diez, B. (l.992). Pautas para la evaluación de la eficacia de los cen-
tros, Barcelona: Ed. J úcar.
Rodríguez Espinar, S. (1985). Modelos de investigación sobre el rendimien-
to académico. Problemática y tendencias. En Revista de Investigación
Educativa, 3, (6), 284-304.
Rodríguez Gómez, G. y otros (1995). Análisis de datos cualitativos asistido por
ordenador: AQUAD y NUDIST. Barcelona: PPU
Rosales, C. (1984). Criterios para una evaluación formativa, Madrid: Narcea.
Rossi, P.H. y Freeman, H. E. (1989). Evaluación: Un enfoque sistemático para
programas socialRs, México: Trillas.
Sabirón Sierra, F. ( 1990). Evaluación de centros docentes. Modelo, aplicaciones y
guía, Zaragoza: Librería Central.
Santos Guerra, M. A. (1993). La evaluación: un proceso de diálogo, comprensión

y mejora. Málaga: Aljibe,
Santos Guerra, M. A. y otros (1990). Investigar en organización, Málaga:
Secretariado de Publicaciones de la Universidad de Málaga, pp. 41-47.
Sanz Oro, R. ( 1990) . Evaluación de programas de orientación educativa, Madrid:
Pirámide.
Sell tiz, C. y otros ( 1976) . Métodos de investigación en las relaciones sociales.
Madrid: Rialp
Scheibe, M., Skutsch, M., Schofer, J. , ( 1975). Experiment in Del phi
Methodology, en: The Delphi Method: Techniques and Applications.
Massachussets.
Sevillano García, M. L. (2004). Evaluación de programas culturales-formati-
vos de la televisión pública. Madrid: Dykinson
Soler Fierrez, E. (1987). "Guía práctica para la evaluación de centros edu-
cativos", ComunidadEducativa, (151), 23-27.
Stufflebeam, D. (1977). Working Paper on Needs Assessment in Evaluation.
San Francisco: Paper presented at the AERA Conference
Stenhouse, L. (1984). Investigación y desarrollo del curriculum, Madrid, Morata.
Suárez (1981). Needs Assessment. En A. Lewy y D. Nevo (eds.) Evaluation
Roles in Education. London: Gordon and Breach.
Tavella, N. M. (1978). Análisis de los ítems en la construcción de instrumentos psi-
cométricos, México: Trillas
Taylor, S.J y Bogdan, R. (1986). Introducción a los métodos analíticos de investi-
gación. La búsqueda de significados. Buenos Aires: Paidós.
Tejedor Tejedor, F. J. ( 1990). Perspectiva metodológica del diagnóstico y
evaluación de necesidades en el ámbito educativo. En Revista de
Investigación Educativa, 8 ( 16), 15-38
Tenbrink, T. D. (1984). Evaluación. Guía práctica para profesores, Madrid,
Narcea.
Thyne,J. M. (1978). Principios y técnicas de examen. Salamanca: Anaya
Thorndike, R. L. y Hagen, E. P. (1989). Medición y evaluación en Psicología y
Educación. México: Trillas
Thorndike, R. L. (1989). Psicometría aplicada, México: Limusa.
Trillo Alonso, F. ( coord.) (2002). Evaluación. Cuadernos de Pedagogía.
Barcelona: CissPraxis.
Valera Espín, A. y Sánchez Meca, J. ( 1997). "Pruebas de significación y tama-
ño del efecto". En Anales de Psicología, 13 (1), 85-90
Valls, E. (1992). Los procedimientos: aprendizaje, enseñanza y evaluación.
En C. Col! y otros. Los contenidos de la reforma. Enseñanza y aprendizaje de
conceptos, procedimientos y actitudes, Madrid: San ti llana (Aula XXI)
Varios (1991). Evaluación de Programas. En Bordón, monográfico. Vol. 43, 4.
Varios (1998). La evaluación de la Universidad Española. En Revista de
Educación, 315. Monográfico.
Varios (1996). Evaluación de la calidad de la Educación. En Revista
Iberoamericana de Educación, 10, Monográfico.
BIBLIOGRAFÍA 519
Vedung, E. ( 1997). Evaluación de políticas públicas y programas. Madrid:

Instituto Nacional de Servicios Sociales.
Ventosa, V. (1992). Evaluación de la animación sociocultural. Madrid: Popular.
*Velaz de Medrano, C. (1995). Evaluación de programas y de centros educativos:
diez años de investigación. Madrid: Ministerio de Educación y Ciencia.
Verdugo, M. A. (dir.) (1994). Evaluación curricular. Una guía para la interven-
ción psicopedagógica, Madrid: Siglo XXI de España Editores.
Villar Angulo, L. M. (dir.). (1996). Evaluación de programas deformación per-
manente para la función directiva. Sevilla: Universidad de Sevilla.
Villar Angulo, L. M. (1990). El ambiente psicosocial de la enseñanza en las
aulas de EGB, medido por el "Inventario de Mi Clase", en]. López Yañez
y B. Bermejo Campos (coords.), El centro educativo, Sevilla, CID. (pp.
291-315).
Wilson,Jh. D. (1992). Cómo valorar la calidad de la enseñanza, Madrid: Paidós-
M.E.C.
Witkin, B. R. (1984). Assessing Needs in Educational and Social Programs. San
Francisco: Jossey Bass.
C) Bibliografía General
Sobre temas relacionados con la monografía
Abot, R. y otros (1988). GRIDS: Primary School Handbook, London: Longman.

AENOR (2000) .Sistemas de gestión de la Calidad. Directrices para la mejora del
desempeño. UNE-A"N-ISO 9004:2000
Alonso Tapia, A. ( 1987). Enseñar a pensar: perspectiva para la educación com-
pensatoria. Madrid: Servicio de Publicaciones del MEC.
Álvarez Rojo, V. (1997). Tengo que decidirme. Programa para la elección de estu-
dios y profesiones al finalizar la enseñanza secundaria. Sevilla: Alfar
Anderson, C. S. ( 1982). "The Search for School Climate: a Review of the
Research'', RevieuJ of Educational Research, 52, 368-420.
Asociación Española para la Calidad (1998). Propuesta para la adaptación de
la Norma UNE-EN-ISO 9004-2 a los Servicios educativos y de Formación,
Madrid, Asociación Española para la Calidad.
Austin, G. y Reynolds, D. (1990). "Managing for Improved School effecti-
veness: an international survey", School Organization, 10, 2-3, 167-178.
Beltrán, J. (1993). Estrategias de aprendizaje. Madrid: Editorial Síntesis.
Brookover, W. B. y otros ( 1979). School social systems and students achievement:
schools can make a difference. New York: Praeger.
CEPE (1995). El proyecto de inteligencia de Harvard. Madrid: CEPE.
Ciscar, C. y U ría, M.E. (1986). Organización escolar y acción directiva, Madrid:
Popular.
Coleman,J.S. y otros (1966). Equality ofEducational Opportunity, Washington,
Office Education.
Consejo Escolar del Estado ( 1999). La autonomía de los centros escolares,

Madrid: Ministerio de Educación y Cultura.
Cortina Orts, A. (1995). Ética de la sociedad civil. Madrid: Anaya
Cortina Orts, A. (2003). "El vigor de los valores morales para la conviven-
cia". En Consejo Escolar del Estado. La convivencia en los centros escolares
como factor de calidad. Construir la convivencia. Madrid: Ministerio de
Educación, Cultura y Deporte, págs. 39-52.
Dalin, P., Rust, V. y Summer, R. (1987). GIL. Cuide to Institutional Learning
(SchoolDevelopment Cuide), Oslo/Windsor: IMTEC/NFER.
Dinkmeyer, D. y Mckay, G. D. PECt,'S. Padres eficaces con entrenamiento sistemá-
tico. American Guidance Service.
Eccis ( 1987). Cuide to School Evaluation and Accreditation, Hampshire.
Edmons, R. (1979). "Sorne Schools work and more can", Social Policy, 92,
28-32.
Edmons, R. (1982). "Programs of Schools Improvement: An Overview",
Educational Leadership, 40, (3), 4-11.
Escudero y J. López ( coords.). Los desafios de las reformas escolares, Sevilla:
Arquetipo Ediciones. (pp. 71- 96).
FAD ( 1986). Fundación de ayuda contra la drogadicción. Material de prevención
del consumo de drogas para la Educación Secundaria Obligatoria.
FAD (1996). Fundación de ayuda contra la drogadicción. Material de técnicas
para la prevención escolar del consumo de drogas.
FAPACE (2001). Educar para la paz. Reflexiones para el ámbito educativo. Madrid:
Editora social y cultural S.L.
Fraser, B.J. yWalberg, H.J. (1991). Educational Environments. Evaluation,
Antecedents and Consequences, Oxford: Pergamon Press.
Fuentes Vicente, A. (1986). Procesos funcionales y eficacia de la escuela. Un mode-
lo causal, Madrid: Universidad Complutense.
Galton, M. y Moon, B. (1983). Cambiar la escuela, cambiar el curriculum,
Barcelona: Martínez Roca.
García Durán, M. (1991). Investigación evaluativa sobre las variables que discri-
minan entre los Centros de E. G. B. de alto y bajo rendimiento en el medio rural de
la provincia de Cádiz, Tesis doctoral, Madrid: UNED.
García Hoz, V. (1970). Educación personalizada. Instituto de Pedagogía del
C.S.l.C.
García Hoz, V. (varios años: 1986-1997). Tratado de Educación personalizada.
Madrid: Rialp. 33 volúmenes
Gento Palacios, S. (1994). La gestión de calidad en Educación, Madrid: La
Muralla.
Gento Palacios, S. (1998). Implantación de la calidad total en las instituciones
educativas, Madrid: UNED.
Gimeno Sacristán, J. y Pérez Gómez, A. (1983). La enseñanza: su teoría y su
práctica. Madrid: Akal.
Gómez Daca!, G. (1985). El centro docente, Madrid: Escuela Española.
González González, M. T. (1990). "Nuevas perspectivas en el análisis de las
BIBLIOGRAFÍA 521
organizaciones educativas'', En Actas I Congreso Tnteruniversitario de

Organización Escolar, Barcelona: Secretaría del Congreso. (pp. 27-46).
González, M. C. y Tourón, J. (1992). Autoconcepto y rendimiento escolar,
Pamplona: EUNSA
Hopkins, D. (1989). Evaluation for School Development, Milton Keynes: Open
University Press.
Hopkins, D. (1990). "The Intemational Improvement Project (ISIP) and
Effective Schooling: towards a synthesis", School Organization, 10, 179-194.
Hoy, W. y Clover, S. (1.986). "Elementary School Climate: A Revision of the
OCDQ'', Educational Administration Quarterly, 22 (1), 93-110.
Immegart, G. (1992). El director como promotor de la evaluación de cen-
tros y del profesorado. En 1 Congreso Internacional sobre Dirección de
Centros Docentes, La dirección: factor clave de la calidad educativa. Bilbao,
ICE: Universidad de Deusto. (pp. 291-309).
López Rupérez, F. (1994). La gestión de calidad en Educación, Madrid, La
Muralla.
Luengo, Mª A (2001). El programa "Construyendo salud": una experiencia
educativa para mejorar la convivencia escolar. En Consello Escolar de
Galicia: La convivencia en los centros escolares como factor de calidad.
Santiago de Compostela: Consello escolar, págs. 55-70.
Marchesi, A. y Martín, E. (1998). Calidad de la enseñanza en tiempos de cambio,
Madrid: Alianza Editorial.
Martínez Mediano, C. ( 1991). Factores de eficacia de los Centros Asociados de la
UNED para el Curso de Acceso Directo a la Universidad, Tesis Doctoral,
Madrid: UNED.
Maslow, A.H. (1963). Motivación y personalidad. Barcelona: Sagitario.
Mckenzie, D (1983). Research for school improvement: An appraisal of
sorne recent trends. En Educational Researcher, 12, 4.
Merino Sánchez, J. V. (2003). Programas de animación sociocultural. Madrid:
Narcea.
McMahon, H. y otros (1984). Guidelines for Review and Internal Development in
School~ (GRIDS), London, Logman.
Ministerio de Educaión y Cultura ( 1997 ). Modelo Europeo de Gestión de
Calidad, Madrid: MEC.
Mozas Flores, J. C. (1999). Cómo prevenir el consumo de tabaco y alcohol. Madrid:
Escuela Española.
Muñoz Sedan o, A. y Román Pérez, M. ( 1989). Modelos de organización escolar,
Madrid: Cincel.
Murphy, J., Halliger, P. y Mesa, R. P. ( 1985). "School Effectiveness: Checking
progress and assumptions and developing a role for state and federal
govemment", Teachers College Record, 86 (4), 615-641.
Nickerson, R.S., Perkins, D.N. y Smith, E.: (1987) Enseñar a pensar. Madrid:
Paidós.
OCDE ( 1991). Escuelas y calidad de la enseñanza. Informe internacional, Madrid:
Paidós-M.E.C.
OCDE (1995). Análisis del panorama educativo. Madrid, OCDE-Mundi-Prensa.

Owens, R. C. (1980). La escuela como organización, Madrid: Santillana.
Pérezjuste, R. (1998). La calidad de la Educación universitaria. En Revista
Iberoamericana de Educación a Distancia, 1, l, 13-38.
Pérez Juste , R. y otros (2000). Hacia una Educación de Calidad, Madrid,
Narcea.
Pérez Serrano, C. (1997). Cómo educar para la democracia. Madrid: Popular
Prieto Sánchez, M. D. (1993). Programas para la mejora de la inteligencia: teoria,
aplicación y evaluación. Madrid: Síntesis.
Purkey, S. C. y Smith, M.S. (1982). Too soon to cheer? Síntesis o research
on effective schools. En Educational Leadership, 40 (3)
Reid, K, Hopkins, D. y Holly, P. (1986). Towards the Effective School, Oxford,
Basil Blackell.
Rivas Navarro M. (1986). "Factores de eficacia escolar: una línea de investi-
gación didáctica", Bordón, 38, (264), 693-709.
Rodríguez Cómez, C. (1991). Investigación evaluativa en tomo a los factores de
eficacia escolar de los Centros públicos de E.G.B., Tesis doctoral , Madrid:
UNED.
Rodríguez Moreno, M ~ L. ( l 992). Enseñar y aprender a lomar decisiones.
Madrid: MEC
Rosales, C. ( 1992). Posibilidades de cambio en la enseñanza (Perspectiva del profe-
sor), Madrid: Cincel.
Sociedad Española de Pedagogía (1988). La calidad de los centros educativos,
Alicante: Diputación Provincial de Alicante.
Southworth, C. (1993). "School Leadership and School Development:
reflections from research", School Organization, 13 (1), 73-87.
Stenhouse, L. ( 1984). Investigación y desarrollo del curriculum, Madrid: Morara.
UNESCO ( 1995). Documento para el Cambio y Desarrollo en la Educación Superior.
París: UNESCO.
UNESCO (1998). La Educación Superior en el Siglo XXJ. Visión y Acción. París:
UNESCO.
Vallés, A. y Álvarez,J. Orienta plus. Programa de orientación vocacional. Madrid:
Escuela española
Villa, A. (1~85). Un modelo de profesor ideal, Madrid, MEC.
Villa, A. y AJvarez, M. (coords.). (2003). Un modelo de calidad pedagógica para
los centros educativos, Bilbao: Mensajero.
Villa, A. y Álvarez, M. (coords.). (2003). Ámbitos y criterios de la calidad peda-
gógica, Bilbao: Mensajero.
Villar Angulo, L. M. (1990). El ambiente psicosocial de la enseñanza en las
aulas de EGB, medido por el "Inventario de Mi Clase", en]. López Yañez
y B. Bermejo Campos (coords.), El centro educativo, Sevilla, CID, pp.
291-315.
Woods, P. ( 1987). La escuela por dentro, Madrid, Paidós-MEC.
Yuste, C. (1994). Los programas de mejora de la inteligencia. Madrid: CEPE.
BIBLIOGRAFÍA 523
Direcciones de Internet
ACAP: Agencia de Calidad, Acreditación y Prospectiva de las Universidades

de Madrid (http://www.madrid.org/ comun/ org_acap).
Una importante dirección genérica es:
http: / / www.europeanevaluation.org
OPTI: Observatorio de Prospectiva Tecnológica Industrial (http: / / www.
opti.org/ );
Programa personalizado para abandonar la adición al tabaco:
http: / / www.dgdfumar.com /
Programas de la Fundación de Ayuda contra la Drogadicción:
http: / / www.fad.es/ programas/ index.htm
Programa de deshabituación del alcohol:
http: / / indetox.cjb.net/
Programa regional contra las drogas de la Comunidad de Castilla la
Mancha:
http: / / wwwjccm.es/ sanidad/ preven.htm
Programas de educación en inteligencia emocional:
http: / / www.emocionol.com / programaseducaint.htm
Guía para modificar hábitos de vida:
http: / / www.almirallprodesfarma.com/ guíes/ gO.html
Recursos para Ja animación sociocultural:
http: //www.ual.es/ Universidad/ Depar/ Sociologia/ animacion.htm
Curso superior universitario en Planificación y Di1-ección de Residencias:
http: / / www.udc.es/ 3e/ csu02.htm
Programa de Enseli.anza Abierta de la Facultad de Educación en Animación
Sociocultural:
http: //www.uned.es/ webuned/ pea/ pea/ 014.htm
ANEXOS
l. PAUTA PARA LA EVALUACIÓN

11. GLOSARIO
ANEXO l
PAUTA PARA LA EVALUACIÓN

A continuación, y con el carácter de mera propuesta, ejemplo o docu-

mento de ayuda que sirva de guía a los evaluadores, se presenta una pauta
que incorpora una serie de indicadores!, esto es, de aspectos en los que fijar
la atención por representar manifestaciones de las variables a valorar, a los
que deberían aplicarse los oportunos criterios. Los elementos componen-
tes de la pauta se presentan en forma de pregunta a la que dar contesta-
ción.
Dado que, en general, la mejor cualidad que debe tener un instrumen-
to de recogida de información es su plena coherencia con la naturaleza de
la realidad evaluada, la aceptación, rechazo o modificación de los elemen-
tos integrantes de la pauta es una tarea técnica que debe llevar a cabo cada
evaluador o el equipo de evaluadores interesados en la tarea. Así, determi-
nados ítems pueden ser, en casos concretos, irrelevantes; por el contrario,
en ocasiones puede ser necesario prestar una atención más detallada y dete-
nida a algunos de los aspectos aquí recogidos y hasta cabe que sea necesa-
rio incorporar elementos nuevos.
La pauta está planteada sobre la base de un programa que se diseña a
partir de una evaluación de necesidades; sin embargo, mediante los opor-
tunos cambios es perfectamente aplicable a programas que responden a
características y carencias de los destinatarios conocidas de antemano por su
generalidad2 y que, por tanto, no necesitan formalmente de tal evaluación
I El término indicador se utiliza aquí en forma no técnica; se toma simplemen-

te como aspecto en que fu ar la atención, como objeto a considerar. En términos téc-
nicos, un indicador es un dato, por lo general cuantitativo aunque puede ser cuali-
tativo, situado generalmenLe en un contexto. Por ejemplo, el % de población ad ul-
ta sin titulación primaria, tasas de paro por sexos y grupos de edad, etc. El indica-
dor puede recoger datos globales de un país en relación con otros países o con las
comunidades o regiones en que está estructurado políticame nte.
2 Programas ordinarios en centros educativos en los que el programa responde
a las características y carencias de los alumnos en el ámbito de las disciplinas aca-
démicas, por ejemplo.
previa. En tales casos, algunos de sus ítems podrían cambiar de ubicación,

en especial en la evaluación inicial , pero, en conjunto, la pauta no variaría
de modo significativo.
Del mismo modo, la pauta sigue un planteamiento evaluativo organiza-
do en una secuencia de tres momentos o etapas, la inicial, la procesual o con-
tinua y la final. Sin embargo, incorpora un cuarto momento, el de la institu-
cionalización de la evaluación, que, en caso de darse porque el programa se
aplique en nuevas ediciones, recogería los ítems que figuran en el tercer
momento bajo el apartado de continuidad.
Por último, conviene reseñar que si bien está planteada pensando fun-
damentalmente en programas desarrollados en contextos educativos for-
males3, sus componentes y planteamientos fundamentales pueden trasla-
darse con facilidad a otro tipo de programas, como pueden ser los de edu-
cación social, o de aquellos otros que, desarrollándose en contextos tradi-
cionales, se orientan a objetivos que no necesariamente formen parte del
currículo, como puede ser el caso de la educación vial, el respeto a la
Naturaleza o la educación para una vida sana.
LA PAUTA
l. MOMENTO INICIAL:
EVALUACIÓN DEL PROGRAMA EN SÍ MISMO
l. ADECUACIÓN. PERTINENCIA
1.1. A los destinatarios
l. ¿Existen datos en la organización (registros, informes, actas ... ) sobre las

necesidades y carencias de los destinatarios del programa? ¿Se conocen
sus demandas y expectativas? ¿Se acude, cuando es necesario, a personas
expertas para su identificación y valoración?
2. ¿Se cuenta con sistemas de detección de necesidades y carencias del
alumnado, tales como pruebas de carácter diagnóstico, entrevistas, sesio-
nes de evaluación ... ?
3. ¿Hay sistemas destinados a conocer con antelación las expectativas del
personal (prospectiva)?
4. El programa toma en consideración las necesidades, carencias y deman-
das detectadas, identificadas y valoradas mediante algún procedimiento
sistemático de evaluación de necesidades?
3 De ahí las muchas referen cias al centro educativo.

ANEXOS 529
5. ¿Se diseña el programa a partir de la priorización de las necesidades

identificadas?
6. ¿Se dan reuniones con profesores de cursos anteriores de cara a la pla-
nificación del nuevo programa?
1.2. Al contexto
7. La organización del centro educativo, ¿favorece y estimula la participa-

ción, la corresponsabilidad y la implicación del personal en su proyecto
y objetivos?
8. Los profesores responsables del programa, ¿funcionan en auténtico
equipo?
9. ¿Se da cooperación con las familias cuando es necesaria para el desarro-
llo del programa?
10. ¿Se busca / logra la cooperación de agentes sociales externos a la orga-
nización cuando son necesarios para el éxito del programa?
2. CALIDAD INTRÍNSEC.A DEL PROGRAMA
2.1. Contenido del Programa
11. ¿Se han explicitado las bases científicas y socio-psicológicas del programa?
12. El tratamiento dado a los acontecimientos, temas o teorías, ¿es adecua-
do / distorsionado/ desequilibrado?
13. ¿Están actualizados o desfasados los contenidos?
14. Los contenidos incluidos, ¿se consideran relevantes desde perspectivas
científicas, sociales, psicológicas y pedagógicas (valor formativo)?
2.2. Calidad técnica del Programa
15. Los objetivos del programa, ¿son suficientes y adecuados a las necesida-
des / carencias/ demandas / expectativas que lo justifican?
16. ¿Se incluyen en el programa objetivos, medios -entre ellos, las activida-
des, la metodología o la evaluación formativa-y sistema de evaluación del
propio programa?
17. La formulación de los elementos anteriores ¿es adecuada para orientar tanto
la enseñanza como el aprendizaje y para facilitar su posterior evaluación?
18. ¿Se puede considerar que los objetivos son congruentes con los plantea-
mientos científico-curriculares, con las necesidades y carencias de los des-
tinatarios, con sus características evolutivas y con las demandas sociales?
19. ¿Se da coherencia interna entre los diversos elementos componentes del
programa y de todos ellos con los objetivos?
20. ¿Se da adecuación del programa a las características diferenciales -moti-

vación, intereses, capacidad- de sus destinatarios?
2.3. Evaluabilidad
21. La información contenida en el programa de cara a su posterior evalua-

ción , ¿se considera suficiente, relevante y adecuada?
22. ¿Se dispone de información clara y precisa sobre aspectos metodológi-
cos y de contenido del programa?
23. La información necesaria para la futura evaluación, ¿es pública? ¿resulta
accesible a las partes interesadas e implicadas?
3. ADECUACIÓN A LAS CIRCUNSTANCLAS: VIABILIDAD
24. ¿Son realistas los objetivos formulados?

25. ¿Están previstos los espacios, momentos en el horario, recursos y perso-
nal, necesarios para su desarrollo?
26. ¿Existen en el centro los medios y recursos necesarios y suficientes para
un correcto desarrollo del programa?
27. ¿Se encuentran capacitados los responsables para el desarrollo del progra-
ma?. Cuando sea necesario, ¿han recibido la formación específica para ello?
28. ¿Está prevista la temporalización del programa? ¿Está debidamente fun-
damentada? ¿Resulta viable?
29. ¿Se realizan reuniones del equipo de profesores responsables del pro-
grama para planificar la implantación e implementación del programa y
para asegurar la coherencia de planteamientos?
30. ¿Se da entre el equipo de profesores, y en el centro en general, un tra-
bajo de tipo cooperativo?
31. ¿Ha sido aprobado el programa por el equipo de personas implicadas en
su implantación?
32. ¿Apoyan el programa el claustro de profesores, los padres y demás per-
sonal implicado / afectado?
Il. SEGUNDO MOMENTO:

PROCESO DE APLICACIÓN DEL PROGRAMA
l. PUESTA EN MARCHA DEL PROGRAMA
33. ¿Se toman las iniciativas pertinentes para que la implantación del pro-
grama sea bien acogida? Por ejemplo: ¿se sensibiliza a las partes afecta-
ANEXOS 531
das, interesadas e implicadas para que tengan actitudes positivas y favo-

rables?
34. ¿Se cuida con especial dedicación el momento de implantación del pro-
grama?
35. La metodología utilizada, ¿resulta adecuada para el desarrollo de los
objetivos del programa?
36. ¿Muestran los alumnos interés/ motivación hacia las actividades del pro-
grama?
37. ¿Se aprecia corrección en la secuencia de las actividades programadas?
38. ¿Se detectan desfases significativos en la temporalización prevista?
39. ¿Se respeta la planificación en lo referente a espacios, tiempos, apoyos y
recursos?
40. Los niveles parciales de logro ¿se consideran alejados de, o acomodados
a, los propuestos?
41. ¿Se da rigidez /flexibilidad en la aplicación del programa?
42. Los recursos planeados, ¿resultan suficientes y adecuados? ¿Están dispo-
nibles?
43. ¿Se está atento a posibles efectos no planeados -positivos o negativos-
del programa? ¿Hay previsiones de actuación en relación con tales efec-
tos?
44. ¿Se cuenta con un sistema de registro de la información que facilite la
posterior evaluación y, sobre todo, una mejor gestión de los procesos
(organizaciones que aprenden)?
2. MARCO DE APLICACIÓN DEL PROGRAMA
45. El ambiente general del centro, ¿es positivo (relaciones de confianza,

amables, cordiales entre el personal)? ¿Resulta favorable al programa?
46. ¿Se aprecian conflictos y tensiones entre el personal del centro que pue-
dan repercutir en el desarrollo del programa? En caso afirmativo, ¿se
toman las medidas oportunas para su resolución, sin que afecten al desa-
rrollo del programa?
47. Las relaciones con el alumnado, ¿se pueden calificar de cordiales o de
problemáticas?
48. ¿Se detecta algún conflicto entre los objetivos y planteamientos del pro-
grama con los del proyecto educativo o con los de otros profesores del
equipo o del centro?
49. ¿Están previstas las actuaciones para la resolución de estos problemas,
que, indirectamente, pueden afectar al desarrollo y eficacia del progra-
ma? Por ejemplo: ¿está previsto que la dirección de la organización inter-
venga en la resolución del conflicto , en caso de producirse?
50. ¿Se da concordancia entre la organización y disciplina del aula en que
se desarrolla el programa y el sistema organizativo y disciplinar del cen-
tro? ·
51. ¿Se da un clima de confianza en el éxito por parte de alumnos y profe-

sores?
52. ¿Se aprecia satisfacción en los responsables del programa, en sus desti-
natarios y en las demás partes implicadas e interesadas?
111. TERCER MOMENTO:

EVALUACIÓN FINAL DEL PROGRAMA
1. MEDIDA Y LOGROS
53. ¿Se recurre a técnicas variadas de recogida de datos, acordes con la

diversidad de los objetivos del programa?
54. ¿Se toman en consideración las diversas fuentes que pueden aportar
información relevante?
55. Las técnicas e instrumentos utilizados para decidir sobre la eficacia del
programa, ¿son ac;lecuados a las características de los contenidos/objeti-
vos que se desea evaluar?
56. ¿Se han tomado precauciones para asegurar la calidad técnica de las
pruebas con que se apreciarán los niveles de logro del programa? ¿Se ha
cuidado, fundamentalmente, su validez de contenido y la fiabilidad de
los registros?
57. ¿Se planificaron las pruebas, y demás instrumentos elaborados para la
recogida de datos, en el momento de disei1ar el programa, a fin de ase-
gurar la máxima coherencia con los objetivos?
58. ¿Se especificaron los criterios de calificación y de los niveles de logro del
programa?
59. ¿Se recoge información sobre el grado de satisfacción de las diferentes
partes interesadas con el programa, su implantación y desarrollo y con
sus resultados?
60. ¿Se trata de identificar posibles efectos no planeados, pero deseables
(efectividad)? ¿Y los efectos no planeados pero indeseables (tensiones
entre el profesorado, rechazos ... )?
61. ¿Hay indicios y datos sobre la eficiencia del programa? ¿Y sobre su impacto
en la organización y, si procede, en otros ámbitos próximos del contexto?
2. VALORACIÓN
62. ¿Se especificaron, de modo claro y preciso, los criterios y las referencias
para valorar los resultados?
63. ¿Se aplican los criterios y las referencias de conformidad con las previ-
siones y con las exigencias técnicas?
ANEXOS 533
64. Se dispone de información, rica y matizada, sobre los momentos inicial
y procesual del programa, como base para valorar los resultados?
65. ¿Se elabora el informe con la participación de las diferentes partes inte-
resadas e implicadas, con diferentes niveles de responsabilidad según las
funciones de cada uno?¿Están previstos, y se aplican, sistemas destinados
a resolver los problemas derivados de la información procedente de
fuentes productoras de datos diferentes y de técnicas diversas (integra-
ción de la información)?
66. ¿Se recogen en el informe los puntos fuertes y débiles del programa?
67. El informe, ¿logra el acuerdo, el consenso, de las partes interesadas? ¿Se
ha logrado la implicación del personal en las decisiones y, en particular,
en los planes de mejora? ¿Se da a conocer a todas las partes con interés
en el tema?
68. ¿Se elaboran planes de acción para reforzar los aspectos positivos y elimi-
nar los negativos?
69. ¿Responden los planes de mejora a la idea -concepto y requisitos- de
programa?
3. CONTINUIDAD
70. El estilo imperante entre los responsables del programa, ¿es participati-
vo y colaborativo, o directivo y autoritario?
71. ¿Existe un proceso institucionalizado de evaluación, de forma que los
resultados se plasmen en nuevos procesos programadores?
72. ¿Se asignan tareas concretas a los diferentes responsables de los cambios
a introducir?
73. ¿Se da un seguimiento sistemático de las acciones de mejora emprendi-
das a partir de la evaluación hasta darlas por concluidas?
IV. CUARTO MOMENTO:

INSTITUCIONALIZACIÓN DE LA EVALUACIÓN
74. En el caso de un programa cuya aplicación debe tener varias -incluso

muchas- ediciones sucesivas, ¿se aprecia un proceso sistemático y conti-
nuo en la secuencia evaluación Q mejora Q evaluación Q mejora?
ANEXO II
GLOSARIO
A continuación se recogen los conceptos fundamentales que aparecen

en la monografía. Con el glosario se trata de facilitar la consulta del lector
cuando en el contexto de la misma aparecen ciertos términos sin definir por
haber aparecido ya con anterioridad.
El símbolo * remite a ese concepto en el marco del Glosario.
ACTITUD
Según Allport, es un "Estado mental y neurológico de disposición, orga-

nizado a través de la experiencia, que ejerce un impulso dinámico y directi-
vo sobre la respuesta de un individuo a todos los objetos y situaciones con
los que se encuentra relacionado".
Al ser fruto de la experiencia, las actitudes pueden ser objeto de apren-
dizaje. Cuando están bien formadas, son estables e impulsan a la acción en
el sentido de las mismas.
ANÁLISIS DE CONTENlDO
Técnica para extraer información relevante a partir de documentos de

texto o de cualquier otro tipo de registro (de observación, de naturaleza
audiovisual, etc). El análisis puede aplicarse al contenido manifiesto o al
más profundo, conocido como latente.
Para Shapiro y Markoff consiste en una "reducción sistemática del flujo
del texto (u otros símbolos) a un cuerpo estándar de símbolos, manipulable
estadísticamente, tal que represente la presencia, la intensidad o la fre-
cuencia de ciertas características relevantes para la ciencia social".
Aunque para Berelson es una "técnica de investigación para la des-
cripción objetiva, sistemática y cuantitativa del contenido manifiesto de
una comunicación", su campo se ha ampliado hasta admitir el análisis del
nivel latente, más difícil de caracterizar y llevar a cabo, pero de aportacio-
nes más relevantes.
ANÁLISIS DE DATOS
En el ámbito de la investigación o de la evaluación, analizar viene a ser

un proceso de división de la información en diversas partes -dependiendo
de la naturaleza del trabajo- destinada a encontrar respuestas a las pregun-
tas que originan la investigación o a la elaboración de los juicios de valor en
que consiste la evaluación*. "Con el análisis -afirma Kerlinger- se busca
reducir los datos a una forma inteligible e interpretable, de tal forma que se
puedan estudiar y poner a prueba las relaciones de los problemas en inves-
tigación".
Puede definirse como un proceso sistemático destinado a identificar las
características de los datos recogidos en una investigación /evaluación así
como a contrastar las hipótesis* planteadas por el investigador. En su prime-
ra función, mediante un análisis descriptivo, se pueden conocer característi-
cas como el nivel o posición, la dispersión, la simetría o el apuntamiento de
la muestra objeto de estudio. Del mismo modo, se puede establecer la inde-
pendencia o la asociación* / correlación* de dos o más series de datos.
Mediante la segunda, el tratamiento de los datos permite rechazar o no
la hipótesis de nulidad* -H 0- aceptando o no en consecuencia la hipótesis
del investigador, con una determinada probabilidad de error en la decisión.
Al aplicar la prueba estadística* adecuada, el investigador fua de antemano
el margen de error que está dispuesto a aceptar al establecer el nivel de con-
fianza con el que desea trabajar, o su complementario: el nivel de significa-
ción estadística, simbolizado por a.
Una definición de esta naturaleza es muy comprensiva e incluye en su
campo toda la estadística, tanto descriptiva como inferencia!.
Pero el concepto va más allá, al poderse aplicar a datos de naturaleza
cualitativa. En .este contexto, el análisis de datos es, según Gil Flores, el
" .. .conjunto de manipulaciones, transformaciones, operaciones, reflexio-
nes y comprobaciones realizadas a partir de los datos con el fin de extraer
significado relevante en relación con el problema de investigación".
ARCHIVOS
La Real Academia Española define archivo como "Conjunto ordenado

de documentos que una persona, una sociedad, una institución, etc., pro-
ducen en el ejercicio de sus funciones o actividades".
Según el Centro Virtual Cervantes, los Archivos Estatales son "el fruto
de una historia cultural dilatada y de ímprobos esfuerzos de conservación
que se han venido desarrollando desde hace siglos".
Los archivos pueden ofrecer información valiosa para fundamentar
programas y para la valoración e interpretación de los resultados.
ANEXOS 537
AsüCIACIÓN
Grado de relación existente entre variables medidas nominalmente,

como sexo y clase social. Determinados coeficientes estadísticos miden el
grado de asociación entre tales variables.
BAREMO
"Regla" para interpretar las puntuaciones individuales en una prueba*.

La regla se construye aplicando tal prueba a una muestra* suficiente y
representativa de una determinada población*.
Las puntuaciones obtenidas por el grupo normativo permiten interpre-
tar las puntuaciones que, posteriormente, obtengan nuevos sujetos consi-
derados integrantes de la misma población.
Los baremos son instrumentos adecuados para una evaluación de refe-
rencia normativa*, en la que los stuetos son situados a lo largo de un conti-
nuo. Su campo específico de aplicación son las pruebas de aptitudes, pero
difícilmente resultan idóneos en el marco de la evaluación pedagógica, ya
que la acción del profesorado tiende a conseguir que todos los alumnos
alcancen los objetivos prefuados, por lo que la referencia preferible es la cri-
terial*.
CATEGORÍAS
Se denomina categoría a cada una de las clases en que se organiza una

determinada realidad: personas, profesiones, actividades, etapas de la vida,
obras literarias, competiciones deportivas, máquinas, juegos, etc.
Sistemas de categorías.
Son conjuntos de categorías previamente establecidas que permiten

explicar hechos, comportamientos, actividades, etc, o asignar información a
las mismas. Así, Aristóteles nos habla de diez nociones que bien podemos
considerar categorías: sustancia, cualidad, cantidad, relación, acción, pasión,
lugar, tiempo, situación y hábito.
En el caso de Kant, tales categorías son: cantidad, cualidad, relación y
modalidad.
En el texto se ha hecho mención de las categorías de Spranger sobre
formas de vida del ser humano: teórico, utilitario, estético, social, político y reli-
gioso. Por su parte, García Hoz propone las siguientes grandes motivaciones
del ser humano, en función de las cuales puede ser clasificada una perso-
na: Dinero, Fama, Poder, Placer, Actividad, Arte, Técnica, Saber, Valor Social y
Religión.
CATEGORIZACIÓN
La categorización consiste en agrupar bajo la misma categoría unidades

de análisis que hacen referencia al tópico de la categoría.
La categorización debe respetar determinadas reglas. Según Kerlinger,
tales reglas son:
Las categorías se establecen con base en el problema y propósito de

la investigación.
Las categorías son exhaustivas.
Las categorías son mutuamente excluyentes e independientes.
Cada categoría (variable) se deriva de un principio de clasificación.
Todo esquema de categorización debe estar en un solo nivel de dis-
curso.
CODIFICACIÓN
El proceso de codificación consiste en la asignación a cada unidad del

código de la categoría* correspondiente. A través de la codificación se asig-
nan "etiquetas" a las unidades analizadas. Estos códigos pueden ser núme-
ros -el mismo núm ero a toda unidad situada en una categoría- o abrevia-
turas de palabras.
CONTROL
Exigencia fundamental de la metodología experimental*. Cuando se

cumple se puede establecer una relación causal entre la variable indepen-
diente* (en nuestro caso, el programa), y la variable dependiente* (en
nuestro caso, los efectos o resultados del programa).
El logro del control, tanto en el momento de diseñar la evaluación
como en todo su d esarrollo, permite hablar de validez interna*, contra la que
atentan una serie de variables extrañas*, identificadas por Campbell y
Stanley, entre ellas la historia, la maduración, la regresión estadística, la mortali-
dad experimental. ..
El control forma parte de un principio fundamental de la metodolo-
gía experimental*, formulado por Kerlinger como MAX-MJN-CON
(Control).
CRITERIOS Y REFERENCIAS
La evaluación consiste, en esencia, en la valoración de la información.

La valoración implica la aplicación de criterios y de referencias.
ANEXOS 539
Criterios
Entendemos por criterio la norma o regla de que se vale el evaluador

para atribuir valor a la realidad evaluada, para juzgar sobre su mérito o
valor.
Generalmente, el criterio se concreta en las cualidades de la informa-
ción recogida que son objeto de valoración por el evaluador. Una misma
realidad, una misma información , puede ser valorada desde diferentes enfo-
ques: su exactitud, rapidez, claridad, precisión, cantidad, riqueza de fixico, correc-
ción, brevedad, originalidad... Todos estos términos son expresión de criterios
a aplicar que, obviamente, deben ser públicos y conocidos previamente por
quienes aplican y reciben el programa*.
Referencias
La referencia permite una valoración global del objeto evaluado (el

aprendizaje de los alumnos, un programa, un centro educativo, los mate-
riales didácticos ... ) al ponerlo en relación con algo que se toma como
patrón.
Los patrones de referencia habituales son: lo alcanzado por un grupo
representativo en esa misma realidad-referencia normativa, que utiliza bare-
mos*-; los niveles prefuados como meta de eficacia -referencia criterial-y lo
alcanzado por esa entidad evaluada en momentos o ediciones anteriores
-referencia personalizada o idiosincrática.
Esta última referencia es especialmente adecuada para valorar los resul-
tados del aprendizaje en las etapas obligatorias, tomando en consideración
las posibilidades y los condicionamientos del aprendiz, o de la aplicación de
un programa*, poniéndolo en relación con lo conseguido en ediciones
anteriores, de forma que se pueda apreciar avances, progreso, mejora en
definitiva.
CORREl.ACIÓN
Covariación o variación conjunta de dos o más series de datos medi-

dos como mínimo a nivel de escala de intervalos, si bien es habitual apli-
carlo a las medidas ordinalmente cuando el número de rangos es eleva-
do y el instrumento se ha construido con rigor. La magnitud y sentido de
la correlación se expresa mediante el coeficiente de correlación - simboliza-
da por r, - siendo sus valores extremos 1 y-1 (correlación perfecta, posi-
tiva y negativa respectivamente). El valor O indica ausencia de relación
siendo interpretado como la independencia de las variables de que se
trate.
CUESTIONARIO
Instrumento para la recogida de información, organizado en forma de

preguntas, que se utiliza en la evaluación mediante el sistema de encuesta*.
Resulta especialmente apto para ser aplicado a muestras* amplias y dis-
persas, sobre todo cuando está integrado por un amplio elenco de pregun-
tas con respuestas previstas (cerradas) entre las que el encuestado debe
seleccionar y marcar la suya.
Es frecuente que, además de las respuestas propuestas, se dé a los
encuestados libertad para completar sus ideas con respuestas libres de
extensión limitada.
Los cuestionarios suelen enviarse por correo, aunque actualmente tie-
nen en internet una alternativa ágil y rápida. Cabe también una aplicación
mediante entrevistadores a domicilio.
DATOS
Dato es la información recogida, de forma sistemática y planificada,

para dar la respuesta a las preguntas en que se concreta un problema de
investigación o para la emisión de juicios sobre el valor o el mérito del pro-
grama*, en el caso de la evaluación*.
El dato no es algo "dado" sino construido por el investigador o evalua-
dor; según lbáñez, " ... en vez de hablar de 'data' habría que hablar de
'capta', pues los dispositivos de captura no sólo seleccionan sino que tam-
bién conforman -transformándolo para informar de ello- lo que captan ... "
Entre las modalidades de recogida de información / datos, podemos
señalar su identificación y extracción a partir de materiales disponibles -tex-
tuales o no-, la pregunta a quienes poseen la información, la observación*
de comportamientos relevantes en situaciones idóneas o el ·sometimiento a
prueba* a los destinatarios del programa.
Datos cualitativos
Algunos autores los definen en forma negativa. Así, Tesch los caracteri-
za como aquellos "que no son cuantitativos, es decir: datos cualitativos son
todos los que no pueden ser expresados con números".
Una característica fundamental de lo denominado "dato" en la investi-
gación cualitativa* es su enorme diversidad y complejidad. Por ello, enten-
deremos como "dato" el conjunto de informaciones en que se concretan las
interacciones entre los sujetos y entre estos y el evaluador, así como las rela-
tivas a los propios contextos en que la información se produce y a las mis-
mas circunstancias en que se origina.
La idea del dato como "capta" en lugar de como "data" queda reflejada
ANEXOS 541
en Taylor y Bogdan cuando afirman que los investigadores "toman decisio-

nes sobre lo que deben observar, preguntar y registrar, decisiones que deter-
minan lo que pueden describir y el modo en que lo describen"
Datos cuantitativos
Se trata de la información relevante para el problema de investigación

o para la evaluación del programa*, traducida a números mediante alguna
regla de medida.
De las exigencias de la unidad de medida y de la regla de medida
depende la calidad de los datos, traducida en los diversos niveles* o escalas
que , según Stevens, son cuatro: nominal, ordinal, de intervalos y de razones
o cocientes.
Tratamiento de datos
Entendemos por tratamiento de los datos las diversas operaciones reali-

zadas en el proceso d e análisis* de los mismos.
Las operaciones fundamentales en el ámbito de los datos cuantitativos
son las de ordenación, reducción y representación, conformando lo que se cono-
ce como análisis exploratorio de datos. Unas y otras operaciones pueden lle-
varse a cabo con una sola variable, con dos o con más de dos, dando lugar
a la denominada investigación multivariable o multivariada.
El tratamiento de los datos tiene en la inferencia estadística*, mediante
la teoría de la probabilidad , su meta más elevada, al permitir el contraste
estadístico de hipótesis.
En el caso de datos cualitativos, tales operaciones son las de reducción (sepa-
ración de unidades, identificación y clasificación y agrupamiento), presentación
(transformación y presentación) y obtención y verificación de conclusiones.
DECISIONES (TOMA DE)
En el ámbito pedagógico, cuya esencia es la mejora de la persona y, por

y para ello, del conjunto de actuaciones sistemáticas y organizadas a su ser-
vicio, la evaluación* no tiene sentido en sí misma: de nada sirve el puro jui-
cio de valor sobre la realidad evaluada.
El acto evaluador, y su concreción en el juicio de valor, cobra todo su
sentido en la toma de decisiones destinadas a la mejora de la realidad evalua-
da, en nuestro caso del programa.
Las decisiones pueden ser sumativas (se aplica o no el programa; se inte-
rrumpe o no el programa; se mantiene o no el programa) ; sin embargo, las
verdaderamente pedagógicas son formativas, ya que permiten la mejora de
la realidad evaluada -y de todo cuanto esté relacionado con ella- tan pron-
to como sea posible, actuando incluso preventivamente, sin esperar a que
tal realidad se lleve a cabo sin las debidas garantías.
Dado que las decisiones suelen ser complejas, que su puesta en marcha
e implementación puede alargarse en el tiempo y que sus efectos positivos
no están asegurados, es conveniente acudir a su seguimiento, lo que hace
de tales decisiones un verdadero programa dentro del programa. En esta
línea, hemos abogado por la institucionalización de la evaluación.
DELPHI
Delphi es una técnica de recogida de información, tanto para la inves-

tigación como para la evaluación*, mediante la consulta a expertos, espe-
cialmente adecuada para aquellos casos en que la información disponible
no es abundante ni reconocida como especialmente relevante. Del mismo
modo, se aplica de modo especial en los estudios de prospectiva, lo que la
hace adecuada a la evaluación de necesidades* para detectar las expectati-
vas de los sujetos y grupos o para adelantarse a futuras necesidades.
Para Linstone y Turoff , "El Delphi puede ser caracterizado como un
método para estructurar el proceso de comunicación grupal, de modo que
ésta sea efectiva para permitir a un grupo de individuos, como un todo, tra-
tar con problemas complejos".
El desarrollo de Delphi, según Helmer y Rescher se concreta en un
"programa cuidadosamente elaborado, que sigue una secuencia de interro-
gaciones individuales a través de cuestionarios, de los cuales se obtiene la
información que constituirá la retroalimentación para los cuestionarios
siguientes".
DEMING (CICLO DE) PDCA
Entre las herramientas sistemáticas puestas al servicio de la mejora se

encuentra el ciclo de Deming, conocido por sus iniciales en inglés: PDCA
Actuar Planificar
Comprobar Hacer, actuar

ANEXOS 543
Planear o planificar; hacer (do) o llevar a la práctica el plan elaborado;

·verificar (check), confrontar los resultados con las previsiones derivadas de
las hipótesis* , previsiones que dieron lugar al plan; y actuar ( act), que con-
duce o bien a consolidar la forma de hacer o bien a proceder a un nuevo
ciclo.
Sobre el valor de esta herramienta, Masayoshi Ozawa, de la Nec Corpora-
tion, afirma: "nada en este mundo es imposible si el proceso PDCA se aplica
sistemáticamente".
DIFERENCIAL SEMÁNTICO
Entre las técnicas para la recogida de información se encuentran las

escalas *. El diferencial semántico es un tipo de escala, debido a Osgood,
Suci y Tannenbaum, cuyo objeto es medir el significado de un objeto para
los individuos consultados.
La técnica consiste en la presentación de una serie de adjetivos bipola-
res, entre los cuales los sujetos deben marcar su posición, que admite gra-
dos -por lo general no más de siete- en relación con tres dimensiones de
la actitud*: la evaluación, la potencia y la actividad.
DISEÑO
Se suele entender por diseño el plan general de una investigación o de

una evaluación*. En cuanto plan es algo que se realiza por anticipado y en
el que se prevén las actuaciones a seguir para alcanzar sus metas.
Por ello, Kerlinger define el diseño como "el plan, la estructura y la
estrategia de una investigación , cuyo objetivo es dar respuesta a ciertas pre-
guntas y controlar la varianza".
Lo esencial del diseño es su carácter planificado y su naturaleza de guía
de las actuaciones a seguir, lo que le confiere el debido rigor y sistematici-
dad.
Control* de la varianza*
La asignación de los efectos medidos en la variable* dependiente* a la

variable independiente* exige el control de la varianza*. La varianza total*
de las puntuaciones, cuando se da tal control*, puede dividirse en varianza
entre grupos -el que recibe y el que no recibe el programa, o el que recibe el
programa experimental y el que recibe el programa con el que se contras-
ta- considerada como el fruto de la variable independiente, y varianza den-
tro de los grupos, variaciones que se dan dentro de cada grupo y que, por
tanto, no son atribuibles a la variable independiente. Si aquella es muy ele-
vada y esta es muy pequeña -recordemos el principio MAX-MIN-CON- la
prueba estadística* puede ponernos ante una magnitud de la varianza* cuya

probabilidad de que ocurra por azar es muy reducida, por lo que el investi-
gador se siente legitimado para rechazar la hipótesis de nulidad (H 0 )* y, por
ello, para aceptar la suya: el programa ha sido eficaz.
Diseño experimental
Dentro del marco de la idea general de diseño, cabe hablar del diseño
experimental, el potencialmente más útil por sus aportaciones, pero -por lo
mismo- el más exigente y difícil de llevar a la práctica.
La aportación fundamental del diseño experimental es el estableci-
miento de relaciones causales entre una variable independiente* -en nues-
tro caso el programa-y una dependiente*, que, en nuestra situación serían
sus efectos o resultados.
Tal relación causal exige el cumplimiento del principio de Kerlinger
conocido como MAX-MIN-CON, en particular, y en este punto, del CON, o
control de la varianza* de las variables extrañas*, convertidas en hipótesis
rivales a la del investigador. Cuando se da el CON -control- el diseño tiene
validez interna*.
Diseño cuasi experimental
El diseño experimental es, muy probablemente, una meta no alcanza-

ble en el ámbito de la investigación* educativa y menos en el de la evalua-
ción de programas*.
El control de las variables extrañas* es muy difícil de alcanzar si no se
pueden asignar sujetos y tratamientos al azar y si la variable independiente*
actúa en contextos naturales y, por lo mismo, no controlables, en los que las
hipótesis alternativas son razonables.
En tales casos, parece deseable acercarse cuanto sea posible a la investi-
gación experimental, aunque no se llegue a ella, con diseños como los reco-
gidos en el capítulo correspondiente de la monografía, entre otros el de
grufJo de control no equivalente.
a) Diseños de grupo de control no equivalente
Se trata de un diseño cuasiexperimental -la asignación de sujetos y tra-

tamientos no es al azar- pero el investigador/ evaluador dispone de medi-
das previas en ambos grupos o mide a ambos en variables que se consideran
relevantes para el programa (covariables). Una vez aplicada la variable
independiente a uno de los grupos, el experimental, ambos vuelven a ser
medidos en lo que se consideran efectos de la variable independiente*.
ANEXOS 545
Ante la posibilidad de que los efectos medidos en la variable depen-

diente* no se deban sólo a ella sino a posibles diferencias iniciales -fruto de
la asignación no aleatoria- la comparación final no se lleva a cabo entre las
medias aritméticas de ambos grupos sino entre tales medias ajustadas a las
diferencias existentes en la covariable.
b) Diseños de series cronológi,cas
Los sujetos son asignados al grupo experimental -programa*- y al de

control en función de su comportamiento en una serie de medidas previas
a la introducción del programa. Estas medidas permiten establecer la pun-
tuación de corte para llevar a cabo tal asignación.
Se denominan también de discontinuidad en la regresión. En efecto: si el pro-
grama fue eficaz, se apreciará un cambio en la recta de regresión. Si no fuera
así, la recta mantendría las mismas características que en las medidas previas.
c) N = 1
Se trata de un diseño de caso único -sea un sujeto, sea un grupo- que

se toma como control de sí mismo. Algunos autores lo identifican con los de
series cronológicas o de series temporales.
Lo esencial de este tipo de diseños es la existencia de una línea de base,
esto es, de un conjunto de medidas previas a la introducción de la variable
independiente -en nuestro caso el programa- y la nueva toma de medidas
una vez ha actuado tal variable.
Los cambios en el nivel y en la pendiente de tal línea de base se toman
como manifestación de la acción del programa o variable independiente. La
estabilidad de la línea de base facilita la interpretación de los cambios pos-
teriores, al igual que el mantenimiento de tales cambios una vez concluida
la aplicación del programa.
DOCUMENTO
El Diccionario de la RAE nos ofrece varias acepciones:
• Diploma, carta, relación u otro escrito que ilustra acerca de algún

hecho, principalmente de los históricos.
• Escrito en que constan datos fidedignos o susceptibles de ser emple-
ados como tales para probar algo.
En evaluación de programas* los documentos son fuentes disponibles de

datos. Al investigador / evaluador le corresponde identificarlos, localizarlos
546 EVALUACIÓN DE PROGRAMAS EDUCATrYOS
y utilizar las técnicas adecuadas -análisis de contenido*- para la extracción de

la información.
Debe cuidarse que tal información sea adecuada y relevante para los
intereses y objetivos del evaluador, pues no toda información es, por sí, dato.
EDUCACIÓN
Actuación sistemática e intencional al servicio de la formación de la per-

sona, encaminada a hacerla dueña de sus actos, esto es, a hacer de ella un
ser autónomo, capaz de darse libremente un proyecto personal de vida, de
tomar decisiones libres y de llevar adelante tal proyecto personal, acercán-
dose al ideal de la unidad de vida: obrar de acuerdo con lo que la inteligen-
cia nos propone como bueno y que es apreciado como tal por nuestra
dimensión afectiva.
Calidad de la educación
Aquella educación que hace al ser humano dueño de sus actos asu-
miendo como propios los valores que reconocen la dignidad de la persona,
de todas las personas, de cada persona, y los lleva a la práctica, capacitán-
dose , además, para dar la debida respuesta a las necesidades* y demandas
sociales del tiempo que le ha tocado vivir. En definitiva: una educación de
tipo personalizado y capaz de responder al principio de pertinencia* for-
mulado por UNESCO.
ENCUESTA (MÉTODO DE)
El método general de encuesta es una de las técnicas más utilizadas para

recoger información tanto en el caso de investigaciones descriptivas y corre-
lacionales como en la evaluación, sea de programas, de materiales, de cen-
tros educativos e incluso del sistema educativo.
En esencia, la encuesta es un sistema de preguntas destinadas a aquellas
personas que disponen de la información que necesita el investigador o el
evaluador.
Admite dos modalidades básicas: el cuestionario* y la entrevista*. Tanto
una como otra modalidad presentan formas diferentes en función del tipo
de interacción entre el encuestador y el encuestado y de la tipología de las
preguntas y de las respuestas previstas.
ANEXOS 547
ENTREVISTA
Modalidad de la técnica general de encuesta* destinada a recoger la infor-

mación que necesita el investigador/ evaluador por medio de preguntas.
En la entrevista se da una relación directa y personal entre el entrevis-
tador/ evaluador y el entrevistado.
La entrevista puede consistir simplemente en la formulación de las pre-
guntas del cuestionario*, marcando el entrevistador las respuestas, o en la for-
mulación de una serie de preguntas dejando al entrevistado amplia libertad
para manifestar su pensamiento sin limitaciones de espacio o de tiempo.
El registro de la información en el caso de una entrevista abierta es una
cuestión fundamental, a fin de evitar la pérdida de información y, todavía
más, la pérdida se/,ectiva de la misma, incurriendo así en sesgos que atentan
contra su validez.
Es CALAS
La escala es un instrumento para la recogida de información, bien
mediante el registro de lo observado por el investigador/ evaluador/ obser-
vador, bien mediante la respuesta dada por la persona a la que se aplica,
emitiendo así un autoinforme sobre su forma de pensar, sentir o valorar.
En el caso de la observación*, el observador anota en el instrumento en
que se concreta la escala su valoración sobre los aspectos que le interesan,
tales como la intensidad, frecuencia, persistencia, ritmo, latencia, dura-
ción , ... de la realidad a observar. Por ejemplo, en el caso de las actitudes
hacia los inmigrantes, puede interesar la intensidad con que se den actitu-
des positivas o negativas en diferentes campos o ámbitos de relaciones con
niños de otras culturas. En estos casos, nos encontramos ante escalas de
observación o de valoración.
Para la evaluación de actitudes* y valores* se han ideado una serie de
escalas que permiten situar a los sujetos a lo largo de un continuo. Se trata
de escalas muy elaboradas y que presentan tres modalidades fundamentales:
Escalas tipo Thurstone, que pretenden formar un continuo con inter-
valos de apariencia igual, mediante la determinación de los valores escalares*
de los diferentes enunciados que definen el campo completo de la actitud.
Para la determinación de estos valores se acude a jueces.
Las escalas aditivas, que siguen el modelo Likert. Se trata de enuncia-
dos, en relación con los cuales la persona que responde marca, para cada
uno de ellos, su valoración en una escala, por lo general de cinco rangos,
desde el acuerdo total al desacuerdo total. La puntuación total de la perso-
na es la suma de las obtenidas en los diferentes ítems de la escala.
Las escalas tipo Guttman son acumulativas. Pretenden apreciar la posi-
ción de una persona a lo largo de un continuo unidimensional. Por tanto,
la elección de uno de los ítems debe suponer, si está bien construida, el
acuerdo con todos los que le preceden.
ESTADÍSTICA
La Estadística es una ciencia, rama de la Matemática, que estudia los

fenómenos aleatorios y la teoría de la probabilidad. Como toda ciencia tiene
entre sus metas las de descripción, el análisis y la predicción .
Sus dos tareas fundamentales son las de caracterizar un conjunto de
datos mediante unos valores denominados estadísticos, y la de establecer infe-
rencias a partir de tales valores para generalizarlos a toda la población (pará-
metros).
En el primer caso estamos ante la estadística descriptiva, siendo los esta-
dísticos más comúnmente utilizados las denominadas medidas de posición,
de variabilidad, de simetría y de apuntamiento. En el caso de trabajar con
más de una variable, esta modalidad de la estadística obtiene índices de aso-
ciación *y coeficientes de correlación*.
El salto de los valores muestrales a la población se realiza sobre la base
de la probabilidad de los fenómenos, lo que exige conocer cómo se distribu-
yen los estadísticos para calcular sus probabilidades de ocurrencia. Este tipo
de Estadística se conoce como muestra[ o inferencial, dado que realiza infe-
rencias de los valores muestrales a los poblacionales.
Un campo de especial relevancia es el de las pruebas estadísticas *,
m ed iante las cual es se pueden someter a contraste las hipótesis del investi-
gador. Según sean las exigencias de las pruebas para proceder a su aplica-
ción, se dispon e de las denominadas no paramétricas -menos exigentes- y
de las paramétricas, más exigentes en cuanto a los requisitos para su aplica-
ción y, como consecuencia, con mayor potencia, esto es, con mayor capaci-
dad para rechazar la hipótesis de nulidad*.
ESTADÍSTICAS
Cuando se utiliza el término en plural viene a significar, según el dic-

cionario de términos estadísticos debido a Kendall y Bukland, "datos numé-
ricos relativos a un conjunto de individuos".
Las sociedades avanzadas elaboran conjuntos de datos, recogidos de
forma sistemática y organizada, con determinada periodicidad, que pueden
ser tomados en consideración en la evaluación de programas. Entre ellos,
los relativos a la natalidad, morbilidad y mortalidad, a los alumnos matricu-
lados, al paro, al consumo, a la incidencia de determinadas enfermedades,
al fracaso escolar, a los alumnos que siguen un ritmo regular o que llevan
retraso de varios años, a los que abandonan sus estudios ...
ESTÁNDARES (DE LA EVALUACIÓN DE PROGRAMAS)
Ante las dificultades técnicas de la evaluación de programas*, y sus nota-

bles implicaciones y consecuencias en el caso de evaluaciones de programas
ANEXOS 549
de relevancia social, se han ideado unos estándares de calidad de las eva-

luaciones.
El Joint Committee publicó en 1994 The Program Evaluation Standards,
concebidos como una herramienta útil tanto para los evaluadores como
para los usuarios de los programas, a fin de que sean capaces de valorar las
evaluaciones a las que puedan acceder.
Para el Joint Committee un estándar es un principio acordado por las
personas comprometidas en una práctica profesional destinado a mejorar la
calidad de la misma. Consideran que los estándares "proporcionan una guía
para evaluar los programas de educación y formación, proyectos y materia-
les".
Los estándares son 30 y se organizan en torno a cuatro grandes crite-
rios:
• Utilidad, con siete normas

• Viabilidad, integrado por tres normas
• Honradez o propiedad, con ocho normas
• Precisión, formado por un total de doce normas
EVALUACIÓN
Para el autor, "la evaluación pedagógica es la valoración, a partir de cri-

terios y de referencias preespecificadas, de la información técnicamente
diseñada y sistemáticamente recogida y organizada, sobre cuantos factores
relevantes integran los procesos educativos para facilitar la toma de decisio-
nes de mejora".
La concepción del autor se concreta en los tres adjetivos aplicados a la
evaluación: integral, dando a entender que debe darse plena relación entre
los objetivos educativos y el contenido de la evaluación, evitando sesgos y
reduccionismos; integrada, o lo que es lo mismo: haciendo de la evaluación
un componente más, armónicamente incorporado al programa, e integrado-
ra, de forma que sea la evaluación un elemento dinamizador de la mejora,
no sólo del programa sino del alumnado, del profesorado y de cuantos ele-
mentos contribuyen al logro de los objetivos educativos. Una caracteriza-
ción tal tiene como base la ampliación de las tradicionales funciones suma-
tivas, de control y administrativas, con la incorporación de la función for-
mativa o para la mejora.
La evaluación de programas
Esta concepción amplía los momentos de la evaluación, los sujetos eva-

luadores y los objetos a evaluar, dando cobertura a la evaluación de progra-
mas, de centros educativos y del propio sistema.
La evaluación de programas es definida por el autor como el "proce-

so sistemático, diseñado intencional y técnicamente, de recogida de infor-
mación rigurosa -valiosa, válida y fiable- orientado a valorar la calidad y
los logros de un programa, como base para la toma de decisiones de mejo-
ra tanto del programa como del personal implicado y, de modo indirecto,
del cuerpo social en que se encuentra inmerso".
Componentes
El concepto de evaluación incorpora tres componentes básicos: la infor-

mación, que debe ser coherente con la naturaleza de los objetivos; la valora-
ción, que se concreta en la aplicación de criterios y de referencias, y la torna de
decisiones de mejora. Como elemento previo, decisivo para establecer la cali-
dad de la evaluación, es necesario contar con los objetivos del programa, bien
formulados y conocidos previamente por las partes implicadas. Como ele-
mento posterior, esencial en una evaluación pedagógica, orientada por
tanto a la mejora, se debe incorporar el seguimiento de las decisiones, a fin
de asegurar que se da el efecto de mejora para el que se ltiseñaron.
Etapas o momentos
En el caso de la evaluación de programas, se suelen distinguir tres gran-

des etapas o momentos si se trata de evaluaciones únicas de un programa,
por lo general evaluaciones externas y llevadas a cabo por expertos: la ini-
cial, centrada en la calidad del programa en cuanto tal; la procesual, con-
cretada en el proceso y desarrollo del programa -implantación e imple-
mentación- y la final , orientada a la determinación de su eficacia. Si la eva-
luación es sumativa, puede concluir en la no aplicación del programa, en su
interrupción o en su retirada una vez concluida.
En el caso de programas estables, aplicados en ediciones sucesivas, tales
etapas son adecuadas para la primera evaluación, siendo conveniente proce-
der a institucionaliulción en línea con nuestra idea de evaluación integrada.
Obviamente, en tales casos la función fundamental es de carácter formativo,
permitiendo la mejora del programa tanto antes de su aplicación -evaluación
inicial, preventiva- como durante la misma -evaluación procesual o continua-
y, desde luego, final, identificando sus puntos fuertes y las debilidades del
mismo, para ser atendidas antes de su aplicación en una nueva edición.
Información
La base de toda evaluación es la información recogida, los datos, cuya

cualidad fundamental es la de su coherencia con los objetivos del programa
y de la propia evaluación.
ANEXOS 551
Para la recogida de información, base de toda evaluación, se debe recu-
rrir a una gran variedad de fuentes productoras y a una notable diversidad
de técnicas, desde la observación* del desarrollo del programa a las prue-
bas* para decidir sobre su eficacia, pasando por la consulta, sea a expertos
-Delphi*- o a cualquier usuario o parte interesada -encuestas*: entrevistas*
y cuestionarios*- o por el recurso a la información disponible.
Valoración
La valoración de la información recogida consiste en la aplicación de

criterios* y de referencias* preespecificados.
Los criterios fundamentales en la evaluación de programas suelen ser los
de pertinencia*, evaluabilidad, suficiencia, viabilidad, adecuación, eficiencia, efi-
cacia, efectividad. En cuanto a las referencias, es preciso hablar de la normati-
va*, la criterial* y la idiosincrática *.
Decisiones
El verdadero sentido de la evaluación pedagógica es la toma de decisiones*

de mejora, pues es en ellas en las que se concreta la acción educativa.
Modelos
Podernos considerar "modelo" a propuestas evaluativas concretas, orga-

nizadas y articuladas de forma coherente.
Entre los modelos más conocidos, el de Tyler, orientado a valorar y deci-
dir sobre la eficacia de los programas; los de Stake -modelo de la figura y
evaluación respondiente- que cornplejizan la evaluación en relación con la
sencillez de Tyler; el de Scriven, caracterizado por su preocupación por la
evaluación de los propios objetivos y por su aportación en relación con la
evaluación formativa; o el de Stufflebearn y Shinkfield, conocido corno CIPP
por las iniciales de sus cuatro grandes componentes (contexto, input, pro-
ceso, producto, cruzados con objetivos, métodos y relación con la torna de
decisiones).
Rompiendo la lógica de los anteriores, la denominada evaluación cuali-
tativa, conocida corno iluminativa, debida fundamentalmente a Parlett y
Harnilton, que se muestran muy críticos con los modelos anteriores por con-
siderarlos inadecuados para poner de manifiesto la complejidad de los fenó-
menos evaluados.
Cabe reseñar, también, la denominada evaluación democrática, debida
a McDonald, en el marco de su método holístico, según el cual el evaluador
"debe aceptar corno potencialmente relevantes todos los datos relativos al
programa y sus contextos", en lugar de partir de ideas y planteamientos pre-

determinados.
Frente al paradigma* cuantitativo o positivista, ellos muestran sus pre-
ferencias por su opuesto, generalmente conocido como cualitativo, natura-
lista o interpretativo. Este tipo de evaluación implica novedades en lo rela-
tivo a la metodología, derivadas de supuestos y conceptos en relación con
dos aspectos básicos: el sistema de enseñanza y el medio de ctprendizaje.
La evaluación según este "modelo" trata de desentrañar la realidad ,
comprenderla en toda su complejidad y explicarla a la luz de los principios
que subyacen a la organización, orientando su enfoque hacia la toma de
decisiones.
EVALUACIÓN DE NECESIDADES
Los programas* deben responder a necesidades* de los sujetos a los

que van destinados. Su detección, identificación y evaluación debe conver-
tirse en la base sobre la que diseñar el programa. La coherencia entre los
resultados de esta evaluación y el programa diseñado es un indicador de la
calidad de éste.
En algunas propuestas, la evaluación de necesidades se considera un
elemento con sentido propio, fuera del marco general de evaluación del
programa. En otras, es una primera etapa del mismo.
FIABILIDAD
Junto a la validez*, es la cualidad esencial que deben reunir los instru-

mentos de recogida de información / datos*.
Por lo general, la fiabilidad se determina mediante el coeficiente de fiabili-
dad, un coeficiente de correlación* que indica el grado de relación entre dos
series de datos, sean estos las puntuaciones obtenidas en la prueba por el
mismo grupo en dos ocasiones diferentes -coeficiente de estabilidad-, en las
dos partes equivalentes en que se divide la prueba -coeficiente de consisten-
cia interna- o en dos pruebas equivalentes -coeficiente de equivalencia.
HIPÓTESIS
Se entiende por hipótesis una conjetura anticipada de la relación entre

variables. En el caso de la investigación experimental, la fórmula más exi-
gente es la de "si .... entonces ... ". Su contraste, a fin de poderla mantener,
exige el control de hipótesis alternativas -variables extrañas*- y la aplica-
ción de pruebas que permitan asignar los efectos, con ciertos niveles exi-
gentes de probabilidad, a la variable independiente* -en nuestro caso al
programa*- en lugar del azar.
ANEXOS 553
Hipótesis de nulidad (H0 )
En el caso de la investigación experimental es la hipótesis que debe

poder rechazar el investigador para poder mantener la propia. H 0 se deno-
mina "de nulidad o nula" porque suele expresarse en el sentido de no exis-
tencia de diferencias o de que tales diferencias no van más allá de las expli-
cables como fruto del efecto del azar o de la casualidad.
INDICADORES
Para De Miguel, indicador es "todo dato empírico -ya sea cuantitativo o

cualitativo- recogido de forma sistemática, e n relación con unas metas o pro-
cesos, que permite estimar la productividad y/ o la funcionalidad del sistema."
Gil Traver los define como "unidad de información , consensuada entre los
distintos implicados, y contextualizada, sobre un aspecto del sistema educativo,
susceptible de operativizarse en variables y asociado a uno de los momentos del
proceso de producción (Contexto-Entrada-Proceso- Producto)".
Entre los sistemas de indicadores conviene reseñar INES (Proyecto
Internacional de Indicadores de la Educación), PISA (Programme far International
Student Assessment) y el Sistema Estatal de Indicadores de la Educación, elabora-
do en.nuestro país por el INCE / INECSE.
INFORME DE EVALUACIÓN
Se entiende por Informe un documento técnico elaborado por el eva-

luador, destinado a ofrecer información sobre el programa a sus responsa-
bles y a las demás partes afectadas e interesadas.
Los Informes deben poseer ciertas cualidades; las técnicas, concretadas en
su carácter de completos, accesibles y objetivos, y las éticas, resumibles en el
aseguramiento de la integridad de la información y en el respeto del dere-
cho a la misma de las diferentes partes implicadas e interesadas.
INVESTIGACIÓN
Para Selltiz y cols., "investigar es buscar de nuevo, echar otra mirada

más cuidadosa para averiguar más. Echamos otra mirada porque puede
haber algo erróneo en lo que ya sabemos" [ ... ]
"La actitud investigadora presupone que la primera mirada -y las pos-
teriores- pueden ser propensas a error, y por ello tenemos que mirar una y
otra vez, de forma diferente y completa cada vez".
La investigación va indefectiblemente unida al método. En el caso de la
investigación científica el método es el denominado científico. Para
Bunge" ... la peculiaridad de la ciencia tiene que consistir en el modo con
que opera para alcanzar algún objetivo determinado, o sea, en el método

científico, y en la finalidad para la cual se aplica dicho método''.
La polémica existente entre quienes defienden que el método científi-
co es el único propio de la Ciencia y de quienes mantienen que la especifi-
cidad de los ámbitos del saber exigen métodos también específicos, ha dado
lugar a la polémica sobre los paradig;mas*.
Así, Kuhn mantiene que "lo que distingue a las ciencias sociales de las natu-
rales es la ausencia misma de un paradigma dominante único", por lo que las
ciencias sociales serían "preparadigmáticas" en su desarrollo. Pero Shulman
llega a mantener que "es mucho más posible que para las ciencias sociales y de
la educación la coexistencia de escuelas divergentes de pensamiento sea un esta-
do natural y bastante maduro".
ÍTEM
Cada uno de los elementos que integran un instrumento para Ja reco-

gida de información. Habitualmente se aplica a los elementos que compo-
nen las pruebas objetivas y los tests de rendimiento.
LISTAS
Instrumentos para el registro de información obtenida mediante obser-

vación, participante o no .
El observador tiene ante sí una se1ie de elementos que definen el rasgo o
característica objeto de observación*; su tarea, tras un proceso planificado y sis-
temático de observación -momentos, lugares, situaciones, duración- consiste
en registrar si tales aspectos se dan o no en la persona objeto de observación.
MEDIDA
Una de las definiciones más conocidas es la de comparar una cantidad

con una unidad de la misma naturaleza. En el ámbito educativo, son pocas
las situaciones en que tal definición es aplicable y, cuando lo es, suele refe-
rirse a realidades poco relevantes en términos pedagógicos.
Por ello suele utilizarse una definición mucho más amplia, como la
dada por Stevens: asignar numerales -números o letras- a objetos o hechos
de acuerdo con ciertas reglas.
Nivel.es y escalas de medida
Cuando se aplican tales reglas a una realidad concreta, estamos ante

una variable medida a un determinado nivel, más o menos exigente, lo que
permite realizar con tales números ciertas operaciones y no otras.
ANEXOS 555
De este modo nos encontramos ante diferentes niveles o escalas de medi-
da: nominal, ordinal, de intervalo y de razón o cociente.
En las primeras se da un número a todo lo que es igual y otro diferente
a lo que es distinto. El número no indica cantidad sino igualdad o diferen-
cia. En las ordinales, el número indica rango u orden, pero las diferencias
entre tales rangos no son constantes.
En el caso de variables medidas a nivel de intervalos, las diferencias
entre valores consecutivos son constantes. Con este tipo de variables se pue-
den realizar las operaciones de suma y resta, y las de multiplicación y divi-
sión entre las diferencias de los números así asignados, pero no la multipli-
cación y división con tales números.
Por último, el nivel de cociente o de razón implica no sólo intervalos de
igual distancia sino cero absoluto, lo que permite la realización de todo tipo
de operaciones con los números atribuidos.
MÉTODO, METODOLOGÍA
Método es el procedimiento, ordenado y sistemático, orientado al des-

cubrimiento de la verdad y a su enseñanza.
En la monografía se entiende por metodología el conjunto de métodos,
procedimientos, técnicas e instrumentos destinados a encontrar las res-
puestas a los problemas de investigación o a configurar los juicios de valor
en la evaluación*.
Los dos grandes complejos metodológicos son los ligados a las deno-
minadas metodologías cuantitativas y a las cualitativas. Algunos autores
consideran que se da una relación necesaria entre tales complejos meto-
dológicos y sus correspondientes paradigmas*; otros, por el contrario,
mantienen que tales relaciones no son necesarias y que la elección de una
u otra se encuentra más condicionada por los objetivos de la evalua-
ción/investigación.
Metodología cuantitativa
Las metodologías cuantitativas recogen datos cuantificables, con fre-

cuencia mediante números, aunque su calidad depende de la regla de
medida y de su unidad (niveles de medida*). Tales números son tratados,
por lo general, mediante la estadística, aplicando la teoría de la probabili-
dad.
Los principales enfoques de la metodología cuantitativa son: la investi-
gación descriptiva -por encuesta-, la correlaciona!, la ex-post-facto y la
experimental. La metodología experimental se sirve del experimento, en el
cual se someten a contraste las hipótesis* que guían la investigación en con-
diciones de máximo control*.
Metodologja cualitativa
Las metodologías cualitativas acuden en mayor medida a datos textua-

les, a la realid~_tal como ocurre de modo natural y espontáneo.
, Entre sus e_nfoquesJundamentales cabe destacar el estudio de casos, la
entrevista ~_n profundidad y la observación participante.
~ Para salir....aLpaso de J,as.Jimit,acioQes de cada una de estas dos grandes
metodologías por separado, se acude aLRTiQ.S,\12.io d e.o pkm!:,.Qt¡\(Í,edaq
metodológica* ,[no asumido.1,eor q~ne..ur@_ntienen..J.ma P-?sición..de..uua.l
vj !ación entre metodofogías Y..earadi,s-mas*. ., l.l ~lo> ..;>S ¿_
MUESTRAS
Una muestra es un subconjunto de una determinada población*. En la

población se encuentran todos los sujetos que reúnen ciertas características;
en una muestra, sólo algunos de ellos.
El sentido de utilizar muestras es el de estudiar sus características sin
tener que acudir a todos los casos, algo muchas veces inalcanzable. Por otra
parte, en el marco de la investigación se trata de llegar a generalizaciones
aplicables no sólo a los actuales sujetos de la población sino a los que en un
futuro más o menos lejano tengan sus mismas características, lo que impide
estudiar la población en sentido pleno.
Por ello se acude a las muestras, que deben cumplir el requisito de repre-
sentatividad, esto es, la posesión de las características de la población en su
debido nivel, estructura y organización. La representatividad exige contar
con un número mínimo de casos -suficiencia- y la utilización de procedi-
mientos imparciales -azar, en sus diversas modalidades- para la selección de
los sujetos que integrarán la muestra.
NECESIDADES, CARENCIAS, DEMANDAS, EXPECTATIVAS
Al hablar de necesidades suele distinguirse entre estas -que implican su

reconocimiento como tales por quienes las tienen (dimensión subjetiva)- y
las carencias, que ponen de relieve limitaciones existentes en una determi-
nada persona o grupo del que pueden no tener conciencia ni demandar su
satisfacción. En tales casos es necesario hacer de la carencia -algo objetivo-
una necesidad.
Puede hablarse, también, de demandas. cuando se pide o exige la satis-
facción de una necesidad, y de expectativas, cuando se trata de identificar
metas cuya satisfacción es razonable esperar que se dé en un futuro más o
menos lejano.
La posibilidad de identificar, mediante estudios prospectivos, estas
necesidades futuras, permite prepararse , anticiparse a las mismas y hacer
más fácil su satisfacción.
ANEXOS 557
OBJETIVOS
Se entiende por objetivo aquello que se desea alcanzar mediante un

determinado plan de acción.
La educación, como proceso intencional, se plantea una finalidad y una
serie de objetivos, algunos de largo alcance y otros a más corto plazo, deno-
minados por algunos metas.
Los objetivos educativos han sido organizados en categorías*; una de las
clasificaciones más conocidas de los objetivos de la educación es la debida a
Bloom y cols.; se trata de su taxonomía*, organizada en tres amplios dominios:
cognoscitivo, afectivo y psicomotor.
Los objetivos deben expresarse con claridad para que puedan desem-
peñar su papel directriz tanto para los procesos educativos y formativos lle-
vados a cabo por los educadores como para organizar la actividad de apren-
dizaje que corresponde al alumnado de los programas y para asegurar la
coherencia de la evaluación.
La taxonomía de Bloom se presenta a título de propuesta o ejemplo.
Quienes diseñan los programas deben acudir a algún tipo de clasificación
de objetivos para asegurar un programa bien orientado, una acción docen-
te / formativa congruente y una evaluación coherente.
El término "objetivo" se utiliza también para caracterizar la información
que trata de reflejar la realidad tal como es, liberada de las limitaciones que
derivan de la subjetividad del observador.
OBSERVACIÓN
La observación es la técnica básica para conocer, para adquirir saber

sobre algo , llegando a ser considerada por algunos como el origen de la
ciencia. Tiene sentido por sí misma, pero también puede formar parte del
experimento, aquella forma de investigar que parte de problemas para cuya
solución se plantea una hipótesis*, que debe ser contrastada en condiciones
de riguroso control*.
Para Bunge, la observación es "una percepción intencionada e ilustra-
da. Intencionada o deliberada porque se hace con un objetivo determina-
do; ilustrada, porque va guiada de algún modo por un cuerpo de conoci-
miento" .
Anguera dice de ella que trata de "advertir los hechos como espontá-
neamente se presentan" señalando que se convierte en técnica científica
en la m e dida en que: 1) sirve a un objetivo ya formulado de investigación;
2) es planificada y sistemática; 3) es controlada y relacionada con propo-
siciones más generales; y 4) está sujeta a comprobaciones de validez y fia-
bilidad.
PARADIGMA
Para Gage Jos paradigmas son "modelos, pautas o esquemas. Los para-
digmas no son teorías; son más bien maneras de pensar o pautas para la inves-
tigación que, cuando se aplican, pueden conducir al desarrollo de Ja teoría".
Para Cook y Reichardt, " ... la distinción más notable y fundamental
entre los paradigmas corresponde a la dimensión de verificación frente a
descubrimiento. Parece que los métodos cuantitativos han sido desarrolla-
dos más directamente para Ja tarea de verificar o de confirmar teorías y que,
en gran medida, los métodos cualitativos fueron deliberadamente desarro-
llados para la tarea de descubrir o generar teorías".
Los paradigmas básicos son el cuantitativo -positivista-y el cualitativo --na-
turalista- aunque algunos autores incluyen, también, el crítico. Planteamientos
más actuales desvirtúan el concepto tradicional de paradigma, llegando a
incluir algunos muy diferentes, como el denominado feminista.
PERTINEN CIA
Criterio de calidad de la educación* consistente, según UNESCO, en el

hecho de plantearse y tratar de dar respuestas a los problemas y necesidades
de Ja sociedad.
Que la educación sea pertinente según UNESCO implica estar en relación,
en contacto, con el mundo del trabajo, con las políticas, con la cultura y las
culturas, con los demás niveles del sistema educativo ...
POBLACIÓN
Conjunto de todos los casos que reúnen determinadas condiciones o

características. Algunos autores diferencian entre población -conjunto de
todos los casos accesibles al investigador que reúnen tales características- y
universo, en el que están todos los casos, accesibles o no.
El investigador extrae la muestra*, que debe ser representativa -tamaño
suficiente y extraída por un procedimiento imparcial- a partir de Ja pobla-
ción.
PRINCIPIO DE COMPLEMENTARIEOAD METODOLÓGICA
Dada la diversidad de contenidos y objetivos que se dan en educación*,

dada la complejidad de las organizaciones educativas, de los procesos, de las
funciones desempeñadas por los protagonistas de los actos educativos,
dados los condicionantes de los contextos en que se llevan a cabo los pro-
cesos educativos, las metodologías a utilizar en la evaluación deben ser muy
variadas.
ANEXOS 559
En el marco de la evaluación de programas, complejos y diversos, parece
aconsejable acudir a diversidad de métodos, técnicas, instrumentos, y fuentes
productoras de datos, dando cabida al principio de complementariedad metodolir
gica, mucho más rico que cualquier enfoque metodológico por separado.
Según este principio, las diferentes metodologías pueden utilizarse,
simultánea o sucesivamente, a fin de disponer de una información más rica,
completa y matizada que con cualquiera de las metodologías por separado.
Los problemas para su efectiva aplicación derivan de las limitaciones de los
evaluadores -resolubles mediante su constitución en equipos multidiscipli-
nares-y en las limitaciones de tiempo y recursos.
Un problema de otra naturaleza es el de la int,egración de la información
procedente de tal diversidad de fuentes obtenida con tal variedad de técnicas.
PROGRAMA
Un programa es un documento técnico, elaborado por personal espe-

cializado, en el que se deja constancia tanto de sus objetivos cuanto de las
actuaciones puestas a su servicio. Responde, pues, a las notas de todo plan
de acción: planteamiento de metas, previsión, planificación, selección y dis-
ponibilidad de medios, aplicación sistemática, sistema de control y evalua-
ción del mismo.
Sus componentes básicos son: los contenidos, los objetivos, el plan de
acción, integrado por un conjunto de medios y recursos, entre los que se
encuentra la evaluación formativa, y un sistema de evaluación (ahora de
carácter sumativo).
PRUEBAS
Entendemos por prueba una técnica para recoger información en la que

se pone a los "destinatarios del programa en situación de superar o no un
determinado desafío, de alcanzar un nivel, de conseguir una marca, de
demostrar una capacidad o habilidad, ... "
Entre los tipos de prueba más conocidos se encuentran las denominadas
objetivas, en las que los destinatarios de los programas deben responder a un
amplio número de ítems para poner de relieve el dominio de un determinado
programa o de una parte sustantiva del mismo. En ellas, las respuestas suelen
estar prefijadas y no caben las aportaciones personales del evaluado.
Junto a las pruebas objetivas los tests de rendimiento, un tipo especial de
prueba, por lo general construida por expertos, que da indicaciones de su
fiabilidad* y validez* (por lo general de contenido, concurrente y predicti-
va), además de presentar un baremo para la interpretación de las puntua-
ciones obtenidas por los sujetos del programa.
Si bien las características técnicas de los tests de rendimiento parecen
hacer de ellos un instrumento preferible, las limitaciones, puestas de relie-
560 EVALUACIÓN DE PROGRAMAS EDUCATrvos
ve por Glaser, entre las que destaca que muchos de ellos logran su capaci-
dad discriminatoria utilizando ítems que no fueron objeto de enseiianza,
han llevado a preferir la construcción de pruebas criteriales, cuyo valor más
destacado es su coherencia con los procesos de enseiianza, permitiendo
conocer hasta qué punto el alumno alcanza el nivel preftjado por el profe-
sor en un dominio de aprendizaje perfectamente definido (Popham)
Junto a ambos tipos de prueba, los exámenes tradicionales, con moda-
lidades que van de las preguntas de respuesta breve a las pruebas de ensayo,
pasando por pruebas para la evaluación del logro de objetivos complejos
(resolución de problemas, realización de trabajos, interpretación de mapas,
expresión escrita u oral). La observación de las actividades puede ser una de
las técnicas de prueba más válidas en el caso de objetivos complejos, ligados
a dominios afectivos o psicomotores.
PRUEBAS ESTADÍSTICAS
Las pruebas estadísticas son técnicas estadísticas utilizadas en el marco

de la estadística inferencia], destinadas a contrastar determinadas hipótesis*
formuladas por el investigador, tomando como contraria la hipótesis de
nulidad o nula (H 0 )*.
Tales pruebas, basadas en la teoría de la probabilidad y en los conoci-
mientos existentes sobre la distribución de los estadísticos, permiten asig-
nar a los valores empíricos obtenidos en la investigación/evaluación una
probabilidad de ocurrencia de conformidad con el azar o la casualidad
como explicación.
Cuando tal probabilidad es muy baja -igual o menor que el nivel pre-
viamente ftjado como aceptable de cometer un error tipo I por el investiga-
dor, cuyo símbolo es a- el investigador rechaza H 0 *y acepta la explicación
de los resultados como debida a la variable independiente* (siempre que,
además, se haya cumplido la exigencia de control* de las explicaciones
alternativas: variables extraiias).
REGISTRO DE INCIDENTES CRÍTICOS
Técnica para el registro de datos de observación* que acontecen ante

el observador, incluso en situaciones en que este no está tratando de obser-
var a los sujetos.
En esencia consiste en una cartulina, que puede organizarse en un
registro acumulativo, en la que el observador deja constancia, con todo el
detalle necesario, de un acontecimiento, sea positivo o negativo, que consi-
dera relevante en relación con la manera de ser de los sujetos. El registro
debe ser objetivo y contextualizado.
Se recomienda que la valoración que pueda realizar el observador se
registre aparte -tal vez en el reverso de la cartulina- para que no contami-
ANEXOS 561
ne el juicio de quienes en el futuro analicen el registro a fin de tratar de
comprender el modo de ser del sujeto de que se trate.
TABLA DE ESPECIFICACIONES
Se entiende por tal una tabla de doble entrada en Ja que se incluyen, en

uno de los ejes, los objetivos* de la enseñanza y de su posterior evaluación
y, en el otro, los contenidos, debidamente organizados y sistematizados, que
se utilizarán para alcanzarlos.
Las intersecciones de objetivos y contenidos que sean relevantes para la
enseñanza y para la evaluación se marcan con una X. Esta marca puede,
además, recoger algún número que sirva para indicar que tal interacción es
más o menos importante, por lo que requiere una mayor presencia en la
evaluación o un mayor número de actividades en la ense11anza. En definiti-
va, hablamos de su ponderación.
Teóricamente, tal tabla puede hacerse más compleja si a las dos dimen-
siones anteriores se les añade una tercera, ligada a objetivos del dominio afec-
tivo a lograr a través del cruce de contenidos/objetivos del ámbito cognosci-
tivo. Por ejemplo, a través de ciertas actividades destinadas a apreciar si el
alumno es capaz de interpretar el resultado de ciertas técnicas estadísticas, se
puede pretender, además, sensibilizarle hacia ciertos valores morales.
TAMAÑO DEL EFECTO
Técnica estadística alternativa o complementaria a las pruebas de signi-

ficación estadística para contrastar una determinada hipótesis* o valorar la
eficacia de un programa.
Este procedimiento presenta Ja ventaja de comparabilidad de los resul-
tados al tansformarlos a una escala común, evitando el inconveniente de las
pruebas de significación, muy afectadas por el tamaño de las muestras a las
que se aplica.
TAXONOMÍA
Ciencia que trata de los principios, métodos y fines de la clasificación.

Taxonomía de los objetivos de la educación: clasificación de los objeti-
vos de la educación. La más conocida, la debida a Bloom y colaboradores,
estructura los objetivos en tres grandes dominios: el cognoscitivo, el afecti-
vo y el psicomotor.
TEST
Test es sinónimo de prueba*. Una prueba es un instrumento objetivo

construido para evaluar los logros alcanzados mediante la implantación e
implementación de un programa.
Los tests pueden construirse con la intención de situar a los destinatarios
a lo largo de un continuo, interpretando sus puntuaciones tomando como
referencia el grupo normativo con el que se construyó el baremo* , o frente a
un dominio de conducta o de aprendizaje perfectamente definido.
En el primer caso, los tests se dicen de referencia normativa* y se cons-
truyen valiéndose de su índice de dificultad, de forma que el resultado sea
aproximadamente la curva normal de probabilidades o campana de Gauss,
modelo que permite interpretaciones útiles.
En el segundo, el test trata de reflejar dicho dominio de aprendizaje, apli-
cando con todo cuidado el plan descriptivo del test. De este modo es posible
determinar si el criterio -puntuación de corte- se logró o no y, sobre todo,
qué aspectos del programa han sido conseguidos y cuáles no, lo que facilita la
toma de decisiones* tanto sobre el alumnado como sobre el programa*.
Tanto las pruebas normativas como criteriales deben ser fiables* y váli-
das*. Las primeras, además, deben ir acompañadas de baremos* construidos
sobre muestras amplias y, sobre todo, representativas de la población a la que
se aplicarán para la interpretación de las puntuaciones de nuevos sujetos.
VALIDEZ
La definición más común de validez de un test, de una prueba, se refie-

re al hecho de que tal instrumento mida aquello que dice medir: un test de
rendimiento debe medir esto y no inteligencia, por ejemplo.
Sin embargo, el hecho de que los "objetos" medidos por los tests no son
realidades directamente observables explica que la validez, establecida
mediante coeficientes de validez, -en términos estadísticos, un coeficiente de
correlación*- sea, poi- lo general, baja.
Bajo ese concepto general de validez de las medidas se encuentran
diversas modalidades, desde la más común y necesaria en nuestro campo, la
validez de contenido, que indica el grado de coherencia entre su contenido
de la prueba y el de la realidad medida (por ejemplo, entre el contenido de
una prueba y los contenidos/objetivos que han sido objeto de enseñanza
aprendizaje), a la validez de construcción, pasando por la validez concurrente y
la validez flredictiva.
VALIDEZ INTERNA
En los diseños experimentales, cuando se da este tipo de validez se

está afirmando que los resultados medidos en la variable dependiente* se
ANEXOS 563
deben a, y sólo a, la variable independiente*, meta que exige el control*
de explicaciones alternativas a la mantenida por el investigador en su
hipótesis*.
Entre los factores que atentan a esta validez, según Campbell y Stanley,
se encuentran la historia, la maduración, la mortalidad experimental ...
VALOR
El concepto de valor varía según se parta del supuesto de que es una

cualidad inmanente a los objetos o ideas, o que depende de Ja valoración
atribuida por las personas a tales hechos o ideas.
Para Marín lbáñez, "el valor es Ja perfección o dignidad que tiene lo
real, o que debe tener y reclama de nosotros el adecuado juicio y estima-
ción". Esta posición considera que el valor es independiente de Ja persona
que valora, respondiendo, por tanto, a una concepción absoluta.
Desde una perspectiva psico-social los valores son entendidos de otro
modo; según Escámez y Ortega "un valor es una creencia duradera de que
un específico modo de conducta o un estado final de existencia es personal
o socialmente preferible a otro modo de conducta o estado final de exis-
tencia opuesto o contradictorio".
En el ámbito de la educación, al margen de esta polémica, de lo que se
trata es de proponer los valores reconocidos como positivos, bien desde
perspectivas religiosas, bien desde las diversas ideologías. Los valores y los
sistemas articulados de valores, se pueden y se deben proponer pero no es
lícito intentar su imposición por procedimientos que no respeten la liber-
tad del ser humano.
VALOR ESCALAR
En las escalas* tipo Thurstone -de intervalos de apariencia igual- des-

tinadas a la evaluación de actitudes y valores, el valor escalar equivale al
valor mediano -el que ocupa el percentil 50- en los valores atribuidos por
los jueces a los diferentes enunciados de la escala.
VARIABLE
Se define por oposición a constante. Se afirma de algo que es una

variable cuando puede recibir varios valores -cuantitativos por lo gene-
ral- a lo largo de un continuo. Según la regla de medida, las variables
pueden ser medidas nominal u ordinalmente, a nivel de intervalos o de
cocientes.
Variable extraña
En la investigación experimental se da este nombre a aquellas variables

no controladas por el investigador, que se convierten en hipótesis rivales de la
suya, y que pueden influir en lugar de la independiente* o junto a ella sobre
la dependiente, contaminando los resultados e invalidando la investigación .
Variabfp independiente
En la investigación experimental, aquella que manipula el investigador

tratando de contrastar y validar su hipótesis (relación entre variable inde-
pendiente y dependiente), en particular cuando se formula en los términos
exigentes de "si ... entonces ... ".
Variable dependiente
En la investigación experimental, aquella en la que el investigador mide

los efectos que pretende atribuir a Ja independiente, siempre que se dé con-
trol* de las variables extrañas* y que su magnitud exceda la que puede ser
explicada como fruto del mero azar o de la casualidad.
VARIANZA
La varianza es una medida de dispersión o variabilidad de las puntuacio-

nes en torno a la media aritmética del grupo. En tét-minos estadísticos, es la
media de la suma de tales desviaciones elevadas al cuadrado (s2 = :E x2/N). La
raíz cuadrada de tal valor se conoce como desviación típica.
Varianza sistemática y de error
Cuando la varianza tiene un origen o fuente conocida, se denomina sis-

temática; en tal caso, las puntuaciones de la variable se orientan en una
determinada dirección. Cuando su origen es el azar o la casualidad, se deno-
mina varianza de error y las puntuaciones se dispersan sin un patrón recono-
cible.
Varianza experimental
En una metodología experimemal, aquella varianza sistemauca cuyo

origen o fuente es la variable independiente*, manejada por el investigador,
ANEXOS 565
se denomina experimental; si el investigador ha logrado controlar las demás

fuentes de varianza sistemática -varianza secundaria, debida a las variables
extrañas*- se puede establecer una relación causal entre variable indepen-
diente y variable dependiente.
En la investigación experimental, además de controlar las variables
extrañas*, interesa maximizar la varianza experimental, tomando los valores
óptimos de la variable independiente, y minimizar la de error, utilizando
diseños adecuados e instrumentos de medida válidos y fiables (principio
MAX-MIN-CON de Kerlinger).
Dando por hecho -aunque sea lo más difícil, prácticamente imposible-
el control de las variables extrañas* -validez interna del diseño*- lograr tal
maximización y minimización hace posible que una prueba estadística ade-
cuada*, la F de Snedecor, alcance valores significativos, esto es, que permi-
tan atribuir los resultados a la variable independiente frente a la hipótesis
de su explicación por efecto del azar (H 0 )*, si bien, dado que nos movemos
en el marco de la probabilidad, tal decisión siempre correrá un margen de
error cuya cuantía ftja de antemano el investigador al establecer su nivel de
significación (a), cuyos valores habituales no superan las probabilidades de
0.01 o de 0.05 (a :o; 0.01o:o;0.01).
Análisis de la varianza
Prueba estadística* muy potente -paramétrica- que trata de decidir si la

varianza experimental -concretada en la varianza entre grupos-, considerada
como efecto de la variable independiente, es lo suficientemente más eleva-
da que la varianza de error -que se mide como varianza dentro de los g;rupos-
cuyo origen o explicación se sitúa en el azar o la casualidad.
Cuando su cociente -F- es significativo, siempre que se haya logrado el
control*, se entiende que la variable independiente es la causa de los efectos
medidos en la dependiente, admitiendo un margen de error máximo igual
al valor preftjado de a.
Manuales de Metodología
de Investigación Educativa
IS BN : 84 - 7 133 - 755 - X
9 788471 33755ll

Libro PDF

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Libro PDF

Cargado por

Copyright:

Formatos disponibles

Ramón Pérez Juste

Colección: MANUALES DE METODOLOGÍA DE INVESTIGAC IO N l•'. l >ll<:A l I\',\

Cubierta: José Parreño

Para mantener su información actualizada, consulte:

© Editorial La Muralla, S.A., 2006

CAPÍTULO l. EVALUACIÓN. CONCEPTO Y FUNCIONES DE LA EVALUACIÓN

CAPÍTULO II . EL OBJETO DE IA EVALUACIÓN: DE LA EVALUACIÓN DEL APREN-

2.1.3. Y una contradicción.... ......... ................. ... ......... .......... 52

CAPÍTULO III. INFORMACIÓN: TÉCNICAS E INSTRUMENTOS............................. 63

CAPÍTULO IV. CRITERIOS Y REFERENCIAS PARA EVALUAR............................. . ... 81

CAPÍTULO V. MODELOS Y METODOLOGÍAS PARA LA EVALUAC IÓN... ..... .. .. .. ...... 97

PARTE 11 . EL P R OCESO D E EVALUACI ÓN D E P R OGRAMAS

CAPÍTULO VII. NECESIDADES, CARENCIAS Y DEMANDAS. LA EVALUACIÓN DE

CAPÍTULO VIII. EL PROGRAMA. CONCEPTO, COMPONENTES, ALCANCE........... 179

CAPÍTULO IX. PLANEAMIENTO DE IA EVALUACIÓN .............. ........ .................. 203

CAPÍTULO X. EVALUACIÓN INICLAL DE PROGRAMAS........................................ 213

10.3.2. Para la adecuación al contexto.............. .. ......... ..... ..... .. .. . 225

CAPÍTULO XI. DESARROLLO DEL PROGRAMA. EVALUACIÓN FORMATIVA DEL

CAPÍTULO XII. CONCLUSIÓN DEL PROGRAMA. EVALUACIÓ FINAL DEL PRO-

CAPÍTULO XIII. EL INFORM E DE EVALUACIÓN DEL PROGRAMA....................... 261

13.2.1.2. Informe accesible..... ... ... .. .......................... .... 264

PARTE JII. FUENTES DE INFORMACIÓN, TÉCNICAS

CAPÍTULO XIV. EL PRINCIPIO DE COMPLEMENTARIEDAD. COMPLEMENTARIE-

CAPÍTULO XV. Los DATOS DISPONIBLES. ESTADÍSTICAS, INDICADORES, DOCU-

CAPÍTULO XVII. EL ANÁLISIS DE CONTENIDO................................................ 337

CAPÍTULO XVIII. LA OBSERVACIÓN EN sus DIVERSAS MODALIDADES. Los

18.3.4. El problema de /,a integración de ÚJs resultados y juicios de valor. 368

CAPÍTULO XIX. ENCUESTAS Y CUESTIONARIOS. LA ENTREVISTA..................... 391

CAPÍTULO XX. Los DATOS DE PRUEBA. TESTS y ESCALAS.............................. 407

20.2.1. Principal.es técnicas en el ámbito de los objetivos cognitivos.. 413

CAPÍTULO XXI. TRATAMIENTO Y ANÁLIS IS DE DATOS. l. DATOS CUANTITATI-

CAPÍTULO XXII. TRATAMIENTO Y ANÁLISIS DE DATOS. II. DATOS CUALITATI-

CAPÍTULO XXIII. LA METODOLOGÍA EXPERIMENTAL.. .. ................................. 495

BIBLIOGRAFÍA.................................... .. ......... .. .. .... .. .... .. ....................... .. .. ...... 511

La presente monografía aborda uno de los temas de mayor

modificación o eliminación, son aportaciones de enorme tras-

gramas no académicos, como los del ámbito de la educación

Sólo resta en esta presentación hacer notar que la limitación

RAMÓN PÉREZ J USTE

EVALUACIÓN. CONCEPTO Y FUNCIONES

Tras el estudio del presente capítulo el lector debería ser

• Establecer la relación entre educación y evaluación y las

• Conocer la evolución del concepto de evaluación y las

• Definir con precisión la evaluación pedagógica.

• Precisar el sentido y alcance de los términos integral, inte-

• Conocer, comprender y valorar las implicaciones de la

En general, la evaluación es reconocida en la actualidad

1.1.1. Educación y evaluación

La Educación puede ser analizada desde muy diversas pers-

' Esta es la que ha venido siendo considerada tradicionalmente como la fun-

Un proceso educativo así concebido es complejo y duradero

1.2. EVOLUCIÓN DEL CONCEPTO

dentro del sistema o para la certificación de titulaciones social-

1.2.1. El salto cualitativo de la evaluación

El salto cualitativo se produce cuando a la evaluación se le

• La ampliación de los "objetos" evaluados, pasando a incorporar no

2 La enseñanza y el aprendizaje son dos procesos que deben ir en paralelo y que

Dejando de lado, por ser objeto del siguiente capítulo, lo que

1.2.2. Ampliación de los sujetos evaluadores

3 Un problema diferente, y digno de análisis, es el del para qué de tal evaluación.

luación del profesorado por parte de los alumnos y, desde luego,

1.2.3. Ampliación de los momentos

1.2.4. Una evaluación continua