Evaluación sistemática

Guía teoría y práctica

Daniel L. Stufflebeam
Anthony J. Shinkfield

Editorial Pidós

1ª ed., Barcelona, 1987

Colección: Temas de educación

Título original: Systematic

evaluation
©Kluwe-Nijhoff Publishing

Traducción Carlos Losilla

ISBN 84-7509-445-7

Este material se utiliza con fines

exclusivamente didácticos
SUMARIO

Guía del lector ....................................................................................................................................... 13

1. Introducción a la evaluación.............................................................................................................. 17
Objetivos ............................................................................................................................................ 18
¿Qué es la evaluación? ....................................................................................................................... 19
Métodos.............................................................................................................................................. 25
Normas ............................................................................................................................................... 26
La historia........................................................................................................................................... 32

El período pre-tyleriano, 33
La época tyleriana, 34
La época de la «inocencia», 35
La época del realismo, 36
La época del profesionalismo, 40

Reparto de papeles en el trabajo evaluativo. ...................................................................................... 43

Test de conocimientos sobre la unidad 1............................................................................................ 53
Ejercicio práctico. .............................................................................................................................. 59
Preguntas sin respuestas ..................................................................................................................... 60
Referencias bibliográficas .................................................................................................................. 61

2. Un análisis de métodos alternativos de evaluación ........................................................................... 65

Objetivos ............................................................................................................................................ 66
Conceptualizaciones alternativas de la evaluación ............................................................................ 66
Pseudoevaluaciones............................................................................................................................ 67

Investigaciones encubiertas, 68
Estudios basados en las relaciones públicas, 69

Cuasievaluaciones .............................................................................................................................. 70

Estudios basados en objetivos, 70

Estudios basados en la experimentación, 71

Las verdaderas evaluaciones .............................................................................................................. 72

Estudios de orientación de la decisión, 72

Estudios centrados en el cliente, 74
Estudios políticos, 74
Estudios basados en el consumidor, 75

Conclusión.......................................................................................................................................... 76
Test de conocimientos sobre la unidad 2............................................................................................ 78
Ejercicios prácticos ............................................................................................................................ 84
Preguntas sin respuesta....................................................................................................................... 88
Referencias bibliográficas .................................................................................................................. 88

3. La evaluación orientada hacia los objetivos: la tradición tyleriana ................................................... 91

Objetivos ............................................................................................................................................ 92
La intención del método tyleriano...................................................................................................... 93

Procedimiento de diseño evaluativo, 93

2
 Ventajas del método tyleriano, 94
Utilizaciones del modelo tyleriano, 95
Algunas limitaciones del método tyleriano ........................................................................................ 96

La evaluación como proceso terminal, 96

Limitaciones técnicas, 97
El rendimiento como último criterio, 97
Tendenciosidad y falta de alcance de sus componentes evaluativos, 98

Metfessel y Michael: una ampliación del método tyleriano............................................................... 98

El procedimiento evaluativo de las ocho etapas, 99

El apéndice de las valoraciones basadas en múltiples criterios, 100

Test de conocimientos sobre la unidad 3.......................................................................................... 102

Ejercicios prácticos .......................................................................................................................... 106
Preguntas sin respuesta..................................................................................................................... 109
Referencias bibliográficas ................................................................................................................ 109

4. Edward A. Suchman y el método científico de evaluación. ............................................................ 111

Objetivos .......................................................................................................................................... 112

Aspectos conceptuales de la evaluación........................................................................................... 113

Propósitos y principios de la evaluación, 114

Los valores y el proceso evaluativo, 115
Las presuposiciones en los estudios evaluativos, 116
Tipos de evaluación, 118
Categorías de la evaluación, 118

Los aspectos metodológicos de la evaluación.................................................................................. 119

Evaluación contra investigación no evaluativa, 119

Aproximaciones metodológicas a la evaluación, 120
Variaciones en el plan de investigación evaluativa, 121
Principios de planificación de la investigación evaluativa, 122
La valoración de los efectos, 122

La evaluación y la administración del programa.............................................................................. 124

La evaluación y la ciencia administrativa, 125

Administración de los estudios evaluativos: algunas áreas problemáticas, 126
Acuerdos para solucionar los problemas administrativos, 127

Test de conocimientos sobre la unidad 4.......................................................................................... 128

Preguntas sin respuesta..................................................................................................................... 135
Referencias bibliográficas. ............................................................................................................... 136

5. La planificación evaluativa según Cronbach: una sinopsis ............................................................. 137

Objetivos .......................................................................................................................................... 138

Introducción a los problemas más importantes ................................................................................ 139
Una planificación previsora y flexible, 139
La evaluación útil, 140
Enfoques evaluativos enfrentados, 142
El consenso en los elementos de la planificación, 143
El equilibrio en la planificación evaluativa: resumen, 144

3
 Los conceptos de Cronbach acerca de los elementos de una planificación evaluativa: Uto ............ 145
Unidades, tratamientos y operaciones de observación, 145
UTOS: El dominio de la investigación, 146
Definiciones de los elementos de uto y UTO, 147
*UTOS: El dominio de aplicación, 149
La identificación de las cuestiones a investigar, 151
La fase divergente, 152
La fase convergente, 154

Planificación de la comunicación..................................................................................................... 156

La utilidad de los resultados, 156

La comunicación directa, 157
La extrapolación de los resultados, 158

El propósito de la evaluación ........................................................................................................... 159

Flexibilidad del diseño, 159

Las evaluaciones y la política: limitaciones, 159
Otras consideraciones, 160

Test de conocimientos sobre la unidad 5.......................................................................................... 162

Ejercicios prácticos .......................................................................................................................... 168
Preguntas sin respuesta..................................................................................................................... 171
Referencias bibliográficas ................................................................................................................ 172

6. Stufflebeam: la evaluación orientada hacia el perfeccionamiento................................................... 175

Objetivos .......................................................................................................................................... 176

Un poco de historia personal............................................................................................................ 176
El desarrollo del modelo CIPP. ........................................................................................................ 177
La elaboración de la evaluación CIPP por parte del Comité de Estudios PDK. .............................. 181
El modelo CIPP comparado con otras recientes propuestas evaluativas ......................................... 186
El CIPP como estrategia para el perfeccionamiento de los sistemas .............................................. 190
Panorama de las categorías del CIPP ............................................................................................... 193

Evaluación del contexto, 196

Evaluación de entrada, 197
Evaluación del proceso, 199
Evaluación del producto, 201

El diseño de evaluaciones ................................................................................................................ 204

Metaevaluación y normas................................................................................................................. 208
Conclusión........................................................................................................................................ 209
Test de conocimientos sobre la unidad 6.......................................................................................... 210
Ejercicios prácticos .......................................................................................................................... 222
Preguntas sin respuesta..................................................................................................................... 231
Referencias bibliográficas ................................................................................................................ 232

7. Stake: el método evaluativo centrado en el cliente.......................................................................... 235

Objetivos .......................................................................................................................................... 240

La condición de la figura de la evaluación....................................................................................... 241

La descripción, 241
El juicio, 242

4
 Esquema para la recopilación de datos............................................................................................. 243
Evaluación respondente................................................................................................................... .251
Evaluación preordenada contra evaluación respondente, 253
Estructura sustancial de la evaluación respondente, 260

Observaciones generales .................................................................................................................. 265

Test de conocimientos sobre la unidad 7.......................................................................................... 270
Ejercicios prácticos .......................................................................................................................... 285
Preguntas sin respuesta..................................................................................................................... 290
Referencias bibliográficas. ............................................................................................................... 290

8. T. R. Owens y R. L. Wolf: un método contrapuesto de evaluación ................................................ 293

Objetivos .......................................................................................................................................... 294

Intención del modelo de contraposición .......................................................................................... 295

Los procedimientos de contraposición en su contexto legal, 296

La aplicabilidad en la evaluación educacional, 296
Realizaciones prácticas, 297
Dimensiones de los procedimientos de contraposición, 298

Una forma del método de la contraposición: el modelo judicial de Wolf........................................ 299

La base lógica, 299

Las cuatro etapas del modelo judicial, 300

Los pros y los contras de la evaluación contrapuesta....................................................................... 301

El argumento a favor, 301

El argumento en contra, 302

Test de conocimientos sobre la unidad 8.......................................................................................... 304

Ejercicios prácticos .......................................................................................................................... 308
Preguntas sin respuesta..................................................................................................................... 311
Referencias bibliográficas. ............................................................................................................... 311

9. La evaluación iluminativa: el método holístico............................................................................... 313

Objetivos .......................................................................................................................................... 315

La evaluación tradicional: semillas de duda..................................................................................... 316

La importancia del proceso de aprendizaje de la valoración, 316

El paradigma agrícola-botánico, 317
Mac Donald y el método holístico, 318

El concepto de Stake de la evaluación como representación ........................................................... 319

La evaluación iluminativa: un paradigma socio-antropológico. ...................................................... 320

El contexto de los programas educativos, 320

Organización y métodos de la evaluación iluminativa..................................................................... 323

Características principales de la evaluación iluminativa, 323

El informe y la toma de decisiones. ................................................................................................. 325

¿Quién recibe un informe?, 325

5
 La comunicación del espíritu del programa, 326
Las diferencias entre los informes, 326

Problemas relacionados con la evaluación iluminativa.................................................................... 327

Las reservas de Stenhouse, 327

La tendenciosidad experimental, 328
Estudios a gran escala, 328

Test de conocimientos sobre la unidad 9.......................................................................................... 329

Ejercicios prácticos 334

Preguntas sin respuesta 338

Referencias bibliográficas. ............................................................................................................... 339

10. El método evaluativo de Scriven orientado hacia el consumidor.................................................. 341

Objetivos .......................................................................................................................................... 343

La definición de evaluación. ............................................................................................................ 343
Crítica de otras tendencias................................................................................................................ 344
Evaluación formativa y sumativa ..................................................................................................... 345
Evaluación amateur contra evaluación profesional. ........................................................................ 346
Evaluación intrínseca y evaluación final.......................................................................................... 346
La evaluación sin metas ................................................................................................................... 347
Valoración de las necesidades.......................................................................................................... 347
La lista de control de indicadores de la evaluación.......................................................................... 348
La metaevaluación............................................................................................................................ 352
Ideologías evaluativas ...................................................................................................................... 352

La ideología separatista, 353

La ideología positivista, 354
La ideología administrativa, 354
La ideología relativista, 356

La profesionalización de la evaluación. ........................................................................................... 356

Test de conocimientos sobre la unidad 10........................................................................................ 357
Ejercicios prácticos .......................................................................................................................... 370
Preguntas sin respuesta..................................................................................................................... 372
Referencias bibliográficas. ............................................................................................................... 373

Índice de autores .............................................................................................................................. 375

Índice analítico ................................................................................................................................. 377

6
3. LA EVALUACIÓN ORIENTADA HACIA LOS OBJETIVOS: LA
TRADICIÓN TYLERIANA

Ralph W. Tyler desarrolló el primer método sistemático de evaluación educacional. Este surgió del
trabajo que realizó, en los años treinta y a principios de los cuarenta, en el Eight-Year Study de la
Universidad del Estado de Ohio (SMITH y TYLER, 1942). A partir de entonces, el profesar Tyler ha
continuado desarrollando aspectos de la evaluación, principalmente a escala nacional, siguiendo la
evolución de los programas educativos federales. El alcance del respeto que ha conseguido puede medirse,
en parte, por el gran número de reputados evaluadores que han basado su metodología en las teorías
tylerianas.
Antes de que Tyler publicara su modelo evaluativo en 1942, los estudios se centraban en el
estudiante y en la valoración de los logros alcanzados por el estudiante. La evaluación era, por lo tanto,
virtualmente idéntica a la valoración. Tyler procuró poner el énfasis en una amplía gama de objetos
educativos, como los currículos y las ayudas. También destacó la necesidad de establecer, clasificar y
definir los objetivos en términos de rendimiento, como una etapa inicial del estudio evaluativo. La
evaluación, pues, se convirtió en un proceso para determinar la congruencia entre estos objetivos y las
operaciones.
El concepto tyleriano ha sido a menudo aplicado con una estrechez de miras que Tyler nunca
propugnó. Más significativamente, mientras Tyler ofrecía medios prácticos para proporcionar información
durante el curso de una evaluación, la atención acabó fijándose en los datos (por lo general relacionados
con los logros del estudiante), que fueron considerados válidos sólo cuando el programa había recorrido ya
su ciclo completo. A pesar de las desventajas de la evaluación concebida como un proceso terminal y del
estrecho alcance asignado a los objetivos, el trabajo de Tyler permanece como una de los grandes hitos en
la historia de la evaluación concebida como ciencia.

Ralph W. Tyler es generalmente considerado el padre de la evaluación educacional. Existen,

posiblemente, dos razones para ello. Primera: propuso, describió y aplicó un método ya desarrollado para la
evaluación, algo que nadie había hecho antes. Y segunda: su metodología ha sido tan penetrante como
influyente. Destacados estudiosos de la evaluación educacional, como Michael y Metfessel, Provus y
Hammond, han llevado más allá el trabajo de Tyler, sin alejarse de su filosofía básica y de su tecnología.
En términos generales, Tyler consideraba que la evaluación debe determinar la congruencia entre
trabajo y objetivos. TYLER llegó a esta conclusión tras su trabajo, en los años treinta y principios de los
cuarenta, en el Eight-Year Study de la Universidad del Estado de Ohio. Algunos años más tarde (1950, pág.
69) resumió sus concepciones en estas palabras:

El proceso de la evaluación es esencialmente el proceso de determinar hasta qué punto los objetivos educativos
han sido actualmente alcanzados mediante los programas de currículos y enseñanza. De cualquier manera,
desde el momento en que los objetivos educativos son esencialmente cambios producidos en los seres
humanos, es decir, ya que los objetivos alcanzados producen ciertos cambios deseables en los modelos de
comportamiento del estudiante, entonces la evaluación es el proceso que determina el nivel alcanzado
realmente por esos cambios de comportamiento.

En esta unidad, presentamos los principales aspectos del método evaluativo tyleriano. También
reseñamos brevemente el trabajo de Michael y Metfessel, seguidores del modelo concebido por Tyler.
Cuando haya terminado el núcleo de esta unidad, se le pedirá que haga un test de conocimientos sobre la
tarea tyleriana, comparando sus respuestas con las que le proporcionamos nosotros, y un ejercicio práctico,
en el que deberá hacer lo mismo. Finalmente, la unidad termina con la discusión de los temas (y sus posibles
utilizaciones) en las «Preguntas sin respuesta» y con una lista de lecturas recomendadas.

Objetivos

Los objetivos de esta unidad son los siguientes:

1. Llegar a comprender la intención del método evaluativo tyleriano teniendo en cuenta sus
procedimientos de planificación evaluativa, las ventajas del método y las utilizaciones del modelo.

7
 2. Destacar algunas limitaciones del método tyleriano. En particular, la evaluación como proceso
terminal, sus limitaciones técnicas (ocultar el proceso para la consecución de los objetivos y situar
los objetivos en términos de comportamiento), la consideración del rendimiento como último
criterio y el estrecho alcance de la evaluación.
3. Revisar una ampliación del método tyleriano, la realizada por Metfessel y Michael, teniendo en
cuenta su procedimiento evaluativo de ocho etapas y el apéndice (sobre valoraciones basadas en
múltiples criterios).

La intención del método tyleriano

En su informe general sobre la evaluación publicado en 1942, Ralph Tyler puso las bases de un estilo
evaluativo «orientado hacia los objetivos». Concluyó que las decisiones acerca de los programas debían estar
basadas necesariamente en la coincidencia entre los objetivos del programa y sus resultados reales. Si se
alcanzaban los objetivos, se tomarían las decisiones en una dirección concreta. Si no se alcanzaban, o sólo se
alcanzaban parcialmente, debían tomarse decisiones distintas. La principal recomendación de Tyler era que
el profesor, el administrador o el que realizara los currículos debía llegar a emitir juicios racionales acerca de
las áreas programáticas que fueran en su dirección.

Procedimiento de diseño evaluativo

La ventaja de la definición de evaluación basada en la congruencia es que procede de una basé lógica
organizada a partir del desarrollo de un programa. Tyler consideraba que la evaluación debía ser una etapa
esencial de este desarrollo. Además, consideraba que debían existir una serie de etapas lógicas que
afianzaran el proceso de evaluación real. De acuerdo con Tyler, el procedimiento para evaluar un programa
es el siguiente:

1. Establecer las metas u objetivos.

2. Ordenar los objetivos en amplias clasificaciones.
3. Definir los objetivos en términos de comportamiento.
4. Establecer situaciones y condiciones según las cuales puede ser demostrada la consecución de los
objetivos.
5. Explicar los propósitos de la estrategia al personal más importante en las situaciones más
adecuadas.
6. Escoger o desarrollar las apropiadas medidas técnicas.
7. Recopilar los datos de trabajo (en el caso de los programas educativos, deben referirse al trabajo
de los estudiantes).
8. Comparar los datos con los objetivos de comportamiento.

Debe destacarse que la definición de evaluación de Tyler coincide mucho con estas etapas del
procedimiento. Si el objetivo de un programa de currículos y enseñanza es producir un cambio en los
modelos de comportamiento de los que se benefician de él, entonces es necesario un método que mida el
alcance del cambio. Antes de que esto suceda deben ser determinadas con claridad y definidas las «metas y
objetivos». Dicho en términos de comportamiento, deben comprobarse los objetivos después de que se hayan
establecido las condiciones apropiadas para su comprobación.
Tyler no diferenciaba entre metas y objetivos en su estrategia. De sus escritos puede colegirse, de
cualquier forma, que las metas de un programa eran ideales por los que había que luchar, mientras que los
objetivos eran submetas que podían ser expresadas como entidades mensurables.

Ventajas del método tyleriano

Antes de que Tyler desarrollara su método, la evaluación educacional se había centrado casi
exclusivamente en el estudiante. Los logros de los estudiantes eran la base de la evaluación del programa.
Los logros, o los méritos, se basaban a veces enteramente en valoraciones como los tests y, ocasionalmente,
en una síntesis de varias valoraciones e impresiones subjetivas. En este método orientado hacia la valoración

8
para descubrir el mérito de un programa, el estudiante era el principal foco de atención. Además, la
evaluación se limitaba a aquellas variables que podían ser sometidas a valoración.
El método tyleriano, en teoría, desplazaba su atención hacia otros aspectos del programa, aparte de
los estudiantes. En concreto, deben tenerse muy en cuenta el conocimiento de las intenciones del programa,
sus metas y sus objetivos de comportamiento, así como los procedimientos necesarios para llevarlo a cabo
con éxito. El hecho de que debieran ser definidos los objetivos proporcionaba un buen punto de referencia
para la evaluación y la toma de decisiones. Las definiciones de los objetivos también implicaban criterios
para valorar su éxito. Cualquier evidencia válida acerca de los objetivos de comportamiento debía ser
concebida como un método válido de evaluación. Nunca estuvo especialmente interesado en los métodos que
no utilizaban papel-y-lápiz, como la observación, las entrevistas y la valoración de los trabajos manuales y
ejercicios de los estudiantes.
Tyler proporcionó medios prácticos para la retroalimentación (término que él introdujo en el
lenguaje evaluativo). Así, Tyler veía la evaluación como un proceso recurrente. La evaluación, según él,
debía proporcionar un programa personal con información útil que pudiera permitir la reformulación o
redefinición de los objetivos. Si se produce la modificación de los objetivos, debe realizarse la revisión
correspondiente de los planes evaluativos.
La estrategia de Tyler también permitió que el evaluador con iniciativa y pudiera examinar los datos
más relevantes del proceso mediante el cual se desarrollaba el programa. De todas formas, como afirmamos
más adelante, este aspecto potencialmente valioso del programa evaluativo nunca fue promulgado por Tyler
ni puesto en práctica por sus inmediatos contemporáneos.
Lo utilizaron otros, incluido Scriven (evaluación formativa) y Stufflebeam (evaluación del proceso),
para resaltar la gran importancia de la evaluación, útil tanto para juzgar el proceso de un programa como sus
resultados finales.
Tyler subrayó que un estudio evaluativo no necesariamente debía ser considerado aislado de otros
estudios similares. Creía que el valor real de la información derivada de los estudios más tempranos debía ser
utilizada para ayudar a definir los objetivos, seleccionar las condiciones apropiadas para que pudieran
alcanzarse los objetivos propuestos y ayudar en la interpretación de los resultados que debían valorarse.
Consideraba, por lo tanto, que un buen evaluador debía adquirir destreza para utilizar con habilidad los
precedentes adecuados a la hora de realizar estudios evaluativos o desarrollar técnicas de valoración.
Como se ha dicho al principio, Tyler puso las bases del primer método sistemático de evaluación.
Fue lo que más tarde se convirtió en el método «dirigido por objetivos», para desarrollar y controlar
organizaciones o ciertos aspectos de las organizaciones. Uno de los aspectos más importantes de los métodos
sistemáticos es su apariencia racional. En educación, concretamente, resultan atrayentes los conceptos
derivados de las etapas sistemáticas, como formulación de objetivos, retroalimentación, evaluación continua
y reciclaje (basado en la modificación de metas u objetivos). Además, el proceso parece ser útil para el
profesor que desee tomar decisiones acerca del programa. Rara vez son necesarios los agentes externos,
aunque el Eight-Year Study es una excepción importante.

Utilizaciones del modelo tyleriano

Tyler previó que su método evaluativo sería utilizado principalmente por profesores y elaboradores
de currículos. Tras la aparición de los programas federales en los años sesenta, consideró igualmente que su
método podía ser apropiado para evaluadores profesionales.
Aparte la modificación de currículos y la clasificación de objetivos, como se ha subrayado más
arriba, el método Tyler es muy útil en clase. De cualquier manera, depende mucho de la agudeza del profesor
que el método sea usado positivamente (la toma de decisiones para el perfeccionamiento de la educación
debe continuar siendo la principal utilización de la evaluación, no importa cuál sea el alcance de la
discrepancia existente entre los objetivos y los resultados del trabajo).
El método Tyler puede ser útil como guía de aprendizaje para el estudiante. Puede encargarse del
diagnóstico y posterior tratamiento de los defectos del proceso de aprendizaje, ya sea individual o por
grupos. Puede también permitir que un profesor modifique los objetivos de aprendizaje para satisfacer tanto
las posibilidades de ese aprendizaje como las necesidades del estudiante. Debemos destacar que Tyler nunca
mencionó el curso en el que se encontraba cada estudiante, ni lo utilizó en su método evaluativo.
Tyler también creía que la evolución era útil para proporcionar a la dirección de una escuela
información acerca de algunos de sus aspectos. En cierto modo, preveía el uso de la evaluación con
propósitos administrativos. De cualquier forma, le interesaba más el cambio positivo que podía producirse

9
después de una evaluación que los argumentos que podía proporcionar a los padres y a otros miembros de la
comunidad para que los utilizaran contra el personal de la escuela. «La información derivada de un proceso
evaluativo racional puede producir buenos efectos, esto es, un perfeccionamiento de la educación.»

Algunas limitaciones del método tyleriano

Tyler consideraba que el propósito de una evaluación era proporcionar un informe que dilucidara «si
la planificación de experiencias de aprendizaje servía realmente de guía al profesor para alcanzar los
resultados deseados». Esto suena a propósito desarrollista o formativo. En realidad, el método tyleriano ha
sido utilizado de muchas maneras. Esta es la crítica que más frecuentemente se le hace al modelo.

La evaluación como proceso terminal

Es irónico que un procedimiento que tanto habló de la retroalimentación y de su utilización en la

mejora de la educación, haya sido utilizado casi exclusivamente para valorar el logro final. Con su amplia
gama de posibilidades, nunca subrayadas por Tyler, el método orientado hacia los objetivos tiende, en la
práctica, a convertir la evaluación en un acontecimiento terminal, permitiendo únicamente juicios sobre el
producto final. Cualquier proceso de recogida de datos no debe ser necesariamente estéril, puesto que pueden
ser utilizados cuando ya se hayan alcanzado las metas. De cualquier manera, se pierde la oportunidad de
utilizar estos datos para perfeccionar el programa durante su curso.
Así, el concepto tyleriano de evaluación en términos de coincidencia, que relaciona los resultados
con los objetivos, concede una atención predominante al proceso terminal que proporciona información sólo
cuando se ha cumplido el ciclo completo del programa. Existe una pequeña duda acerca del modo en que
Tyler conceptualizó su método evolutivo y la manera en que esta conceptualización difiere de la práctica,
demasiado a menudo en contra de las grandes posibilidades del método tyleriano.

Limitaciones técnicas

Para obtener un grupo operativo de objetivos que luego coincidan con los resultados, el evaluador
debe seleccionar, y clarificar, los objetivos apropiados. Más claramente, tampoco deben ser tenidos en cuenta
en una evaluación todos los objetivos posibles para un programa. Tyler sugiere, por lo tanto, que se realice
un proceso de criba inicial según una «filosofía y una psicología» determinadas. Nunca especificó
exactamente qué forma debía adoptar este proceso; las desventajas de este método impreciso son obvias. Los
intentos realizados por autores posteriores con el fin de interpretar este proceso selectivo sólo han traído más
confusión. Quizá sea suficiente decir que esta criba inicial debía exponer los aspectos más importantes de un
programa desde puntos de vista como el contenido, el aprendizaje y el desarrollo de una teoría, y que estos
aspectos debían ser expresados en términos de rendimiento o comportamiento.
La principal contribución de los evaluadores fue reducir las metas ya seleccionadas a objetivos de
comportamiento valorables. Para la estrategia de trabajo tyleriano, los objetivos debían ser establecidos en
términos operativos. La habilidad necesaria para realizar esta operación básica (por la que la totalidad de la
evaluación podía seguir adelante o desmoronarse) demostró ser excesiva exigencia para algunos profesores.
Como resultado, el criterio para la exposición de objetivos acabó siendo la facilidad con la que el informe
podría ser utilizado directamente como test. Como consecuencia, los objetivos importantes, particularmente
los relacionados con los aspectos menos concretos del programa, como las actitudes que debían adoptarse,
fueron a menudo ignorarlo

El rendimiento como último criterio

En su definición de evaluación, Tyler puso un énfasis especial en los objetivos relacionados con el
rendimiento, e, invariablemente, con el rendimiento de los estudiantes. Aunque, como hemos afirmado más
arriba, el modelo tyleriano dio su promesa teórica de atender tanto a los procedimientos educativos como a
los estudiantes, los evaluadores se sintieron obligados a evaluarlo todo atendiendo a los efectos producidos
en los estudiantes. Esto ocurría incluso cuando el objeto real de la evaluación era un diseño para un nuevo

10
edificio o un procedimiento administrativo renovador. Todo tendía a ser contemplado desde el punto de vista
de los estudiantes y de sus cambios en el rendimiento (el cual, si era positivo, se llamaba «logro»). Así,
tomando el ejemplo expuesto anteriormente, la cuestión que debía ser respondida era si la estructura del
nuevo edificio, o el procedimiento administrativo, iban a ayudar al éxito del estudiante. El estrecho alcance
del método evaluativo técnico basado en la coincidencia centró demasiado la atención en el rendimiento
como criterio último.

Tendenciosidad y falta de alcance de sus componentes evaluativos

Algunos críticos consideran que el método tyleriano falla en áreas como la selección de los objetivos
más importantes, la evidencia de la tendenciosidad de sus valores en esta selección y las normas básicas por
las que las discrepancias entre los objetivos y los resultados del trabajo son valorados.
Además, pueden surgir pequeñas dudas acerca de que el procedimiento que se centra estrechamente,
primero en la clase y luego en el profesor, sea el agente que el estudio verdaderamente necesita. Si la
elección de objetivos es demasiado restrictiva, existen pocas oportunidades de que surja un estudio más
realista y abierto. La evaluación estaba, en efecto, encerrada en el molde de sus objetivos iniciales. Un
resultado probable y desafortunado era que el programa se desarrollara poniendo especial énfasis en los
objetivos escogidos, anulando así la creatividad del programa en favor de las demandas evaluativas.
Demasiado a menudo, la elección de objetivos queda restringida a los objetivos de rendimiento, que
son más fáciles de cuantificar y especificar. Importantes actividades que no se definen operacionalmente,
como la apreciación, el juicio y la reflexión –más difíciles de cuantificar–, fueron rara vez incluidas como
objetivos específicos de la evaluación de un currículo. Era difícil poner a los estudiantes en una situación en
la que estas últimas actividades pudieran manifestarse de un modo valorable. Con esta dificultad a la hora de
especificar el rendimiento y precisar la cuantificación, dificultad que incluso podía ser imposibilidad, con la
poca concreción que podía alcanzarse respecto a estos elementos del programa, la evaluación tendía a
convertirse en algo desequilibrado y, por lo tanto, incompleto.

Metfessel y Michael: una ampliación del método tyleriano

METFESSEL y MICHAEL (1967) creían, al igual que Tyler, que la valoración de los resultados
podía hacer más perfectas las decisiones educativas. Como apéndice a una interesante publicación (1967),
Metfessel y Michael hicieron una lista de los múltiples criterios de valoración que podían ser utilizados para
la evaluación de programas. Especificando toda la gama de posibles criterios para la valoración de los
resultados, Metfessel y Michael van bastante más allá que Tyler. Sin embargo, su paradigma evaluativo es
básicamente similar al método tyleriano.

El procedimiento evaluativo de las ocho etapas

Metfessel y Michael desarrollaron un paradigma evaluativo de ocho etapas con el propósito de

ayudar al personal básico de las escuelas (profesores, administradores y especialistas) a evaluar la
consecución de los objetivos en los programas escolares. El cuarto segmento de este paradigma utiliza las
valoraciones basadas en múltiples criterios a que nos hemos referido más arriba. Las ocho etapas principales
del proceso evaluativo son las siguientes:

1. Implicar a todos los miembros de la comunidad escolar como participantes o ayudantes de la

evaluación.
2. Hacer una lista coherente de todas las metas y objetivos específicos, clasificados en un orden
jerárquico, desde los resultados más específicamente deseados hasta los más generales, a)
poniendo primero las metas que más ampliamente abarcan las intenciones teóricas del programa;
b) luego los objetivos específicos en términos operacionales, para permitir una valoración objetiva
siempre que sea posible; y c) desarrollando finalmente criterios de enjuiciamiento que permitan la
definición de los resultados más significantes y relevantes, el establecimiento de prioridades
realistas en términos de necesidad social, de la facilidad del alumno, de la retroalimentación
alumno-maestro y de la disponibilidad de personal y de recursos materiales.

11
 3. Traducir los objetivos específicos de rendimiento a una forma inteligible que pueda ponerse en
práctica para facilitar el aprendizaje en el ambiente escolar.
4. Seleccionar o crear una variedad de instrumentos que suministren valores de los que se pueda
colegir la efectividad de los programas a la hora de conseguir los objetivos que se habían
propuesto.
5. Llevar a cabo observaciones periódicas, a través de la utilización de instrumentos variados, para
calibrar el alcance del cambio en el rendimiento que resulta válido respecto a los objetivos
seleccionados.
6. Analizar los datos proporcionados por la valoración del cambio a través de la utilización de
métodos estadísticos apropiados.
7. Interpretar los datos relativos a los objetivos específicos según ciertas normas de enjuiciamiento y
ciertos valores que se consideren apropiados para los niveles a los que se desee llegar en el trabajo;
de esta manera, se podrá llegar a conclusiones que proporcionen información acerca de la
dirección de la evolución, el progreso de los estudiantes y la efectividad de todo el programa.
8. Hacer recomendaciones que proporcionen una base para futuros perfeccionamientos,
modificaciones y revisiones de toda la gama de metas y objetivos específicos con el propósito de
mejorar el programa; proporcionar continua información, basada en recomendaciones, a todos los
individuos implicados en el programa; y prepararse para cuando vuelva a recomenzar el ciclo del
proceso evaluativo, una vez que los resultados ya hayan sido presentados a las audiencias
correspondientes.

El paradigma también proporciona detalles acerca de los individuos que deberían ser los principales
responsables de la evaluación en cada una de las etapas sucesivas del proceso. Estas responsabilidades, en
forma de funciones de asistente, vienen indicadas con la letra «L» para el personal no experto (lay
personnel), la «P» para el personal profesional (professional staff personnel) y la «S» para los estudiantes
(students). Cuando más de uno de estos grupos tiene alguna responsabilidad en alguna etapa del proceso
evaluativo, deben designarse los que actuarán como agentes secundarios o indirectos. Por ejemplo, mientras
los tres grupos se reparten la responsabilidad en la primera etapa, sólo los profesionales están implicados en
la sexta y estos mismos profesionales tienen la responsabilidad principal en la octava, donde los no expertos
y los estudiantes desempeñan papeles secundarios y de asistentes.
Metfessel y Michael también insistían en que las decisiones que supusieran algún tipo de
enjuiciamiento debían incluirse en todas las fases del proceso evaluativo, «puesto que los que participan en
cada etapa deben estar preparados para reajustes en sus actividades según la cantidad y el carácter de la
información que vayan recibiendo».
Además, Metfessel y Michael afirmaban que los evaluadores debían saber que las valoraciones
podían indicar falsos progresos o falsos retrasos relacionados con lo siguiente:

1. Experiencias dentro y fuera del ambiente escolar que caen fuera de las intenciones de los objetivos
específicos de rendimiento.
2. Diferencias no identificadas, resultado de los efectos de profesores y demás personal básico de la
escuela (a menudo capaces de motivar por naturaleza).
3. Incorrecciones en diversos aspectos de la recopilación de datos y el análisis.
4. Errores en la planificación investigativa y en la metodología estadística.

Teniendo siempre presentes estos peligros, la prudencia y el buen juicio del evaluador se hacen
«particularmente útiles y necesarios» si se quieren extraer conclusiones honestas y significativas de los datos
de la evaluación.

El apéndice de las valoraciones basadas en múltiples criterios

El apéndice de la publicación de 1967 contiene valoraciones basadas en múltiples criterios para la

evaluación de programas escolares. Estas valoraciones críticas representan una excelente contribución a la
creación de instrumentos, porque incluye una lista de las diversas fuentes y tipos de valoraciones necesarias
para alcanzar una comprensión acabada y completa de los diversos aspectos de un programa escolar. Dicho
de otra manera, aunque Metfessel y Michael no fueran, en principio, más allá del método tyleriano,
ampliaron el alcance de los juicios sobre un programa.

12
 El apéndice proporcionaba cinco dimensiones principales (valoraciones basadas en criterios) para la
evaluación de programas escolares. En cada ejemplo, aparecían valoraciones que, si se aplicaban a un
programa, podían indicar si un aspecto del programa había permanecido tal cual o había cambiado,
comparándolo con los objetivos específicos pensados para el programa. Estos cinco tipos de indicadores, con
ejemplos suficientes para comprobar las valoraciones que se aplicaban a cada uno, eran presentados así:

1. Indicadores de inmovilidad o cambio en los comportamientos cognitivos y afectivos de los

estudiantes según mediciones y escalas normalizadas: por ejemplo, tests de conocimiento
estandarizados, autoinventarios estandarizados, escalas de valor estandarizado y tests de
habilidades psicomotrices estandarizados.
2. Indicadores de inmovilidad o cambio en los comportamientos cognitivos y afectivos de los
estudiantes mediante instrumentos o sistemas, informales o semiformales, realizados por el
profesor: entrevistas, cuestionarios, autoexámenes acerca de los conceptos y tests de
conocimientos y escalas de valor realizados por el maestro.
3. Indicadores de inmovilidad o cambio en el comportamiento de los estudiantes que no pueden ser
valorados mediante tests, inventario o escalas de observación, pero que están relacionados con la
tarea de evaluar los objetivos de los programas escolares: por ejemplo, ausencias, apuntes
anecdóticos (críticas del comportamiento), tareas (número y carácter de las que ha realizado),
libros (número y carácter de los que ha pedido en la biblioteca), acciones disciplinarias que han
debido ser adoptadas (tipo y frecuencia), participación en los trabajos de equipo, referencias del
profesor al consejero y habilidades (demostración de sus nuevas aptitudes o de las que ha
perfeccionado).
4. Indicadores de inmovilidad o cambio en el comportamiento cognitivo o afectivo de los profesores
y demás personal de la escuela en relación con la evaluación de los programas escolares: por
ejemplo, la asistencia (frecuencia con la que asiste a las reuniones profesionales o a los cursos de
preparación), la participación, incluyendo los puestos de elección que desempeñan en
organizaciones profesionales y comunitarias; y procedimientos informativos practicados por
administradores, consejeros y profesores.
5. Indicadores del comportamiento de la comunidad con relación a la evaluación de programas
escolares: por ejemplo, asistencia a las actividades especiales de la escuela; conferencias
(frecuencia de las reuniones entre padres y profesores o entre padres y administradores promovidas
por los padres); respuesta de los padres a las cartas e informes, y llamadas telefónicas de los
padres, de la comunidad y del personal de los medios de comunicación.

El apéndice sugería que una amplia variedad de no expertos y de profesionales, individualmente o en

grupo, podía estar implicada en la evaluación, definiendo las valoraciones y las audiencias para el informe
final. Metfessel y Michael subrayaron la necesidad de un modelo coherente que incluyera una gran gama de
metas y objetivos, así como también una serie de indicadores del nivel que se había alcanzado con éxito.

13
REFERENCIAS BIBLIOGRÁFICAS
KRATHWOHL, D. R. 1965. Stating objectives appropriately for program, for curriculum, and for
instructional materials development, Journal of Teacher Education, 12, págs. 83-92.
METFESSEL, N. S. y MICHAEL, W. B. 1967. A paradigm involving multiple criterion measures for the
evaluation of the effectiveness of school programs, Educational and Psychological Measurement,
27, págs. 931-943.
MICHAEL, W. B. y METFESSEL, N. S. 1967. A paradigm for developing valid measurable objectives in
the evaluation of educational programs in colleges and universities, Educational and Psychological
Measurement, 27, págs. 373-383.
SMITH, E. R. y TYLER, R. W. 1942. Appraising and recording student progress, Nueva York, Harper &
Row.
STUFFLEBEAM, D. L.; FOLEY, W. J.; GEPHART, W. J.; GUBA, E. G.; HAMMOND, R. L.;
MERRIMAN, H. O. y PROVUS, M. M. 1971. Educational evaluation and decision making in
education, Itasca, Ill., Peacock.
TYLER, L. L. y KLEIN, M. F. 1967. Recommendations for curriculum and instructional materials, Los
Angeles, Universidad de California, Los Angeles (cíclostilado).
TYLER, R. W. 1942. General statement on evaluation, Journal of Educational Research, 35, págs. 492-501.
––. 1950. Basic principles o f curriculum and instruction, Chicago, University of Chicago Press.
––. 1953. Some persistent questions on the defining of objectives. En C. M. LINDVALL (comp.), Defining
educational objectives, Pittsburgh, University of Pittsburgh Press.
––. 1956. The objectives and plans for a national assessment of educational progress, Journal of Educational
Measurement, 3, págs. 1-10.
TYLER, R.; GAGNE, R.; y SCRIVEN, M. 1967. Perspectives of curriculum evaluation, Chicago, Rand
McNally.
WORTHEN, B. R. y SANDERS, J. R. 1973. Educational evaluation: Theory and practice, Worthington,
Ohio, Charles A. Jones.

14