Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Editorial............ ............ ................. ..... ........ ......... ............... ............. ...... ............ ........ ......... 3
RESUMEN
En este estudio se realiza una revisión sobre los trabajos de evaluación y posteriormente se
reflexiona sobre tres aspectos:
ABSTRACT
In this study is accomplished a review on the evaluation projects and afterwards is reflected
on three aspects:
otras social y la mayoría de las veces, para los profesores / as e investigadores, un conti-
nuo problema cuando se plantean explicar, comprender o mejorar la educación.
En este trabajo, hemos comenzado por revisar los artículos de una selección de
revistas que suelen incluir investigaciones sobre el tema, y una vez revisadas incidir
en aquellos aspectos que resultan de mayor interés y a la vez de mayor repercusión en
la práctica educativa.
Las revistas seleccionadas han sido:
Abraira, C.F. (1995) B. Evaluación de dos programas educativos, Estudio cuasi-experimental Dos grupos de alumnos/as
utilizando el modelo CIPP. con pretest y pos test. de magisterio. N= 91 Y78
Universidad de León.
Abraira, C.F. (1995) Aplicación del modelo CIPP con Estudio empírico. Técnicas 522 alumnos/ as de Magisterio
R.I.E. alumnos/ as de magisterio para mejorar observacionales (escalas de de la Universidad de León.
el rendimiento en Matemáticas. estimación) y entrevistas.
Bax, S. (1995) ELT.]. Evaluación del profesorado. Estudio de casos: entrena- Profesores / as Sudafricanos.
miento de profesores / as.
Bennett, S.J., and Evaluación del rendimiento lector en Grupo de discusión. Auto- Alumnos/as de 1° y 2° año.
others. (1995) A.E.R.E Química. evaluación con cuestionarios.
Buendía, L.; Fernández, El estudio plantea tres líneas de trabajo. Estudios teóricos con
A. y Ruiz, J. (1995) La primera sobre evaluación de la práctica propuestas de aplicación a
R.I.E. docente, la segunda sobre evaluación de la práctica.
las nuevas tecnologías en educación y la
tercera sobre evaluación de la investigación.
Fullada, J. y Pallisera, Evaluación de procedimientos: habilidades Pruebas criteriales. Niños / as 4 años escolarizados.
M. (1995) A.I.E. básicas y habilidades perceptivo-motrices. Adultos con disminución
psíquica.
Gregoire, J. and
Nieuwen, C. (1995)
E.].P.E. Evaluación de contenidos: matemáticas. Cuasi-experimental. Niños/ as de 5 y 6 años.
Gutiérrez, J. (1995) Revisión de trabajos de evaluación en Meta-análisis cualitativo Actas de congresos. Tesis
R.I.E. educación ambiental. sobre trabajos de educación doctorales. Revistas interna-
ambiental. cionales.
Ma~oribanks, K.
(1995) S.E.E. Implicación de los padres en la evaluación. Correlacional 516 familias australianas.
Norton, L. and Evaluación de programas de aprendizaje. Análisis de contenido. Con- Alumnos/as de 10 de psico-
Crowley, e. (1995) H.E. cepciones sobre aprendizaje. logía.
Psacharopoulos, G. Evaluación del rendimiento global entre Cuasi-experimental. Pruebas Centros públicos y privados:
(1995) I.R.E. países. estandarizadas. EEUU, Canadá, Corea,
España e Irlanda.
Ramírez, L. y Rodrí-
guez, A. (1995) c.P. Evaluación de contenidos: Lenguaje. Entrevistas y cuestionarios.
Ruggles, e. (and others) Evaluación de recursos (programas de Cuestionarios Investigación Estudiantes universitarios
(1995) I.E.T.I. ordenador para enseñanza) descriptiva. de Geografía y Educación.
Sainsbury, M. and
others (1995) B.E.R.J. Evaluación de estándares. Teórico.
Serrano, J.; Tojar, J.e.; Tiene dos partes. La primera sobre Teórico
Galante, R. y Elósegui, metodología en la construcción de
E. (1995) R.I.E. instrumentos y sistemas de indicadores.
En la segunda parte se realiza una
revisión de los trabajos del 1994 sobre
toma de decisiones y política educativa.
Weston, e. (and Evaluación formativa. Concepto evaluación. Empírico: análisis de con- 11 textos sobre evaluación
others). (1995) E.T.R.D. tenido. (textos). formativa de los últimos 20
años.
Bastianoní, P.; Estudia los procesos de cambio en los Metodología observacional 24 observaciones de cada niño
Scappiní, E. and niños y la relación entre una conducta por cada maestro / a y 24 auto-
Emilianí, F. (1996) inadaptada y la práctica de los adultos observaciones de cada adulto
E.].P.E. (según un programa previamente diseñado). sobre sus actos con cada niño.
10 Leonor Buendía Eisman
Kwan, K-P. and Evaluación por dos métodos diferentes, Estudio comparativo a 5 grupos, cada uno con
Leung, K. (1996) (el tutor y el grupo de iguales) del partir de una escala de 17-20 estudiantes.
A.E.H.E. rendimiento de los alumnos! as en sesiones puntuación.
de simulación como profesores! as.
Lewy, A. (1996) S.E.E. Describe tres categorías en la Evaluación Estudio teórico y sugerencias Escuelas primarias de Israel.
del rendimiento y la situación actual, para construir test de aula
diferenciando Evaluation y Assessment (tareas de evaluación).
Meyer, T. y Anís, J. Evalúan la calidad de las respuestas Cuasi-experimental. 2 grupos 332 sujetos. (cuestiones
(1996) E.J.P.E. humanas a cuestiones sobre un texto, (comparación en diferentes sobre significado de un texto
comparándolas con las respuestas variables de respuestas y parafrasear el texto.
artificiales de un programa de humanas vs. máquinas).
ordenador.
Pacek, D. (1996) Evaluación de un programa de Enseñanza Evaluación postest a través Escuelas japonesas.
E.L.T. Joumal. del Inglés. de cuestionarios. Estudio
teórico.
Sumsion, J. and Evaluación de profesores! as en formación Escala de observación: 124 estudiantes a profesores! as
Fleet, A. (1996) sobre el desarrollo de la práctica reflexiva. altamente reflexivo, mode- de los cuales sólo 73 perma-
A.E.H.E. radamente reflexivo, no necieron en el estudio com-
reflexivo. pleto.
Toohey, S.; Rian, G. Se identifican diferentes modelos de Estudio teórico con impor-
y Hyghes, C. (1996) evaluación del prácticum y se hacen tantes aportaciones del
A.E.H.E. propuestas para el mejor aprovechamiento prácticum al desarrollo
del mismo. profesional.
Works, S. and Barak, Evaluación interna y externa de un Cuestionario y grupos de En el norte de Israel, 17
M. (1996) S.E.E. programa interdisciplinar de ciencia y discusión y visitas de escuelas.
tecnología. supervisores.
Zabala, A. (1996) A.I.E. Estudio sobre los informes de evaluación, Estudio teórico. Informes a padres, pro-
el contenido de los mismos y la utilidad fesores! as, alumnos! as y
de la información. administración.
La investigación sobre evaluación educativa 9
Beijaard, D. and Describe las características del conocimiento Estudio teórico. Repercu-
Verloop, N. (1996) práctico de los profesores! as y problemas siones sobre los sistemas de
S.E.E. asociados con la evaluación de este evaluación del profesor / a.
conocimiento.
Berberoglu, G.; Importancia de evaluar el conocimiento Estudio comparativo entre Educación superior. Univer-
Dochy, F. and previo para conseguir un buen aprendizaje. hombres! mujeres en dife- si dad de Turquía.
Moerkerke, G. (1996) rentes áreas: matemáticas,
E.].P.E ciencias sociales y ciencias.
Chartier, D. (1996). Evaluación de una serie de dimensiones Empírico. Metodología 250 adultos, 80% hombres.
E.J.P.E. cognitivas en dos grupos de adultos que comparativa. (diseño cuasi-
siguen dos programas de aprendizaje experimental con pretest y
diferente. postest).
Cousins, B.J. (1996) Evaluación participa ti va. Los efectos de la Estudios de casos con 3 Escuelas públicas de
S.E.E. investigación-acción en la evaluación y observación participante. Canadá. (1995).
práctica educativa.
Dochy, F.; Estudio detallado del conocimiento previo, Análisis de los efectos del Se analizan 129 estudios.
Moerwerke, G. and presentando un modelo de integración de conocimiento previo sobre
Martens, R. (1996) Aprendizaje, Instrucción y Evaluación. rendimiento y otras varia-
S.E.E. bies. Revisión teórica.
Ellett, Ch. D. and Evaluación de profesores! as a través de Empírico (Escala) (STAR). 45.000 Profesores! as de
others. (1996) S.E.E. los estandares de Evaluación personal de Escuelas públicas.
Stufflebeam (1988).
Galante, Ry Evaluación de los contenidos de los trabajos Estudio bibliométrico. Años: 1980-1990, Universi-
Sanchidrian, C. de tesis y tesinas en Historia de la Educación dades, n = 16; Tesis, n = 169;
(1996) R.I.E. Yuna comparación entre estos y los artículos tesinas, n = 219.
de la Revista de Ha de la Educación.
Hager, P. and Butler, Contrasta el modelo de evaluación basado Estudio teórico con dife-
J. (1996) A.E.R.E. en medición objetiva y la evaluación desde rentes análisis comparativos
la Teoría constructivista. de ambos modelos.
Hargreaves, D.J.; Elaboración de una taxonomía de los Observaciones y entrevistas 25 descripciones de activi-
Galton, M.J. and constructos o vocabulario de evaluación utilizando a profesores/ as. dades para evaluar el arte.
Robinson, S. (1996) utilizados por los profesores! as de Estudio empírico. 24 descripciones en música.
E.R. primaria para evaluar a alumnos! as en 49 descripciones en creación
arte, música y creación literaria. literaria.
Kniveton, B.H. (1996) Opiniones de los estudiantes sobre Estudio comparativo por 292 alumnos! as, estudiantes
A.E.R.E. evaluación continua y exámenes. edad y género a través de de Ciencias Sociales de dos
cuestionario. Universidades.
La investigación sobre evaluación educativa 11
En esta revisión los aspectos seleccionados, según los criterios anteriormente co-
mentados, han sido:
then y Sanders, 1987) podemos encontrar modelos diferentes en cuanto a los referen-
tes de evaluación (evaluación basada en objetivos, Tyler 1950, el modelo de Cronbach,
1982; el modelo de toma de decisiones de Stufflebeam, 1971), pero todos requieren que
la información sea científicamente objetiva (Farley, 1985). Esta se consigue utilizando
instrumentos válidos y fiables; y los datos, pueden ser reproducidos y verificados por
otros profesionales, acabando el proceso en el momento que los datos son obtenidos.
Desde esta perspectiva, la evaluación del alumno / a ha sido utilizada como justifi-
cación de un programa educativo (Cronbach y Snow, 1969; Scriven, 1967; Stake, 1967;
Stufflebeam, 1969), sin considerar específicamente al profesor / a y en muchos de los
casos deliberadamente olvidado como parte del proceso, por la consideración tecnicis-
ta del papel del evaluador (Webster, 1995).
Con los resultados, además de analizar ,el impacto de un programa educativo, se
pretenden conocer si se han cubierto los objetivos de política educativa, relacionada
con estandares de rendimiento, recayendo sobre el resultado académico del alumno / a
gran parte de la responsabilidad de todo el funcionamiento de un sistema.
En estos casos el problema se plantea en el establecimiento de criterios para com-
parar resultados finales entre países, como el comentado por Linn y Baker (1995),
recogiendo los resultados ofrecidos por la IAEP sobre el rendimiento en Matemáticas
de cinco países: Korea, Hungría, Taiwan, Italia y Estados Unidos. Los criterios segui-
dos fueron los presentados en el informe de 1994 de la NCEST (National Council on
Education Standars and Testing) para evaluar el sistema educativo:
a) Contenido estándar (definido como aquello que debería enseñarse y que los
estudiantes deberían aprender)
b) Rendimiento estándar (definido como el nivel mínimo que los estudiantes debe-
rían alcanzar)
c) Oportunidades de aprendizaje (entendido como la adecuación y posibilidades
de oportunidades de aprendizaje que se ofrecen a los alumnos / as.
En el aula tienen lugar una serie de actuaciones tanto individuales, por parte de
profesores / as y alumnos / as, como compartidas por ambos, encaminadas a conseguir
el desarrollo de las capacidades previstas en los objetivos, la construcción del conoci-
miento y la formación de actitudes, valores y normas. En la escuela, el alumno / a,
puede no sólo rendir académicamente sino además aprender las normas de conducta
socialmente más apropiadas.
Aunque el aprendizaje individual es el objetivo primero para la escolarización, sin
embargo la educación formal es esencialmente un proceso social (Weinstein, 1991). En
este proceso social, las diferencias individuales y culturales influyen en el desarrollo
La investigación sobre evaluación educativa 13
mientos que construye, gracias a los significados de los conocimientos que ya tiene.
La creación de estas conexiones en la escuela dependen tanto de la participación
activa del aprendiz, como de la mediación que realiza el profesor / a (Buendía, 1993a),
y de la familiaridad con el contexto (Harlem y James, 1996) Y los materiales (Weston
y McAlpine, 1994).
La evaluación tiene un papel distinto en cada tipo de aprendizaje.
En la evaluación de aprendizajes superficiales como fechas, hechos memorísticos
en general o habilidades físicas, la evaluación se utiliza sólo para conocer si dichos
conceptos han sido aprendidos o no, y el feed-back proporciona información de lo no
memorizado o erróneamente recordado.
Cuando se aprende algo con comprensión, el aprendiz lo entiende e interioriza
activamente. Este aprendizaje, vinculado a una experiencia previa, puede ser aplicado
a situaciones diferentes de las que enmarcaron su aprendizaje. Lo que es conocido y
aprendido podría, por supuesto, cambiar con nuevas experiencias y nuevas ideas,
estableciéndose conexiones para darle sentido y significatividad a lo nuevo.
La evaluación de este aprendizaje permitiría conocer el punto de partida del apren-
diz y el proceso seguido en la elaboración o construcción de los nuevos aprendizajes.
La evaluación no es aquí una herramienta de control sino una parte importante del
proceso de enseñanza.
Sin duda una de las mayores discusiones sobre el tema se han realizado sobre los
modelos de evaluación, intentando establecer relaciones funcionales entre el tipo de
evaluación que se realiza y la opción ideológica personal; y si bien esto tiene parte de
verdad (no creemos que ningún acto humano este desprovisto de valores y mucho
menos cuando implica toma de decisiones), el problema se plantea cuando lo que
subyace en la discusión es un desconocimiento técnico y de las diferentes bondades de
las opciones en función de los fines a los que sirven (Wilian y Black, 1996).
Decimos esto porque la evaluación final v.s. continua v.s. inicial, puede ser objeto
de discusión cuando la opción, por una de ellas (sólo evaluación final para evaluar
resultados) responde a una concepción de la evaluación como justificación social del
nivel alcanzado por el alumno / a y demostración de los actos «objetivos» del profe-
sor / a. Pero, si por el contrario, en función del momento en el que se realiza, optamos
por una u otra, el problema es más una cuestión temporal que propiamente de ads-
cripción teórica o ideológica.
La evaluación inicial tiene por objeto realizar un diagnóstico para detectar el
grado de desarrollo en aspectos básicos del aprendizaje y será el punto de referencia
del tutor o tutora para la toma de decisiones relativas al desarrollo de currículo.
Consiste, por tanto, en recoger información acerca de las situación actual de cada
alumno / a al iniciar un determinado proceso de enseñanza-aprendizaje con objeto de
adecuar este proceso a sus posibilidades.
La investigación sobre evaluación educativa 15
Comienzo de cada momento Análisis del punto de partida de cada Antes de desarrollar la planificación.
de aprendizaje alumno / a de las capacidades para el
aprendizaje.
Comienzo de una unidad didáctica Activar las ideas previas. Antes de concretar la unidad
didáctica a desarrollar.
Comprobar la adecuación de los nuevos
aprendizajes a las características del
alumno / a y al contexto del Centro.
Comienzo de una etapa Estudio de los datos de escolarización anterior. Al iniciar la etapa.
«Cada clase es vista como una situación de investigación y una fuente de conoci-
miento más accesible cuando los profesores/as reflexionan o se preguntan conjunta-
mente sobre las cuestiones surgidas en ellas, enriqueciendo su teoría de la práctica»
(1993: 51).
los dilemas prácticos que se les plantean para llevar a término los propósitos educativos en estas
situaciones».
Las situaciones de Enseñanza-Aprendizaje son siempre situaciones de indagación-
acción. En el aula tienen lugar una serie de interacciones, interactividades (Buendía y
Pegalajar, 1990; Buendía, 1993a) y procesos de gran similitud con cualquier proceso
investigador; lo que ha permitido ver la enseñanza como una situación constante de
indagación, y los procesos, que tienen lugar en la situación educativa, como actos
intencionales encaminados a la construcción de un conocimiento útil tanto para el
profesor / a (conocimiento práctico: Fenstermarcher, 1994; Sh6n, 1992, Clandinin y
Connelly, 1988; Elbaz, 1981), como para el alumno/ a (aprendizaje). La figura del
profesor / a investigador (Stenhouse, 1975), no es la del profesional que investiga y
aplica los conocimientos generados en contextos fuera del aula sino la del investigador
en la acción, el que transforma la enseñanza en una continua situación de indagación-
acción-reflexión y toma de decisiones. El propio proceso de desarrollo curricular debe
ser concebido como una investigación del profesor / aado, «un modo poderoso por el
que los profesores / as comprenden cómo ellos y sus alumnos / as construyen y recons-
truyen el currÍCulum» (Cochram-Smith y Lytle, 1993: 51).
Las teorías constructivistas, basadas en la idea de que los humanos crean y constru-
yen activamente su realidad personal enfatizan los procesos de conocimiento y se
orientan hacia la evaluación de la viabilidad (utilidad) como opuesto a validez (ver-
dad) de la visión del mundo única de cada individuo (Neimeyer 1996).
Sin embargo, pocos profesores / as son conscientes del conocimiento que tienen de
las situaciones educativas. Una de las mayores dificultades con las que se encuentran
es unir su actuación docente y las decisiones que se toman en el aula, con la termino-
logía que, desde la formalización teórica del conocimiento sobre la situación educati-
va, se utiliza. Con frecuencia hemos podido constatar que sólo los separa el código de
lenguaje utilizado para expresar las prácticas profesionales, siendo esto, a veces, moti-
vo de la gran separación existente entre teóricos y prácticos. Este conocimiento perso-
nal, elaborado desde la propia práctica, de hacerse consciente y explícito, permitiría
disponer de un importante cuerpo teórico en la formación de los profesores / as y un
marco de referencia sobre el conocimiento base de la enseñanza (Buendía, 1995).
5. BIBLIOGRAFíA
ABRAIRA, C.F. (1995). ¿La Evaluación Formativa ayuda a los alumnos/ as a aprender?
Bordón. 47, 1, 53-67.
ABRAIRA, C.F. (1995). Incidencia de la evaluación formativa en el proceso didáctico.
Revista de Investigación Educativa, 25, 79-90.
AIRASIAN, P. (1991). Perspectives on measurement instruction for preservice re-
achers, Educational Measurement: Issues and Practice, 10 (1), 13-16.
AL-KARNI, A. (1995). Evaluating the performance of academia departement chaiper-
sonso Higher education. 29, 1, 37.
ALVIK, T. (1995). School-based evaluation: a close-up. Studies in educational evaluation.
21, 3, 311.
La investigación sobre evaluación educativa 17
LINN, R.L. Y GRONLUND, N.E. (1995). Measurement and Assessment in Teaching. En-
glewood Cliffs, NJ: Prentice Hall.
LINN, R.L. Y BAKER, E.L. (1995). What do internacional assessment imply for world-
class standars. Educational Evaluation and Policy Analysis, 17, 4, 405-418.
MARJORIBANKS, K. (1995). Parents' involvement in learning as an opportunity struc-
ture, a model for evaluation. Studies in educational evaluation. 21, 1, 73.
MARTON, F. and other. (1984). The Experience of Learning. Edinburgh: Scottish Acade-
mic Press.
McCHESNEY, P. (1995). Yes, but how?: development and evaluation of careers educa-
tion in higher education by careers advisers. British journal of guidance & counselling.
23, 3, 327.
McDONALD, B. (1983): La evaluación y el control de la educación. En J. Gimeno y A.
Pérez (Eds.): La enseñanza: su teoría y su práctica. Akal Universitaria. Madrid.
McDONALD, B. (1992): Microworlds and real worlds. An agenda for evaluation. The
European Conference about Information Technology in Education: A Critical In-
sight. Barcelona. (Documento policopia do ).
MEHRENS, W.A. Y LEHMANN, 1.J. (1991). Measurement and Evaluation in Education
and Psychology. Fort Worth, TX: Holt, Rinehart, and Winston, Inc.
MEYER, T. Y ANIS, J. (1966). Assessment of answers to questions about a tex and
knowledge of cognitive processes. European Journal of Psychology of Education. XI, 3,
313-328.
NEIMEYER, G.J. (1996). Evaluación constructivista. Paidos. Barcelona.
NITKO, A.J. (1996). Educational Assessment of Students. Englewood Cliffs, NJ: Prentice
Hall.
NORTON, L.S. and CROWLEY, C. M. (1995). Can students be helped to learn how to
learn? An evaluation of an approaches to learning programme for first year degree
students. Higher education. 29, 3, 307.
OOSTERHOF, A. (1996). Developins and Using Classroom Assessments. Englewood Cli-
ffs, NJ: Prentice Hall.
O'NEILL, T. (1995). Implementation frailties of guba and lincoln's fourth generation
evaluation theory. Studies in educational evaluation. 21, 1, 5.
PACEK, D. (1966). Lessons to be learnt from negative evaluation. ELT Journal. 50, 4,
335-343.
PARLETT, M. Y HAMILTON, D. (1983). La evaluación como iluminación. EnJ. Gime-
no y A. Pérez (Eds.): La enseñanza: su teoría y su práctica. Akal Universitaria.
Madrid.
PÉREZ JUSTE, R. (1992). El modelo evaluativo de la Reforma Educativa. UNED. Madrid.
PSACHAROPOULOS, G. (1995). Evaluation of education and training: What room for
the comparative approach? Internacional Review of Education, 41, 3-4, 259-284.
RAMÍREZ, L. Y RODRÍGUEZ, A. (1995). «INTERNIVELES». Autoevaluación en Len-
guaje. Cuadernos de Pedagogía. 241, noviembre, 38-43.
RODRÍGUEZ, B. (1995). Hacia un modelo de Evaluación interna del Currículo del
Centro Educativo. Bordón. 47, 1, 5-17.
ROVINELLI, R.J. Y HAMBLETON, R.K. (1977). On the use content specialist in the
La investigación sobre evaluación educativa 23
STUFFLEBEAM, 0.1. (1971). Educational evaluation and decision making. Peacock. Itasca,
·III.
SUMSION, J. and FLEET, A. (1966). Reflection: can we assess it? Should we assess it?
Assessment & Evaluation in Higher Education. 21, 2, 121-130.
TOOHEY, S.; RYAN, G. and BUGHES, C. (1996). Assessing the Practicum. Assessment
& Evaluation in Higher Education, 21, 3, 215-229.
TORRAN CE, H. (1993). Formative assessment: sorne theorical problems and empirical
questions. Cambridge Journal of Education, 23 (3),333-343.
TUNSTALL, P. and GIPPS, C. (1995). How does your teacher help you to make your work
better? Children's Understanding of Formative Assessment. Paper presented to the
Brtish Educational Research Association Conference, Bath UK.
TYLER, 1.E. (1950): Test and measurements. Prentice-hall. New York. (Trad. En Edicio-
nes el Castillo, 1972).
VIOICH, A.J. y LYMAN, S.M. (1994). Qualitative methods: Their history in sociology
and anthropology. En Handbook of Qualitative Research, Oezin, N.K. y Lincoln, Y.s.
(eds.).
THOUSANO OAKS, CA. SAGE Publications, Inc., 23-59.
WAKS, S. and BARAK, M. (1966). Role of evaluation in an interdisciplinary educatio-
nal programo Studies in Educational Evaluation. 22, 2, 171-180.
WEBSTER. W.J. (1995). The connection between personnel evaluation and school eva-
luation. Studies in Educational Evaluation. 21, 2, 227.
WEINSTEIN, C.s. (1991). The classroom as a social context for learning. Annu. Rev.
Psychol., 42, 493-525.
WESTON, C.; MCALPINE, 1. y BOROONARO, T. (1995). A model for understanding
formative evaluation in instructional designo Educational technology research and
development. 43, 3, 29.
WESTON, C. and McALPINE, 1. (1994). Improving Instruction Through Formative
Evaluation. A.E.R.A., New Orleans.
WHYTE, W. F. (1943). Street corner society: The social structure of an ltalian slum. Chica-
go: University of Chicago Press.
WILIAN, O. and BLACK, P. (1966). Meaning and Consequences: a basis for distinguis-
hing formative and sumative functions of assessment? British Educational Research
Journal. 22, 5, 537-548.
WILIAN, O. (1966). National Cuurriculum Assesment and Programmes of Study: validity
and impacto Britis Educational Research Journal. 22, 1, 129-142.
WORTHEN, B.R. & SANOERS, J.R. (1987): Educational Evaluation. Alternative appro-
aches and practical guidelines. Longman Inc. London.
WORTHEN, B.R.; BORG, W.R. y WHITE, K.R. (1993). Measurement and Evaluation in
Schools. New York: Longman.
ZABALA, A. (1966). La información de los procesos y los resultados del aprendizaje.
Aula de Innovación Educativa, 55, 41-48.
Revista de Investigación Educativa - Vol. 14, n. o 2, págs. 25-50
RESUMEN
ABSTRACT
Fuensanta Hernández Pina. Catedrática de Universidad. Opto. MIDE. Facultad de Educación. Campus
de Espinardo. Universidad de Murcia. 30.100 Murcia. E-mail: fhpina@fcu.um.es
26 Fuensanta Hernández Pina
¿En qué momento y lugar se hace pública la convocatoria de los exámenes finales?
Analícese y valórese la práctica mayoritaria en relación con los siguientes aspectos
(utilícese, si se cree oportuno, la tabla -cuadro de apoyo- para la recogida de la
información correspondiente):
¿Existe algún criterio para compensar o promediar notas en las diferentes asignatu-
ras de un semestre o curso?
¿Cómo y cuándo se informa a los alumnos de los resultados de los exámenes
parciales y finales? .
¿Existe normativa específica a la revisión de exámenes?
- Tasa de éxito
- Tasa de retraso
- Tasa de abandono
- Duración media de los estudios
Estos son a grandes rasgos los conocimientos, comprensión y habilidades que los
estudiantes deben adquirir a su paso por las instituciones universitarias. Lo que los
profesores evalúen y cómo lo evalúen va a afectar a la calidad de tales aprendizajes. Si
sólo evalúan niveles inferiores del aprendizaje, esto indudablemente afectará a los
procesos de aprendizaje desarrollados por los propios estudiantes.
Todos los componentes examinados más arriba aparecen relacionados con la ense-
ñanza que los profesores deben ejercer en la universidad. Efectivamente la relación entre
lo que el profesor enseña y evalúa, y lo que el alumno aprende, debe abordarse de forma
prioritaria, entendemos, en :la evaluación institucional; concretamente en la evaluación de
la enseñanza como elemento a destacar en la producción de una institución universitaria.
Tanto Rodríguez Espinar (1991) como De Miguel (1991) señalan que conviene
evitar el papel reduccionista que suele asignarse a la evaluación de la enseñanza;
ambos autores destacan que la evaluación de la enseñanza universitaria no debe en
ningún momento centrarse exclusivamente en el profesor, sino más bien en todos
aquellos elementos que rodean la actividad que el profesor lleva a cabo en el aula.
Rodríguez Espinar (1991) considera que la enseñanza universitaria ha de entender-
se como «el conjunto de actividades y servicios desarrollados por una institución
universitaria y orientados a la formación de graduados» señalando la docencia como
un componente de tal conjunto. De Miguel (1991), por su parte, distingue entre lo que
debe entenderse por una unidad de docencia y la actividad docente que realiza un
profesor. De ahí que abogue por evitar el reduccionismo de evaluar sólo al profesor
como único elemento de la evaluación de la unidad docente. De Miguel, además, es
partidario de plantear la evaluación de la enseñanza con un enfoque de innovación y
cambio de los procesos de enseñanza destacando el carácter positivo y de mejora que
ha de tener la evaluación.
Este mismo autor destaca cuales son los componentes principales de la enseñanza
o docencia que ayudan a evitar dicho reduccionismo. Para ello aparte del principio de
que «la dimensión docente de la universidad no se limita a la enseñanza que realiza
un profesor concreto en su aula, sino que implica la actuación de una serie de órganos
e individuos que toman decisiones sobre qué cosas se van a enseñar, cómo, cuándo y
por quiénes van a ser impartidas las enseñanzas y con qué objetivos o finalidad».
De Miguel (1991) es partidario de un modelo de evaluación basado en la produc-
ción como es el modelo de Stuflebean. En la universidad se inicia la tarea cuando se
establecen las ofertas de títulos y cursos y los alumnos (input) con las características
que demandan tales titulaciones. A continuación la institución organiza las enseñan-
32 Fuensanta Hernández Pina
zas y las actividades propias con el fin de que aquellos adquieran los conocimientos y
habilidades (procesos) propios de la titulación. Por último, como resultado de tales
procesos se obtienen unos productos reflejados en el alumno y en la institución. Estas
tres fases se efectúan dentro de un contexto que va a ser específico a cada institución
y que será la que mediatice y envuelva no solo a las concepciones que la institución
tenga sobre la enseñanza sino al propio proceso de producción (contexto).
En cada una de estas fases (contexto, input, proceso y producto) se dan niveles de
administración diversos, con unidades de gestión y niveles de responsabilidad pro-
pios que se pueden estar anidados unos en otros. Dado que cada uno de ellos tiene
responsabilidades propias, cualquier modelo de evaluación debe evaluarlas desde las
funciones que se le hayan asignado y desde su propia responsabilidad. De Miguel
diferencia tres niveles de competencias: unas que emanan de los órganos de gobierno
de la institución, otras que emanan de unidades más pequeñas como pueden ser los
centros, departamentos, etc. y, por último, las que emanan del profesor individual-
mente. En un trabajo posterior, De Miguel (1995) llama la atención sobre el modelo de
producción contexto / recursos / proceso / producto señalando que este modelo puede
aplicarse a los distinto niveles del sistema educativo. El modelo, siendo el mismo,
cambia en los factores o variables que incluye en cada caso. Sin embargo, la calidad
obtenida en cada nivel va a depender del nivel previo, a la vez que influye en el nivel
siguiente. Ello significa que «la política educativa a nivel estatal constituye el referente
que enmarca las actividades que desarrollan las instituciones, como a su vez éstas
determinan la calidad de la enseñanza en las aulas» (p. 37).
Para Biggs (1996) la evaluación del aprendizaje ocupa un lugar clave en la determi-
nación de los resultados del aprendizaje. Esto significa que la evaluación no es un
hecho aislado en una institución, ya que ésta es un sistema holístico que por su
estructura organizativa incluye niveles y funciones que determinan los procedimien-
tos de enseñanza y evaluación y que, a su vez, incide en la percepción que los alumnos
tienen sobre qué y cómo aprender. Esta es, a juicio de Biggs, la razón más importante
de por qué cada institución superior debería tener su propia política y guía sobre la
evaluación, suministrando una serie de principios coherentes y conocimientos proce-
dimentales acerca de la evaluación. Dicha política permitiría asegurar la coherencia
entre los propósitos y objetivos de la institución, y por extensión de las titulaciones
que imparte, y la evaluación de los logros alcanzados tras los procesos de enseñanza-
aprendizaje. Biggs ilustra esta idea conforme vemos en la figura 1 en la que observa-
mos que el sistema de evaluación (qué es probable) implica un compromiso entre los
objetivos (qué queremos), cómo lograr tales objetivos (qué es posible) y lo que la
administración y nuestros colegas nos permiten (qué es permitido). Los objetivos van
encaminados a la toma de decisiones en primer lugar. La tecnología nos permitirá
juzgar si tales objetivos se han alcanzado. A continuación nos encontramos con los
requisitos formales e informales del sistema social. Todos estos componentes pueden
afectar a los anteriores, es decir, podríamos cambiar nuestros objetivos a la vista de lo
posible o lo permisible. El sistema social podría impedir algunas cosas que son técni-
camente posibles; podría incluso ser la medida de lo deseable y de los cambios posi-
bles que son permitidos.
La evaluación de los alumnos en el contexto de la evaluación de la calidad de las universidades 33
OBJETIVOS
¿Qué queremos?
TECNOLOGíA RESULTADOS
¿Qué es posible? LA INSTITUCiÓN ¿Qué es probable?
¿Qué está permitido?:
a) por la burocracia
b) por los colegas
Figura 1
Antes de entrar a describir brevemente las dos concepciones que orientan la forma
de abordar el aprendizaje de los estudiantes vamos a hacer un breve comentario sobre
la terminología al uso. Esta nomenclatura ha ido cambiando tanto en una como en otra
perspectiva conforme las investigaciones se han ido sucediendo.
Marton y Svensson fueron los que inician en 1979 una actividad investigadora que
les llevaría a establecer una distinción entre un enfoque cuantitativo o experimentalis-
34 Fuensanta Hernández Pina
separado y en relación la una con la otra; atender la implicaciones que para la instruc-
ción y el currículum tiene la concepción que adoptemos sobre el aprendizaje o los
logros; y, por último, establecer una relación más clara de nuestra concepción sobre el
aprendizaje o los logros con las metas y propósitos a corto, medio y largo plazo. Este
último requisito se relaciona con lo que queremos que nuestros alumnos aprendan
hoy, mañana y lo que queremos que recuerden y sean capaces de hacer de aquí en
adelante.
1NSTITUCIÓN ORIENTACiÓN
EN.ESTUDIO
r-~~~~~ ~~~M~'~a~te~ri~a_$~____~~
__
E$tlJO.IANte A
RP
Est,lo' ipterl(l. ' ER
Exper:.previa PERCEPCiÓN S ·15
ENFOQUE
Rendimiento DEL CONTEXTO UDN
c::::¿ PARA APREN'
RUC)ttes ~~Wd. c::=::::> DE APRENDIZAJE L E D
=Intenc.+proce T L I
Concepcion de
aprendizaj•• Á'Z
D A
o J
E
Evaluación
Enseñ'anza
Tarea (~antidad)
estruct~ curricu'.
Naturalez,tare2l
Figura 2.
Comprendiendo el aprendizaje del estudiante (Ramsden, 1985).
De la revisión hecha, observamos que todos los autores vienen a coincidir en dos
paradigmas de investigación en el estudio del aprendizaje de los alumnos, coinciden-
tes a su vez con las dos perspectivas de investigación existentes en el campo de la
investigación educativa. Ambas perspectivas, lejos de convertirse en posturas enfren-
tadas, han propiciado hallazgos complementarios, pese a que sigan existiendo discre-
pancias respecto a los tipos de intervención que se debería seguir para mejorar los
enfoques de aprendizaje (Entwistle, 1992).
a. La orientación cuantitativa
Veamos a continuación de un modo más detenido las aportaciones que las dos
perspectivas han realizado, empezando por la orientación cuantitativa en la que cabe
distinguir dos líneas fundamentales de acción: la conductista y la cognitiva.
36 Fuensanta Hernández Pina
b. La orientación cualitativa
intención que el sujeto tiene de alcanzar una comprensión personal de los materiales
que estudia. Este enfoque parece tener sus raíces en una orientación de carácter
educativo intrínseco y una concepción sofisticada del aprendizaje. Los que lo adoptan
parecen interaccionar críticamente con el contenido, relacionándolo con sus conoci-
mientos previos y evaluando los pasos lógicos que llevan a una determinada conclu-
sión.
El enfoque superficial, en cambio, parece derivar de una orientación extrínseca y
una concepción simplista del aprendizaje como es la memorización. Implica una in-
tención de satisfacer las tareas o los requisitos del curso, vistas como imposiciones
externas distantes de sus intereses personales. N o es que este enfoque no pueda ser
activo, como el anterior, pero busca más la identificación de aquellos elementos de la
tarea más susceptibles de evaluación para memorizarlos.
Casi en paralelo a los trabajos de Marton y sus colegas, a finales de los años setenta
y comienzos de los ochenta comienzan a aparecer otros trabajos sobre modelos de
aprendizaje dirigidos por N. Entwistle y Ramsden, Biggs, etc. El objetivo principal de
su línea de investigación era establecer cómo aprenden los estudiantes a partir de la
información que ellos mismos suministran. Estos autores han llegado a conclusiones
muy similares a las alcanzadas por Marton y su grupo y han desarrollado modelos de
aprendizaje en los que incluyen las variables que según su teoría y los resultados de
sus investigaciones determinan la calidad del aprendizaje. Por motivos de espacio
solo incluimos el modelo de Biggs (1993) que pasamos a comentar brevemente.
En 1989 tras diversas investigaciones elabora Biggs un modelo de aprendizaje
denominado 'Modelo 3P', por contemplar en él el contexto de enseñanza, los enfoques
de aprendizaje y los resultados del aprendizaje formando un sistema en estado de
equilibrio. En los trabajos de 1989 y 1990 ha dedicado Biggs una atención especial al
papel que desempeñan los modelos de enseñanza en la configuración de los enfoques.
Al igual que existe tres concepciones sobre el aprendizaje, al que tanto los alumnos
como los profesores pueden sentirse atraídos, también existen básicamente tres con-
cepciones de enseñanza: la cuantitativa, la estratégica y la cualitativa.
Estas tres concepciones de la enseñanza presentan una estructura jerárquica, sien-
do las dos primeras las más socorridas a nivel universitario. Según un estudio llevado
a cabo por Radfloff y Sampson (1988) citado por Biggs (1989), la lección magistral sería
la metodología de enseñanza más utiliza por los profesores universitarios.
A cada una de estas tres concepciones de la enseñanza subyace una teoría distinta
sobre cómo se desarrolla la competencia en los alumnos. Así el modelo cuantitativo
asume que el conocimiento existe en torno a uno a la espera de ser descubierto por
alguien inteligente o que se encuentra en el momento oportuno en el sitio adecuado.
Una vez descubierto, puede enseñarse en cantidades medibles por procesos de trans-
misión. Es así como la exposición se convierte en el modo más apropiado de enseñan-
za y de acumular conocimiento sobre los hechos. Dicho conocimiento, sin embargo, no
altera en sí mismo la comprensión e interpretación que el sujeto tiene de los hechos.
En un trabajo publicado por Biggs titulado 'What do inventaries of students'
learning processes really measure? A theoretical review and clarification' (1993) inclu-
ye el modelo de aprendizaje '3P' (Figura 3) que se caracteriza por englobar tres
40 Fuensanta Hernández Pina
factores: presagio-procesa-producto, si bien con una relación recíproca entre todos sus
componentes, convirtiendo de este modo el modelo en un sistema interactivo y com-
plejo. Este modelo causal necesita de un análisis profundo desde los planteamientos
de los modelos estructurales causales con el fin de poder determinar de una forma
clara e integral cuál es realmente la estructura de la relaciones de los elementos que
progresivamente se han ido integrando en él.
Los factores de presagio incluyen variables relacionadas con el alumno como son los
conocimientos previos, las habilidades, el modo de aprendizaje preferido, los valores
y las expectativas. La variables relacionadas con el contexto de la enseñanza incluyen
toda una serie de superestructuras relacionadas con la institución y el profesor: la
estructura del curso, el contenido curricular, los métodos de enseñanza, el clima de la
clase y la evaluación. Estos dos bloques de variables se relacionan directamente con la
naturaleza del resultado del aprendizaje y a través de las variables de proceso.
La novedad en esta relación es su simetría frente a la asimetría de modelos previos.
De igual forma, los dos bloques de variables de presagio que en los modelos anterio-
res formaban dos grupos no relacionados entre sí, ahora aparecen simétricamente
relacionados. La percepción que los profesores tienen sobre los motivos o habilidades
de sus alumnos no figuraba en los modelos previos, cuando dicha percepción influye
en las decisiones que tome el profesor sobre el tipo de enseñanza que imparte. Parale-
lamente, las percepciones que los estudiantes tienen acerca del contexto de la enseñan-
za, que tampoco recogían otros modelos, se incluyen ahora por entender que estas
afectan directamente a sus motivos, predisposiciones y toma de decisión.
Efect.directos
(e.9. habilid)
<J==
Feed-
back
Efect.directo
(e.9 tiempo
Feedback
Figura 3.
Modelo '3P' (1993).
La evaluación de los alumnos en el contexto de la evaluación de la calidad de las universidades 41
Esta percepción del sujeto que Biggs (1985, 1993) denomina meta-aprendizaje se
centra en los procesos (en cómo realizar la tarea) en paralelo con el acto cognitivo de
ocuparse o procesar el contenido del aprendizaje. De este modo el proceso tiene ahora
dos sentidos totalmente distintos: el sentido meta-cognitivo (decidir cómo manejar la
tarea en un determinado contexto) como una estrategia general, y el significado táctico
que se refiere al tipo de procesos cognitivos (de nivel alto o bajo) que se usan. La idea
de unir todos los componentes del modelo recíprocamente sirve para que todo el
modelo se comporte como un sistema integral, de tal forma que el cambio en uno se
sus elementos afectará a los otros, tal como sucede con los sistemas abiertos como por
ejemplo la enseñanza universitaria. En caso contrario, el elemento revertirá a su status
quo tal como sucede en los sistemas cerrados.
El modelo 3P (1993) se hace eco de distintos sistemas anidados que son relevantes
en el aprendizaje de los estudiantes. Biggs menciona los cuatro siguientes:
a) El sistema del estudiante, que comprende una relación equilibrada entre factores
cognitivos y afectivos y un espacio fenomenológico percibido.
b) El sistema de la clase, que abarca a los estudiantes, a los profesores y al marco
docente.
c) El sistema institucional, que contiene a su vez subsistemas como son los Departa-
mentos y las Facultades, cada uno con su propio potencial para realzar o impe-
dir una práctica informada.
d) El sistema comunitario, que puede poner limitaciones en los distintos tramos del
desarrollo educativo.
Cada uno de estos sistemas intenta un estado de equilibrio no sólo entre sus
propios componentes, sino también con un modelo más general, lo cual es fundamen-
tal para saber si una determinada intervención es probable que produzca un cambio
bien sea a nivel de estudiante, a nivel del docente o incluso a nivel de la propia
institución.
La idea de una situación o estado estable es también de una gran ayuda para
comprender cómo se han de usar los cuestionarios sobre los procesos de aprendizaje /
estudio para medir la calidad del aprendizaje que tiene lugar en el aula tanto a nivel
individual como de grupo (Biggs, 1987a, 1987b). La predisposición que el sujeto tenga
hacia un determinado enfoque de aprendizaje será el modo de que el estudiante logre
el equilibrio en el sistema educativo tal como lo percibe. Es decir, dadas unas metas
que el estudiante ha de alcanzar, la autopercepción de su habilidad, el modo de
enseñanza y la evaluación, los resultados obtenidos, etc., le servirán para que, tras un
período de exposición a un marco de enseñanza/ aprendizaje concreto, desarrolle un
determinado enfoque (superficial, profundo, etc.) que le permita llevar a cabo sus
tareas académicas lo más cómodamente posible.
nado nos remite a considerar a los enfoques de aprendizaje en relación con el contexto
académico o con el ambiente que rodea a las experiencias de aprendizaje. El modo de
abordar el aprendizaje, como señalábamos, depende de la percepción que el sujeto
tenga de lo que se le exige o de lo que considere decisivo en términos de la evaluación
(Becker y col. 1968). Si muchos de los trabajos realizados durante la década de los
ochenta se centraron en describir las diferencias cualitativas sobre la forma en que los
alumnos abordan su trabajo académico, ahora el interés se ha desplazado hacia el
estudio de los aspectos contextuales que influyen en dichos procesos de aprendizaje,
tales como los métodos de enseñanza, el currículum, los procedimientos de evalua-
ción, etc. Entwistle y Ramsden (1983), Marton y col. (1984), Thomas y Bain (1984),
Crooks (1988), Entwistle y Tait (1990), Fransman (1991), Banta (199?), Biggs (1996), De
Miguel (1996), Kniveton (1996), Hager y Butler (1996), Nuutinen (1997) etc.
Algunos investigadores han explorado la influencia que tiene la percepción que el
alumno posee del contexto académico sobre los enfoques de aprendizaje y de determi-
nadas materias (De la Orden, 1986). Una de las variables que más parece influir en la
configuración de un enfoque dado son los procedimientos de evaluación: cómo los
alumnos perciben dicha evaluación. De la Orden, en la revisión que hace de la «Inves-
tigación sobre la evaluación educativa» llama la atención sobre esta influencia al
formular lo que en sus propias palabras podría ser la tesis general: «Sea cual fuere la
modalidad, sistema o tipo de evaluación vigente en un contexto educacional, su in-
fluencia sobre el proceso y el producto (subrayado nuestro) de la educación es decisiva y
afecta directamente o indirectamente a la calidad» (1983). Así, si por ejemplo las
preguntas son tipo ensayo, la solución de problemas, los trabajos de investigación,
etc., promoverán un aprendizaje profundo, mientras que el uso de pruebas objetivas
inducirá a un enfoque superficial.
Entwistle y Ramsden (1983) diseñaron un cuestionario para medir otro aspecto
puntual relacionado con los enfoques como es la percepción que los alumnos tienen
del curso que están realizando. Para ello diseñaron varias escalas que incluían objeti-
vos claros y tradicionales, métodos de enseñanza formales, cantidad de trabajo, rele-
vancia vocacional, buena enseñanza, libertad en el aprendizaje, apertura de los estu-
diantes y clima en el aula. Encontraron que los alumnos con enfoque profundo valora-
ban más positivamente la buena enseñanza y la libertad en el aprendizaje, mientras
que la cantidad de trabajo fue el factor que más se asoció con los alumnos que tenían
un enfoque superficial.
Esta percepción por parte de los estudiantes se basó en un consenso entre ellos,
pero existen muchos aspectos académicos en los que no se da dicho consenso (por
ejemplo, en los sistemas de evaluación). y existen otros aspectos del ambiente donde
se registra claramente una diferencia cualitativa de unos estudiantes a otros. El modo,
por ejemplo, de percibir la enseñanza dependerá de la orientación educativa que tenga
el alumno (lo que espera del curso). Meyer (1988) ha sugerido que la ausencia de
correlación entre la percepción del curso y el enfoque de aprendizaje a nivel indivi-
dual podría deberse no sólo al tipo de pregunta formulada, sino a las mismas técnicas
de análisis correlacional utilizadas. De hecho Meyer y Parsons (1989), Meyer y Muller
(1990a y b), Meyer, Parson y Dunne (1090), Entwistle, Meyer y Tait (1991) han demos-
La evaluación de los alumnos en el contexto de la evaluación de la calidad de las universidades 43
trado que usando los procedimientos del escalamiento multidimensional que denomi-
nan 'analysis unfolding' es posible representar en un espacio bi- o tridimensional de
forma simultánea el enfoque de aprendizaje y la percepción asociada con el ambiente
de aprendizaje.
Entwistle y Tait (1990) describieron la relación que existe entre las preferencias que
los estudiantes manifiestan por los tipos de enseñanza, la orientación en el estudio y la
preferencia por diferentes ambientes de aprendizaje. Ello explica que una determina-
da orientación en el estudio vaya acompañada de un enfoque para aprender y una
forma concreta de realizar las tareas académicas. Así por ejemplo, los estudiantes que
adoptan una orientación hacia el significado usan un enfoque profundo apoyándolo
en una motivación intrínseca, manifestando preferencias por un tipo de enseñanza,
exámenes, tutoría, tipo de cursos, etc., que en otras investigaciones han demostrado
que facilitan el aprendizaje (Entwistle, 1990, Entwistle y Ramsden, 1983). Estas inter-
pretaciones se han considerado coherentes para poder ser interpretadas en términos
del modelo de enseñanza-aprendizaje elaborado por Entwistle (1987).
Meyer y colaboradores han introducido una nueva perspectiva en el análisis de
este tipo de relaciones sin los supuestos de linealidad implícitos en la técnica de la
correlación. El 'unfolding' es una técnica de escalamiento de actitudes en la que las
escalas y los individuos se mapifican en un espacio que permite ve qué grupo de
dimensiones le atraen más a los sujetos y qué individuos difieren de una forma
considerable de la mayoría de su grupo. Cuando la posición de estos estudiantes se
representa gráficamente en el espacio creado por el análisis 'unfolding', se observa
que está fuera del 'cluster' de la mayoría de los estudiantes; que es normalmente
donde se encuentra el área de las escalas. El alejamiento de estos sujetos del resto del
grupo y de ellos entre sí se denominar outlier, cuyas características individuales no
pueden captarse o representarse en el análisis. Pues bien, al explorar las características
de estos estudiantes, Meyer encontró que la mayoría eran sujetos académicamente
débiles y el espacio que ocupaban representaba una total desintegración de los mode-
los esperados en la relación entre enfoques de aprendizaje y la percepción del contexto
del aprendizaje. Este nuevo planteamiento ha hecho que Entwistle reanalice algunos
datos de sus investigaciones sobre la relación entre orientación en el estudio, la eva-
luación de la enseñanza y las preferencias por los tipos de enseñanza, los exámenes, la
tutoría y el curso.
El resultado más sorprendente al analizar los sujetos propensos al fracaso es que la
relación entre el enfoque y las percepción se hace más interpretable. Esta desintegra-
ción de las estrategias de aprendizaje respecto a la percepción del ambiente del apren-
dizaje parecen ser los hallazgos más novedosos. Es decir, en los alumnos que fracasan
se da una incoherencia importante entre su orientación en el estudio y la percepción
que tienen de su ambiente de aprendizaje. Biggs (1985) había observado ya la ausencia
de una estructura clara de los items del SPQ en alumnos con bajos rendimientos.
Biggs que existen una serie de variables que repercuten en la calidad del aprendizaje.
Una de tales variables, que aparecen de forma reiterada, es la evaluación. De tal forma
es tan importante la evaluación, a juicio de algunos autores, que se ha llegado a
generalizar la idea de que los métodos de evaluación son determinantes básicos del
tipo de aprendizaje alcanzado por los alumnos. Para Biggs (1996) los procedimientos
de evaluación son un determinante del aprendizaje de los alumnos en mayor grado
que lo son el currículum y los métodos de enseñanza. Si la evaluación tiene unos
efectos tan importantes ¿por qué no mejoramos el aprendizaje de los alumnos simple-
mente cambiando los sistemas de evaluación? Elton y Laurillard (1979) señalan que el
modo más rápido de cambiar la forma en que los alumnos aprenden es cambiando los
sistemas de evaluación. Más aún, lo que evaluemos y cómo lo evaluemos demostrará
lo que es importante para nosotros como profesores en la formación que esperamos
lograr en nuestros alumnos y por consiguiente en los contenidos y procedimientos de
evaluación.
Como hemos visto en páginas anteriores, la evaluación del aprendizaje ocupa un
lugar destacado en el modelo de enseñanza-aprendizaje propuesto por los partidarios
de las perspectiva cualitativa. Este nuevo papel asignado a la evaluación ha producido
un corpus de investigación nada despreciable. Autores como Goslin (1967), Kellaghan,
Madaus y Airasian (1982), Crooks (1988), etc. han prestado gran atención a este tema.
Crooks (1988) ha llevado a cabo una extensa revisión de las investigaciones sobre el
impacto que la evaluación tiene sobre los estudiantes. Sus conclusiones finales apun-
tan a que la evaluación tiene un impacto directo e indirecto que puede ser positivo o
negativo, lo que hace que la evaluación deba planificarse atentamente y cuidar su
implementación.
En la revisión de Crooks aparecen cuatro apartados de los cuales dos merecen
especial atención. En un primer apartado, el autor revisa la naturaleza, el papel y el
impacto que la evaluación tiene en el aula. Según Crooks una gran proporción de
tiempo la dedica el alumno a actividades que luego van a ser evaluadas. La gran
mayoría de las actividades de evaluación tienen lugar dentro del aula. Los profesores
opinan que las actividades de evaluación son aspectos importantes de los procesos de
enseñanza-aprendizaje y así lo consideran en su trabajo pero son conscientes de lo
inadecuado de su esfuerzo. Una proporción importante de profesores están poco o
nada formados en técnicas de evaluación, y aquellos que reconocen poseer dicha
formación la encuentran irrelevante para sus actividades evaluativas.
A la pregunta de ¿qué evaluar? muchos profesores están de acuerdo en que hay
que evaluar los tres dominios apuntados en la taxonomía de Bloom. La importancia
que los profesores asignan a la evaluación de unos dominio sobre otros va a influir en
las enfoques de aprendizaje que los alumnos adopten. Por consiguiente, el enfoque de
aprendizaje adoptado por el alumno será un predictor importante del resultado de la
calidad de dicho aprendizaje. Biggs (1993) ha establecido una relación congruente
entre enfoque de aprendizaje (superficial, profundo y de alto rendimiento) y la calidad
del aprendizaje resultante (hecho vs estructura). Se establece por tanto una relación
interactiva entre evaluación, enfoque de aprendizaje y resultados del aprendizaje:
La evaluación de los alumnos en el contexto de la evaluación de la calidad de las universidades 45
Figura 4
BIBLIOGRAFíA
RESUMEN
New Education System is a necessity and a task to teachers because it suppose a reflection
of the own planners and practices. In this way, we have treated to analyze the evaluation and
the teaching learning model's in new Education System, and also the evaluation of the own
teaching-learning process; and finally in order to develop an application model's in tha school
with these planners exposed.
INTRODUCCiÓN
Queda ya muy atrás la fecha en la que se comenzó a fraguar la nueva reforma del
sistema educativo. A lo largo de este período de tiempo, muchas han sido las opinio-
nes vertidas sobre la misma: favorables, desfavorables, contraproducentes, ... y un
largo etcétera. No obstante, siempre hemos detectado un denominador común a todos
los comentarios: la necesidad de la misma (Buendía, L., 1993), pero a pesar de esta
necesidad, por todos admitida, a la hora de poner en marcha todo el proyecto, siempre
se veían y se ven dificultades que parecen insalvables.
Eugenio Hidalgo Díez. Profesor de Universidad. Área MIDE, F. de Ciencias de la Educación. Campus
de la Cartuja. Universidad de Granada. lbuendia@platon.ugr.es
52 Eugenio Hidalgo Díez
ros y el profesor, siendo determinante, la actuación de éste para que la actividad del
alumno / a sea más o menos constructiva.
No obstante, no se pretende que ante lo expuesto se entienda que la teoría de partida
por la que aboga el proceso de reforma sea la de un constructivismo reduccionista y que
de esa manera se debiese entender todo el proceso de enseñanza-aprendizaje que se
pretende exponer, pues si así fuese se estaría dando lugar a caer en los mismos errores en
que se han visto inmersas otras teorías precedentes, sino que por el contrario: «sea lo que
sea que acabe pasando con la búsqueda de la verdad, los acontecimientos con los que nos
enfrentamos hoy están sujetos a tanta variedad de construcciones como nuestro ingenio
nos permita inventar. Esto no quiere decir que cualquier construcción es tan buena como
otra... Pero nos recuerda que todas nuestras percepciones presentes están abiertas al
cuestionamiento y la reconsideración, y sugiere ampliamente que incluso las ocurrencias
diarias podrían aparecer completamente transformadas si tuviéramos imaginación sufi-
ciente para construirlas de modo diferente» (Kelly, 1970: 1).
Como se ha apuntado con anterioridad en los diferentes postulados a los que se ha
venido haciendo referencia desde un principio, lo que se trata es de procurar aplicar al
modelo de enseñanza-aprendizaje que se pretende un sentido constructivo como real-
mente hay que entenderlo, es decir, no sólo quedándonos: «en un proceso de indivi-
duación y construcción de la identidad personal», sino también de: «socialización y de
incorporación a una sociedad y una cultura» (Coll, 1996), desde la realidad nuestra de
cada día, o sea, desde nuestra familia, microsociedad (barrio, ciudad, ... ), nuestros
intereses, en definitiva desde nuestro entorno que es donde el centro escolar se en-
cuentra inmerso y desde donde se puede empezar a entender, por el contacto que
existe o debe existir entre familia / centro, la realidad de lo que cada alumno / a es y
puede llegar a ser. De esta manera, hemos de entender el modelo constructivo como
una familia interrelacionada de teorías que cuestionan la versión realista y objetivista
de la ciencia (Neimeyer, 1996).
En consecuencia, si se ha planteado que en la nueva reforma subyace un marco
constructivista en el proceso de enseñanza-aprendizaje, igualmente hemos de enten-
der la evaluación, por lo que, se tendrá en cuenta en el momento de la misma:
• Finalidades Educativas:
Si formulamos el objetivo: Conseguir que los alumnos tengan una actitud positi-
va hacia los emigrantes y no planteamos marcos de actuación para el desarrollo
de capacidades como la tolerancia, adaptación, ... etc., puede ocurrir como en el
estudio de Berttel (1984) que exponía la siguiente situación: «En una clase de
Ética con veinte alumnos blancos y dos negros, de una escuela pública, el profe-
sor pretende conseguir la no discriminación racial y modificar positivamente la
actitud hacia los negros. Después de varias sesiones de trabajo en clase, el
profesor evaluó la actitud a través de una escala tipo Lickert. Posteriormente
clasificó a los alumnos según la puntuación en la escala. Al subirse los alumnos
al autobús, de regreso a la casa, a pesar de las buenas puntuaciones en la escala
de la mayoría de ellos, los niños negros volvieron a sentarse juntos, y aunque
entraron en el autobús en diferente momento, ningún niño blanco ocupo el
asiento de alIado del niño negro».
• Criterios de Evaluación:
• Capacidades:
• Contenidos:
Gráfico 1
Elementos Básicos del Currículo.
(Grupo Asesores CEP-Granada, 1993).
• Objetivos Didácticos:
Una vez que se han analizado los componentes principales del Diseño Curricular
del Área, es decir del proceso de enseñanza-aprendizaje, y antes de plantear el modelo
de construcción, es importante realizar las siguientes reflexiones:
De esta manera al estar relacionados los Objetivos Generales del Área con los
Objetivos Generales de Etapa y las Capacidades, sabremos qué capacidades estamos
trabajando en cada momento de forma automática, debido a la interrelación estableci-
da en el primer momento de la construcción del proceso de enseñanza-aprendizaje.
Hacemos esto, porque en la propuesta curricular establecida en el Diseño Curricu-
lar Base de la Consejería de Educación y Ciencia de la Junta de Andalucía, se ha
optado por expresar los resultados de la intervención educativa en términos de capa-
cidades y no de conductas observables (D.C.B. pág. 38).
Además, porque a la hora de la evaluación del proceso, tendremos que valorar no
sólo el grado de asimilación de los contenidos, sino también el tipo y grado de
desarrollo de las capacidades.
La segunda fase se centra en la realización de una Programación de Aula o Unidad
Didáctica, con la ventaja de no haber perdido en ningún momento, debido a la interre-
lación que debe procurarse, los referentes fundamentales del proceso de enseñanza-
aprendizaje, como son los Objetivos Generales de Área en los que, como ya hemos
dicho, están implícitas las Capacidades.
De esta manera, en primer lugar, se establece la relación entre los Objetivos Gene-
rales de Área y los Contenidos en sus tres aspectos: Conceptuales, Procedimentales y
Actitudinales.
Una vez establecida esta relación, el siguiente paso trataría de aunar de alguna
La evaluación en la educación secundaria obligatoria en el nuevo sistema educativo en Andalucía 59
forma las capacidades implícitas en los Objetivos Generales de Área y los Contenidos
que ya previamente hemos relacionado.
Esto se consigue con la formulación de lo que denominamos Objetivos Didácticos.
Este es el momento más importante y clave en la construcción del proceso de enseñan-
za-aprendizaje. Porque son:
Es decir, que los Objetivos Didácticos dan forma y entidad a la Unidad Didáctica,
ya que en ellos tenemos el referente de Capacidades y Contenidos. Si partiendo de
esto, organizamos para dichos Objetivos Didácticos, unas Actividades, las Temporiza-
mos en sesiones, diseñamos una Metodología para su aplicación en clase y Evaluamos
dichas actividades, habremos construido la Unidad Didáctica o Programación de
Aula, habiendo aunado los dos referentes de evaluación:
intenciones del sistema educativo y servir como guía para orientar la práctica pedagó-
gica. Este «carácter continuado, procesual, contextual y estratégico de la evaluación
reguladora en el proceso de enseñanza-aprendizaje es especialmente útil para poner
de relieve los aspectos intencionales, deliberativos, reflexivos y de toma de decisiones
característicos del uso de procedimientos y el grado de dominio conseguidos por el
alumno» (Gómez, 1., 1996: 61). Así pues, la evaluación se convierte en un elemento
fundamental e inseparable de la práctica educativa que permite recoger la informa-
ción de cada momento y realizar los juicios de valor necesarios para la orientación y
toma de decisiones respecto al proceso de enseñanza-aprendizaje.
Los procesos del aprendizaje del alumnado, los procesos de enseñanza del profeso-
rado, es decir, la acción educativa, los Proyectos Curriculares de Centro, etapa, ciclo
y / o aula así como el Sistema Educativo en general, precisan de una valoración que
ayude a su comprensión y análisis para realizar una toma de decisiones que permita
mejorar su funcionamiento.
Esta finalidad última se proyecta en una serie de intenciones que la evaluación
pretende alcanzar y que entre otras, podemos señalar:
• Centradas en el alumnado:
- Conocer el grado inicial de desarrollo de las Capacidades.
- Conocer la situación de partida en los aprendizajes.
- Conocer la evolución del proceso de enseñanza-aprendizaje.
- Atender a las necesidades individuales del alumnado.
- Apreciar y valorar el grado de desarrollo alcanzado en cuanto a las capacidades
y contenidos enunciados en los objetivos generales de la etapa y / o ciclo.
- Organizar las posibles adaptaciones curriculares ante las dificultades detecta-
das, y en su defecto participar en el proceso de diversificación curricular.
- Determinar la titulación y promoción del alumnado.
- Garantizar la movilidad del alumnado de un centro a otro.
los Objetivos Generales tanto de Etapa como de Área, utilizando como medio
para su consecución la asimilación de los contenidos de dicha área.
- Criterios de Evaluación:
La evaluación del aprendizaje de los alumnos se realizará teniendo en cuenta
los objetivos de etapa, así como los objetivos, contenidos y criterios de evalua-
ción de las distintas áreas del currículo.
Dada la dificultad de evaluar los objetivos, expresados en términos de capacida-
des, los criterios de evaluación se convierten en un indicador más concreto de la
misma.
Los criterios de evaluación proporcionan una información sobre los aspectos a
considerar para determinar el tipo y grado de aprendizaje que haya alcanzado
el alumnado, en cada uno de los momentos del proceso en cuanto al avance en
la adquisición de las capacidades, con respecto a las que ya poseía el propio
alumno / a y establecidas en el currículo como capacidades básicas de cada área.
Dichos criterios no son directa ni unívocamente evaluables. Es necesario plani-
ficar algunas tareas, lo más variadas posibles, para comprobar que las capacida-
des y contenidos expuestos en los criterios se han alcanzado en el grado pro-
puesto. No se pretende desde los criterios evaluar todo lo que el alumnado
aprende, sino que en ellos se seleccionan las capacidades básicas de aprendizaje
desarrolladas y sin las que un alumno / a dificilmente avanzaría de forma satis-
factoria en su normal proceso de aprendizaje.
Los Equipos Docentes deberán adecuar los criterios de evaluación a los objeti-
vos que establezcan en su Proyecto Curricular de Centro. Estos criterios deben
secuenciarse por ciclos de tal modo que las valoraciones acerca de los procesos
de aprendizaje se realicen de forma continua no permitiendo que los alumnos / as
acumulen retrasos en el desarrollo de las capacidades básicas de aprendizaje.
- Objetivos Didácticos:
Son considerados como: El indicador del tipo y grado de aprendizaje, referido
este, tanto a la asimilación de los contenidos como al desarrollo de las capacida-
des en relación con dichos contenidos de la unidad didáctica correspondiente.
Los Objetivos Didácticos guiarán la intervención educativa, constituirán el pun-
to de referencia inmediato de la evaluación continua y permitirán encontrar los
procedimientos de evaluación más adecuados a tales objetivos.
Los Objetivos Didácticos se establecerán en cada Unidad Didáctica o Programa-
64 Eugenio Hidalgo Díez
ción de Aula. por su grado de concreción evalúan todos los aprendizajes pro-
gramados. Será a través de los objetivos didácticos y de las actividades progra-
madas para alcanzarlos, desde donde se obtenga la información para el segui-
miento y evaluación de todos los contenidos.
La evaluación de los procesos de aprendizaje se realiza a través del seguimiento
de las actividades diseñadas para el logro de los Objetivos Didácticos en las
Unidades Didácticas o Programaciones de Aula, por lo que los Objetivos Didác-
ticos serán el referente más cercano para la valoración del día a día de la
actividad del aula.
• El Proyecto Curricular:
Primera fase
-----------------,
IA B I
I OBJETIVOS GENERALES CAPACIDADES I
I E.S.O.
I I
I e I
I
I OBJETIVOS GENERALES DE ÁREA I
IL _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ I
Segunda fase
r-----------------~
CAPACIDADES I
I
(J)
«
ü
ACTITUDES
-
o
(J)
w
o
«
o
z
ACTIVIDADES ::>
Gráfico 2
Construcción del proceso de enseñanza-aprendizaje.
(Hidalgo, E. y Almagro, J.L.).
66 Eugenio Hidalgo Díez
~
e..
OBJETIVOS CAPACIDADES OBJETIVOS CONTENIDOS OBJETIVOS ACTIVIDADES EVALUA-
§
GEN. ETAPA GEN. ÁREA DIDÁCTICOS CIÓN
"g~
'"::::
• Conocer y com- 1. Para el desarro- • Conocer y valo- CONCEPTOS. El alumno / a es capaz A VER SI ERES Ei"
prender los as- llo cognitivo o in- rar su cuerpo y • Conocimiento de los de identificar el con- CAPAZ. ~
pectos básicos del telectual. contribuir a mejo- conceptos de condición
;:;::;:,
cepto de condición fí- (Ver página
::2.
funcionamiento Il. Para el desa- rar sus cualidades física y sus componen- sica y sus componen- siguiente ). §,
del propio cuerpo rrollo corporal y físicas básicas y tes. tes. 'J',
ro
y la incidencia campo de la sa- sus posibilidades • Factores que inciden E! alumno / a es capaz ANALIZA Y "::
que tienen diver- lud. de coordinación y sobre la condición físi- de analizar los factores ANALIZATE. ~
~
sos actos y deci- control. ca: edad, estado físico, que inciden sobre la (Ver página ~.
BIBLIOGRAFíA
RESUMEN
La evaluación del profesorado es una de las áreas de la investigación evaluativa con más
tradición y a la que se ha dedicado y se dedican más esfuerzos, pero al mismo tiempo es también
una de las más conflictivas, sobre todo cuando se proyecta en el terreno de la toma de decisiones
y en el de la puesta en marcha de programas de evaluación.
A través de nuestro artículo planteamos en toda su complejidad, la problemática general en
torno al tema y sus posibles respuestas, así tratamos aspectos tales como: La caracterización de
la función docente como contenido clave a evaluar, la definición de los criterios de calidad de los
profesores, los propósitos y consecuencias del proceso evaluador, sin olvidar el reflexionar en
torno a las dificultades de aceptación de modelos evaluativos que no ofrezcan claros beneficios
potenciales para los profesores y para su trabajo.
Hemos tratado de presentar la evaluación del profesorado vertebrada a través del eje forma-
do por la propia evaluación, los procesos de formación permanente-innovación y el desarrollo
profesional.
Finalmente se aborda en el artículo la evaluación de la función directiva y el planteamiento
institucional respecto de los procesos de acreditación de directores de centros educativos.
Joan Mateo Andrés. Catedrático de Universidad. Facultad de Pedagogía. Opto. de Métodos de Investi-
gación y Diagnóstico en Educación. Paseo del Valle de Hebrón, 171, 2a planta. 08035 Barcelona.
74 Joan Mateo et al.
SUMMARY
The assessment of the teaching staff is one of the areas of assessment research with more
tradition and one into which more effort has been put, whilst being, at the same time, one of the
most problema tic, especially when referring to the field of decision-making and the putting into
operation of assessment programmes.
In our article we set out, in all their complexity, the general problems surrounding the
subject together with possible solutions, dealing with aspects such as the nature of the duties of
the teaching staff as a key aspect to be assessed, the definition of the criteria of quality in respect
of teachers, the aims and consequences of the assessment process without forgetting to take into
consideration the difficulties in getting assessment models accepted when they do not offer clear
potential advantages for teachers and their work.
We have endeavoured to present the assessment of the teaching staff by dividing in into the
three areas which together constitute the crux of teacher assessment self-assessment, conti-
nuing training processes-permanent, innovation and professional development.
Finally the article touches upon the assessment fo the role of management and the official
position regarding the processes of recognition of the heads of educational centres.
INTRODUCCiÓN
a) La función docente
1. Conocimiento de la materia:
2. Competencias instruccionales:
a) destrezas comunicativas.
b) destrezas de gestión:
gestión del proceso.
gestión del progreso.
gestión de las emergencias.
c) destrezas de programación y desarrollo:
planificación del curso.
selección y creación de materiales.
utilización de los recursos disponibles.
evaluación del curso, de la enseñanza, de los materiales y del currículum.
3. Competencias de evaluación:
4. Profesionalidad:
a) ética.
b) actitud.
c) mejora.
d) servicio:
conocimiento acerca de la profesión.
ayuda a los profesores noveles y colegas.
trabajo para las organizaciones profesionales.
investigación sobre la enseñanza.
e) conocimiento de los deberes.
f) conocimiento de la escuela y su contexto.
Por su parte Schalock y otros (1993) (en Mateo, J. y otros 1995 y Escudero, T.(1996)),
ofrece una perspectiva algo distinta, partiendo del análisis de la productividad y la
efectividad docente:
a) Docencia
b) Profesionalidad
c) Servicios a la Comunidad.
Bajo el primer epígrafe se sitúan a su vez, tres grandes subáreas: el dominio sobre
La evaluación del profesorado. Un tema a debate 79
b) La función directiva
Por otro lado la mejora de la calidad de la enseñanza exige ampliar los límites de la
evaluación, para que pueda ser aplicada de modo efectivo al conjunto del sistema
educativo y es en la actualidad un hecho aceptado que con la evaluación de la función
docente del profesorado no agotamos las posibilidades evaluativas del personal do-
cente.
En los sistemas educativos desarrollados se admite, cada vez más, la importancia y
la relevancia de la función directiva y su incidencia en el desarrollo y mejora del
sistema escolar en particular y del educativo en general y de aquí la creciente atención
que se concede a los procesos de selección, formación y evaluación de los equipos
directivos de los centros escolares.
Existe una amplia literatura en torno a las funciones del director, en general se
entiende que éstas estarán siempre condicionadas al modelo y a la cultura organizati-
va donde se insertan. Conviene en consecuencia que el directivo analice y reflexione
previamente en torno a las características de la organización en la que actúa, a fin de
incidir positivamente en la estructura, en el funcionamiento, en la cultura, en las
interrelaciones y en las interacciones de dicho contexto escolar.
80 Joan Mateo et al.
1) Dirigir y coordinar todas las actividades del centro hacia la consecución del
proyecto educativo del mismo, de acuerdo con las disposiciones vigentes y sin perjui-
cio de las competencias atribuidas al Consejo Escolar del centro y a su Claustro de
Profesores.
2) Ostentar la representación del centro y representar a la Administración educati-
va en el centro, sin perjuicio de las atribuciones de las demás autoridades educativas.
3) Cumplir y hacer cumplir las leyes y demás disposiciones vigentes.
4) Colaborar con los órganos de la Administración educativa en todo lo relativo al
logro de los objetivos educativos del centro.
5) Designar al Jefe de Estudios, al Secretario, así como a cualquier otro órgano
unipersonal de gobierno que pueda formar parte del equipo directivo, salvo al admi-
nistrador, y proponer sus nombramientos y ceses a la Administración educativa com-
petente.
6) Ejercer la jefatura de todo el personal adscrito al centro.
7) Favorecer la convivencia en el centro e imponer las correcciones que correspon-
dan, de acuerdo con lo establecido por las Administraciones educativas y en cumpli-
miento de los criterios fijados por el Consejo Escolar del centro.
8) Convocar y presidir los actos académicos y las reuniones de todos los órganos
colegiados del centro y ejecutar los acuerdos adoptados en el ámbito de su competencia.
9) Autorizar los gastos de acuerdo con el presupuesto del centro, ordenar los pagos
y visar las certificaciones y documentos oficiales del centro.
10) Realizar las contrataciones de obras, servicios y suministros de acuerdo con lo
que se establece en la Ley.
11) Cuantas otras competencias se le atribuyan en los correspondientes reglamen-
tos orgánicos.
La evaluación del profesorado. Un tema a debate 81
Planificación.
Organización.
Coordinación.
Ejecución.
Evaluación.
Control.
Información.
Animación.
EL PROPÓSITO EVALUADOR
El Joint Committee mantuvo para la evaluación del profesorado las mismas nor-
mas que las ya propuestas en 1981 para la evaluación de programas, es decir las
normas de legitimidad, utilidad, factibilidad y precisión.
Las normas de legitimidad hacen referencia a los derechos de las personas afecta-
das por la evaluación, comprometiendo a que ésta se lleve a cabo de acuerdo a
La evaluación del profesorado. Un tema a debate 83
Finalmente las normas de precisión exigen que la información evaluativa sea rele-
vante, válida y fiable:
a) Definición del contenido a evaluar: las responsabilidades, los objetivos, las cua-
lificaciones, etc. de los evaluados deben definirse claramente, para que el evaluador
pueda determinar criterios válidos de evaluación.
b) Análisis del contexto: la evaluación se realiza en un contexto que condiciona el
rendimiento evaluado; aquel debe identificarse y describirse.
c) Descripción de los procedimientos: los procedimientos utilizados deben docu-
mentarse para que los evaluados y otras audiencias puedan valorarlos a la vista de los
propósitos.
d) Medidas válidas: ajustadas al contenido a evaluar ya su potencial utilización, de
manera que las inferencias sobre el evaluado sean válidas y precisas.
e) Medidas fiables: los procedimientos de medición deben ser consistentes y fia-
bles.
f) Control sistemático de los datos: la información debe ser bien guardada, cuida-
dosamente procesada y mantenida.
g) Control de los sesgos: se debe asegurar la protección contra toda información
afectada por cualquier tipo de parcialidad.
h) Control del sistema de evaluación: los procedimientos deben revisarse periódica
y sistemáticamente.
En el marco legal del Estado Español, la evaluación del profesorado queda regula-
da mediante el título III de la Ley orgánica 9/95 (LOPEG) y que en los tres apartados
de su artículo 30 especifica lo siguiente:
Cualquier modelo evaluativo del profesorado deberá decidir respecto de una serie
de elementos configurado res de tipo estructural y metodológico. A la elección de los
contenidos a evaluar, a la selección de los propósitos últimos que justifiquen y orien-
ten todo el proceso y a le elaboración del marco jurídico que legalice el proceso
La evaluación del profesorado. Un tema a debate 85
evaluador, habrá que añadir una amplia variedad de otros ingredientes metodológi-
cos como son los procedimientos, las fuentes y los agentes evaluativos, que deberán
ser introducidos en el modelo y deberán ser acordes con los contenidos y con los
propósitos del mismo. (Denham, 1987).
En cuanto a los procedimientos o estrategias de recogida de información evaluati-
va, técnicamente son aceptables todos los que ofrece la metodología actual, no obstan-
te aparecen como más utilizados y hasta nos atreveríamos a decir más idóneos: los
cuestionarios, las entrevistas, la observación y los informes hétero y autoevaluativos.
Respecto de las fuentes, parece razonable la posición de los profesores expresada
en el estudio anteriormente mencionado (Mateo y otros 1995), en la que prefieren
aquellas provenientes de su entorno más próximo (propio profesor, compañeros y
alumnos) que a nuestro entender, deberán ser complementada con análisis de los
documentos de trabajo del profesor y observaciones sistemáticas llevadas a cabo por
equipos de evaluadores mixtos (internos y externos). En todo caso las informaciones
deberían ser cruzadas, las interpretaciones contextualizadas y se debería debatir, in-
cluso negociar, el informe final con el propio profesor.
La LOPEG, señala a los órganos colegiados de gobierno de los centros y a la
inspección, como los agentes reconocidos para la evaluación del profesorado, hecho
que contrasta con la opinión de los profesores, recogida en el estudio repetidas veces
mencionado, en el que expresan su frontal rechazo a ser evaluados por los órganos
colegiados del centro, por los padres y por los inspectores. Es la propia ley la que
también reconoce el derecho de los profesores a participar en su propia evaluación. A
nuestro juicio convendrá encontrar fórmulas de acción conjunta entre los órganos de
poder y los profesores a fin de establecer estrategias evaluativas aceptadas por todos,
la ley lo permite y el sentido común así lo aconseja.
CONSECUENCIAS EVALUATIVAS
sino más bien como ámbitos de encuentro entre diferente estrategias y actitudes y los
enuncia y conceptualiza de la siguiente forma:
Para poder analizar con cierta perspectiva las posibilidades de materializar mode-
los evaluativos con aplicación en la realidad, vamos a hacer un breve recorrido por las
prácticas evaluativas más corrientes que se llevan a cabo en nuestro entorno más
próximo.
Según la investigación realizada por González, M.C. y otros (1991, 1995) Y tal como
lo resumimos en Mateo, J. y otros (1995) y Escudero T. (1996), no existe en ningún país
de la Unión Europea un solo plan global de evaluación de sus profesores (entendiendo
este términos en toda su amplitud). Sin embargo reconocen que si existen en estos
paises una evaluación administrativa periódica para los funcionarios, dentro de los
que se incluyen los profesores.
Estas evaluaciones las suelen realizar los directores de los centros y / o los inspecto-
88 loan Mateo et al.
Como recomendación general hay que dejar tiempo al profesorado para que vaya
incorporando los elementos de decisión y de mejora surgidos de su evaluación, sin
agobiarle con continuos procesos evaluativos. La marcha evaluativa debe hacerse por
expansiones concéntricas que van avanzando lenta pero inexorablemente.
Es muy importante conseguir y mantener en todo momento la implicación del
profesorado e incrementar su convicción en cuanto a sus posibilidades de crecimiento
90 Joan Mateo et al.
a) Los profesores consideran necesaria su evaluación pero entienden que ésta debe
formar parte de la evaluación global del sistema.
b) Los profesores opinan claramente que la evaluación debe tener objetivos forma-
tivos para el individuo y para el sistema, mientras que mantienen reservas respecto a
conectar la evaluación a objetivos de controlo de incentivación económica personal.
c) La clase y las actividades directamente relacionadas con ella son los factores que
los profesores consideran más importantes para su evaluación. El resto de actividades,
incluidas las de formación y servicio, son poco consideradas por los profesores como
elementos a tener en cuenta para su evaluación.
d) Rechazan el ser evaluados por agentes externos: sindicatos, padres e inspección.
Hay mayor aceptación respecto de agentes próximos al profesor (alumnos, compañe-
ros ... ).
e) No aceptan los efectos de la evaluación de tipo negativo y valoran escasamente
los efectos económicos de tipo individual. Valoran mejor los efectos de promoción y
ayudas a proyectos de formación e innovación.
f) Piden clarificación en los objetivos de la evaluación
g) Exigen la confidencialidad de la información evaluativa.
A MODO DE SíNTESIS
REFERENCIAS BIBLIOGRÁFICAS
DENHAM, C.H. (1987). A perspective on the major purposes and basic procedures for
teacher evaluation. Journal of Personnel Evaluation in Education. 1, 1, 29-32.
ESCUDERO, T. (1996). Proyecto docente de Cátedra de Universidad no publicado.
Zaragoza: Universidad de Zaragoza.
GAIRIN, J. Y DARDER, P. (1994). Organización de Centros Educativos. Aspectos básicos.
Barcelona: Praxis.
GIMENO, J. (1993). El profesorado ¿Mejora de la calidad o incremento del control?
Cuadernos de Pedagogía, 219, 22-28.
GONZÁLEZ, M.C. y otros. (1992). La evaluación de profesores. Proyecto de investiga-
ción. Madrid: CIDE.
GONZÁLEZ, M.C. y otros (1995). Evaluación del profesorado de educación secundaria.
Análisis de tendencias y diseño de un plan de evaluación. Madrid: MEC-CIDE.
HARRIS, B.M. (1986). Development teacher evaluation. Boston. Ma.: Allyn and Bacon.
LATORRE, A. (1994). Models de desenvolupament professional del professor. Temps
de Educació, 11, 59-87, 1ero semestre 94.
MATEO, J. (1993). La evaluación del profesorado de secundaria. Ponencia en el seminario
sobre las reformas educativas actuales en España. Su evaluación: metodología y
resultados, 26-28 octubre. Madrid: CIDE-UNED-CDLM.
MATEO, J. (1995). Avaluació. Document interno Barcelona: Generalitat de Catalunya.
Departament d'Ensenyament.
MATEO, J. Y otros (1995). La evaluación del profesorado de secundaria: la opinión del
profesor. Proyecto de investigación del CIDE. Memoria Final. Barcelona.
La evaluación del profesorado. Un tema a debate 93
RIEGLE, R.P. (1987). Conceptions of faculty development. Educational Theory, 37, 53-
59.
RUL, J. (1993). La organización escolar y la inspección educativa. Una inspección educativa
como factor de evaluación sistemática. Conferencia. Actas II Congreso de Inspectores
de Educación. Alicante.
SCHALOCK, M.D. y Otros, (1993). Teacher productivity revised: Definition, theory,
measurement and aplication. Journal of Personnel Evaluation in Education, 8, 2, 179-
196.
SCRIVEN, M. (1988). Duty-based teacher evaluation. Journal of Personnel Evaluation in
Education, 1, 4, 319-334.
SCRIVEN, M. (1994). Duties of the teacher. Journal of Personnel Evaluation in Education,
8, 2, 151-184.
SPARKS, D. y LOUCKS-HORLEY, S. (1990). Five models of staff development. Oxford,
OH: National Staff Development.
Revista de Investigación Educativa - Vol. 14, n. o 2, págs. 95-119
RESUMEN
Con esta investigación pretendemos conocer las ayudas que los profesores proporcio-
nan a los alumnos cuando trabajan cooperativamente, y como influyen ambas variables en
el nivel de logro de los objetivos que pretendemos conseguir en primer curso de Educación
Primaria. La evaluación de los alumnos se ha realizado con pruebas criteriales, elaboradas
por los propios profesores que han participado en la experiencia; y la actuación docente o
ayudas que el profesor proporciona, con una escala de observación, realizada para este fin.
ABSTRACT
With this investigation we intend to know the helps that teachers provide to the pupils
in cooperative work and the influence of both variable in the objectives that we intend to
obtain in first Primary Education course. The evaluation of the pupils has been accomplis-
hed with tests criterion-referenced, elaborated by the own teachers that have participated
in the experience, and the help that the teacher provides, through an observation scale
accomplished for this purpose.
Leonor Buendía Eisman. Catedrática de Universidad. Área MIDE, F. de Ciencias de la Educación. Campus
de la Cartuja. Universidad de Granada. lbuendia@platon.ugr.es
96 Leonor Buendía Eisman
l. INTRODUCCiÓN
En los últimos años uno de nuestros focos de atención ha sido la evaluación de los
aprendizaje en el aula y los factores que colaboran o no a ello, (Buendía, 1985, 1987,
1993; Buendía y Fernández, 1991), en la línea de (Bennet, Deforges, Cockburn y Wil-
kinson, 1984; Bennet y Kell, 1988; Dunne y Bennett, 1990). A través de la investigación
hemos podido constatar el importante papel de las interacciones en el aula sobre las
actividades cognitivas y sociales. Hablar de educación, supone en cierto sentido, ha-
blar de comunicación (Myers y Lamm, 1976; Wittrock, 1974); sin embargo estamos
convencidos de que el análisis de la interacción no es el único análisis pertinente para
una mejor comprensión del proceso de enseñanza-aprendizaje; más bien, el análisis
debe ampliarse al estudio de la interactividad profesor / alumno, entendiendo por esta
aquella situación en la cual es posible articular las actividades del profesor y de los
alumnos en torno a un contenido o a una tarea de aprendizaje. Esto implica prestar
una atención especial a la forma de trabajar los alumnos en estrecha vinculación con
las actuaciones del profesor. La articulación conjunta de los tres elementos claves en la
situación educativa: profesor, contenidos y alumnos, ha sido objeto de interesantes
estudios cualitativos en los últimos años (Buendía, 1993, Pegalajar, 1995). En este
sentido Coll y colaboradores, (1992:192) apuntan que la interactividad profesor / alum-
nos, entendida como las formas de organización de la actividad conjunta, define el
marco en el que cobran sentido, desde el punto de vista de la influencia educativa, las
actuaciones respectivas y articuladas de los participantes en el transcurso de un proce-
so de enseñanza-aprendizaje. En este trabajo hemos retomado el tema, integrando
otras variables, e intentando implicar a los profesores tanto en el conocimiento de su
práctica como profesores como en la confección de instrumentos de evaluación, acor-
des con los criterios de evaluación que ellos mismos establecen.
3. VARIABLES
En todas las pruebas se usa casi exclusivamente el dibujo como elemento de repre-
sentación conceptual no insinuando una lógica formal más que en seis ítems del test
de habilidad mental-no verbal, y aún así muy elemental.
La prueba mide los siguientes factores:
1°) El profesor deberá planificar y organizar las distintas relaciones que se preten-
den establecer en su grupo de alumnos.
2°) El maestro constituye un modelo adulto significativo para su grupo de alum-
nos.
3°) El maestro tiene una importante función en cuanto a la formación en la clase de
un grupo humano cohesionado.
4°) El maestro tiene un papel esencial como mediador de aprendizajes significati-
vos.
Así pues se analizaron 5 cintas de vídeo de 45 minutos cada una por clase observa-
da. El total de cintas analizadas fueron:
Tiempo
Con este texto de referencia todas las observaciones hechas sobre el profesor como
mediador de aprendizajes significativos entran a formar parte de esta categoría.
Así se continuó adscribiendo cada uno de los rasgos a las tres categorías comenta-
das.
Se observaron estrategias, comportamientos y actitudes en los profesores cuya
presencia era negativa para una ayuda significativa. Estas conductas también han sido
incluidas pero con una formulación positiva. Por ejemplo, si hemos observado una
actitud racista, como rasgo en la categoría (modelo adulto significativo) se ha plantea-
do como «no racista ni sexista», o si se observa que el profesor impide la participación
del alumno cuando está explicando un concepto, lo hemos plasmado como: «anima a
intervenir». La adscripción de los rasgos a las diferentes categorías fueron realizadas
por dos observadores, los mismos que previamente habían visualizado las cintas y
obtenido las listas de rasgos.
Terminada la adscripción de rasgos y tras sucesivas revisiones el listado quedó
finalmente como sigue:
Las ayudas del profesor en el aprendizaje cooperativo y su influe11cia en la evaluación criterial 101
El observador anotará:
G
11
La adscripción de los rasgos a las diferentes categorías fue realizada, como decimos
anteriormente, por dos observadores, los mismos que visualizaron las cintas grabadas
de las clases.
La fiabilidad de la escala de observación se obtuvo mediante el porcentaje de
acuerdo.
Na
C%A= x 100
Na+Nd
En las situaciones escolares, las relaciones con los compañeros pueden ser estructura-
das para crear una interdependencia importante a través del aprendizaje cooperativo.
La característica clave que distingue las situaciones cooperativas de otras situacio-
nes de aprendizaje, es la interacción entre estudiantes.
La influencia de los procesos interactivos, tanto entre iguales como entre el profe-
sor y alumnos, se ha estudiado desde diferentes perspectivas: Explicación del progre-
so del sujeto a través del conflicto socio-cognitivo (Doisé, Mugny, y Perret-Clermont,
1975); reestructuración intelectual a través de la regulación recíproca que ejercen entre
sí los alumnos cuando interactúan, y la posterior interiorización que lleva a la autorre-
gulación individual (Forman y Cazden, 1984); la interacción social como origen y
motor del aprendizaje, (Vygotsky, 1973); el aprendizaje como actividad comunal y un
modo de compartir la cultura (Bruner, 1986).
Desde una u otra perspectiva se aboga por un trabajo en las aulas diferente a la
actuación en solitario que con frecuencia la escuela ha fomentado. Cuando los profe-
sores aluden al trabajo en equipo, a menudo se refieren al grupo de niños que se
sientan juntos pero que trabajan en tareas individuales.
La falta de oportunidades para que los alumnos interactúen en el aula está bien
documentada (Galton, Simon y Croll, 1980; Gerleman, 1987; Goodlad, 1984; Lockeed y
Harris, 1984, Graybeal y Stodolsky, 1985). Cuando trabajan en grupos raramente
funcionan como tales y por lo tanto los niveles de cooperación son bajos. Es necesario
un cambio metodológico que permita mayor interacción entre los alumnos.
Una de las mayores justificaciones del trabajo cooperativo se encuentra en el estu-
dio de Allen y Feldman (1973). Estos autores comprobaron que las dificultades de
determinados conceptos solo son percibidos por los alumnos, no así por el profesor.
En este estudio se visualizaron vídeos con dos tipos de lecciones (fáciles y difíciles),
mientras que los alumnos si se percataron de esta diferencia, no ocurrió igual para los
profesores que sobreestimaron la compresión de los alumnos en la lección difícil.
Según esto, los alumnos que tienen dificultades mientras aprenden, podrán beneficiar-
se mejor trabajando con otros estudiantes.
Aunque todos parecen estar de acuerdo en el importante papel jugado por la
interacción social, no hay la misma consistencia en los resultados cuando se comparan
los logros entre diferentes métodos de aprendizaje en régimen cooperativo (Webb,
1984: 159). La literatura sugiere que es importante observar y describir las diferentes
formas de aprender en pequeño grupo y entender sus puntos fuertes y limitaciones en
relación a diferentes metas de enseñanza. (Good et al., 1990).
Las mayores inconsistencias en los resultados se han explicado en base a las dife-
rentes técnicas de aprendizaje cooperativo (Slavin, 1989) y la materia a estudiar (Sha-
ran, 1980).
104 Leonor Buendía Eisman
1. Aprendizaje individualizado
2. Aprendizaje cooperativo
3. Aprendizaje colaborativo
Entendemos por nivel de logro el grado en el que los sujetos llegan a conseguir los
objetivos didácticos, en las diferentes evaluaciones, que para cada proyecto de trabajo
están planteados.
En este caso nos referimos al grado en el que los alumnos consiguen superar el
nivel propuesto para el tercer proyecto de Matemáticas.
Los contenidos de este proyecto de trabajo para matemáticas fueron:
Este material se la ha facilitado a los 12 profesores para que fueran los mismos
contenidos los que se trabajaran en el aula, después de una reunión conjunta y coinci-
dir en el momento aproximado de programación en el que se encontraban. N o comen-
zaron el proyecto todos el mismo día, sino que dependió del ritmo que cada maestro
llevaba en el desarrollo normal de su programación.
1. Validación de los contenidos propuestos por el Ministerio con los textos de las
distintas editoriales que tienen propuestas en estos niveles.
2. Relación de los objetivos de matemáticas de este nivel con los objetivos genera-
les de área, con los objetivos de primaria y con los objetivos de ciclo.
3. Especificación del dominio de aprendizaje.
4. Elaboración de la prueba, tomando como referencia los ítems redactados por los
textos de las diferentes editoriales.
5. Valoración de la prueba por un grupo de expertos.
6. Corrección y posterior elaboración de la prueba definitiva.
7. Aplicación.
A) Números y operaciones.
M-1 Conocer los principales sistemas de numeración.
M-2 Conocer y manejar operaciones elementales de cálculo: suma y resta.
106 Leonor Buendía Eisman
M-1 1 b/e
M-2 1/7 b/e
M-3 2/4/7/8 c/d
M-4 1/4 b/e/h
M-6 1/4/7 b/e
M-7 6/7 c/ d/i
Una vez establecidos los diferentes conocimientos y habilidades que deberían com-
prender cada objetivo, estos se transformaron en tareas, hipotetizando la relación
directa entre cada pregunta o tarea y el objetivo que se pretende cubrir. El resultado
de estas relaciones puede verse en el siguiente cuadro 1•
1 El número de las preguntas corresponde a las diferentes tareas de la prueba criterial, no incluida
por cuestión de espacio.
Las ayudas del profesor en el aprendizaje cooperativo y su influencia en la evaluación criterial 107
~
• Agrupar en parejas y tríos (base 2y base 3) y representar gráficamente dichos ficheros.
1.2 • Conocer los números 6 y 7. Leer y escribir números hasta e17.
1.3
2.1 • Seriar, progresiva y regresivamente, hasta e17.
2.2 OBJETIV • Hacer agrupamientos en base 5 y 6 (con apoyo de monedas: duros y pesetas) y representar dicho agrupamiento.
2.3 • Reconocer los números anteriores y posteriores a unos dado.
3.1 M-1 • Representar en la recta numérica hasta e17.
3.2
3.3 M-2 OPERATIVA
3.4 • Hacer sumas hasta el 7 con distintos tipos de gráficos
4.1 M-3 • Reconocer el signo de sumar como sinónimo de juntar
4.2
5 M-4 • Sustituir esos sinónimos por el signo universal de la resta.
6 • Hacer restas hasta el7 con distintos tipos de gráfico.
7 M-6 • Resolver cálculos combinados de sumar y restar.
8 M-7 • Hacer ejercicios de cálculo mental cuyos resultados no excedan de 7 (sumar y restar).
9
~
10.1 • Resolver situaciones problema partiendo de propuestas propias y ajenas.
10.2 FORMAS GEOMÉTRICAS y SITUACiÓN EN EL ESPACIO
11 • Reforzar los conceptos "dentro/fuera" ya trabajados.
12.1
12.2 • Trabajar con I?s conceptos "cercallej~s" ("más cerca de", "menos lejos de").
ORGANIZACION DE LA INFORMACION
• Interpretar los datos. (Conceptos "más que", "menos que", "más repetido").
Para cada una de estas categorías se dieron, a los jueces expertos, suficiente y
preparado material para que ellos expresaran los juicios que cada uno de los ítems les
mereCÍan en relación con los rasgos citados.
En el análisis de resultados procedentes de esta validación se utilizó la formulación
propuesta por Rovinelli y Hambleton (1977):
N
- - (f-l-f-l)
2N-2 k
108 Leonor Buendía Eisman
donde:
Coherencia 0.72
Representatividad 0.66
Calidad Técnica 0.69
4. PARTICIPANTES
s. ANÁLISIS DE DATOS
Con los datos obtenidos se han realizado diferentes análisis en función del objetivo
que nos interesaba cubrir.
Para establecer las dimensiones básicas sobre las que se fundamenta la actuación
docente y para determinar la validez de la escala de observación recurrimos al Análi-
sis Factorial. El procedimiento específico utilizado fue el método de componentes
principales, siguiendo el criterio de Kaíser para la determinación del número de
componentes (valores propios mayores de la unidad) utilizando rotación ortogonal
(criterio Varimax).
El programa utilizado ha sido el BMDP.
Previamente a la realización del análisis factorial, comprobamos la idoneidad de la
matriz para dicho análisis. El determinante de la matriz de correlaciones es muy bajo
(.0000018), no obstante se realizó el test de esfericidad de Bartlett. El valor obtenido
fue suficientemente alto (Chi cuadrado X2 = 630.13) Y supone una p=.OOO. Es decir
rechazamos la hipótesis nula, lo que supone aceptar que la matriz de correlaciones no
es una matriz de identidad y existen intercorrelaciones significativas dado que el valor
hallado en la prueba de esfericidad es alto.
Todo esto nos permite considerar la matriz adecuada para proceder al análisis
factorial.
Los coeficientes de correlación múltiple entre cada una de las variables y todas las
demás son muy altas (por encima de .70), por lo que no eliminamos ninguna variable.
Los resultados revelaron la existencia de cuatro factores que explican más del 90%
de la varianza total.
Componente 1
Componente 11
Componente 111
Componente IV
varianza acumulada. Las variables con mayores pesos son la 6 y la 9 que hacen
referencia a la comunicación sobre contenidos no curriculares y la aceptación de
personas ajenas al aula.
Para comprobar esta hipótesis hemos seguido el mismo diseño estadístico que
planteó Robert Linn (1986: 102-103) para la evaluación de los programa Head Start. En
este diseño actúan de covariantes variables referidas a los alumnos y variables referi-
das a profesores. En nuestro caso el diseño seguido ha sido:
Covariantes:
Referidas al profesor:
a) Modelo adulto significativo
b) Grupo humano cohesionado
c) Mediador de aprendizajes significativos
Referidas al alumno:
a) Aptitud general verbal
b) Aptitud general no verbal
Con los datos obtenidos se realizaron seis ANCOVAS con el paquete SYSTAT, para
Macintosh.
El nivel de significación establecido para la comprobación de hipótesis fue el .05.
Exponemos sólo los resultados del ANCOVA, aunque previamente se han proba-
do diferentes modelos estadísticos sencillos y progresivamente hemos ido introdu-
ciendo mayor control hasta llegar al modelo propuesto. Comenzamos con un ANOV A
112 Leonor Buendía Eisman
entre los tres grupos de Metodología, encontrando diferencias significativas entre los
tres niveles de la variable independiente.
Antes de aplicar el ANOVA se comprobaron los supuestos de Normalidad, Homo-
cedasticidad e Independencia. Aunque la Normalidad sea irrelevante para los resulta-
dos del ANOVA (Tejedor, 1988: 281), no obstante se realizaron los índices de Asime-
tría y Curtosis puesto que después la homocedasticidad se comprobó con el contraste
de Bartlett fuertemente afectado por la no-normalidad.
La Asimetría fue próxima a cero y la curtosis 2,83.
La prueba de Bartlett nos permitió aceptar la homogeneidad de las varianzas al
nivel de significación del.05.
Posteriormente realizamos un ANCOVA con una sola covariante, aptitud verbal
del alumno. El modelo resultó valido (F <.01) Y las diferencias en el nivel de logro de
cada uno de los objetivos varió sensiblemente. Por último y considerando que la
variable de actuación docente podía influir igualmente en la variable dependiente,
realizamos los ANCOVAs que exponemos a continuación.
ANALYSIS OF VARIANCE
ANALYSIS OF VARIANCE
Los resultados son iguales que en el tercer objetivo, puesto que se han dado
respuesta a ambos con idénticos ítems.
Tampoco son significativas las diferencias en el nivel de logro del objetivo que se
pretende conseguir, en función de la metodología, siendo igualmente significativa la
influencia de las restantes variables sobre la variable dependiente.
Esto nos pone de manifiesto la importancia que tienen las mediaciones, ayudas,
que el profesor utiliza en el proceso de enseñanza-aprendizaje. La influencia del
trabajo individual o cooperativo queda encubierta ante la importancia que esta varia-
ble ocupa en el aula, junto con las aptitudes verbales y numéricas de los alumnos.
6. CONCLUSIONES
por el profesor y aptitudes de los alumnos, han sido las que mayor influencia han
tenido.
Los rasgos de actuación docente o ayudas que mayormente utilizan los profesores
observados, por orden de prioridad son:
BIBLIOGRAFíA
ANEXO
3. Conductas no autoritarias.
RESUMEN
ABSTRACT
We analyze the difficulty of Primary School children of 4°, 5° and 6° levels (9, 10 and 11
years old), into choice of the proper operations when they try to solve two-steps arithmetical
word problems with additive structure. Our goal is to set up the ability of the pupils to solve
such kind of arithmetic problem and to value the way in that the kind of relationship (increase
or decrease) both in first or second position affects this ability. We have used a repeated
measure design with two between-subjects factors (teaching institution and course) and one
within-subjects factor (relationship in first and second position). The obtained conclusions are:
a) the ability of the pupils in arithmetic problem solving is developed upon going from 4° to 6a•
b) The variable «type of relationship» influences the difficulty of choosing the adequate process
of solution.
INTRODUCCiÓN
que darán lugar a los enunciados de otros tantos problemas de dos pasos o etapas
cuya solución requiera de las operaciones básicas. No hay muchos trabajos previos de
investigación sobre los problemas compuestos de varias etapas. Vamos a citar aque-
llos que nos parecen más interesantes para nuestro estudio.
Partiendo del trabajo teórico de Durell (1940), Gray & Young utilizan la idea de la
categorización de los problemas según las operaciones que intervienen en su solución
para comparar niveles de dificultad entre problemas de dos pasos.
124 Enrique Castro et al.
Berglaund-Gray (1938, 1939), Berglaund-Gray & Young (1940), y Young & McIsaac
(1941) investigan el efecto de invertir la secuencia de operaciones. Concluyen que la
substracción y la división fueron más difíciles como primeros procesos y la adición y
la multiplicación fueron más difíciles como segundos procesos.
Suppes, Loftus y Jerman (1969) obtienen que «el número mínimo de operaciones
diferentes requeridas para obtener la solución correcta» tiene influencia significativa
sobre la dificultad de resolución de un problema aritmético; pero no así el número de
pasos requerido para obtener la solución. En el trabajo posterior de Jerman y Rees
(1972), también se concluye que las operaciones matemáticas tienen efecto significati-
vo para predecir el orden de dificultad de los problemas verbales.
Sherard (1974) halla, para problemas de dos pasos, que los problemas que implican
a la multiplicación y a la división son los más difíciles, siguiendo en orden descenden-
te de dificultad los de substracción y multiplicación, substracción y división, adición y
división, adición y multiplicación, y adición y substracción.
El interés por el estudio de los problemas aritméticos de dos pasos (o etapas) ha
renacido recientemente (Shallin, 1985; Nesher, 1991; Nesher y Herskovitz, 1994). Los
trabajos se centran en el estudio de los esquemas subyacentes a los problemas de dos
etapas. Estos autores consideran que los esquemas de los problemas de dos etapas son
esquemas compuestos por dos esquemas simples: el aditivo y el multiplicativo. Parten
del hecho de que la definición de problema compuesto no se basa en las cuatro
operaciones aritméticas sino en las esquemas simples constituidos por una relación
entre tres cantidades. En el esquema aditivo las tres componentes son el todo y sus dos
partes, mientras que en el esquema multiplicativo las componentes son el producto y
sus dos factores. Los autores se basan en el trabajo previo de Shallin y Bee (1985) para
afirmar que sólo hay tres esquemas básicos de problemas de dos etapas:
Esquema (A) Uerárquico). El todo de un esquema es una parte del otro esquema.
Esquema (B) (Compartir el todo). Los dos esquemas comparten un todo.
Esquema (C) (Compartir una parte). Los dos esquemas comparten una parte.
A B C
Ilustración 1
Esquemas básicos de problemas de dos etapas (Nesher y hershkovitz, 1994).
Evaluación de la resolución de problemas aritméticos en Primaria 125
Una de las cuestiones que investigan es la influencia que tienen sobre el índice de
dificultad de los problemas de dos etapas los tres esquemas y las ocho posibles
combinaciones de dos operaciones que se obtienen eligiendo una operación de estruc-
tura aditiva + / - y otra de estructura multiplicativa x /: a saber:
Para una muestra de escolares de 3°, 4°, 5° Y 6° de Israel obtienen que ambas
variables tienen efecto significativo sobre el índice de dificultad de estos problemas.
Con respecto a los esquemas hallan que el esquema «jerárquico» es el más fácil, le
sigue en dificultad el esquema «compartir el todo» y, por último, el esquema «compar-
tir una parte».
• cambio, se refiere a los problemas en los que se produce algún evento o trans-
formación que cambia el valor de una cantidad inicial; la codificamos como Ca.
• combinación, problemas basados en la relación existente entre un conjunto total
y una partición del mismo en dos subconjuntos; la codificamos como Ca.
126 Enrique Castro et al.
• comparación, son problemas que implican una relación comparativa entre dos
cantidades; la designamos abreviadamente como Cp.
• igualación, son aquellos problemas en los que se plantea una acción para lograr
que una cantidad sea igual a otra; abreviadamente lo designamos como Ig.
Si atendemos a las posibilidades que ofrecen estas cuatro estructuras en los proble-
mas de dos etapas, encontramos las 16 opciones que están recogidas en la Tabla 1.
TABLA 1
COMBINACIONES SEMÁNTICAS POSIBLES EN PROBLEMAS DE DOS ETAPAS
Ca Co Cp Ig
TABLA 2
COMBINACIONES SEGÚN RELACIONES POSIBLES EN PROBLEMAS DE DOS
ETAPAS
Objetivos
MÉTODO
Muestra
Diseño e instrumento
Hemos utilizado un diseño factorial mixto en el que han intervenido las siguientes
variables:
a) Variables independientes
Las variables independientes empleadas son de dos tipos: intrasujeto e intersujeto.
Las variables independientes intersujeto han sido:
- Semántica-l
- Semántica-2, y
- Relación
La variables Semántica-1 y Semántica-2 tienen cada una cuatro niveles que corres-
ponden a las cuatro estructuras semánticas detectadas en problemas verbales simples
de estructura aditiva que son:
ES1: CA = Cambio
ES2: ca = Combinación
ES3: CP = Comparación
ES4: IG = Igualación
R1: (A,A)
R2: (A,D)
Evaluación de la resolución de problemas aritméticos en Primaria 129
R3: (D,A)
R4: (D,D)
TABLA 3
EJEMPLOS DE PROBLEMAS CORRESPONDIENTES A LAS CUATRO
COMBINACIONES DE AUMENTO y DISMINUCI6N
Segunda posición
Primera Aumen. María tiene 12 sellos de Francia y 7 José tiene 18 bolas rojas y 7 bolas
posición to (A) de España. Compra 16 sellos de Grecia negras. Después de jugar una
¿Cuántos sellos tiene en total? partida pierde 11 bolas ¿Cuántas
bolas le quedan?
Disminu- José tiene 25 bolas rojas y negras, 7 Juan tiene 35 cromos, 7 son de
ción (D) son negras. Le regalan 4 bolas rojas animales y el resto de aviones.
¿Cuántas bolas rojas tiene José? Regala a un amigo 12 cromos de
aviones ¿Cuántos cromos de
aviones le quedan?
Por último, añadimos dos nuevas variables independientes intersujeto que comple-
tan el diseño anterior, las variable COLEGIO y CURSO, que confiere al trabajo una
estructura de diseño factorial mixto, donde se analizan los seis colegios en los que se
aplicaron las pruebas y los tres niveles: 4°, 5° Y 6° de Educación Primaria.
Decir también que la investigación se ajusta a las coordenadas propias de un
diseño cuasi-experimental, ya que ni los colegios ni los alumnos se han elegido aleato-
riamente.
Variables controladas
Criterios de corrección
Las respuestas escritas dadas por los niños a los problemas han sido catalogadas
como correctas o incorrectas. Cuando un niño no ha dado respuesta a un problema se
Evaluación de la resolución de problemas aritméticos en Primaria 131
ha catalogado como incorrecta. En las respuestas dadas por los niños, y puesto que
esta investigación se refiere al rendimiento en la fase de comprensión, la decisión de si
un alumno ha comprendido o no un problema se ha basado en si el niño ha elegido o
no operaciones que permitan obtener la solución. Hemos dado por correctas solucio-
nes en las que el sujeto ha elegido una operación adecuada aunque se haya equivoca-
do al operar.
RESULTADOS
TABLA 4
RESULTADOS DEL ANALISIS DE LA VARIANZA EN UN DISEÑO FACTORIAL
(6 X 3 X 4) Y CON LA PROPORCIÓN DE RESPUESTAS CORRECTAS COMO
VARIABLE DEPENDIENTE (n=1036)
100
5°
Curso escolar
Ilustración 2.
Evaluación de la resolución de problemas aritméticos en Primaria 133
Como puede observarse hay diferencias muy pequeñas entre los porcentajes de la
combinación de relaciones (D,A) y de la combinación (D,D). Debido a ello, y a que las
diferencias entre la combinación (A,A) y la combinación (A,D) son también pequeñas,
pensamos que, con respecto a la combinación de relaciones, la primera relación tiene
un papel más decisivo que la segunda en el proceso de comprensión del problema.
Esto es una conclusión que habría que analizarla estadísticamente con un diseño en el
que la primera relación y la segunda se incluyeran como variables independientes.
100
¡fJ
....uct1 90
Q)
l-<
l-<
o
U
¡fJ
....ct1
¡fJ 80
Q)
;:::l
o...
¡fJ
Q)
l-<
Q)
"'O
70
Q)
.C?'
....::::
Q)
u 60
l-<
o
~
50
(A,A) (A,D) (D,A) (D,D)
Tipo de relación
CONCLUSIONES
No es fácil comparar este resultado con otros que pueden parecer similares y que
hayan sido obtenidos en investigaciones previas. Y ello por una razón sencilla: El
planteamiento teórico ha cambiado. Las primeras investigaciones de Berglaund-Gray
(1938, 1939), Berglaund-Gray & Young (1940), y Young & McIsaac (1941) investigan el
efecto de invertir la secuencia de operaciones. En estas investigaciones primero está la
operación, y el problema se supone que es de sumar, restar multiplicar o dividir. En la
situación actual las operaciones han perdido su papel como criterios clasificatorios a
priori de los problemas aritméticos verbales y han sido relegadas a su verdadera
función a posteriori que es el de herramientas con las que se pueden resolver los
problemas verbales aritméticos. Esto tiene implicaciones para decidir si un problema
es de uno u otro tipo. Pese a estos distanciamientos teóricos los resultados que hemos
obtenido son coincidentes para los casos comunes a ambas investigaciones. Los auto-
res anteriores concluyen que la substracción fue más difícil como primer proceso que
la adición. Esto mismo hemos obtenido nosotros, pero además lo hemos obtenido en
la totalidad de la muestra y en cada uno de los cursos. Lo anterior nos hace concluir
que, en un problema de estructura aditiva compuesto de dos relaciones, la relación de
disminución en el primer paso es más difícil que las relaciones de aumento en primer
paso.
Recordamos que para obtener la variable relación hemos combinado dos relaciones
simples de aumento o disminución que ocupan en el enunciado del problema la
primera y la segunda posición, respectivamente. Según los resultados obtenidos la
influencia de la relación de aumento o disminución en segunda posición, tiene un
peso menor sobre la dificultad del problema que la que tiene en la primera posición.
De hecho, no hemos obtenido unas diferencias significativas según la relación en la
segunda posición. Lo que sí ocurre es que la relación de disminución en la segunda
posición refuerza la dificultad que provoca la relación de disminución en la primera
posición. Esto ocurre en la muestra total y en cada uno de los cursos por separado, con
la única salvedad de que los índices de dificultad se mueven en un intervalo menor.
REFERENCIAS
BARNETT, J. (1980). The study of syntax variables. En G.A. Goldin y C.E. McClintock
(Eds.), Task Variables in Mathematical Problem Solving. Philadelphia, Pennsylvania:
The Franklin Institute Press.
BELL, A.; GREER, B.; GRIMISON, 1. Y MANGAN, C. (1989). Children's performance
on multiplicative word problems: Elements of a descriptive theory. Journal for
Research in Mathematics Education, 20, 434-449.
BERGLAUND-GRAY, G. (1938). The effect of process sequence on the interpretation of two-
step problems in arithmetic. Unpublished doctoral dissertation. University of Pitts-
burgo I
BERGLAUND-GRAY, G. (1939). Difficulty of the arithmetic process. Elementary School
Journal, November, 40, 198-203.
BERGLAUND-GRAY, G. & YOUNG, R.V. (1940). The effect of process sequence on
138 Enrique Castro et al.
RESUMEN
En este artículo presentamos algunas reflexiones sobre el uso de las pruebas estandarizadas
para la evaluación del rendimiento. Se propone una tipología de pruebas cuyos componentes
son: pruebas como Indicadores de resultados, pruebas de certificación y de admisión, pruebas de
dominio, pruebas de clase y pruebas individualizadas. Para cada tipo de prueba se revisan las
propiedades métricas que se derivan de los objetivos, características y finalidad de las pruebas.
ABSTRACT
In this article we present some reflections about the use of the standarized tests for achieve-
ment evaluation. It is proposed a test typology whose components are: tests as outcome
indicators, certification and admission tests, domain tests, classroom tests and tailored tests.
The measurement properties derived from the tests objectives, characteristics and purpose are
reviewed for each kind of test.
INTRODUCCiÓN
• Características del Objeto de Medida. Las características del Dominio Educativo2 a que
va dirigido la prueba es un elemento de definición básico que condiciona, desde los
elementos de Validez, el conjunto del desarrollo de la prueba. El Dominio Educati-
vo constituye el Universo de Medida desde el que se extraen los componentes de la
prueba y al que se pretende representar desde ella. Sin entrar en los factores
específicos de los tipos de contenidos educativos, las dimensiones a tener en cuenta
para orientar el desarrollo de las pruebas son las siguientes:
1. Amplitud del Dominio Educativo (Dominios amplios vs. reducidos).
2. Límites del Dominio Educativo (Dominios con limites difusos / no-finitos vs.
Dominios con límites concretos / finitos).
3. Dimensionalidad del Dominio Educativo (Dominios Multidimensionales vs.
Unidimensionales ).
• Características de la población a que va dirigida la prueba. Afecta fundamentalmente a
la elección del Modelo de Medida y la selección de indicadores que permitan el
análisis adecuado del ajuste de las características de la prueba a las de la población.
Las dimensiones más relevantes son:
4. Amplitud de la población (Población extensa vs. Reducida).
5. Grado de diversidad de la población'(Población Heterogénea vs. Homogénea).
• Finalidad y uso de la prueba. La Validez no es en sí misma una característica imputa-
ble a una prueba, es más bien el uso que se pretende realizar de las puntuaciones
de ella derivadas lo que debe analizarse como elemento de validación (Hambleton;
1984). ASÍ, la utilización que se desee realizar de la prueba tiene consecuencias
desde la definición del Dominio Educativo hasta el establecimiento de Estándares
de puntuación. Las dimensiones más importantes que pueden identificarse en este
punto son:
6. Decisiones asociadas al uso de la prueba (De carácter Formativo vs. Sumativo).
7. Unidades sobre las que se pretenden tomar decisiones (Individuos vs. Grupos).
• Características del tipo de Interpretación de puntuaciones. Como en el caso anterior,
estos elementos afectan a todo el desarrollo de la prueba. La dimensión central a
que pueden reducirse estas características es:
8. Tipo de Estándar de referencia (Normativo vs. Criterial).
2 Por Dominio Educativo nos referimos al conjunto de objetivos, contenidos, actividades y tareas que
constituyen el objeto de la educación, sea en general sea en un programa concreto (Jornet y Suárez, 1989a).
144 J.M. Jornet Meliá y J.M. Suárez Rodríguez
CUADROl
TIPOS FUNDAMENTALES DE PRUEBAS ESTANDARIZADAS VALORADOS
RESPECTO A OCHO DIMENSIONES BAsICAS DE CARACTERIZACI6N
DIMENSIONES DE VALORACI6N
Tipo de Prueba Amplitud Límites Dimen- Amplitud Grado de Decisiones Unidades Tipo de
Estandarizada del Dominio del Dominio sionalidad3 de la diversidad Asociadas sobre las Estándar
Educativo Educativo Población de la que se
Población decide
DE AMPLIO ESPECTRO: Amplio No-finitos Multidimen- Amplia! Hetera- Formati- Grupos Mixto:
• Indicadores De Difusos sionales Muy génea vas! Normativo
Resultados amplia Sumativas
• Certificación -- -- --
• Admisión Sumativas Individuos Normativo
Criterial
DE NIVEL o DOMINIO Mixto Mixto Multidimen- Intermedia Mixto Sumativas Individuos Criterial
sionales ! Amplia
3 Hace referencia a las características originales del Dominio Educativo. Todas las pruebas es preciso
adecuarlas a Universos Unidimensionales, por lo que en el caso de universos multidimensionales, se
focalizan las pruebas sobre regiones específicas del Dominio.
Pruebas estandarizadas y evaluación del rendimiento 145
4 Existen sistemas de indicadores que permiten la comparabilidad entre diversos países y utilizan un
número relativamente reducido de pruebas como es el caso de la OCDE (CERI/lNES; 1995) o la Comunidad
Europea (West et al., 1995). A un nivel intermedio se encuentran los programas desarrollados por la lEA
(Postlethwaite, 1987), finalmente existen otros más completos en cuanto a la información que emplean sobre
productos educativos como el sistema federal USA (SSPEI, 1991) o algunos otros sistemas más recientes que
se están impulsando en el ámbito iberoamericano (por ejemplo la propuesta de Martínez Rizo; 1996). En
nuestro país, el Instituto Nacional de Calidad y Evaluación (INCE) está desarrollando pruebas como
indicadores de resultados del sistema educativo, habiéndose comenzado a publicar los primeros resultados
(Gil, González y Suárez, 1995; INCE, 1996).
146 J.M. Jornet Meliá y J.M. Suárez Rodríguez
5 Ante la imposibilidad de concretar todos los miembros del Universo de Medida, se pasa a utilizar
estrategias de representación fundamentadas en tipologías básicas o elementos clave en la estructura del
Dominio.
6 Es decir, no suelen estar desarrollados a partir de una teoría de aprendizaje que, de manera holísta,
globalice y de sentido a la estructuración y funcionalidad de la prueba.
7 Siendo este un supuesto básico sobre el que se sustenta la medida desde cualquiera de los modelos
actualmente existentes y que se enraiza en la información que se extrae en cada elemento de la prueba
(Hambleton y Swaminathan, 1985; Osterlind, 1992). Aunque se han planteado algunas alternativas para
superar este problema, corno los trabajos de Reckase (1979) o Samejima (1974), hasta el momento no se
pueden considerar corno auténticas opciones disponibles.
Pruebas estandarizadas y evaluación del rendimiento 147
8 Una sola aplicación de una prueba de estas características puede inhabilitar su uso. Una vez es
conocida una prueba de este tipo puede ser utilizada como objeto directo de aprendizaje.
9 Son procedimientos que concretan de forma unívoca al ítem de forma que su escritura se torna
automática, entre ellos los más destacados son los que se recogen en Roid y Haladyna (1982). Aunque
lentamente, los procedimientos han ido evolucionando para tratar de hacer frente a la evaluación de la
actuación en tareas complejas, incrementando el nivel cognitivo de la evaluación (por ejemplo, los conjuntos
de ítems -ítem sets- desarrollados por Haladyna -1992-, o el modelado de ítems desarrollado por
La Duca -La Duca et al. 1986-).
148 J.M. Jornet Meliá y J.M. Suárez Rodríguez
actuar como fuente de sesgo. No vamos a extendemos aquí en estos aspectos, dado
que han sido anteriormente expuestos en esta Revista Oornet y Suárez, 1990; Ordeña-
na, 1991); sin embargo, en este tipo de pruebas es básica la independización del sesgo,
el cual puede provenir de diferentes fuentes como el Sexo, el ámbito territorial, los
niveles socioculturales.o socioeconómicos, la Lengua, etc ...
El control de todos estos elementos se basa en dinámicas de juicio bien estableci-
das, en las que en la síntesis de resultados se utilizan procedimientos de análisis de la
consistencia inter-jueces.
En este sentido, hay que destacar la necesidad de los procedimientos de juicio, el
estudio de las dinámicas más adecuadas a seguir por parte de los Comités y de los
tipos de análisis a realizar, tanto como elementos de síntesis de la opinión de los
Comités, como para detectar jueces que aportan valoraciones extremas, etc.
La Validez de las pruebas se asienta sobre procesos de análisis teórico de los
componentes de medida y la revisión lógica de todas las unidades1o . Es fundamental
reconocer el valor de los procesos de juicio en este ámbito, los cuales deberán ser
atendidos adecuadamente. No obstante, un problema habitual que se contempla en
este tipo de pruebas es que muchas de ellas se sustentan más sobre el Modelo de
Medida utilizado que sobre el análisis teórico del Dominio Educativo. Por mencionar
tan sólo uno de los elementos clave en que se asienta la Validez de Constructo. De
hecho, el problema estriba en que los principios que se refieren a la validez y que están
recogidos en cualquiera de los modelos de medida no son sino una parte relativamen-
te reducida de los indicios que definimos como facetas de la Validez de Constructo
(Angoff, 1988). Por ello las aportaciones de los modelos de medida deben entenderse
en un plano instrumental dentro de la estrategia global de validación y no a la inversa.
¿ Qué Modelo de Medida es más adecuado en este contexto?
Si se pretende utilizar estas pruebas sobre una población amplia, la base métrica
necesariamente se encuentra en la Teoría de Respuesta al ítem que favorece el desarro-
llo de pruebas sobre parámetros invariantes de los ítems y que permiten una gradua-
ción adecuada de los ítems asociados con la habilidad general que mide la prueba
(Hambleton y Swaminathan, 1985; Weiss y Yoes, 1991). No obstante, estos modelos
han demostrado su adecuación, hasta el momento, con dos condiciones bastante pre-
cisas no existiendo un acuerdo generalizado sobre su utilización cuando alguna de
ellas no se cumple. La primera condición resulta de la unidimensionalidad del cons-
tructo y la segunda del tamaño de la población referente para establecer la invarianza
(Linn, 1990; Osterlind, 1992).
Un elemento adicional, que guía la selección de Indicadores tanto para el Análisis
de ftems, como para la Fiabilidad, es el tipo de interpretación de las puntuaciones que
se requiere. Así, la dicotomía Normativa-Criterial está a la base de esta selección.
Las pruebas estandarizadas de Rendimiento como Indicadores de Resultados no
son interpretadas individualmente, por lo que, en principio, no sería necesario ningún
elemento que coadyuve a la interpretación. Así, respecto a la selección de indicadores,
10 y debe ser refrendada por la acumulación de evidencias empíricas, tanto desde una base de inves-
tigación experimental como correlacional.
Pruebas estandarizadas y evaluación del rendimiento 149
13 Entendemos por Punto de Corte aquella puntuación en la prueba que expresa el nivel mínimo de
competencia. Proviene del Estándar y constituye el ajuste empírico del mismo, teniendo en cuenta criterios
de fiabilidad (Jornet y Suárez, 1989b).
14 % de sujetos que pueden ser admitidos, por ejemplo, en un programa.
15 Se ha informado de algunos desarrollos específicos de pruebas -insertas en Modelos evaluativos-
que podrían ser identificables en esta categoría como los trabajos de Rodríguez Lajo (1986), Jornet (1987) y
Jornet et al. (1993).
152 J.M. Jornet Meliá y J.M. Suárez Rodríguez
a) se puede dar una definición del universo de referencia tanto empírica como
teórica - esto último especialmente en los programa más concretos-,
b) se puede aspirar a la valoración del proceso y no sólo del producto. Al ser
pruebas referidas a dominios más concretos cabe identificar unidades en el
Dominio, a partir de las cuales se puedan realizar inferencias acerca de los
procesos,
c) las reglas de conexión entre el universo y la prueba están mucho más determi-
nadas -en numerosas ocasiones completamente determinadas-,
d) en el análisis de ítems, junto a los indicadores de los parámetros básicos resulta
de interés (al ser pruebas de nivelo de evaluación de un programa específico) la
sensitividad instruccional, como expresión de la capacidad de los ítems para
discriminar las adquisiciones propias del programa,
e) la amplitud de las poblaciones de referencia puede condicionar el Modelo de
Medida adecuado a cada caso. Así, se debe distinguir entre las pruebas que se
orientan a poblaciones amplias y las que se destinan a ámbitos más concretos.
Por ejemplo, hay que diferenciar entre una prueba de Cálculo para primero de
Primaria aplicable a estudiantes valencianos y otra destinada a evaluar la com-
petencia alcanzada en un programa de formación para la participación de Equi-
pos Directivos de Centros. El Dominio se concreta en ambos caso, pero la
primera situación va dirigida a una población amplia y le son aplicables los
mismos referentes de Medida que los ya comentados en los casos anteriores,
mientras que en la segunda situación las pruebas se deberán sustentar en la
Teoría Clásica del Test yen indicadores que provienen del ámbito de la Evalua-
ción Referida al Criterio16 •
f) el estándar de referencia está normalmente basado en un criterio absoluto
-aunque se den, obviamente, casos en que se utiliza una combinación con
información normativa-o
En cualquier caso, este tipo de pruebas se sitúa entre las pruebas amplio espectro y
las de Aula, adoptando características que les son propias a los dos enfoques.
Las pruebas de Clase o pruebas de Aula hacen referencia a las que puede utilizar el
profesor para la evaluación de sus alumnos. No obstante, es en este ámbito donde
probablemente se aprecia una peor aceptación de las pruebas estandarizadas. Y ello,
porque se atribuye a la Estandarización condiciones que alejan estas pruebas de la
individualización.
Sin embargo, debe tenerse en cuenta que ambos -Estandarización e Individualiza-
ción- no son conceptos necesariamente contradictorios; más bien, es el tipo de uso
que se realice de las pruebas lo que puede enfrentarlos. La Estandarización mejora
16 En ambos casos se pueden utilizar aportaciones derivadas de la Teoría de la Generalizabilidad para
conseguir indicadores más consistentes de los parámetros de la prueba, especialmente en aquellos casos en
los que no sea adecuado utilizar los modelos TRI (Brennan, 1983; Shavelson y Webb, 1991).
Pruebas estandarizadas y evaluación del rendimiento 153
marco, pueden formar parte de la "prueba" diversos tipos de elementos: desde ítems
clásicos de lápiz y papel hasta ítems micro-situacionales en los que la valoración
provenga de la observación de la tarea que realiza cada individuo.
La definición del Dominio, establecimiento de Reglas de generación de ítems y
escritura de ítems, la realiza -como en casos anteriores- un comité de expertos, pero
en esta situación, está compuesta por los profesores de una materia (o departamento,
o equipo de ciclo).
En el trabajo a realizar por el Comité hay que tener en cuenta los siguientes
aspectos:
• Antes de desarrollar la prueba es esencial definir el rol que ésta tendrá dentro
de los recursos evaluativos de que disponga el profesor. El contexto ideal de
uso es aquel en el que se identifican fuentes múltiples y diversos instrumentos.
• En el desarrollo del Análisis del Dominio la reflexión deberá orientarse hacia
elementos de relevancia de los ítems respecto de los objetivos que pretenden
medir (Congruencia Ítem-Objetivo) así como respecto a la representatividad de
los ítems -como situación evaluativa- en relación a los planteamientos meto-
dológico-didácticos seguidos en el Aula.
• Aunque en este contexto no resulta tan trascendente el análisis del Sesgo de los
ítems, su anticipación -por procesos de juicio- es una labor de especial inte-
rés. Así, junto a variables básicas como Sexo o Lengua -en Comunidades
bilingües-, dependiendo del nivel educativo, pueden producirse sesgos en
situaciones de apertura del currículum. De esta manera, pueden haber alumnos
reforzados en su aprendizaje de una materia por el efecto del aprendizaje de
otras opcionales. Este tipo de sesgo sería importante identificarlo a efectos de
determinar adecuadamente el nivel de competencia a que puede aspirarse en la
materia en la que se desarrolla la prueba.
• No obstante, aunque existan sesgos de los que necesariamente tengamos que
independizar a las pruebas, otros -como el último mencionado- puede ser
difícil de eliminar, por lo que al menos es importante identificarlos, conocerlos,
y asignarles valor diagnóstico o modulador de las decisiones evaluativas.
• El análisis del sesgo en este caso se basa más sobre procesos cualitativos de
juicio que sobre la comprobación empírica de los resultados obtenidos por las
personas evaluadas. El factor clave para poder llevar a cabo una comprobación
adecuada es el tamaño de la muestra, en estos casos muy reducida.
medida y del uso de la prueba, así como las que devienen de los tipos de distribución
que podemos encontrar en pequeñas muestras 18, conllevan necesarias modificaciones
en la utilización e interpretación de indicadores clásicos. De esta manera, característi-
cas básicas empíricas útiles en la selección de ítems del Modelo Clásico no serían
deseables aquí. El valor de los parámetros e indicadores radica no tanto como elemen-
to de selección de los Ítems (que se sustentará preferentemente sobre procesos de
juicio) como elemento de información para el grupo de profesores -Comité- que
desarrolla la prueba. Su valor como indicadores de selección de ítems, se circunscribe
a la comprobación de las hipótesis funcionales que el Comité haya anticipado para los
ítems, respecto a la dificultad teórica y su capacidad de discriminación primordial-
mente Gornet y Suárez, 1994 ; Rivas, Jomet y Suárez, 1995).
¿Qué tipo de interpretaciones se requieren?
En este contexto, en donde se deben tomar decisiones acerca de la promoción de
cada persona en su aprendizaje, es preciso conocer adecuadamente su posición res-
pecto del Dominio Educativo, por lo que la interpretación necesariamente debe ser
criterial, basada en un estándar absoluto.
Para el desarrollo del Estándar y su especificación como puntuación de corte la
aportación del Comité de Expertos es nuevamente esencial. Entre los métodos en que
pueden apoyarse, en este contexto de desarrollo de pruebas, cobran especial relevan-
cia aquéllos que utilizan como información para retroalimentar al Comité en su proce-
so de determinación, el análisis de las consecuencias de su aplicación sobre sujetos
conocidos (Livingston y Zieky, 1982). Estos usos, en la práctica, se convierten en
evidencias de validación de la puntuación de corte.
En cualquier caso, los procesos de evaluación en el Aula hay que considerar que no
se debe aspirar a que se sustenten sobre pruebas estandarizadas exclusivamente. La
oportunidad de su utilización depende fundamentalmente de que sean adecuadas al
tipo de materia que se pretenda evaluar. La defensa del uso de este tipo de pruebas
para la evaluación debe realizarse desde el marco en que realmente sean más útiles
(fiables y válidas) que otras alternativas o técnicas evaluativas. Asimismo, debe tener-
se en cuenta que las pruebas estandarizadas deben derivarse desde un programa
educativo bien establecido y, como instrumento están al servicio del mismo. Un peli-
gro genérico que nace del uso de cualquier sistema de evaluación es que acaben
siendo los instrumentos los que constituyan la referencia para el desarrollo del progra-
ma, acabando por condicionar su uso (De la Orden, 1993).
18 No sería aceptable anticipar como efecto educativo que el Rendimiento se distribuirá como la Curva
Normal. Es más lo habitual-y deseable- sería que los efectos educativos fueran asimilables a distribucio-
nes beta, con tendencia asimétrica negativa.
156 J.M. Jornet Meliá y J.M. Suárez Rodríguez
19 Aunque no son muy frecuentes, existen ya algunas pruebas de interés como por ejemplo la Escala
Key-Math R de Connolly (1988), adaptada por Mari (1996) a nuestro contexto educativo o algunas otras
desarrolladas directamente en el mismo, como la Batería de Pruebas de Lenguje FCI (Bartolomé, et al.,
1985).
20 Sin embargo, se pueden identificar ya desarrollos muy adecuados (como la prueba CRIL de Len-
guaje de Wiig, 1990, de la que parte el desarrollo de la prueba ICL de Puyuelo y Renom -1993- y Puyuelo,
Renom y Solanas -1995-).
Pruebas estandarizadas y evaluación del rendimiento 157
das en unas reglas de conexión con el universo tan específicas como lo permita las
características y la amplitud del mismo. Finalmente, el estándar en que se basa la
decisión suele ser una combinación de indicadores absolutos y normativos. Esto es así
dado que para la determinación de la existencia de un problema suele ser tan útil
emplear definiciones absolutas que reflejen las claves de su identificación (nivel en
que se produce un problema, patrón procesual del mismo, etc ... ) como la información
relativa al grupo de pertenencia para situar la djmensión característica del mismo
-por ejemplo, un problema de inversiones en la lectura dependerá tanto de una
determinada frecuencia concreta como de la situación relativa dependiendo del grupo
de edad al que pertenece el sujeto-.
PRUEBAS INDIVIDUALIZADAS
21 Otra cuestión bien diferente la constituyen los sistemas de evaluación ligados a las aplicaciones
EAO, cuya calidad metodológica general es muy desigual.
Pruebas estandarizadas y evaluación del rendimiento 159
CUADRO 2
SÍNTESIS DE PROCEDIMIENTOS DE PRUEBAS INDIVIDUALIZADAS
PRUEBAS DE ADMINISTRACIÓN Mejorar la precisión en la estimación Las tareas están graduadas, en oca-
INDIVIDUAL de la habilidad del sujeto siones se basa la administración en
senderos de decisión.
PRUEBAS DE FORMAS MÚLTIPLES Obtener múltiples medidas paralelas, Pruebas estadísticamente paralelas
equivalentes -o al menos compa-
rables- de cada sujeto.
formación de estos profesionales en estas áreas, dado que son instrumentales para su
actuación docente.
Por último, la estandarización de la medida, como base para la evaluación, si
quiera en sus versiones más "tecnológicas" -como las Pruebas Asistidas por Ordena-
dor-, no implica necesariamente un empobrecimiento de la información necesaria en
la evaluación. Existen suficientes vías de trabajo para incorporar definitivamente la
medida de tareas complejas, el proceso de construcción de los conocimientos, el apren-
dizaje cooperativo o el pensamiento crítico. En buena medida, nos tenemos que com-
prometer en realizar un esfuerzo por avanzar en esas direcciones y tratar de situarnos
en línea con los países más desarrollados en estos ámbitos disciplinares.
REFERENCIAS BIBLIOGRÁFICAS
RECKASE, M.D. (1979) Unifactor latent trait models applied to multifactor tests. Jour-
nal of Educational Statistics. 4, 207-230.
RIVAS F. et al. (1986): Proyecto Valencia: Objetivos básicos de aprendizaje en los Ciclos y
Areas de Lenguaje y Matemáticas en la ECB. Una aproximación de Evaluación Referida al
Criterio. Valencia: Servicio de Estudios y Publicaciones Universitarias, S.A.
RIVAS, F. JORNET, J.M. y SUÁREZ J.M. (1995) Evaluación del aprendizaje escolar:
claves conceptuales y metodológicas básicas. En F. SILVA (De.): Evaluación psicoló-
gica en niños y adolescentes. Madrid: Síntesis.
RODRÍGUEZ LAJO, M. (1986) Evaluación del rendimiento criterial vs. Normativo.
Modelo de evaluación FCO. Revista de Investigación Educativa. 3, 6, 304-321.
ROID, G.H. y HALADYNA, T.M. (1982) A technology of test-item writing. New York:
Academic Press.
SAMEJIMA, F. (1974) Normal ogive model on the continuous response level in the
multidimensionallatent space. Psychometrika. 39, 111-121.
SHAVELSON, R.J. y WEBB, N.M. (1991) Ceneralizability Theory. A Primer. Newbury
Park, CA.: SAGE.
SPECIAL STUDY PANEL ON EDUCATION INDICATORS (SSPEI) (1991) Education
counts. An indicator system to monitor the nation's educational health. Washington:
National Center for Educational Statistics. USA Department of Education.
TEJEDOR, F.J.; GARCfA VAL CÁRCEL, A. y RODRÍGUEZ CONDE, M-J. (1994) Pers-
pectivas metodológicas en la evaluación de programas en el ámbito educativo.
Revista de Investigación Educativa. 23, 93-128.
TOBOSO J. (1995a): Fundamentos teóricos del proceso evaluador desde el marco
curricular de la LOGSE. En AIDIPE (Comp.): Estudios de Investigación Educativa en
Intervención Psicopedagógica. Valencia: AIDIPE.
TOBOSO J. (1995b): Estudio empírico sobre la Evaluación de componentes cognitivos
en la Resolución de problemas. En AIDIPE (Comp.): Estudios de Investigación Educa-
tiva en Intervención Psicopedagógica. Valencia: AIDIPE.
TOCA, M.T. Y TOURON, J. (1989) Factores del Rendimiento Académico en los Estu-
dios de Arquitectura. Revista de Investigación Educativa, 7, 14, 31-47.
TOURON, J. (1985) La predicción del rendimiento académico: procedimientos, resul-
tados e implicaciones. Revista Española de Pedagogía, 169-170, 473-495.
WEISS, D-J. y YOES, M.E. (1991) Item Response Theory. En R.K. HAMBLETON y J.N.
ZAAL (eds.) Advances in Educational and Psychological Testing. Boston, MA: Kluwer
WEST, A.; PENNELL, H.; THOMAS, S. y SAMMONS, P. (1995) Educational perfor-
mance indicators. EERA Bulletin, 1, 3, 3-11.
Para subscribirse llene este boletín y devuélvalo a:
REVISTA DE INVESTIGACIÓN EDUCATIVA
Dpto. «Métodos de Investigación y Diagnóstico en Educación»
Facultad de Pedagogía Paseo del Valle de Hebrón, 171, 2a planta
08035 - BARCELONA (Spain)
Nombre ....................................................................................................... .
D.N.I. o N.I.F ............................................................................................. .
Dirección .................................................................................................... .
Población ................................................................ C.P............................ .
País........ .............. ................................... .... Teléfono .............................. .
Coste de la inscripción:
D Individual: 4.000 ptas.
D Institucional: 6.000 ptas.
D Números sueltos: 2.000 ptas.
(Fecha y Firma)
D Indicar n.o deseado: ................. .
D Números extras: 2.500 ptas.
D Indicar n.o deseado: ................. .
Señores,
Les agradeceré que con cargo a mi cuenta/libreta atiendan los recibos que
les presentará la Revista de Investigación Educativa, como pago de mi
subscripción a la misma.
FINES DE LA ASOCIACIÓN
Cada socio tiene derecho a recibir la Revista de Investigación Educativa de forma gratuita.
SEMINARIOS
AIDIPE organiza cada 2 años, un Seminario Nacional con un tema central en tomo al cual giran las
ponencias, comunicaciones, mesas redondas. Los primeros Congresos han sido los de Barcelona (1981),
Sitges (1983), Gijón (1985), Santiago de Compostela (1988), Murcia (1990).
PUBLICACIONES
AIDIPE publica las Actas de sus Seminarios, así como La Revista de Investigación Educativa (RIE)
con carácter semestral.
A.I.D.I.P.E.
Dpto. «Métodos de Investigación y Diagnóstico en Educación»
Facultad de Pedagogía Paseo del Valle de Hebrón, 171, 28 planta
08035 - BARCELONA (Spain)
Cuota de suscripción anual 5.000 ptas.
DATOS PERSONALES
(Firma)
I I I I I I I III I I I I I I
Señores,
Les agradeceré que con cargo a mi cuenta/libreta atiendan los recibos que les presentará la
Asociación Interuniversitaria de Investigación Pedagógica Experimental como pago de
mi cuota de asociado.
Titular de la cuenta ................................................................................................................... .
Banco/Caja ................................................................................................................................ .
Domicilio Agencia .................................................................................................................... .
Población ......................................................................................... C.P .................................... .
(Fecha y Firma)
CODIGO CUENTA CLIENTE
Entidad Oficina D.C. Núm. de Cuenta
I I I I I I I I I I 111 I I I