Evaluación matemática: ¿son convenientes los enfoques

psicométricos?

https://blog.ciaem-redumate.org/evaluacion-matematica-son-convenientes-los-enfoques-psicometricos/?
utm_source=rss&utm_medium=rss&utm_campaign=evaluacion-matematica-son-convenientes-los-enfoques-
psicometricos&fbclid=IwAR2qi_S-ySOsnIQ6xcxdYDjfv9cB4gZ7VfCvhyVI3SQlZzsWfDZlCPDLGbY

Por  Angel Ruiz  - diciembre 18, 2020 033

No ha sido raro en nuestros países un peso excesivo a los enfoques psicométricos en las
pruebas nacionales. Mucha pelota se ha dado a la evaluación educativa basada en ese tipo de
paradigmas. Esto es algo que debería repensarse con una nueva mirada especialmente en el
nuevo escenario.

La valoración dominante entre los investigadores de la Educación Matemática es que los

enfoques psicométricos de pruebas en gran escala han tenido bastantes limitaciones, tanto por
los formatos predominantes de sus ítems como también por los marcos intelectuales que han
asumido.

Una primera consideración es que los enfoques psicométricos refieren sobre todo a “grupos o
individuos” para “medir de manera fiable el resultado del aprendizaje” y “no el propio
aprendizaje”, es decir: no examinan “los procesos de pensamiento y comunicación de los
estudiantes” (Suurtamm et al, 2016, p. 3). Esta circunstancia los distanciaría de las funciones por
ejemplo formativas de la evaluación.

Un segundo aspecto son las debilidades del formato dominante en estas pruebas: “problemas
matemáticos que a menudo conducen a una única respuesta correcta” (p. 3), lo que se juzga
más propio de “una perspectiva conductista o cognitivista, ya que típicamente se enfocan en
componentes independientes del conocimiento” (Scherrer, 2015).

Se afirma que este tipo de formato posee tensiones con la evaluación de aula pues: “a veces
está en conflicto con las evaluaciones de aula que fomentan una serie de respuestas y ofrecen
oportunidades para que los estudiantes demuestren su razonamiento y creatividad”. Schoenfeld
(2007) es muy crítico:

Las pruebas de selección múltiple que se centran en gran medida en destrezas simples
pueden clasificarse fácilmente, tienden a ser fáciles de construir en formas que cumplen
criterios psicométricos y proporcionar estadísticas agregadas con fines políticos, pero es
improbable que capten el espectro deseado de matemáticas, y proporcionan poca o
ninguna información diagnóstica útil. (p. 12)
Sin duda en las pruebas estandarizadas de América Latina se ha potenciado el formato de ítems
de selección única (con revisión mediante revisora óptica), lo que en parte se debe al bajo costo
de su elaboración, aunque también a esquemas intelectuales y también de conveniencia (tratar
de asegurar que no haya fraudes, por ejemplo).

Como un todo: el impacto social de pruebas estandarizadas de certificación puede ser muy
fuerte pues cuando por ejemplo abunda la enseñanza orientada a la preparación de estas
pruebas, tales pruebas pueden distorsionar el currículo. El punto invoca que las pruebas suelen
constituir un punto de referencia central para la selección de los tópicos y enfoques que se
desarrollan en las aulas, y eso puede ser positivo o negativo.

¿Qué supuestos han dominado en las tradiciones psicométricas? Osterlind (1998) identifica
algunos:

• Unidimensionalidad: cada ítem de la prueba debe centrarse en evaluar un solo objetivo o

habilidad.
• Independencia local: cada ítem de la prueba es independiente de cualquier otro ítem, sin
sugerencias ni expectativas de que las soluciones de un ítem afecten el rendimiento de otro
ítem.
• Curva característica del ítem: si los ítems son válidos para un objetivo particular, los
estudiantes que tienen una baja habilidad deben tener una baja probabilidad de éxito en el ítem.
• No ambigüedad: los ítems deben ser declarados de tal manera que la parte inicial del ítem
conduzca al alumno a la respuesta correcta única.

¿Son válidos estos aspectos?

Van den Heuvel-Panhuizen & Becker (2003), por ejemplo, consideran que estos supuestos se
basan en creencias muy cuestionadas por la comunidad internacional de Educación Matemática,
a saber:

1. Los problemas matemáticos siempre tienen solo una respuesta correcta.

 2. La respuesta correcta siempre se puede determinar.
3. Todos los datos necesarios deben ser proporcionados a los estudiantes.
4. Los buenos problemas matemáticos deben ser localmente independientes.
5. No se puede evaluar el conocimiento aún no enseñado.
6. Los problemas matemáticos deben ser resueltos de una sola manera.
7. La respuesta a un problema es el único indicador del nivel de logro del estudiante.

¿Cómo abordar dentro de esos enfoques psicométricos una enseñanza donde lo que se busca
es motivar “a los estudiantes a demostrar su pensamiento, trabajar con problemas desordenados
o mal estructurados del mundo real o resolver problemas desde más de una perspectiva, o que
tienen más de una respuesta”? (Suurtamm et al, 2016, p. 8). Es decir ¿cómo compatibilizar los
enfoques psicométricos con una enseñanza donde se desea promover el progreso de las
capacidades cognitivas superiores? Es sin duda un auténtico desafío.

Debe reconocerse, sin embargo, que hay importantes esfuerzos en la comunidad educativa para
renovar las pruebas de tendencia psicométrica: un caso particular lo representarían las pruebas
PISA de la OCDE.

De la misma manera “las teorías psicométricas han evolucionado de modelos basados en la

teoría clásica de pruebas hacia modelos que se basan en respuestas a ítems individuales de
pruebas (e.g. modelos de la teoría de respuesta al ítem) a modelos basados en componentes de
razonamientos necesarios para responder ítems particulares de un test (e.g. modelos de
clasificación diagnóstica)” (De la Torre, Carmona, Kieftenbeld, Tjoe y Lima, 2016, p. 53 y sgtes.).
Los modelos de clasificación diagnóstica han abierto una ruta para poder incorporar en la
evaluación habilidades simples pero también procesos y competencias e incluso otras
dimensiones del rendimiento individual. Uno de los propósitos de estos modelos novedosos es la
búsqueda de un equilibrio entre evaluaciones de gran escala y la necesidad de proporcionar
mayor nivel de evaluación de la cognición. Algunos de esos modelos psicométricos están
basados en lo que se denomina “matriz-Q” (Tatsuoka, 2016. P. 73 y sgtes.). Esta orientación sin
embargo aun se encuentra en el plano de la investigación y dista de poderse implementar en la
práctica.

Aun si en efecto se lograran cambios para integrar en pruebas estandarizadas otras dimensiones
de los aprendizajes, siempre quedarían dudas de si no sería necesario introducir otro tipo de
instrumentos más adecuados que las trascienden.

En el nuevo escenario creado por la COVID-19 este tipo de discusiones deberán replantearse.

Referencias
De la Torre, J., Carmona, G., Kieftenbeld, V., Tjoe, H., & Lima, C. (2016). Diagnostic
Classification Models and Mathematics Education Research: Opportunities and Challenges. En
A. Izsák, J. Remillard & J. Templin, J. (Eds.), Psychometric Methods in Mathematics Education:
Opportunities, Challenges, and Interdisciplinary Collaborations (número monográfico de Journal
for Research in Mathematics Education), p. 53-71. Reston, VA, USA: National Council of
Teachers of Mathematics.

Osterlind, S. J. (1998). Constructing test items: Multiple-choice, constructed-response,

performance and other formats. Dordrecht, The Netherlands: Kluwer Academic Publishers.

Scherrer, J. (2015). Learning, teaching, and assessing the standards for mathematical practice.
En C. Suurtamm & A. Roth-McDuffie (Eds.), Annual perspectives in Mathematics education:
Assessment to enhance learning and teaching (pp. 199–208). Reston, VA: National Council of
Teachers of Mathematics.

Schoenfeld, A. (Ed.). (2007). Assessing Mathematical Proficiency (Mathematical Sciences

Research Institute Publications, 53). New York: Cambridge University Press.

Suurtamm, C., Thompson, D.R., Kim, R. Y., Díaz-Moreno, L., Sayac, N., Schukajlow, S., Silver,
E., Ufer, S. & Vos, P. (2016). Assessment in Mathematics Education (Large-Scale Assessment
and Classroom Assessment). Suiza: Springer International Publishing AG. DOI 10.1007/978-3-
319-32394-7.

Tatsuoka, C. et al. (2016). Developing Workable Attributes for Psychometric Models Based on
the Q-Matrix. En A. Izsák, J. Remillard & J. Templin, J. (Eds.), Psychometric Methods in
Mathematics Education: Opportunities, Challenges, and Interdisciplinary Collaborations (número
monográfico de Journal for Research in Mathematics Education), pp. 73-96. Reston, VA, USA:
National Council of Teachers of Mathematics.

Van den Heuvel-Panhuizen, M., & Becker, J. (2003). Towards a didactic model for assessment
design in Mathematics education. En A. J. Bishop, M. A. Clements, C. Keitel, J. Kilpatrick, & F. K.
S. Leung (Eds.), Second international handbook of Mathematics education (pp. 686–716).
Dordrecht, The Netherlands: Kluwer Academic Publishers.