Proyecto de investigación

DESARROLLO DE UN SISTEMA DE EXAMEN ADAPTATIVO, COMO

ALTERNATIVA PARA LA EVALUACIÓN DEL APRENDIZAJE EN EL AULA
DE CLASES
Por

Ing. Edith Leticia Torres Arias

UAN/ Unidad Académica de Economía

Resumen

Este documento presenta el proyecto de tesis de maestría en Ciencias de la Computación. El

propósito del proyecto es construir una herramienta computacional que sirva de apoyo a los

profesores de nivel superior en la evaluación del aprendizaje que se realiza en las aulas.

La propuesta es desarrollar un Sistema de Examen Adaptativo fundamentado en la Teoría de

Respuesta al Ítem. Los cuales se ha venido desarrollando en la última década gracias a las

investigaciones en las teorías de medición y el impacto de las nuevas tecnologías de información.

Los Exámenes Adaptativos a diferencia del examen tradicional, que aplica un conjunto fijo de

ítems a un grupo de alumnos, adapta la dificultad de los ítems a la habilidad del alumno en base

a las respuestas en los ítems previos, logrando con esto exámenes individualizados para cada

alumno. Entre las ventajas destaca una mayor fiabilidad en la medición del nivel de aprendizaje

del alumno.
Introducción

En el proceso enseñanza – aprendizaje, la evaluación del aprendizaje juega un papel importante,

ya que determina la medida en que se están cumpliendo los objetivos del proceso. Como

indicador del aprendizaje, se asume el nivel de conocimientos y habilidades que el alumno posee

en el área temática (materia, tema, etc.) de interés. En la evaluación del aprendizaje, son los

exámenes de conocimientos (de rendimiento, aptitud, etc.) aplicados en el aula el instrumento

más utilizado, a pesar de las críticas al respecto, para medir el aprendizaje del alumno.

La Teoría de los Test proporciona diversas teorías, y estas a su vez modelos, para la medición

habilidades1. La Teoría Clásica de los Test que se ha usado durante mucho tiempo, presenta

algunas limitaciones que disminuye la valides de los exámenes de conocimientos fundamentados

en esta teoría. Las principales limitaciones son que en su contexto las características del examen

y las del alumno son dependientes, asimismo la habilidad del alumno se mide mediante el

número de ítems acertados en el examen, la teoría se centra en el examen.

Para subsanar esas limitaciones se desarrolla en los años 70s una nueva teoría de medición

conocida como la Teoría de Respuesta al Ítem, esta teoría se centra en el ítem e intenta establece

la probabilidad, de cada ítem, de ser respondidos correctamente. Esta probabilidad depende de la

habilidad del alumno y de ciertas características de los ítems.

Una de las formas de aplicación de la Teoría de Respuesta al Ítem es mediante la aplicación del

Examen Adaptativo Computarizado que, valiéndose de amplios Banco de Ítem calibrados, y un

sistema computacional para la administración del examen, evalúa al alumno seleccionando cada

ítem a su nivel de competencia. Las ventajas que esto atrae son varias, tanto en la precisión de

1
En la Teoría de los Test, habilidad se define como el rasgo inobservable que se desea medir, ya sea un rasgo de
personalidad, rasgo académico o de destreza.
las mediciones como en el tiempo invertido, en la disminución de la ansiedad de los alumnos al

enfrentarse a ítems más acorde a su nivel de competencia.

Antecedentes

En las universidades de muchos países industrializados los exámenes computarizados empiezan a

sustituir a las evaluaciones tradicionalmente diseñadas para lápiz y papel [BACKHOFF, 2005].

Lo anterior se ha venido reforzando por las evidencias científicas que documentan las muchas

ventajas que ofrece este tipo de evaluaciones cuando los exámenes son válidas y confiables, y se

realizan considerando lineamientos profesionales como los de la Asociación Americana de

Investigación Educativa [AERA 1999], la American Association of Psychology [APA, 1986], o

los resultados obtenidos en esta dirección por [KOBAK, REYNOLDS y GREIST, 1993].

También, se refuerzan a partir de los resultados obtenidos en estudios donde exámenes en lápiz y

papel son comparados con exámenes computacionales.

Algunos de los resultados son:

1. No hay diferencias significativas entre ambas presentaciones; las correlaciones son muy altas

entre ítems equivalentes y los índices de confiabilidad son muy similares para ambas

versiones [KATZ y DALBY, 1985]; [BACKHOFF, IBARRA y ROSAS, 1994].

2. Hay una marcada preferencia de los alumnos por responder a las versiones computarizadas,

independientemente de la experiencia previa del alumno [MOE y JOHNSON, 1988];

[BACKHOFF, IBARRA y ROSAS, 1995].

3. Las versiones de los exámenes computarizados que presentan un ítem por pantalla hacen que

el alumno ponga mayor atención a la pregunta y responda con mayor cuidado [VANSICKLE,

KIMMEL y KAPES, 1989].

Con la nueva tecnología digital se empieza a diseñar y desarrollar nuevos modelos más

sofisticados de evaluación. Para la medición del conocimiento y habilidades es común utilizar

dos modelos de análisis: la Teoría Clásica del Test (TCT) y la Teoría de Respuesta al Ítem (TRI).

Conforme a los estudios de [HAMBLENTON y RUSSELL, 1993]; [SELTZER, FRANK y

BRYK, 1994], [TRISTÁN, 1998], [FAN, 1998], y [MARTÍNEZ, 2002], y otros mas, muestran

que la Teoría de Respuesta al Ítem tiene ciertas ventajas sobre la Teoría Clásica del Test.

Estudios recientes como los de [ACKERMAN, GIERL y WALTER, 2003], [WALTER, 2003],

[KIM y HANSON, 2002], confirman la potencialidad de los exámenes computacionales basados

en la Teoría de Respuesta al Ítem.

En la Universidad Autónoma de Baja California (UABC), han estado trabajando los últimos años

en el Sistema de Exámenes Adaptativos (SEA) para administrar el Examen de Ubicación de

Matemáticas (EXUMAT) a los estudiantes de recién ingreso. El EXUMAT se fundamenta en la

Teoría de Respuestas al Ítem, con el modelo de dos parámetros, y es de respuesta abierta

[BACKHOFF y ROSAS, 2000].

Planteamiento del problema

En las instituciones educativas existe la necesidad de disponer de una herramienta para la

evaluación del aprendizaje, es decir, evaluar la adquisición de conocimientos del alumno, algo

fundamental para identificar el éxito o fracaso en el proceso enseñanza - aprendizaje. Los

exámenes de conocimientos son probablemente hasta ahora el modo más habitual de efectuar

dicha tarea, pudiendo estar ligados a diferentes contextos educativos. Así, un profesor puede

administrar sus propios exámenes a los alumnos en un momento dado.

Sin embargo, pese al uso masificado del examen de conocimientos los resultados obtenidos no

reflejan la situación real del aprendizaje, esto es debido al subjetivismo y de la falta de rigor

científico en su construcción y corrección [DÍAZ, 2001].

Los exámenes tradicionales suelen incluir ítems que abarcan todo el rango de conocimientos y

habilidades que se pretende evaluar, de modo que la compilación de este tipo de exámenes suele

consistir en escoger muchos ítems de dificultad media, y unos pocos de dificultad

extremadamente alta y baja. En una situación así, los alumnos más hábiles deben responder a un

elevado número de ítems que para ellos son fáciles, sin que aporten información valiosa acerca de

su nivel de habilidad: en casos como éste se sabe que el alumno es muy hábil, pero no se sabe

hasta qué punto lo es. Además, como consecuencia directa, se puede producir una considerable

desmotivación y aburrimiento por parte del alumno, quien no hace sino responder ítems (para él)

fáciles.

En el caso de los alumnos poco diestros la situación es similar: aunque los ítems fáciles

proporcionan cierta información sobre la habilidad del alumno, los ítems difíciles no sólo no

aportan información al respecto, sino que además pueden causar desconcierto y frustración en el

alumno. Para evitar este tipo de situaciones, un profesor experto consideraría que si el alumno ha

respondido mal a un ítem es porque éste era difícil para su nivel de habilidad, de manera que el

siguiente ítem que le formule será, en mayor o menor medida, más fácil. Igualmente, ante una

respuesta correcta, el profesor experto propondrá un ítem más difícil. La idea subyacente consiste

en administrar al alumno únicamente ítems que realmente aportan información útil con la

finalidad de medir sus conocimientos y habilidades, concretamente ítems cuya dificultad se

encuentra alrededor del nivel de habilidad que se sospecha tiene el alumno.

Considerando lo anterior se plantea la siguiente pregunta: ¿Será posible desarrollar una

herramienta computacional que permita medir el nivel de conocimientos y habilidades que posee

un alumno en un área temática, seleccionando el ítem que se le administran al alumno basándose

en las respuestas a los ítems anteriores? Es decir una herramienta que estime cuanto sabe un

alumno de un tema, materia, área, unidad de aprendizaje etc., adaptando la dificultad de los ítems

a la habilidad del alumno.

Objetivo

Objetivo general

Desarrollar el prototipo ejecutable de un sistema computacional para la administración adaptativa

de un examen de conocimientos, fundamentado en un modelo de la Teoría de Respuesta al Ítem.

Objetivos específicos

• Seleccionar el modelo de medida fundamentado en la Teoría de Respuesta al Ítem que

cubra las necesidades del proyecto.

• Desarrollar un algoritmo para la administración adaptativa de los ítems.

• Construir el sistema siguiendo los lineamientos de la metodología UML. Las fases que

componen la construcción:

− Analizar del problema a resolver desde la perspectiva de los usuarios.

− Diseñar el sistema en detalle, describiendo como va a funcionar.

− Implementar el diseño en un lenguaje de programación

• Construir una base de datos que contenga el banco de ítems calibrado

• Construir una interfaz grafica para la presentación del examen.

• Elaborar pruebas y aplicarlas al sistema para corroborar que funciona correctamente

Propósito

El propósito es el de aportar a los profesores una herramienta de medida que facilite la evaluación

del aprendizaje en alumnos de educación superior, es decir, una herramienta que mida el nivel de

conocimientos y habilidades que posee un alumno en cualquier área temática, brindando con ello

indicadores para mejorar el proceso enseñanza – aprendizaje.

Para comprender el origen de este proyecto, esto es, para responder el porque del mismo es

necesario conocer el marco en que se inserta, que es la evaluación del aprendizaje.

Se espera que con este instrumento de medida el profesor obtenga la información necesaria para

contestar las siguientes preguntas:

1. ¿Cuanto conoce del tema el alumno antes de iniciar el curso?

2. ¿Cuanto aprendió el alumno durante el desarrollo del tema en la clase o curso?

Justificación

Para progresar en la calidad del proceso enseñanza – aprendizaje es necesario mejorar los

métodos de evaluación del aprendizaje. Esta necesidad ha llevado al desarrollo de nuevas

herramientas para medir el nivel de conocimientos y habilidades del alumno.

En los últimos 30 años, la metodología y las técnicas de elaboración de exámenes han permitido

un desplazamiento los sistemas tradicionales de exámenes hacia los sistemas adaptativos de

evaluación. La Teoría de Respuesta al Ítem proporciona un modelo teórico excelente para la

elaboración de Exámenes Adaptativos Computarizados, caracterizados básicamente por presentar

ítems diferentes a cada alumno, dependiendo de sus respuestas a los ítems anteriores. Otra de las

herramientas que han sido de considerable valor para los nuevos Exámenes Adaptativos
Computarizados es el desarrollo de los sistemas de cómputo que permiten manejar grandes

Bancos de Ítems de una manera interactiva y con una gran velocidad de proceso.

Entre los beneficios que presenta el uso de Exámenes Adaptativos Computarizados está el que los

resultados pueden proporcionarse inmediatamente después del examen y que no hay problemas

de seguridad de los exámenes dado que cada examen es diferente. También está el hecho de que

la estandarización de las condiciones de aplicación del examen mejora debido, principalmente, a

la aplicación computarizada. Entre las ventajas económicas está el que no se necesita de personal

especializado para la aplicación del mismo [MARTOIS, 1983].

Estos sistemas son desarrollados para evaluaciones a gran escala, como son la admisión a

instituciones educativas o certificación. Desafortunadamente, la evaluación del aprendizaje en el

aula de clases sigue realizándose de forma tradicional, con exámenes a lápiz y papel, y donde el

conocimiento y habilidad del alumno se encuentra definida en función de la cantidad de

respuestas acertadas. El examen depende de la clase de alumnos a los que se les aplique y las

características del alumno dependerán del tipo de examen que tenga que responder, es imposible

estudiar el comportamiento del alumno ante un ítem. De tal forma que el proporcionar al profesor

una herramienta de medición como es un sistema de Examen Adaptativo representaría un apoyo

en la evaluación del aprendizaje.

Se espera que

a) El profesor obtenga información sobre el nivel de conocimientos y habilidades que cada

uno de sus alumnos posee sobre determinado tema y, gracias a ello, puede rediseñar su

enseñanza.

b) El alumno pueda conocer qué nuevas habilidades debe aprender.

 c) El tiempo invertido en la evaluación no suponga interrumpir las actividades que se siguen

en la clase.

d) Facilita el monitoreo de la enseñanza y un tratamiento más personalizado del alumno.

e) La institución educativa obtenga indicadores del proceso enseñanza – aprendizaje.

Alcance

Los Exámenes Adaptativos Computarizados, son una especie de “exámenes a la medida”2 que

involucran la selección de ítems mientras el examen está siendo administrado, y los ítems

administrados a cada alumno se escogen de acuerdo al nivel de dificultad que requiere el alumno

[WEISS, 1983].

. La construcción de un Examen Adaptativo Computarizado comprende tres elementos:

1) La planeación del examen consiste definir los objetivos de la evaluación, esto es,

contestar las siguientes preguntas: ¿qué área temática se va a evaluar?, ¿que se pretende

con la evaluación?, ¿a quién va dirigida?, ¿cuáles son las circunstancias de aplicación?,

¿qué decisiones de van a tomar a partir de los resultados? Considerar

2) La calibración del Banco de Ítems consiste en estimar el valor de los parámetros de

cada ítem a partir de modelos estadísticos. Los parámetros se determinan en base al

modelo de medida seleccionado de la Teoría de Respuesta al Ítem. Los parámetros son

dificultad, discriminación, seudo-acierto y seudo-falla.

3) El desarrollo de la interfaz computacional consiste en la construcción de un Sistema

Computacional para administrar del examen adaptativo. El sistema debe contar con un

2
Un examen a la medida, se puede pensar como un examen oral. El profesor infiere la pregunta que le hará al
alumno, en base a su última respuesta, que este al nivel de sus conocimientos y habilidades.
 interfaz grafico para la presentación de los ítems, un algoritmo para la administración

adaptativa de ítems, es decir, la elección del ítem que mejor se adapte a habilidad del

alumno y una base de datos que contenga el Banco de Ítems calibrados.

Este proyecto se concentra en el tercer elemento, construir el prototipo ejecutable de la interfaz

computacional del Examen Adaptativo.

Metodología

La metodología de investigación utilizada en el desarrollo de este proyecto se sustenta en la

técnica documental la cual ha permitido la recopilación de información para elaborar un marco

teórico conceptual para formar un cuerpo de ideas sobre la construcción del prototipo ejecutable

de la Interfaz Computacional para administrar un Examen Adaptativo.

A continuación se describe la metodología para llevar a cabo este proyecto

• Realizar una investigación sobre la evaluación del aprendizaje para tener un marco de

referencia del contexto donde esta inmerso el proyecto.

• Realizar una investigación referente a los exámenes de conocimientos, origen, evolución,

características, y lineamientos para su construcción, y el impacto de las nuevas

tecnologías de la información.

• Investigar sobre las aproximaciones psicometrícas de la Teoría de los Test que se emplean

en la medición de rasgos clínicos, educativos, de personalidad entre otros.

• Seleccionar del modelo de medida mas adecuado para medir el rasgo de interés.

• Desarrollar el algoritmo de administración de ítems que será implementado en el sistema.

 • Investigar las fases del proceso de desarrollo del software orientado a objetos, siguiendo

los lineamientos de la metodología Proceso Unificado de Desarrollo, para la construcción

del prototipo ejecutable de la interfaz computacional del examen.

• Investigar UML (Lenguaje de Modelado Unificado) para modelar, construir y documentar

las fases del proceso de desarrollo de software orientado a objetos.

• Realizar una investigación sobre las API’s de lenguaje de programación Java que

cumplan con las necesidades de implementación del sistema, así como de las Bases de

Datos MySQL.

• Realizar una investigación del sistema moodle para la calibración de los ítems que

integraran la Base de Datos para la prueba piloto del sistema.

Referencias

Ackerman, Terry A., Gierl, M.J., & Walker, C.M (2003). Using Multidimensional Item
Response Theory to Evaluate Educational and Psychological Tests. Educational Measurement:
Issues & Practice; Fall2003, Vol. 22 Issue 3, p.37, 17p
Backhoff, E. Ibarra, M.A. & Rosas, M. (1994). Versión Computarizada del Examen de
Habilidades y Conocimientos Básicos. Trabajo presentado en el 23o Congreso Internacional de
Psicología Aplicada. Madrid, España.
Backhoff, E., Ibarra, M.A. & Rosas, M. (1995). Sistema Computarizado de Exámenes
(SICODEX). Revista Mexicana de Psicología, vol. 12, No. 1, pp. 55-62.
Backhoff, E. & Rosas, M. (2000). Sistema Computarizado de Exámenes Adaptativos de
Matemáticas. IV FORO DE EVALUACION EDUCATIVA. Ciudad Juárez, Chihuahua, y El
Paso, Texas, 30, 31 de octubre y 10 de noviembre de 2000.
Díaz, J. Hacia la evaluación de la inteligencia académica y del rendimiento escolar. Ciencia y
Sociedad. Volumen XXVI No. 2. Abril – Junio 2001.
http://www.intec.edu.do/departamentos/investigaciones/pdf/c.s.vol.xxvi.2.pdf. 18 de nov. 2006
Fan, Xitao (1998). Item Responde Theory and Classical Test Theory: an empirical
comparación of their item/person statics. Educational and psychological measurement, 58(3),
pp.357-381.
Hambleton, R. & Russell W. Jones. (1993). Comparison of classical test theory and item
response theory and their applications to test development. Educational measurement: issues
and practice, 12(3), pp.38-47.
Katz, L. & Dalby, J. (1985). Computer and manual administration of the Eysenk Personality
Inventory. Journal of Clinical Psychology, 37, 586-588.
Kim, J.S., Hanson, B.A. (2000). Test Equating Under the Multiple-Choice Model. Applied
Psychological Measurement; Sep2002, Vol. 26 Issue 3, p.255, 16p.
Martínez, Fernández, J.F. (2002). Comparación de las Teorías Clásica de Test (TCT y de la
Respuesta al Ítem (TRI): Implicaciones prácticas para la selección de aspirantes a ingreso a
Educación Superior. V FORO DE EVALUACIÓN EDUCATIVA. Ensenada, Baja California,
(29-31)/10/2002. pp.225-231
Martois, J. S. (1983). What is computer adaptive testing? Manuscrito no publicado.
Moe, K. y Johnson, M. (1988). Participants' reactions to computerized testing. Journal of
Educational Computing Research, 4, 49-86.
Seltzer, M., K. Frank & A.S. Bryk. (1994). The metric matters: the sensitivy of conclusion
about growth in student achievement to choice of metric. Educational evaluation and policy
analysis, 16, 4(49).
Tristán-López, A. (1998). Análisis de Rasch para todos. International engineering and
statistics, San Luis Potosí, México. ISBN: 970-92251-0-3
Vansickle, T., Kimmel, C. y Kapes, J. (1989). Test-retest equivalency of the computer-based
and paper-pencil versions of the Strong-Campbell Interest Inventory. Measurement and
Evaluation in Counseling and Development, 22(2), 88-93.
Walker, C.M. (2003). Comparing Multidimensional and Unidimensional Proficiency
Classifications: Multidimensional IRT as a Diagnostic Aid. Journal of Educational
Measurement; Fall 2003, Vol. 40 Issue 3, p.255, 21p
Weiss, D. J. (1983). Introduction: Latent trait theory. In D. J. Weiss (Ed.) New Horizons in
testing: Latent trait theory and computer adaptive testing (pp. 1-8). New York: Academic Press.