Traducido del inglés al español - www.onlinedoctranslator.

com

Predicción temprana y dinámica del rendimiento estudiantil en cursos

de aprendizaje electrónico utilizando redes neuronales

Ioanna Lykourentzou, Ioannis Giannoukos, George Mpardis, Vassilis Nikolopoulos y Vassili

Loumos
Laboratorio de tecnología multimedia, Escuela de Ingeniería Eléctrica e Informática, Universidad Técnica
Nacional de Atenas, Campus Zographou, 15773 Atenas, Grecia. Correo electrónico: {ioanna, igiann, gmpardis,
vnikolop}@medialab.ntua.gr; loumos@cs.ntua.gr

La creciente popularidad del e-learning ha creado la necesidad de
mecanismos precisos de predicción del rendimiento de los
estudiantes, que permitan a los instructores mejorar la eficiencia de
sus cursos al abordar las necesidades específicas de sus estudiantes
en una etapa temprana. En este documento, se presenta un método
de predicción del rendimiento de los estudiantes aplicado a un
curso de aprendizaje electrónico de nivel introductorio de 10
semanas. El método propuesto utiliza múltiples redes neuronales de
retroalimentación para predecir dinámicamente el logro final de los
estudiantes y agruparlos en dos grupos virtuales, de acuerdo con su
desempeño. Las calificaciones de las pruebas de opción múltiple se
utilizaron como el conjunto de datos de entrada de las redes. Se
prefirió esta forma de prueba por su objetividad. Los resultados
mostraron que es posible una predicción precisa en una etapa
temprana, más específicamente en la tercera semana del curso de
10 semanas. Además, cuando los estudiantes estaban agrupados,
las bajas tasas de extravío demostraron la idoneidad del enfoque.
Los resultados del método propuesto se compararon con los de la
regresión lineal y se encontró que el enfoque de redes neuronales
era más eficaz en todas las etapas de predicción. Se espera que la
metodología propuesta ayude a los instructores a brindar mejores
servicios educativos, así como asistencia personalizada de acuerdo
con el nivel de desempeño previsto de los estudiantes.
Introducción
La aparición del e-learning introdujo mejoras significativas
en la forma en que se imparten y se imparten los cursos, lo que
hace que esta nueva forma de educación sea ampliamente
aceptada. Al contrario del enfoque clásico, el e-learning no
requiere la presencia física de los estudiantes en un aula; es
más flexible y menos costoso, y facilita la gestión de un gran
número de estudiantes, como establecen Karlovcec, Skala y
Saina (2005).
La adopción generalizada del e-learning introdujo nuevas
posibilidades y nuevos desafíos. La investigación actual se
centra en mejorar la calidad de este tipo de educación.
introduciendo herramientas y métodos innovadores. Estas
innovaciones pueden incluir mecanismos para adaptar el nivel de
dificultad de los ejercicios, organizar a los estudiantes en grupos
homogéneos y motivarlos de acuerdo con su nivel de desempeño
previsto.
Estos mecanismos requieren un método capaz de predecir con precisión
el rendimiento de los estudiantes lo antes posible. Este artículo describe la
implementación de dicho método, utilizando redes neuronales y datos de
pruebas de opción múltiple para estimar las calificaciones finales de los
estudiantes de e-learning. Las redes neuronales fueron elegidas por su
eficiencia en la aproximación de funciones (en nuestro caso, la función que
relaciona las calificaciones finales de los estudiantes con sus calificaciones en
las pruebas durante el curso) y por su generalización. Las pruebas de opción
múltiple se consideran un método objetivo para la calificación de los
estudiantes y, como tales, formaron el conjunto de datos de este estudio. Los
resultados del método se utilizan para agrupar dinámicamente a los
estudiantes de e-learning en dos grupos según su nivel de rendimiento
previsto. Este mecanismo de agrupamiento puede ser utilizado por el
instructor para seleccionar material educativo adecuado a las habilidades de
cada grupo de estudiantes. La predicción del rendimiento de los estudiantes
también puede ayudar a identificar a los aprendices débiles en las primeras
etapas y ayudarlos adecuadamente a hacer frente mejor a los requisitos del
curso.
Este artículo está estructurado de la siguiente manera: Primero,
describimos los resultados y las limitaciones de la literatura de
investigación relevante. A continuación, se presenta el método
propuesto, incluyendo una descripción del curso, al que se aplicó el
método, y una introducción a las bases teóricas de las redes neuronales
feed-forward. A continuación, se presentan los resultados
experimentales obtenidos con este nuevo enfoque, se comparan con el
método de regresión lineal y se discuten. El artículo concluye con los
principales hallazgos de este estudio, las aplicaciones potenciales y el
trabajo futuro.

Recibido el 28 de enero de 2008; revisado el 1 de julio de 2008; aceptado27 de agosto de 2008

Literatura relevante

© 2008ASIS & T • Publicado en línea el 30 de octubre de 2008 en Wiley InterScience Se han realizado estudios relativos basados en redes neuronales a
(www.interscience.wiley.com). DOI: 10.1002 / asi.20970 partir de datos de la escuela, la universidad y la educación a distancia.

REVISTA DE LA SOCIEDAD AMERICANA DE CIENCIA Y TECNOLOGÍA DE LA INFORMACIÓN, 60 (2): 372–380, 2009

cursos, con el objetivo de predecir el rendimiento de los estudiantes.
Junemann, Lagos y Arriagada (2007) utilizaron redes neuronales para
predecir el rendimiento escolar futuro de los estudiantes en función de
las características familiares, sociales y de riqueza de los estudiantes. El
trabajo mencionado anteriormente se centró en predecir el rendimiento
de los estudiantes de 15 años en los cursos de lectura, matemáticas y
ciencias. Wang y Mitrovic (2002) utilizaron redes neuronales para estimar
el número de errores que cometerá un alumno en función de los
atributos específicos del problema y el nivel actual de los alumnos. Sin
embargo, esta predicción se aplicó en un solo examen para optimizar la
selección de los problemas que se le pidió al estudiante que resolviera
en los últimos pasos del mismo examen. Cripps (1996) estudió la
predicción del rendimiento académico, utilizando datos de estudiantes
universitarios. En este trabajo, varias características demográficas (edad,
género, y raza), así como los resultados de los exámenes de ingreso a la
universidad, se utilizaron para entrenar una red neuronal con el fin de
estimar la finalización del programa del estudiante y la calificación final.
No obstante, no se utilizaron nuevos datos que reflejaran lo que ocurrió
a lo largo del progreso de los estudiantes para actualizar dinámicamente
esta estimación. Sheel, Vrooman, Renner y Dawsey (2001) compararon
las redes neuronales y el modelado estadístico para agrupar a los
estudiantes en dos grupos utilizando una única prueba de nivel
matemático. Kalles y Pierrakeas (2006) y Kotsiantis, Pierrakeas y Pintelas
(2004) utilizaron los datos de los estudiantes derivados de la educación a
distancia para predecir el éxito o el fracaso en los exámenes finales a
través de múltiples técnicas, incluidas las redes neuronales. Los datos
cubrieron las características demográficas, las calificaciones de las
tareas asignadas y los niveles de asistencia a las reuniones plenarias.
Los estudios antes mencionados se refieren a diferentes tipos de
educación, como la educación clásica y la educación a distancia. Sin
embargo, no se centraron en los atributos distintivos del e-learning y,
más concretamente, en sus características totalmente informatizadas,
así como en la interactividad ampliada entre instructores y alumnos que
presentan estos cursos. Estos estudios también se basaron en
características demográficas y asignaciones de tareas a menudo
corregidas por diferentes instructores, introduciendo, en consecuencia,
una cierta subjetividad.
Por otro lado, el método de predicción propuesto puede
integrarse fácilmente en un sistema de gestión de e-learning y,
mediante la técnica de agrupación dinámica de estudiantes,
promover aún más la interactividad. Además, este estudio se basa
en datos de pruebas de opción múltiple, que se consideran
objetivos en términos de calificación.
Métodos
El método propuesto se aplica a los resultados de pruebas de opción
múltiple de un curso de aprendizaje electrónico. A diferencia de la
calificación de las tareas escritas, la corrección de las pruebas de opción
múltiple es inequívoca y objetiva, según lo establecido por Haladyna
(2004), lo que minimiza los factores externos que podrían influir en los
datos.
Este estudio se basa en un curso de aprendizaje electrónico de
nivel introductorio sobre redes informáticas y comunicaciones. El
curso es impartido por el equipo de e-learning del Laboratorio de
Tecnología Multimedia de la Universidad Técnica Nacional.
REVISTA DE LA SOCIEDAD AMERICANA DE CIENCIA Y TECNOLOGÍA DE LA INFORMACIÓN — febrero de 2009
de Atenas, Grecia (Medialab, 2007). El curso se imparte a través de
la plataforma Moodle (Moodle, 2007), un sistema de gestión de
aprendizaje de código abierto.
Los datos provienen de un curso de 10 semanas que se ofreció dos
veces: en la primavera de 2006 y la primavera de 2007. El número total
de estudiantes matriculados en el curso de primavera de 2006 fue de 37,
de los cuales 32 completaron con éxito el curso. El número de
estudiantes matriculados en el curso de primavera de 2007 fue de 28, de
los cuales 25 lo completaron con éxito. El contenido del curso está
predeterminado y fijo, por lo que no se realizaron cambios significativos
de un semestre a otro. El hecho de que todos los atributos del curso
permanezcan sin cambios permite que el método propuesto produzca
resultados válidos cuando se aplique en semestres posteriores.
En lo que respecta al material de prueba, los estudiantes
completaron cuatro pruebas de opción múltiple de 20 preguntas cada
semestre. Estas pruebas se realizaron en la primera, tercera, cuarta y
sexta semana, luego de completar cada uno de los cuatro capítulos
principales en los que se dividió el curso. Al final de cada curso de 10
semanas, se llevó a cabo una prueba final de opción múltiple de 40
preguntas, como una evaluación general de la comprensión de los
estudiantes de todo el contenido del curso.
Finalmente, los estudiantes tuvieron la opción de abandonar el
curso y retomarlo en el próximo semestre sin costo adicional.
Redes neuronales de avance
Las redes neuronales se han aplicado con éxito a varios campos
de investigación e industria para realizar tareas que incluyen
pronósticos, clasificación de datos y análisis de regresión.
Una red neuronal de retroalimentación típica (FFNN), como la
describe Haykin (1999), consta de una o más capas ocultas de
neuronas. En este tipo de red, las conexiones neuronales, llamadas
sinapsis, no forme un ciclo dirigido. La información solo avanza,
desde los nodos de entrada a los de salida. Durante su fase de
aprendizaje, la red se presenta con un conjunto de ejemplos, que
forman el conjunto de formación de la red. Cada ejemplo consta de
un vector de entrada y el vector de salida correspondiente. El
objetivo del entrenamiento FFNN es minimizar una función de
costo típicamente definida como un error cuadrático entre sus
salidas reales y objetivo, ajustando los pesos sinápticos de la red y
los sesgos neuronales. Más específicamente, estos parámetros de
red se ajustan basándose en el algoritmo de retropropagación
(Rumelhart, Hinton y Williams, 1986a, 1986b). Según este
algoritmo, la información se transmite desde los nodos de entrada,
a través de las capas ocultas, a los nodos de salida, y se calcula el
error entre la respuesta deseada y la real de la red. Luego, esta
señal de error se propaga hacia atrás a las neuronas de entrada,
ajustando los pesos y sesgos de la red. Este proceso se repite para
cada ejemplo en el conjunto de entrenamiento. Tan pronto como
todo el conjunto de entrenamiento se ha presentado a la red, ha
transcurrido una época. La fase de entrenamiento puede constar
de varias épocas. Un enfoque popular para optimizar el
rendimiento de la retropropagación es el algoritmo de Levenberg-
Marquardt (Hagan & Menhaj, 1994), que se ha encontrado que
aumenta la velocidad de convergencia y la eficacia del
entrenamiento de la red.
373
DOI: 10.1002 / asi
 Durante su entrenamiento, una FFNN puede terminar memorizando los
datos de entrenamiento y, por lo tanto, perder su capacidad de generalizar a
partir de las muestras de entrenamiento a una población invisible. Este
fenómeno se llamasobreajuste, y se puede evitar utilizando un conjunto de
datos separado llamado conjunto de validación. Los parámetros FFNN se
estiman basándose únicamente en el conjunto de entrenamiento, y el
rendimiento de la red se evalúa calculando el error cuadrático medio en el
conjunto de validación. Cuando se encuentra que el rendimiento de la red se
deteriora, lo que significa que se produjo un ajuste excesivo, el entrenamiento
se detiene y se almacenan los pesos y sesgos de la red mejor entrenada
previamente. La fase de entrenamiento se puede terminar alcanzando un
mínimo en la función de costo, cumpliendo con el objetivo de desempeño o
detectando que el conjunto de validación produjo un error cuadrático medio
creciente.
Finalmente, una vez finalizada la formación, tiene lugar la fase de prueba
de la red. Durante esta fase, los datos invisibles se presentan a la red
capacitada para evaluar su desempeño. Estos datos componen el conjunto de
prueba, que es inconexo tanto con el conjunto de datos de entrenamiento
como con el de validación.
Fortalezas y limitaciones
Las redes neuronales presentan varias fortalezas que las hacen
adecuadas para el análisis de regresión y las tareas de predicción.
Una de sus principales ventajas es que son aproximadores de
funciones universales. Pueden aproximarse a funciones continuas
arbitrarias con cualquier grado de precisión (Cybenko, 1989;
Funahashi, 1989; Hornik, 1991, 1993; Hornik, Stinchcombe y White,
1989). Como resultado, las redes neuronales tienen la capacidad de
mapear de manera eficiente relaciones no lineales entre su entrada
y salida.
Además, en función de la función que han aproximado, pueden
generalizar. Una red neuronal puede aprender de ejemplos y predecir
correctamente la salida de unseendata, incluso si su conjunto de
entrenamiento contiene información ruidosa. La robustez de las redes
neuronales, en presencia de ruido en los datos de entrada, es una de
sus ventajas más significativas (Thrun, 1994).
Otra fortaleza que presentan las redes neuronales es que se
basan en datos en lugar de en modelos. Esto significa que no
asumen a priori un modelo de relación explícito entre los datos,
como lo hacen los métodos lineales o no lineales basados en
modelos. En cambio, hacen sus predicciones basándose en el
modelo real que existe entre los datos del problema.
Los problemas del mundo real a menudo no son lineales y la relación
entre sus datos es difícil de describir analíticamente. Por lo general, en
tales problemas, la única información disponible son los datos pasados,
y la predicción del rendimiento futuro puede hacerse asumiendo el
modelo de datos o acercándose a él utilizando una técnica de
aprendizaje automático, como las redes neuronales. Las características
únicas que presentan estos últimos —aproximación de funciones
arbitrarias, no linealidad, capacidad de generalización— a menudo los
hacen apropiados para aplicaciones del mundo real.
Finalmente, las redes neuronales entrenadas pueden hacer predicciones
rápidamente sobre datos invisibles. Esta característica, junto con su alto
grado de precisión, los hace adecuados para aplicaciones en las que es
necesario realizar entrenamientos esporádicamente pero las predicciones
deben hacerse en tiempo real.
374 REVISTA DE LA SOCIEDAD AMERICANA DE CIENCIA Y TECNOLOGÍA DE LA INFORMACIÓN — febrero de 2009 DOI: 10.1002 / asi
Sin embargo, además de sus fortalezas, las redes
neuronales también presentan ciertas limitaciones. Primero, en
problemas donde la relación entre los datos es lineal con poco
ruido, es posible que no funcionen mejor que los métodos
estadísticos lineales (Zhang, Patuwo y Hu, 1998).
En segundo lugar, las redes neuronales suelen requerir más tiempo
para el entrenamiento que los métodos lineales debido al número de
iteraciones necesarias para lograr su predicción óptima. Más
específicamente, mientras se minimiza la función de costo durante el
entrenamiento, pueden quedar atrapados en mínimos locales, sin lograr
la solución óptima. Para superar esto, suelen tener lugar múltiples
iteraciones de entrenamiento y se selecciona la red entrenada más
eficientemente (Iyer y Rhinehart, 1999).
Otra limitación que presentan las redes neuronales es su
dependencia del tamaño y la calidad de los datos utilizados para su
entrenamiento (Haykin, 1999). Cuanto más indicativos sean los
ejemplos del problema que se les presenta, más precisas serán las
predicciones que se espera que hagan. Además, aunque pueden
inferir una solución correcta basándose en datos ruidosos, tienen
dificultades para hacer predicciones correctas sobre datos
contradictorios con los utilizados para su entrenamiento.
Finalmente, las redes neuronales son métodos de caja negra.
Como tales, no pueden analizarse con gran detalle como los
modelos lineales, y la relación de datos a la que se acercan no
puede describirse fácilmente (Andrews, Diederich y Tickle, 1995).
Resultados experimentales y su interpretación
Redes neuronales para la predicción del rendimiento de los estudiantes
En este artículo, se implementaron tres redes neuronales de
retroalimentación para predecir el rendimiento de los estudiantes, mediante
la aproximación de la función que asigna los puntajes de las pruebas iniciales
de los estudiantes a su calificación de prueba final. Para implementar las
redes se utilizó la plataforma MATLAB 2007b (MATLAB, 2007).
El procedimiento incluyó los siguientes pasos: Primero, el conjunto
de datos que se alimentaría a las redes neuronales se extrajo de la base
de datos del sistema de gestión del aprendizaje. Dado que el vector de
salida de las redes neuronales consiste en los resultados de la prueba
final de opción múltiple completada por los estudiantes al final del
curso, solo se utilizaron los datos de los 57 estudiantes que completaron
con éxito los cursos de primavera de 2006 y primavera de 2007. El
conjunto de datos anterior se dividió luego en tres conjuntos separados,
a saber, el conjunto de entrenamiento, validación y prueba. El conjunto
de capacitación en red consistió en el 85% de los datos de calificaciones
de los estudiantes de la primavera de 2006, lo que corresponde a 27
estudiantes seleccionados al azar. El 15% restante, es decir, datos de 5
estudiantes, se utilizó como conjunto de validación. El conjunto de
pruebas de red consistió en datos de los 25 estudiantes que
completaron con éxito el curso de primavera de 2007.
2007) para la fase de prueba se eligió para examinar si las redes
neuronales son capaces de predecir datos de estudiantes no vistos de
un semestre diferente.
A continuación, tuvo lugar la fase de formación. Durante esta fase se
construyeron tres redes neuronales de alimentación directa X-4-1, como
se muestra en la Figura 1. Estas redes se recibieron como entrada (X)
 HIGO. 1. Las tres redes neuronales utilizadas.
las calificaciones de las dos primeras (mc1 y mc2), tres (mc1, mc2 y mc3)
y cuatro (mc1, mc2, mc3 y mc4) pruebas de opción múltiple,
respectivamente. No se construyó una red neuronal separada usando
como entrada sólo las primeras calificaciones de prueba de opción
múltiple (mc1) porque en ese punto del curso, sería demasiado pronto
para extraer resultados confiables. La capacitación se realizó utilizando
el algoritmo Levenberg-Marquardt implementado en MATLAB Neural
Network Toolbox. Durante los experimentos, para cada una de las tres
redes, se realizaron 100 iteraciones de entrenamiento y se mantuvo la
red mejor entrenada. El tiempo computacional para la fase de
entrenamiento de cada red, en un PC con un procesador Intel de 3GHz,
no superó 1 minuto.
Las redes, como se muestra en la Figura 2 (a – c), fueron eficientes en
minimizar el criterio de desempeño (error cuadrático medio) entre su
respuesta y la calificación final de la prueba de los examinados. En estas
figuras, el eje vertical corresponde al error de un cuadrado y el
horizontal a las épocas necesarias para que el entrenamiento termine.
Finalmente, a las redes neuronales entrenadas se les presentó el conjunto
de datos de prueba para examinar la calidad de su entrenamiento. El tiempo
computacional durante la fase de prueba para cada red fue de menos de 1
segundo. El rendimiento de las redes durante la fase de prueba se muestra en
la Figura 3 (a – c). Estas cifras representan la relación entre la respuesta de la
red neuronal (eje vertical) y la respuesta deseada (eje horizontal). Los
resultados mostraron que la predicción de las calificaciones de los estudiantes
es posible en una etapa temprana, es decir, la tercera semana del curso,
logrando un coeficiente de correlaciónR valor igual a .9154. Se encontró que
la tercera prueba de opción múltiple era la más representativa de la
calificación de logro final de los alumnos, dado que agregar los resultados de
esta prueba a la entrada de la red aumentó su rendimiento aR =.9453. La
prueba de la sexta semana ajustó con precisión la salida de la última red
neuronal para lograr una predicción de
R =.9521.
En el curso de e-learning en estudio, los estudiantes con
calificaciones mediocres y bajas tienden a abandonar para retomar el
REVISTA DE LA SOCIEDAD AMERICANA DE CIENCIA Y TECNOLOGÍA DE LA INFORMACIÓN — febrero de 2009
curso en un semestre siguiente, mientras que los estudiantes que logran
calificaciones altas persisten y lo completan con éxito. Como resultado, la
mayoría de los datos de prueba disponibles oscilan entre 16 y 20 en una
escala de 0 a 20.
A continuación, en la Tabla 1 se presentan seis ejemplos indicativos de
desempeño de la red. El Estudiante 1 es un ejemplo de buen desempeño de
los estudiantes que fue predicho con precisión por el método propuesto. Este
estudiante obtuvo 20, 19,67, 17 y 19 en las cuatro pruebas de opción múltiple
durante el curso y logró una puntuación total de 19,66 en la prueba final. Las
tres predicciones de redes neuronales de su desempeño estuvieron muy
cerca de la puntuación real del estudiante: 19,91, 19,49 y 19,76. El segundo
estudiante, como se muestra en la Tabla 1, tuvo un desempeño moderado.
Este estudiante puntuó
18, 17, 14.17 y 17.5 durante el curso y logró un total de 14.67
en la prueba final de opción múltiple. En este caso también, el
método propuesto identificó correctamente el desempeño del
estudiante, estimándolo en 15,75 (NN1), 15,11 (NN2) y
14,9 (NN3). El alumno 3 es un ejemplo de rendimiento deficiente de
los alumnos. Durante el curso, este estudiante logró puntajes de
16, 11,34, 13 y 12, y su puntuación en el examen final fue de 9,58.
También en este caso, las redes neuronales fueron precisas al
estimar la calificación final del estudiante en 9.13 (NN1),
8,72 (NN2) y 9,5 (NN3). El método de red neuronal propuesto también
logró predecir a los estudiantes con variaciones en su desempeño. Por
ejemplo, el Estudiante 4 obtuvo una buena puntuación (20 y 18,67) en
las dos primeras pruebas de opción múltiple del curso. Sin embargo, en
la tercera prueba de opción múltiple, el rendimiento del estudiante cayó
repentinamente a 12,5 y volvió a subir a 16 en la cuarta prueba. A pesar
de las variaciones durante el curso, el rendimiento final del alumno fue
muy bueno, 19,5. En este caso, la primera red neuronal (NN1) predijo
que el rendimiento final del estudiante sería 19,4. Luego, incluso si el
rendimiento del estudiante se redujo, la predicción de la segunda red
neuronal (NN2) también fue muy precisa (18,66). La tercera red (NN3)
predijo que la calificación del estudiante sería 19.87, que también está
cerca de la calificación real alcanzada. También se puede observar que
aunque
375
DOI: 10.1002 / asi
 HIGO. 2 (a) - (c). Entrenamiento de redes neuronales.
El rendimiento del alumno parece deteriorarse en las dos últimas pruebas de
opción múltiple, las predicciones realizadas por las redes neuronales fueron
precisas a lo largo del curso. De manera similar, el método de la red neuronal
calculó con precisión las calificaciones finales de la mayoría de los estudiantes.
Sin embargo, las redes neuronales no pudieron predecir con
precisión ejemplos específicos de desempeño irregular de los
estudiantes. La Tabla 1 muestra dos de estos ejemplos, a saber, los
Estudiantes 5 y 6. El Estudiante 5 obtuvo un buen desempeño, con una
puntuación de 19, 20, 16,5 y 17 en las cuatro pruebas de opción
múltiple, pero logró 17,67 en la prueba final. Con base en este buen
desempeño durante el curso, la calificación final mediocre del
estudiante fue difícil de predecir. Posteriormente, la nota final predicha
por las tres redes neuronales fue 19,89 (NN1), 19,76 (NN2) y 20 (NN3). El
estudiante 6 demuestra el desempeño opuesto, logrando calificaciones
moderadas en las pruebas, a saber, 17, 16.67, 15.5 y 15, pero recibiendo
una calificación final alta de 19. Las tres redes neuronales (NN1-3) en
este caso aproximaron el logro del estudiante a 18.83 ,
16.98 y 16.73, recibiendo como entrada las primeras dos, tres y cuatro
pruebas de opción múltiple, respectivamente. La mejora repentina del
rendimiento del estudiante en la prueba final no fue consistente con sus
resultados mediocres de las primeras cuatro pruebas y, por lo tanto, no
pudo predecirse con precisión.
Como muestran los resultados, la técnica propuesta
demuestra un alto grado de precisión incluso en las primeras
etapas del curso. En los cursos de e-learning, que carecen de
comunicación presencial entre el instructor y los estudiantes, el
376 REVISTA DE LA SOCIEDAD AMERICANA DE CIENCIA Y TECNOLOGÍA DE LA INFORMACIÓN — febrero de 2009 DOI: 10.1002 / asi
La estimación del nivel de desempeño de los estudiantes y
en consecuencia las acciones de aprendizaje adecuadas
para cada uno de ellos es más difícil. El método propuesto
puede ayudar al instructor a estimar de manera eficiente el
nivel de desempeño de cada estudiante, reduciendo así la
carga de trabajo del instructor y asegurando que se tomen
las acciones de aprendizaje apropiadas para cada
estudiante. Estas acciones pueden incluir adaptar
dinámicamente el material del curso a las necesidades
específicas de cada estudiante a medida que avanza el
curso, alentar a los estudiantes débiles a aumentar su
esfuerzo y motivar a los estudiantes de alto rendimiento a
seguir progresando en sus estudios. Además, la amplia
adopción de redes neuronales con fines científicos y
comerciales ha llevado a la disponibilidad de una variedad
de herramientas, lo que facilita la implementación y el uso
por parte de los instructores del método FFNN propuesto.
2.02 y Neural Network Toolbox de MATLAB 2007b. Usando la
interfaz gráfica de usuario de una de las herramientas
mencionadas, el instructor puede entrenar las redes de manera
fácil y rápida (en los experimentos mencionados en este estudio, el
tiempo de entrenamiento para cada red no superó 1 minuto). Esta
capacitación debe realizarse solo una vez, al comienzo de cada
semestre, y en consecuencia no aumenta significativamente la
carga de trabajo del instructor. Luego, a lo largo del semestre, el
instructor puede utilizar las redes capacitadas para estimar
 HIGO. 3 (a) - (c). Pruebas las redes neuronales.

TABLA 1. Ejemplos indicativos de predicción del desempeño de los estudiantes del Aunque las redes neuronales generalmente requieren algo de tiempo
Primavera Equipo de prueba 2007.
para completar su entrenamiento, esto no se considera un inconveniente
importante para los propósitos de esta aplicación específica. Más
Estudiante 1 Estudiante 2 Estudiante 3 Estudiante 4 Estudiante 5 Estudiante 6
específicamente, los instructores de e-learning necesitan entrenar las redes
Mc1 20 18 dieciséis 20 19 17 solo una vez, al comienzo de cada semestre, utilizando datos de cursos
Mc2 19,67 17 11.34 18,67 20 16,67
anteriores. Luego, para monitorear las calificaciones de los estudiantes
Mc3 17 14,17 13 12,5 16,5 15,5
durante el curso, las redes capacitadas se pueden usar para producir
Mc4 19 17,5 12 dieciséis 17 15
Final 19,66 14,67 9.58 19,5 17,67 19 estimaciones rápidamente.
NN1 19,91 15,75 9.13 19,4 19,89 18,83 Sin embargo, durante los experimentos, la técnica propuesta no
NN2 19.49 15.11 8,72 18,66 19,76 16,98 pudo predecir con precisión el desempeño de ciertos estudiantes. Esto
NN3 19,76 14,9 9.5 19,87 20 16,73
sucede porque el conjunto de capacitación carece de ejemplos similares
de desempeño de los estudiantes o incluye ejemplos de estudiantes
contradictorios. No obstante, a medida que se recopilan y utilizan más
datos para reentrenar las redes neuronales, al comienzo de cada
rendimiento en el curso en curso de forma eficiente y rápida (el
semestre del curso, se espera que el método arroje resultados cada vez
tiempo de prueba experimental no superó 1 segundo).
mejores.
También se encontró que el método produce resultados efectivos sin requerir
un gran conjunto de datos. Esto fue verificado por los experimentos llevados a cabo
Comparación entre redes neuronales y regresión
utilizando los datos del curso de la primavera de 2006 para entrenar las redes
lineal múltiple
neuronales y los datos de la primavera de 2007 para probarlas. Por lo tanto, en caso
de que cambie la estructura del curso, las predicciones se pueden hacer Para evaluar los resultados de la red, se comparó el
nuevamente en un corto período de tiempo. método propuesto con la técnica comúnmente utilizada

REVISTA DE LA SOCIEDAD AMERICANA DE CIENCIA Y TECNOLOGÍA DE LA INFORMACIÓN — febrero de 2009 377

DOI: 10.1002 / asi
TABLA 2. Red neuronal (NN) y lineal múltiple regresión (LR)
resultados.
NN1 LR1 NN2 LR2 NN3 LR3
R . 9154 . 8100 . 9453 . 7613 . 9521 . 7691
Error absoluto medio 0,74 1,30 0,67 1,48 0,63 1,44
de regresión lineal múltiple (Beck & Wolf, 2000; Feng,
Heffernan y Koedinger, 2005; Kotsiantis et al., 2004). De manera similar al
método de la red neuronal, las primeras dos, tres y cuatro pruebas de
primavera de 2006 se utilizaron como variables independientes para construir
tres modelos lineales múltiples (LR1, LR2 y LR3) para aproximar el
rendimiento final de los estudiantes. Luego, los parámetros de las variables
calculadas se utilizaron para predecir las calificaciones finales de las pruebas
de la primavera de 2007. Las estimaciones de regresión lineal se realizaron
utilizando Statistics Toolbox de la plataforma MATLAB 2007b. Tanto el tiempo
de estimación como el de predicción para este método no excedieron 1
segundo. La Tabla 2 presenta la regresión lineal múltiple y los resultados
correspondientes de la red neuronal.
Según los resultados de la comparación entre los
métodos NN y LR, las redes neuronales se comportaron
mejor que la regresión lineal múltiple en cada etapa de
predicción en términos de coeficiente de correlación (R) y
error absoluto medio. Más específicamente, en
comparación con el enfoque de regresión lineal múltiple, se
encontró que las redes neuronales presentan una mayor
correlación entre sus resultados de predicción y las
calificaciones finales de los estudiantes. La regresión lineal
tiende a disminuir (.81,
. 7613, .7691), mientras que la correlación respectiva lograda por la
solución de red neuronal aumenta (0.9154, 0.9453, 0.9521).
Además, el error absoluto medio del método de predicción de la red
neuronal fue aproximadamente la mitad del correspondiente error de
regresión lineal múltiple en las tres etapas del proceso. Este resultado
indica que la técnica de la red neuronal fue más eficiente en el mapeo
de las no linealidades que relacionan el desempeño de los estudiantes
durante el curso con su logro final y, por lo tanto, proporciona una
estimación considerablemente más precisa de las calificaciones finales
de los estudiantes.
En lo que respecta al tiempo de ejecución del método, la estimación
de los parámetros de regresión lineal fue más rápida (menos de un
segundo) que la fase de entrenamiento de la red neuronal
(aproximadamente 1 minuto) por etapa de predicción. Sin embargo,
dado que las redes neuronales producen resultados de predicción
significativamente mejores y que necesitan ser entrenadas solo una vez
al comienzo de cada curso, su mayor costo computacional durante el
entrenamiento no las vuelve imprácticas. Finalmente, al hacer
predicciones basadas en nuevos datos durante el curso, ambos métodos
proporcionaron resultados aproximadamente a la misma velocidad.
Agrupación dinámica de estudiantes
Después de completar cada prueba de opción múltiple,
los resultados de la predicción se pueden usar para
agrupar dinámicamente a estudiantes con habilidades
similares, con el fin de identificar y cumplir de manera
eficiente los requisitos de cada grupo. su habilidad es
378 REVISTA DE LA SOCIEDAD AMERICANA DE CIENCIA Y TECNOLOGÍA DE LA INFORMACIÓN — febrero de 2009 DOI: 10.1002 / asi
TABLA 3. Resultados de la agrupación de estudiantes de los métodos NN y LR en la primavera
Equipo de prueba 2007.
Grupo Total de estudiantes Colocación NN1 LR1 NN2 LR2 NN3 LR3
A 18 Correcto 15 12 dieciséis 10 17 10
Incorrecto 3 6 2 8 1 8
B 7 Correcto 5 4 5 5 6 5
Incorrecto 2 3 2 2 1 2
esencial para ayudar ellos logran su rendimiento óptimo
y mejorar aún más su motivación para aprender. Por el contrario, la
agrupación no homogénea puede resultar en un bajo rendimiento y
motivación de los estudiantes. Tan pronto como tenga lugar una
agrupación exitosa, se pueden tomar una serie de acciones para
mejorar aún más el proceso de aprendizaje, como proponen Oakley,
Brent, Felder y Elhajj (2004).
En el curso de e-learning en estudio, se distinguen dos grupos
virtuales, A y B, en función de las calificaciones finales de rendimiento de
los estudiantes. El umbral de gradoT Los instructores determinaron que
entre los dos grupos era 18,5 en una escala de 1 a 20, ya que el nivel del
curso era introductorio y, por lo tanto, se consideró que era
relativamente fácil para los estudiantes. Por lo tanto, un estudiante es
asignado al Grupo A si su calificación de prueba final excede
T, de lo contrario, se considera que este estudiante pertenece al Grupo
B. La ubicación del estudiante en cada grupo se realizó previamente
durante el curso utilizando los resultados de predicción de la regresión
lineal. En esta sección, el método propuesto se compara con la
regresión lineal en términos de eficiencia de agrupamiento de
estudiantes y se discuten sus resultados.
La Tabla 3 muestra las ubicaciones correctas e incorrectas de los
estudiantes realizadas por ambos métodos para los Grupos A y B. El
Grupo A consta de 18 del total de 25 estudiantes del conjunto de
pruebas, mientras que el Grupo B consta de 7. Inicialmente, NN1 logró
un estudiante relativamente preciso clasi fi cación, ya que 15 de los 18
estudiantes del Grupo A y 5 de los 7 del Grupo B fueron colocados
correctamente. LR1, por otro lado, tuvo 1 más desplazamiento en el
Grupo B, pero el número de estudiantes desplazados en el Grupo A fue
el doble. El rendimiento del método de la red neuronal mejoró aún más
en la segunda predicción (NN2), donde el número de estudiantes
colocados correctamente en el Grupo A llegó a 16, mientras que la
estimación de LR2 respectiva se redujo a 10. Finalmente, NN3 sintonizó
con precisión la red neuronal método, agrupando correctamente a 23
del total de 25 estudiantes participantes. La e fi ciencia de LR3 en este
caso se mantuvo sin cambios.
El método propuesto tuvo más éxito en colocar correctamente a los
estudiantes en el grupo al que pertenecen que la regresión lineal,
incluso en una etapa temprana. A medida que avanzaba el curso y los
estudiantes tomaban más pruebas de opción múltiple, las clasi fi
caciones correctas de NN aumentaban gradualmente, mientras que las
clasi fi caciones de LR correctas disminuían. Además, a pesar de que los
dos métodos funcionaron por igual en la determinación del Grupo B, LR
agregó incorrectamente a ese grupo muchos estudiantes del Grupo A,
haciéndolo menos homogéneo.
La agrupación no homogénea puede resultar en brindar menos
asistencia a los estudiantes mediocres o débiles, obstruir el progreso de
los estudiantes que se desempeñan bien y aumentar la carga de trabajo
del instructor. Por otro lado, la asignación precisa
 HIGO. 4 (a) - (b). Ubicaciones de redes neuronales en los grupos A y B.

HIGO. 5 (a) - (b). Ubicaciones de regresión lineal en los grupos A y B.

de estudiantes en grupos, en función de su desempeño, puede ser
beneficioso para el proceso de aprendizaje, ya que conduce a una
capacitación enfocada para satisfacer las necesidades de cada grupo.
Las Figuras 4 y 5 muestran a los estudiantes que los dos
métodos ubicaron en los Grupos A y B en cada etapa de predicción.
Las Figuras 4 (a) y (b) corresponden al método NN y las Figuras 5 (a)
y (b) al método LR. En estas cifras, se muestran cuatro calificaciones
para cada estudiante, una para cada predicción y otra que
representa la calificación final de la prueba del estudiante. Existe
una línea vertical en cada figura que representa el umbral de grado
T (18.5) entre los dos grupos. Esta línea también forma una barrera
entre las predicciones correctas e incorrectas. Más específicamente,
en las Figuras 4 (a) y 5 (a), las marcas colocadas en el lado derecho
de la línea representan las ubicaciones correctas en el GrupoA,
mientras que las marcas en el lado izquierdo son predicciones
incorrectas. Lo contrario ocurre en las Figuras 4 (b) y 5 (b), donde se
presentan las ubicaciones correctas e incorrectas para cada alumno
en el Grupo B.
Las redes neuronales agruparon correctamente a la mayoría de los
estudiantes de ambos grupos, conservando valores de error bajos. Por otro
lado, LR tuvo aproximadamente los mismos resultados de clasificación en el
Grupo B, pero presentó una estimación de calificaciones más alta.
error. En lo que respecta al Grupo A, LR tuvo significativamente más
clasificaciones erróneas de estudiantes, además de un error de
predicción considerablemente mayor.
Con base en el análisis de agrupación de estudiantes anterior, se
puede concluir que, de acuerdo con el método propuesto, es posible
una agrupación de estudiantes precisa en una etapa temprana, más
específicamente, en la tercera semana del curso. Los instructores
pueden utilizar los resultados de esta técnica de agrupamiento para
determinar las acciones de aprendizaje más apropiadas para cada grupo
de estudiantes y brindarles más asistencia adaptada a sus necesidades.
Conclusiones y trabajo futuro
En este estudio, se utilizan tres redes neuronales de retroalimentación
para predecir gradualmente las calificaciones finales de los estudiantes que
tomaron un curso de aprendizaje electrónico de nivel introductorio. El
conjunto de datos de entrada de cada red consistió en los resultados de las
pruebas de opción múltiple completadas durante el curso, mientras que la
salida objetivo de la red fue la prueba final de opción múltiple completada al
final del curso. Se utilizaron pruebas de opción múltiple para garantizar la
objetividad.

REVISTA DE LA SOCIEDAD AMERICANA DE CIENCIA Y TECNOLOGÍA DE LA INFORMACIÓN — febrero de 2009 379

DOI: 10.1002 / asi
 Este método se utilizó luego para agrupar dinámicamente a los
estudiantes de e-learning en dos grupos virtuales, de acuerdo con
su logro previsto, con el fin de ayudar a los instructores a abordar
las necesidades específicas de cada grupo y adaptar la capacitación
de los estudiantes en consecuencia. rendimiento de los estudiantes
y mayor motivación.
Los resultados del método propuesto se compararon con los de la
regresión lineal en términos de correlación y error absoluto medio
alcanzado. Las redes neuronales alcanzaron una mayor correlación en
todas las etapas de predicción, mientras que su error fue
aproximadamente la mitad del error de la regresión lineal. En
consecuencia, las redes neuronales pueden hacer predicciones precisas
de calificaciones en una etapa temprana, más específicamente en la
tercera semana de un curso de 10 semanas. En lo que respecta a la
agrupación dinámica de estudiantes, el método propuesto también
resultó ser más eficiente que la regresión lineal. Presentó menores tasas
de falla, que disminuyeron aún más durante el curso, mientras que las
respectivas tasas de regresión lineal aumentaron.
Para concluir, el método propuesto puede ser una herramienta útil
para predecir el desempeño final de los estudiantes y agruparlos
dinámicamente, utilizando pruebas de opción múltiple realizadas
durante el curso. Por lo tanto, se espera que brinde una solución
efectiva especialmente para los cursos de e-learning, donde los
instructores tienen menos medios para estimar el desempeño futuro de
los estudiantes debido a la distancia que conlleva este proceso
educativo. El trabajo futuro se centrará en probar el método en un
mayor número de estudiantes e incorporarlo en la plataforma de un
sistema de gestión del aprendizaje.
Referencias
Andrews, R., Diederich, J. y Tickle, AB (1995). Encuesta y crítica de
técnicas para extraer reglas de redes neuronales artificiales entrenadas. Sistemas
basados en el conocimiento, 8, 373–389.
Beck, JE y Woolf, BP (2000). Modelado de estudiantes de alto nivel con máquina
aprendiendo. En G. Goos, J. Hartmanis y J. van Leeuwen (Eds.), Lecture
Notes in Computer Science, vol. 1839: Sistemas de tutoría inteligente (págs.
584–593). Berlín: Springer.
Cripps, A. (1996, febrero). Usando redes neuronales artificiales para predecir académicos
rendimiento. Documento presentado en el Simposio ACM sobre Computación
Aplicada de 1996, Filadelfia, PA.
Cybenko, G. (1989). Aproximación por superposiciones de un sigmoide
función. Matemáticas de control, señales y sistemas (MCSS), 2, 303–314.
Feldhusen, J. y Moon, S. (2004). Agrupación de estudiantes superdotados: problemas y
preocupaciones. En Linda E. Brody (Ed.), Prácticas de agrupación y aceleración en
la educación para superdotados (págs. 81–90). Thousand Oaks, CA: Corwin Press.
Feng, M., Heffernan, N. y Koedinger, K. (julio de 2005). Buscando fuentes
de error en la predicción del conocimiento del estudiante. Documento presentado en el
Taller AAAI sobre minería de datos educativos, Pittsburgh, PA.
Funahashi, K.-I. (1989). Sobre la realización aproximada de continuos
mapeos por redes neuronales. Redes neuronales, 2, 183-192.
Hagan, MT y Menhaj, MB (1994). Capacitación de redes de retroalimentación con
el algoritmo de Marquardt. Transacciones IEEE en redes neuronales, 5, 989–
993.
380 REVISTA DE LA SOCIEDAD AMERICANA DE CIENCIA Y TECNOLOGÍA DE LA INFORMACIÓN — febrero de 2009 DOI: 10.1002 / asi
Haladyna, TM (2004). Desarrollo y validación de pruebas de opción múltiple
elementos. Mahwah, Nueva Jersey: Erlbaum.
Haykin, S. (1999). Redes neuronales: una base integral (2ª ed.).
Upper Saddle River, Nueva Jersey: Prentice-Hall.
Hornik, K. (1991). Capacidades de aproximación del feed-forward multicapa
redes (Vol. 4, págs. 251-257). Oxford, Reino Unido: Elsevier. Hornik, K. (1993).
Algunos resultados nuevos sobre la aproximación de redes neuronales.
Redes neuronales, 6, 1069–1072.
Hornik, K., Stinchcombe, M. y White, H. (1989). Alimentación multicapa
las redes directas son aproximadores universales. Redes neuronales, 2,
359–366.
Iyer, MS y Rhinehart, RR (1999). Un método para determinar el requerido
número de repeticiones de entrenamiento de redes neuronales. Transacciones IEEE en
redes neuronales, 10, 427–432.
Junemann, MAP, Lagos, PAS y Arriagada, RC (2007). Red neuronal
trabaja para predecir el éxito / fracaso escolar. En J. Mira & JR Álvarez (Eds.),
Lecture Notes in Computer Science, Vol. 4528: Métodos de resolución de
problemas inspirados en la naturaleza en la ingeniería del conocimiento (págs.
571–579). Berlín: Springer.
Kalles, D. y Pierrakeas, C. (2006). Analizar el desempeño de los estudiantes en
aprendizaje a distancia con algoritmos genéticos y árboles de decisión.
Inteligencia artificial aplicada, 20, 655–674.
Karlovcec, N., Skala, T. y Saina, S. (octubre de 2005). Ciencia informática
educación en ciencias: diferencias entre el e-learning y el enfoque clásico.
Documento presentado en la Conferencia Mundial sobre E-Learning en Empresas,
Gobierno, Salud y Educación Superior, Vancouver, Canadá. Kotsiantis, S.,
Pierrakeas, C. y Pintelas, P. (2004). Predecir el desempeño de los estudiantes
formación en el aprendizaje a distancia utilizando técnicas de aprendizaje automático.
Inteligencia artificial aplicada, 18, 411–426.
MATLAB. (2007). MATLAB Environment, de http: //www.mathworks.
com / products / matlab /
Medialab. (2007). Laboratorio de Tecnología Multimedia, servicios de E-Learning.
Universidad Tecnológica Nacional de Atenas. Obtenido el 23 de enero de 2007 de
http://elearn.medialab.ntua.gr/
Moodle. (2007). Moodle LMS. Obtenido el 16 de octubre de 2008, de
http://moodle.org/
Oakley, B., Brent, R., Felder, R. y Elhajj, I. (2004). Estudiante de turno
grupos en equipos efectivos. Revista de aprendizaje centrado en el estudiante, 2 (1), 9–34.
Rumelhart, DE, Hinton, GE y Williams, RJ (1986a). Aprendiendo
representaciones internas por propagación de errores. En DE Rumelhart y
JL McClelland (Eds.), Procesamiento distribuido paralelo: Exploraciones en
la microestructura de la cognición, Vol. 1: Fundaciones (págs. 318–362).
Cambridge, MA: MIT Press.
Rumelhart, DE, Hinton, GE y Williams, RJ (1986b). El aprendizaje representa
representaciones por errores de retropropagación. Nature, 323, 533–536.
Sheel, SJ, Vrooman, D., Renner, RS y Dawsey, SK (2001). Un comparador
ison de redes neuronales y análisis discriminante clásico en la predicción de los puntajes
de los exámenes de colocación de matemáticas de los estudiantes. InV.N. Alexandrov,
JJ Dongarra, BA Juliano, RS Renner y CJK Tan (Eds.), Lecture Notes in
Computer Science, Vol. 2074: Computational Science — ICCS 2001 (págs.
952–957). Berlín: Springer.
Thrun, SB (1994). Extraer reglas comprobablemente correctas de neuronas artificiales.
redes (No. IAI-TR-93-5). Bonn, Alemania: Institut for Informatik III
Universitat Bonn.
Wang, T. Y Mitrovic, A. (2002, diciembre). Uso de redes neuronales para predecir
rendimiento de los estudiantes. Documento presentado en la Conferencia Internacional sobre
Computadoras en la Educación, Auckland, Nueva Zelanda.
Zhang, G., Patuwo, BE y Hu, MY (1998). Pronóstico con neu-
redes ral: El estado del arte. International Journal of Forecasting, 14, 35–62.