Blog Aula Magna 2.0. http://cuedespyd.hypotheses.

org
Revistas Científicas de Educación en Red. ISSN. 2386-6705

El rol de la inteligencia artificial en la evaluación

educativa: retos y oportunidades

Por Jaime Leóni

Universidad de Las Palmas de Gran Canaria

Palabras clave: RIE, Evaluación, Inteligencia artificial, ChatGPT,

Procesamiento del lenguaje natural

Publicado el 9 de junio de 2023

Los expertos en ciencias sociales, en general, y en educación, en particular,

trabajan para mejorar la sociedad. Pero existe un gran problema: evaluar o
medir los avances en nuestro campo no resulta sencillo. Los métodos que
empleamos para recoger información tienen sus limitaciones. Por ejemplo,
métodos de recogida cerrados como los cuestionarios de opción múltiple nos
proporcionan información muy básica y no nos cuentan toda la historia. Por
otro lado, los métodos como las entrevistas o las respuestas abiertas en las
encuestas nos aportan una gran cantidad de información, pero requieren un
tiempo considerable para entenderla y analizarla. Aquí es donde la inteligencia
artificial, y más específicamente el procesamiento del lenguaje natural, puede
ser de gran ayuda.
El procesamiento del lenguaje natural es una técnica que permite a los
ordenadores entender, interpretar y generar lenguaje humano. Una
herramienta que utiliza esta tecnología para interactuar con los usuarios de una
manera natural es ChatGPT, que se hizo muy conocida a finales del año
pasado por su capacidad para generar texto coherente y relevante.

http://cuedespyd.hypotheses.org/ 1
Blog Aula Magna 2.0. http://cuedespyd.hypotheses.org
Revistas Científicas de Educación en Red. ISSN. 2386-6705

Herramientas como ChatGPT utilizan redes neuronales que se entrenan para

generar texto a partir de grandes cantidades de información, como
conversaciones humanas o artículos científicos. Este proceso se repite millones
de veces, permitiendo al modelo aprender patrones y estructuras del lenguaje
humano. A partir de esta información el modelo predice la siguiente palabra en
una frase. Así, se pueden generar respuestas a preguntas o continuar una
conversación, seleccionando la palabra siguiente más probable y repitiendo
este proceso hasta generar frases completas y coherentes.

Fuente de la imagen: Pixabay

En este contexto, la inteligencia artificial puede desempeñar un papel crucial en

la evaluación educativa. Los sistemas de procesamiento del lenguaje natural
pueden procesar y analizar grandes volúmenes de datos de manera eficiente,
lo que puede ser especialmente útil en la evaluación de respuestas abiertas o
entrevistas. Un ejemplo, lo podemos ver en la reciente publicación de dos
colegas: Carmen Álvarez-Álvarez y Samuel Falcón (2023). Esta investigación
empezó solicitando a universitarios que describieran las mejores prácticas que
habían visto en clase. Para codificar las respuestas utilizaron una rúbrica
basada en nueve categorías (Smith y Baik, 2021): claridad, investigación,
aplicación, experiencia, desafíos, importancia, interacción y relaciones,
consolidación y autorregulación. Debido a la gran cantidad de datos obtenidos,
1081 respuestas, recurrieron a la inteligencia artificial para codificar las
respuestas. En concreto, utilizaron la tercera versión de GPT, vigente en marzo
de 2022. Posteriormente, evaluaron la fiabilidad de las clasificaciones
realizadas por GPT-3. Encontraron evidencias de fiabilidad al observar que el
acuerdo entre expertos era similar al observado entre los expertos y GPT-3.
http://cuedespyd.hypotheses.org/ 2
Blog Aula Magna 2.0. http://cuedespyd.hypotheses.org
Revistas Científicas de Educación en Red. ISSN. 2386-6705

Concluyeron que los alumnos optan por el profesorado que se centra en los
aspectos de claridad y de interacciones y relaciones, y que, de no ser por esa
tecnología, no podrían haberse evaluado de forma tan eficiente las 1081
respuestas abiertas.
Otra investigación en la que estamos trabajando actualmente (proyecto
PID2019-106948RA-I00), se basa en el uso de la inteligencia artificial para
analizar y evaluar los mensajes que utilizan el profesorado en el aula para
implicar a sus alumnos. El objetivo es entender cómo estos mensajes impactan
en el aprendizaje y rendimiento de los estudiantes. Hasta hace poco esta línea
se basaba en el uso de cuestionarios (Santana-Monagas, Núñez et al., 2022;
Santana-Monagas, Putwain et al., 2022). Posteriormente, pasamos a solicitar a
los profesores que se grabaran la voz durante las clases. Estas grabaciones se
subían a un servidor y nosotros transcribimos esas grabaciones a texto. La
transcripción estaba basada en una herramienta de inteligencia artificial, Azure
y Whisper, que añadía los signos de puntuación y corregía los errores de
pronunciación o sonidos ininteligibles, sustituyéndolos por las palabras más
probables en el contexto de esa conversación. La transcripción con la ayuda de
la inteligencia artificial supuso una gran ayuda, pero codificar el texto nos
llevaba mucho tiempo, así que utilizamos un script para buscar sólo aquellas
frases que contenían las palabras más frecuentes en los mensajes y descartar
toda la información irrelevante. Esto redujo un 90% el volumen de texto y, por
tanto, el tiempo para codificar la información también disminuyó. Esto nos
permitió analizar unas 400 horas de grabación y poder concluir cuáles eran los
mensajes que utilizaba el profesorado en el aula para implicar a su alumnado
(Falcon et al., 2023).
Actualmente, con la ayuda de modelos de inteligencia artificial como GPT,
hemos dado otro paso adelante (Proyecto TED2021-129268B-I00). Ahora,
proporcionamos al modelo muchos mensajes que se utilizan en clase y le
pedimos que busque frases similares en las transcripciones completas. Como
la inteligencia artificial se basa en interpretación y no en el texto literal, estamos
obteniendo resultados prometedores. Detecta casi todos los mensajes, aunque
a veces incluye algunos falsos positivos, es decir, afirma que un mensaje se
utiliza para implicar al alumno, cuando, en realidad, no es un mensaje que sí
promueva la implicación en las tareas escolares.
En otro proyecto de investigación, dirigido por Javier Vidal y María José Vieira
(PID2021-125405NB-I00), se está analizando la posibilidad de usar GPT en el
análisis de redes sociales informales para la orientación en Educación
Superior. Se utiliza GPT como herramienta para identificar y etiquetar las dudas
que los estudiantes plantean en foros sobre educación superior (Universidad y
FP). Aunque el procedimiento es conocido, esta herramienta está demostrando
su capacidad para analizar miles de mensajes con un acierto en la
identificación de temas muy elevada, lo que aumenta posibilidades y reduce los
tiempos de análisis. Sin embargo, requiere un conocimiento previo de los
modelos de orientación y los sistemas de educación que permita hacer las
preguntas adecuadas a GPT y controlar la calidad de los resultados, fase
imprescindible en todo caso.
En resumen, la inteligencia artificial ha demostrado su utilidad en la evaluación
de respuestas abiertas, así como en la transcripción y análisis de grabaciones.

http://cuedespyd.hypotheses.org/ 3
Blog Aula Magna 2.0. http://cuedespyd.hypotheses.org
Revistas Científicas de Educación en Red. ISSN. 2386-6705

Aunque aún existen desafíos, como la presencia de falsos positivos, los

resultados preliminares son prometedores. Con el tiempo, a medida que los
modelos de inteligencia artificial sigan mejorando y evolucionando, podemos
esperar que su aplicación en la investigación educativa se vuelva aún más
sofisticada y abra nuevas líneas de investigación.
Referencias:
Álvarez-Álvarez, C. y Falcon, S. (2023). Students’ preferences with university
teaching practices: analysis of testimonials with artificial intelligence.
Educational technology research and development 2023.
https://doi.org/10.1007/S11423-023-10239-8
Falcon, S., Admiraal, W. y Leon, J. (2023). Teachers’ engaging messages and
the relationship with students’ performance and teachers’ enthusiasm.
Learning and Instruction, 101750.
Santana-Monagas, E., Núñez, J. L., Loro, J. F., Huéscar, E. y León, J. (2022).
Teachers’ engaging messages: The role of perceived autonomy,
competence and relatedness. Teaching and Teacher Education, 109,
103556. https://doi.org/https://doi.org/10.1016/j.tate.2021.103556
Santana-Monagas, E., Putwain, D. W., Núñez, J. L., Loro, J. F. y León, J.
(2022). Do teacher engaging messages predict students’ motivation to
learn and performance? A theory integration approach. Revista de
Psicodidáctica, 27, 86-95.
Smith, C. D. y Baik, C. (2021). High-impact teaching practices in higher
education: a best evidence review. Studies in Higher Education, 46(8),
1696-1713. https://doi.org/10.1080/03075079.2019.1698539

Cómo citar esta entrada:

León, Jaime. (2023). El rol de la inteligencia artificial en la evaluación
educativa: retos y oportunidades. Aula Magna 2.0 [Blog].
https://cuedespyd.hypotheses.org/13398

iJaime León es profesor Titular del área de Métodos de Investigación y Diagnóstico en Educación en la
Universidad de Las Palmas de Gran Canaria. Su preocupación como profesor es que los maestros
consigan optimizar el aprendizaje de sus alumnos, para ello incide en la educación basada en evidencias.
Como investigador su preocupación es la misma, optimizar el aprendizaje y rendimiento del alumnado,
especialmente de secundaria. Para ello, se centra en la identificación de factores susceptibles de
modificar: calidad didáctica, lenguaje en el aula, pasión por el conocimiento, etc. Para conseguir que el
profesor cambie en el aula se está centrando en diseñar un método que permita al profesor obtener
feedback de su práctica docente. Este método empieza por la audiograbación de las clases, continúa con
un procesamiento basado en técnicas de inteligencia artificial, y termina con la transmisión de la
información al profesor. Algunas de sus publicaciones y proyectos en esta línea se pueden consultar en
jaimeleon.es/ULPGC.

http://cuedespyd.hypotheses.org/ 4