Machine Translated by Google

Un documento de posición

¿ChatGPT para siempre? Sobre Oportunidades y

Desafíos de los Modelos de Lenguas Grandes para la Educación
2
Enkelejda Kasneci1 *, Kathrin Sessler1 , Stefan Kuchemann¨ , María Bannert1 , darina
1
demenciaeva1 , franco fischer2 , Urs Gasser1 , Jorge Groh1 , Stephan Gunnemann¨ , Eyke
hullermeier¨ 2 , Stephan Krusche1 , Gitta Kutyniok2 , tilman michaeli1 , claudia nerdel1 , Jürgen ¨
Pfeffer1 , Oleksandra Poquet1 , Michael Sailer2 , Alberto Schmidt2 , Tina Seidel1 , Matías
Stadler2 , Jochen Weller2 , Jochen Kuhn2 , Gjergji Kasneci3

Resumen
Los modelos de lenguaje grande representan un avance significativo en el campo de la IA. La tecnología subyacente es clave para
futuras innovaciones y, a pesar de las opiniones críticas e incluso las prohibiciones dentro de las comunidades y regiones, los
grandes modelos de lenguaje llegaron para quedarse. Este documento de posición presenta los posibles beneficios y desafíos de
las aplicaciones educativas de los grandes modelos lingüísticos, desde la perspectiva de los estudiantes y los docentes. Discutimos
brevemente el estado actual de los grandes modelos de lenguaje y sus aplicaciones. Luego destacamos cómo se pueden usar
estos modelos para crear contenido educativo, mejorar el compromiso y la interacción de los estudiantes y personalizar las
experiencias de aprendizaje. Con respecto a los desafíos, argumentamos que los grandes modelos lingüísticos en la educación
requieren que los docentes y los alumnos desarrollen conjuntos de competencias y alfabetizaciones necesarias tanto para
comprender la tecnología como las limitaciones y la fragilidad inesperada de dichos sistemas. Además, se requiere una estrategia
clara dentro de los sistemas educativos y un enfoque pedagógico claro con un fuerte enfoque en el pensamiento crítico y
estrategias para la verificación de hechos para integrar y aprovechar al máximo los grandes modelos lingüísticos en los entornos
de aprendizaje y los currículos de enseñanza. Otros desafíos, como el sesgo potencial en el resultado, la necesidad de una
supervisión humana continua y el posible uso indebido no son exclusivos de la aplicación de la IA en la educación. Pero creemos
que, si se manejan con sensatez, estos desafíos pueden ofrecer conocimientos y oportunidades en escenarios educativos para
familiarizar a los estudiantes desde el principio con los posibles sesgos sociales, aspectos críticos y riesgos de las aplicaciones de
IA. Concluimos con recomendaciones sobre cómo abordar estos desafíos y garantizar que dichos modelos se utilicen de manera responsable y étic
Palabras
clave Grandes modelos de lenguaje — Inteligencia artificial — Educación — Tecnologías educativas

1Universidad Técnica de Munich, Alemania

¨ ¨
2Ludwig­Maximilians­Universitat M unchen, Alemania
¨
3Universidad de Tubingen, Alemania
*Autor para correspondencia: Enkelejda.Kasneci@tum.de

1. Introducción dependencias de rango en textos de lenguaje natural. La arquitectura

del transformador, presentada en [4], utiliza el mecanismo de
Los modelos de lenguaje grande, como GPT­3 [1], han logrado avances
autoatención para determinar la relevancia de las diferentes partes
significativos en el procesamiento del lenguaje natural (NLP) en los
de la entrada al generar predicciones. Esto permite que el modelo
últimos años. Estos modelos están entrenados en cantidades masivas
comprenda mejor las relaciones entre las palabras en una oración,
de datos de texto y pueden generar texto similar al humano, responder
independientemente de su posición.
preguntas y completar otras tareas relacionadas con el lenguaje con
Otro desarrollo importante es el uso del entrenamiento previo, donde
gran precisión.
un modelo primero se entrena en un gran conjunto de datos antes de
Un desarrollo clave en el área es el uso de arquitecturas trans [2,
ajustarlo en una tarea específica. Esta ha demostrado ser una técnica
3] y el mecanismo de atención subyacente [ 4], que han mejorado en
eficaz para mejorar el rendimiento en una amplia gama de tareas
gran medida la capacidad de los modelos de lenguaje autorregresivos1
lingüísticas [5]. Por ejemplo, BERT [2] es un modelo de codificador
autosupervisados2 para manejar largas basado en un transformador preentrenado que se puede ajustar en
varias tareas de NLP, como la clasificación de oraciones, la respuesta a
1Regresivo automático porque el modelo utiliza sus predicciones anteriores como entrada
preguntas y el reconocimiento de entidades nombradas. De hecho, la
para nuevas predicciones.
2Se autosupervisan porque aprenden de los datos en sí, en lugar de ser llamada capacidad de aprendizaje de pocos disparos de los grandes modelos de lenguaje
proporcionado explícitamente con respuestas correctas como en el aprendizaje supervisado.
Machine Translated by Google
¿ChatGPT para siempre? Sobre las oportunidades y los desafíos de los modelos de idiomas grandes para la educación — 2/12
adaptado eficientemente a tareas posteriores o incluso a otras tareas
aparentemente no relacionadas (p. ej., como en el aprendizaje por
transferencia) se ha observado y estudiado empíricamente para varias
tareas de lenguaje natural [6], p. ej., más recientemente en el contexto
de generar datos tabulares heterogéneos realistas [7].
Los avances recientes también incluyen GPT­3 [1] y Chat GPT [8],
que se entrenaron en conjuntos de datos mucho más grandes, es decir,
textos de un corpus web muy grande, y han demostrado un rendimiento
de vanguardia en una amplia variedad de tareas de lenguaje natural que
van desde la traducción hasta la respuesta a preguntas, la escritura de
ensayos coherentes y los programas de computadora. Además, se ha
llevado a cabo una amplia investigación para ajustar estos modelos en
conjuntos de datos más pequeños y aplicar el aprendizaje de transferencia
a nuevos problemas. Esto permite un mejor rendimiento en tareas
específicas con una menor cantidad de datos.
Si bien los modelos de lenguajes grandes han logrado grandes
avances en los últimos años, aún existen muchas limitaciones que deben
abordarse. Una limitación importante es la falta de interpretabilidad, ya
que es difícil comprender el razonamiento detrás de las predicciones del
modelo. Hay consideraciones éticas, como preocupaciones sobre el
sesgo y el impacto de estos modelos, por ejemplo, en el empleo, riesgos
de uso indebido y despliegue inadecuado o poco ético , pérdida de
integridad y muchos más. En general, los grandes modelos de lenguaje
continuarán ampliando los límites de lo que es posible en el procesamiento
del lenguaje natural. Sin embargo, aún queda mucho trabajo por hacer
en términos de abordar sus limitaciones y las consideraciones éticas
relacionadas.
1.1 Oportunidades de aprendizaje El uso de
grandes modelos de lenguaje en la educación se ha identificado como un
área potencial de interés debido a la diversa gama de aplicaciones que
ofrecen. A través de la utilización de estos modelos , las oportunidades
para mejorar las experiencias de aprendizaje y enseñanza pueden ser
posibles para las personas en todos los niveles de educación, incluidos el
desarrollo primario, secundario, terciario y profesional.
Para los estudiantes de primaria, los modelos lingüísticos grandes
pueden ayudar en el desarrollo de las habilidades de lectura y escritura
(p. ej., al sugerir correcciones sintácticas y gramaticales), así como en el
desarrollo del estilo de escritura y las habilidades de pensamiento crítico.
Estos modelos se pueden usar para generar preguntas e indicaciones
que animen a los estudiantes a pensar críticamente sobre lo que están
leyendo y escribiendo, y a analizar e interpretar la información que se
les presenta. Además, los modelos de lenguaje grandes también pueden
ayudar en el desarrollo de las habilidades de comprensión de lectura al
proporcionar a los estudiantes resúmenes y explicaciones de textos
complejos, lo que puede facilitar la lectura y la comprensión del material.
Para estudiantes de secundaria y preparatoria, los modelos de
lenguaje grandes pueden ayudar en el aprendizaje de un idioma y de
estilos de escritura para varias materias y temas, por ejemplo,
matemáticas, física, lengua y literatura, y otras materias. Estos modelos
se pueden usar para generar problemas de práctica y cuestionarios, que
pueden ayudar a los estudiantes a comprender, contextualizar y retener
mejor el material que están aprendiendo. Además,
Los modelos de lenguaje grandes también pueden ayudar en el desarrollo
de habilidades de resolución de problemas al proporcionar a los
estudiantes explicaciones , soluciones paso a paso y preguntas
interesantes relacionadas con los problemas, que pueden ayudarlos a
comprender el razonamiento detrás de las soluciones y desarrollar análisis
y pensamiento fuera de la caja .
Para los estudiantes universitarios, los modelos lingüísticos grandes
pueden ayudar en las tareas de investigación y redacción, así como en el
desarrollo del pensamiento crítico y las habilidades de resolución de
problemas. Estos modelos se pueden usar para generar resúmenes y
esquemas de textos, lo que puede ayudar a los estudiantes a comprender
rápidamente los puntos principales de un texto y a organizar sus
pensamientos para escribir. Además, los modelos lingüísticos grandes
también pueden ayudar en el desarrollo de habilidades de investigación
al proporcionar a los estudiantes información y recursos sobre un tema en
particular e insinuar aspectos inexplorados y temas de investigación
actuales, lo que puede ayudarlos a comprender y analizar mejor el material.
Para el aprendizaje en grupo y remoto, se pueden usar modelos de
lenguaje grandes para facilitar discusiones y debates grupales al
proporcionar una estructura de discusión, retroalimentación en tiempo
real y orientación personalizada para los estudiantes durante la discusión.
Esto puede ayudar a mejorar el compromiso y la participación de los
estudiantes. En las actividades de escritura colaborativa, en las que
varios estudiantes trabajan juntos para escribir un documento o un
proyecto, los modelos de lenguaje pueden ayudar proporcionando
sugerencias de estilo y edición, así como otras características integradoras
de coescritura. Con fines de investigación, estos modelos se pueden
utilizar para abarcar la gama de preguntas de investigación abiertas en
relación con temas ya investigados y para asignar automáticamente las
preguntas y los temas a los miembros del equipo involucrados. Para
fines de tutoría remota, se pueden usar para generar preguntas
automáticamente y proporcionar problemas de práctica, explicaciones y
evaluaciones que se adaptan al nivel de conocimiento de los estudiantes para que puedan
propio ritmo.
Para empoderar a los estudiantes con discapacidades, se pueden
usar modelos de lenguaje grande en combinación con soluciones de voz
a texto o de texto a voz para ayudar a las personas con discapacidad
visual. En combinación con las oportunidades de tutoría en grupo y
remotas mencionadas anteriormente , los modelos de lenguaje se
pueden usar para desarrollar estrategias de aprendizaje inclusivo con el
apoyo adecuado en tareas como escritura adaptativa, traducción y
resaltado de contenido importante en varios formatos. Sin embargo, es
importante señalar que el uso de modelos de lenguaje extenso debe ir
acompañado de la ayuda de profesionales como logopedas , educadores
y otros especialistas que puedan adaptar la tecnología a las necesidades
específicas de las discapacidades del alumno.
Para la formación profesional, los modelos lingüísticos grandes
pueden ayudar en el desarrollo de habilidades lingüísticas que son
específicas de un campo de trabajo en particular. También pueden
ayudar en el desarrollo de habilidades como programación, redacción de
informes, gestión de proyectos, toma de decisiones y resolución de problemas.
Por ejemplo, los modelos de lenguaje grandes se pueden ajustar en un
corpus de dominio específico (por ejemplo, legal, médico, TI) para
generar un lenguaje específico de dominio y ayudar a los estudiantes a
escribir informes técnicos, documentos legales, registros médicos, etc.
Machine Translated by Google
¿ChatGPT para siempre? Sobre las oportunidades y los desafíos de los modelos de idiomas grandes para la educación — 3/12
También pueden generar preguntas e indicaciones que animen
a los alumnos a pensar críticamente sobre su trabajo y a analizar
e interpretar la información que se les presenta.
En conclusión, los grandes modelos lingüísticos tienen el potencial de
brindar una amplia gama de beneficios y oportunidades para estudiantes y
profesionales en todas las etapas de la educación. Pueden ayudar en el
desarrollo de las habilidades de lectura, escritura, matemáticas, ciencias y
lenguaje, además de proporcionar a los estudiantes materiales de práctica
personalizados, resúmenes y explicaciones, que pueden ayudar a mejorar el
rendimiento de los estudiantes y contribuir a mejorar las experiencias de
aprendizaje. Además, los modelos de lenguaje grandes también pueden ayudar
en las tareas de investigación, escritura y resolución de problemas, y
proporcionan habilidades lingüísticas específicas del dominio y otras habilidades
para la capacitación profesional. Sin embargo, como se mencionó anteriormente,
el uso de estos modelos debe hacerse con precaución, ya que también tienen
limitaciones como la falta de interpretabilidad y el potencial de sesgo, fragilidad
inesperada en tareas relativamente simples [9] que deben abordarse.
1.2 Oportunidades para la enseñanza Los
modelos de idiomas grandes, como ChatGPT, tienen el potencial de revolucionar
la enseñanza y ayudar en los procesos de enseñanza.
A continuación ofrecemos solo algunos ejemplos de cómo estos modelos pueden
beneficiar a los docentes:
Para el aprendizaje personalizado, los profesores pueden utilizar grandes
modelos de lenguaje para crear experiencias de aprendizaje personalizadas
para sus alumnos. Estos modelos pueden analizar la escritura y las respuestas
de los estudiantes y proporcionar comentarios personalizados y sugerir
materiales que se alineen con las necesidades de aprendizaje específicas del estudiante.
Tal apoyo puede ahorrar tiempo y esfuerzo a los maestros en la creación de
materiales y comentarios personalizados, y también les permite concentrarse en
otros aspectos de la enseñanza, como crear lecciones atractivas e interactivas.
Para la planificación de lecciones, los modelos de lenguaje grandes
también pueden ayudar a los maestros en la creación de actividades y planes
de lecciones (inclusivos). Los profesores pueden ingresar a los modelos el
corpus del documento en base al cual quieren construir un curso. El resultado
puede ser un plan de estudios del curso con una breve descripción de cada
tema. Los modelos de lenguaje también pueden generar preguntas e
indicaciones que fomenten la participación de personas con diferentes niveles
de conocimiento y habilidad, y provoquen el pensamiento crítico y la resolución
de problemas. Además, se pueden utilizar para generar pruebas y problemas
de práctica específicos y personalizados, lo que puede ayudar a garantizar que
los estudiantes dominen el material.
Para el aprendizaje de idiomas, los profesores de clases de idiomas
pueden utilizar grandes modelos lingüísticos como ayuda, por ejemplo, para
resaltar frases importantes, generar resúmenes y traducciones, proporcionar
explicaciones de gramática y vocabulario, sugerir mejoras gramaticales o de
estilo y ayudar en la práctica de conversación. Los modelos lingüísticos también
pueden proporcionar a los profesores medios adaptables y personalizados para
ayudar a los estudiantes en su viaje de aprendizaje de idiomas, lo que puede
hacer que el aprendizaje de idiomas sea más atractivo y eficaz para los
estudiantes.
Para la investigación y la escritura, los modelos lingüísticos grandes
pueden ayudar a los maestros de clases universitarias y secundarias a comunicarse.área.
Completar tareas de investigación y escritura (por ejemplo, en trabajos de
seminario, redacción de documentos y retroalimentación a los estudiantes)
de manera más eficiente y efectiva. La ayuda más básica puede darse a nivel
sintáctico, es decir, identificando y corrigiendo errores tipográficos. A nivel
semántico, se pueden utilizar grandes modelos lingüísticos para resaltar
(potenciales) incoherencias gramaticales y sugerir estrategias de mejora
adecuadas y personalizadas. Yendo más allá, estos modelos se pueden
utilizar para identificar posibilidades de mejora del estilo de un tema
específico. También se pueden usar para generar resúmenes y esquemas
de textos desafiantes, lo que puede ayudar a los profesores e investigadores
a resaltar los puntos principales de un texto de una manera que sea útil para
profundizar más y comprender el contenido en cuestión.
Para el desarrollo profesional, los modelos de lenguaje extenso también
pueden ayudar a los maestros brindándoles recursos, resúmenes y
explicaciones de nuevas metodologías, tecnologías y materiales de
enseñanza. Esto puede ayudar a los profesores a mantenerse al día con los
últimos avances y técnicas en educación y contribuir a la eficacia de su
enseñanza. Se pueden usar para mejorar la claridad de los materiales
didácticos, ubicar información o recursos que los profesionales pueden
necesitar mientras aprenden en el trabajo, así como para módulos de
capacitación en el trabajo que requieren habilidades de presentación y
comunicación .
Para la valoración y la evaluación, los profesores pueden usar modelos de
lenguaje grandes para semiautomatizar la calificación del trabajo de los
estudiantes al resaltar las fortalezas y debilidades potenciales del trabajo en
cuestión, por ejemplo, ensayos, trabajos de investigación y otras tareas de
escritura. Esto puede ahorrarles a los profesores una cantidad significativa de
tiempo para tareas relacionadas con la retroalimentación individualizada a los estudiantes.
Además, los modelos de lenguaje grande también se pueden usar para
verificar el plagio, lo que puede ayudar a prevenir las trampas. Por lo tanto,
los modelos de lenguaje grandes pueden ayudar a los maestros a identificar
áreas en las que los estudiantes tienen dificultades, lo que se suma a
evaluaciones más precisas del desarrollo y los desafíos del aprendizaje de los estudiantes.
La instrucción dirigida proporcionada por los modelos se puede utilizar para
ayudar a los estudiantes a sobresalir y brindar oportunidades para un mayor
desarrollo.
La familiaridad de los estudiantes con los desafíos de la IA relacionados
con el posible sesgo en el resultado, la necesidad de una supervisión
humana continua y el posible uso indebido de modelos de lenguaje extenso
no son exclusivos de la educación. De hecho, estos desafíos son inherentes
a las tecnologías digitales transformadoras. Por lo tanto, creemos que, si el
maestro los maneja con sensatez, estos desafíos pueden ser reveladores
en los escenarios de aprendizaje y educación para familiarizar a los
estudiantes desde el principio con los posibles sesgos sociales y los riesgos
de la aplicación de IA.
En conclusión, los grandes modelos lingüísticos tienen el potencial de
revolucionar la enseñanza desde la perspectiva del docente al proporcionarles
una amplia gama de herramientas y recursos que pueden ayudarlos con la
planificación de lecciones, la creación de contenido personalizado, la
diferenciación y la instrucción personalizada, la evaluación y el desarrollo
profesional. En general, los modelos de lenguaje grande tienen el potencial de
ser una herramienta poderosa en la educación, y hay una serie de esfuerzos
de investigación en curso que exploran sus aplicaciones potenciales en esta
Machine Translated by Google
¿ChatGPT para siempre? Sobre las oportunidades y los desafíos de los modelos de idiomas grandes para la educación — 4/12
2. Investigación y aplicaciones actuales de los
modelos de lenguaje en la educación
2.1 Descripción general de los modelos de lenguaje grande actuales El
modelo GPT (Transformador preentrenado generativo) [10] desarrollado por
OpenAI fue el primer modelo de lenguaje grande que se lanzó públicamente en
2018. GPT pudo generar texto similar al humano, responder preguntas y ayudar
en tareas, como la traducción y el resumen, a través de la finalización similar a
la humana . Basado en este modelo inicial, OpenAI lanzó más tarde los modelos
GPT­2 y GPT­3 con capacidades más avanzadas.
Se puede argumentar que el lanzamiento de GPT marcó un hito
importante en el campo de la PNL y ha abierto muchas vías para la
difusión, tanto en investigación como en aplicaciones industriales.
Otro modelo lanzado por Google Research en 2018 es BERT
(Representaciones de codificador bidireccional de transformadores [2]), que
también se basa en una arquitectura de transformador y está preentrenado en
un conjunto de datos masivo de datos de texto en dos tareas no supervisadas,
a saber modelado de lenguaje enmascarado (para predecir las partes que
faltan en una oración y aprender su contexto) y predicción de la siguiente
oración (para aprender oraciones posteriores plausibles de una oración dada)
con el objetivo de aprender el contexto más amplio de las palabras en varios
temas.
Un año después, en 2019, Google AI lanzó XLNet [11], que se entrena
mediante un proceso llamado modelado de lenguaje de permutación y
permite que XLNet haga frente a tareas que implican comprender las
dependencias entre palabras en una oración, por ejemplo, inferencia de
lenguaje natural y respuesta a preguntas. . Otro modelo desarrollado por
Google Research fue T5 ( Transformador de transferencia de texto a texto)
[12], que se lanzó en 2020.
Al igual que los modelos predecesores, T5 también es un modelo basado en
transformadores entrenado en un conjunto de datos de texto masivo con la
característica clave de su capacidad para realizar muchas tareas de NLP con
una única canalización de preentrenamiento y ajuste fino.
Paralelamente a Open AI y Google, Facebook AI desarrolló un
gran modelo de lenguaje llamado RoBERTa ( Entrenamiento previo
de BERT optimizado de manera robusta) [13], que se lanzó en 2019.
RoBERTa es una variante del modelo BERT que utiliza enmascaramiento
dinámico en lugar de enmascaramiento estático durante el preentrenamiento.
Además , RoBERTa está capacitado en un conjunto de datos mucho más
grande y, por lo tanto, superó claramente a BERT y otros modelos como
GPT­2 y XLNet en el momento de su lanzamiento.
Actualmente, el modelo de idioma disponible más grande y más utilizado
es GPT­3, que también se entrenó previamente en un conjunto de datos de
texto masivo (que incluye libros, artículos y sitios web, entre otras fuentes) y
tiene 175 mil millones de parámetros. Como todos los demás modelos de
lenguaje descritos anteriormente, GPT­3 utiliza una arquitectura transformadora,
que le permite procesar de manera eficiente datos secuenciales y generar texto
más coherente y ajustado al contexto. De hecho, el texto generado por GPT­3
es casi indistinguible del texto escrito por humanos [14]. Con la capacidad de
realizar un aprendizaje de tiro cero, GPT­3 puede hacer frente a tareas en las
que no ha sido entrenado específicamente, lo que brinda enormes oportunidades
para las aplicaciones, desde la automatización (resumir, completar textos a
partir de viñetas), hasta el diálogo.
sistemas, chatbots y escritura creativa.
Recientemente, la comunidad BigScience desarrolló y lanzó el
modelo de lenguaje grande BLOOM (BigScience Large Open­science
Open­access Multilingual Language Model) [15] como un proyecto
conjunto de código abierto de HuggingFace, GENCI e IDRIS3 .
El objetivo de este proyecto era proporcionar un modelo
lingüístico multilingüe formado de forma transparente para la comunidad
académica y sin ánimo de lucro. BLOOM se basa en la misma
arquitectura transformadora que los modelos de la familia GPT con solo
cambios estructurales menores, pero los datos de entrenamiento se
eligieron explícitamente para cubrir 46 lenguajes naturales y 13 lenguajes
de programación, lo que da como resultado un volumen de datos de 1,6 TB.
2.2 Revisión de la investigación que aplica modelos de lenguajes grandes en
la educación
A continuación, proporcionamos una descripción general de los trabajos de
investigación que emplean modelos de lenguaje grande en la educación que
se publicaron desde el lanzamiento del primer modelo de lenguaje grande
en 2018. Estos estudios se han discutido a continuación de acuerdo con sus
grupos objetivo, es decir, estudiantes o maestros.
La perspectiva de los aprendices. Desde la perspectiva de un estudiante, los
modelos de lenguaje grandes se pueden usar de múltiples maneras para
ayudar en el proceso de aprendizaje. Un ejemplo está en la creación y diseño
de contenidos educativos. Por ejemplo, los investigadores han utilizado
grandes modelos de lenguaje para generar materiales educativos interactivos ,
como cuestionarios y tarjetas didácticas, que pueden utilizarse para mejorar
el aprendizaje y la participación de los estudiantes [16, 17]. Más
concretamente, en un trabajo reciente de Dijkstra et al. [17], los investigadores
han utilizado GPT­3 para generar preguntas y respuestas de opción múltiple
para una tarea de comprensión de lectura y argumentan que la generación
automatizada de cuestionarios no solo reduce la carga del diseño manual de
cuestionarios para los maestros sino que, sobre todo, proporciona una
herramienta útil para que los estudiantes entrenen y prueben sus
conocimientos mientras aprenden de los libros de texto y durante la preparación del examen [17
En otro trabajo reciente, GPT­3 se empleó como agente pedagógico
para estimular la curiosidad de los niños y mejorar las habilidades para
hacer preguntas [18]. Más específicamente, los autores automatizaron la
generación de señales que provocan curiosidad como un incentivo para
hacer más preguntas y más profundas. De acuerdo con sus resultados, los
grandes modelos de lenguaje no solo tienen el potencial de facilitar
significativamente la implementación del aprendizaje que estimula la
curiosidad, sino que también pueden servir como una herramienta eficiente
para una mayor expresión de la curiosidad [18].
En educación informática, un trabajo reciente de MacNeil et al. [19] ha
empleado GPT­3 para generar explicaciones de código.
A pesar de varias preguntas abiertas de investigación y pedagógicas que
necesitan ser exploradas más a fondo, este trabajo ha demostrado con éxito
el potencial de GPT­3 para apoyar el aprendizaje al explicar aspectos de un
fragmento de código dado.
Para un curso de ciencia de datos, Bhat et al. [20] propuso una tubería
para generar preguntas de evaluación basadas en un modelo GPT3 ajustado
en materiales de aprendizaje basados en texto. Las preguntas generadas se
evaluaron adicionalmente con respecto a su
3https://huggingface.co/bigscience/bloom
Machine Translated by Google
¿ChatGPT para siempre? Sobre las oportunidades y los desafíos de los modelos de idiomas grandes para la educación — 5/12
utilidad para el resultado del aprendizaje basado en el etiquetado
automatizado por un modelo GPT­3 capacitado y revisiones manuales por
parte de expertos humanos. Los autores informaron que las preguntas
generadas fueron calificadas favorablemente por expertos humanos,
en IA
promoviendo así el uso de grandes modelos de lenguaje en la educación en ciencia deson determinantes
datos [20].
Los estudiantes pueden aprender unos de otros mediante la revisión
por pares y la evaluación de las soluciones de los demás. Esto, por supuesto,
tiene el mejor efecto cuando la retroalimentación proporcionada es completa
y de alta calidad. Por ejemplo, Jia et al. [21] mostró cómo se puede usar
BERT para evaluar las evaluaciones de los pares para que los estudiantes
puedan aprender a mejorar sus comentarios.
En una revisión reciente sobre la IA conversacional en la educación de
idiomas , los autores encontraron que hay cinco aplicaciones principales de la IA
conversacional durante la enseñanza [22], siendo la más común el uso de
modelos de lenguaje grandes como compañero conversacional en un escrito o
forma oral, por ejemplo, en el contexto de un diálogo orientado a tareas que
brinda oportunidades para practicar el idioma, como la pronunciación [23]. Otra
aplicación es apoyar a los estudiantes cuando experimentan ansiedad por
aprender un idioma extranjero [24] o tienen una menor disposición a comunicarse
[ 25]. En [26], se exploró la aplicación de proporcionar retroalimentación, como
analista de necesidades y evaluador cuando los estudiantes de primaria practican
su vocabulario. Los autores de [27] descubrieron que un chatbot guiado por un
mapa mental tiene más éxito para apoyar a los estudiantes proporcionando
andamios durante el aprendizaje de idiomas que un chatbot de IA convencional.
Un trabajo reciente en el área de la educación médica de Kung
calidad de las respuestas de los estudiantes [36]. Además, los siguientes
et al. [28] exploró el desempeño de ChatGPT en el examen de
estudios examinaron modelos basados en PNL para generar retroalimentación
licencia médica de los Estados Unidos. De acuerdo con los
adaptativa automática: Zhu et al. [37] examinó un sistema de retroalimentación
resultados de la evaluación, el rendimiento de ChatGPT en esta
basado en IA que incorpora tecnologías de puntuación automatizadas en el
prueba estuvo en o cerca del umbral de aprobación sin ningún ajuste de dominio.
Sobre la base de estos resultados, los autores argumentan que los modelos de
lenguaje extenso podrían ser una herramienta poderosa para ayudar a la
educación médica y, finalmente, a los procesos de toma de decisiones clínicas [28].
La perspectiva de los profesores. Dado que la tasa de adopción de la IA en
la educación sigue siendo lenta en comparación con otros campos, como
las aplicaciones industriales (p. ej., finanzas, comercio electrónico,
automoción) o la medicina, hay menos estudios que consideren el uso de
modelos de lenguaje grandes en la educación [ 29]. Una revisión reciente
de las oportunidades y los desafíos de los chatbots en la educación señaló
que los estudios relacionados con los chatbots en la educación aún se
encuentran en una etapa inicial, con pocos estudios empíricos que
investiguen el uso de diseños o estrategias de aprendizaje efectivos [30].
Por lo tanto, discutimos primero las perspectivas de los profesores con
respecto a la IA y las analíticas de aprendizaje en la educación y las
transferimos al campo mucho más nuevo de los grandes modelos de lenguaje.
Desde este punto de vista, un estudio piloto con docentes europeos
indica una actitud positiva hacia la IA para la educación y una gran motivación
para introducir contenido relacionado con la IA en la escuela. En general, los
docentes del estudio parecían tener un nivel básico de habilidades digitales
pero pocas habilidades relacionadas con la IA [31]. Otro estudio con
docentes nigerianos enfatizó que la disposición y preparación de los docentes
para promover la IA son requisitos previos clave para la integración de
tecnologías basadas en IA en la educación [32].
En la misma línea, los resultados de un estudio con docentes de
Corea del Sur indica que los docentes con creencias constructivistas tienen más
probabilidades de integrar herramientas educativas basadas en IA que los
docentes con orientaciones transmisivas [33]. Además, la utilidad percibida, la
facilidad de uso percibida y la confianza percibida en estas herramientas basadas
a considerar al predecir su aceptación por parte de los
docentes. En [34] se informaron resultados similares sobre las actitudes de los
maestros hacia los chatbots en la educación : percibir el chatbot de IA como fácil
de usar y útil conduce a una mayor aceptación del chatbot. En cuanto a las
características de los chatbots, el lenguaje formal de un chatbot conduce a una
mayor intención de usarlo.
Dado que parece que las perspectivas de los docentes sobre el uso general
de la IA en la educación tienen mucho en común con la actitud mencionada
hacia los chatbots en particular, es crucial una integración responsable de la IA
en la educación mediante la participación de la experiencia de diferentes
comunidades [35].
Trabajos recientes que abordan el uso de grandes modelos lingüísticos
desde la perspectiva del docente se han centrado en la evaluación
automatizada de las respuestas de los estudiantes, la retroalimentación
adaptativa y la generación de contenido didáctico.
Por ejemplo, un trabajo reciente de Moore et al. [36] empleó un
modelo GPT­3 ajustado para evaluar las respuestas generadas por los
estudiantes en un entorno de aprendizaje para la enseñanza de la química [36].
Los autores argumentan que los modelos lingüísticos grandes podrían
(especialmente cuando se ajustan al dominio específico) ser una herramienta
poderosa para ayudar a los profesores en la evaluación pedagógica y de
contexto de una tarea de actividad climática en la escuela secundaria. Los
resultados muestran que la retroalimentación ayudó a los estudiantes a
revisar sus argumentos científicos . Sailler et al. [38] utilizaron
retroalimentación adaptativa basada en PNL en el contexto del diagnóstico
de las dificultades de aprendizaje de los estudiantes en la formación docente.
En su estudio experimental, encontraron que los futuros maestros que
recibieron retroalimentación adaptativa podían justificar mejor sus
diagnósticos que los futuros maestros que recibieron retroalimentación
estática. Bernius et al. [39] utilizaron modelos basados en NLP para generar
retroalimentación para las respuestas textuales de los estudiantes en cursos
extensos, donde el esfuerzo de calificación podría reducirse hasta en un 85
% con una alta precisión y una mejor calidad percibida por los estudiantes.
Los modelos de lenguaje grandes no solo pueden respaldar la
evaluación de las soluciones de los estudiantes, sino también ayudar en la
generación automática de ejercicios. Utilizando el aprendizaje de pocos
disparos, [40] demostró que el modelo OpenAI Codex puede proporcionar
una variedad de tareas de programación junto con la solución correcta,
pruebas automatizadas para verificar las soluciones del estudiante y
explicaciones de código adicionales. Con respecto a la prueba del
conocimiento fáctico en general, [41] propuso un marco para generar
automáticamente pares de preguntas y respuestas. Esto se puede utilizar
en la creación de materiales didácticos, por ejemplo, para tareas de comprensión de lectura.
Más allá de la generación de la respuesta correcta, los modelos
transformadores también pueden crear respuestas distractoras, según
sea necesario para la generación de cuestionarios de opción múltiple [42, 43].
Machine Translated by Google
¿ChatGPT para siempre? Sobre las oportunidades y los desafíos de los modelos de idiomas grandes para la educación — 6/12
Trayendo modelos de lenguaje a la educación matemática, varios trabajos
discuten la generación automática de problemas matemáticos verbales [44,
45, 46], que combina el desafío de comprender ecuaciones y ponerlas en el
contexto apropiado.
Finalmente, otro trabajo reciente [47] investigó la capacidad de los
agentes conversacionales de última generación para responder
adecuadamente a un estudiante en un diálogo educativo. Ambos modelos
utilizados en este trabajo (Blender y GPT­3) fueron capaces de responder a
un estudiante adecuadamente y generaron diálogos conversacionales que
transmitieron la impresión de que estos modelos entienden al alumno (en
particular, Blender). Sin embargo, están muy por detrás del rendimiento
humano cuando se trata de ayudar al estudiante [47], lo que enfatiza la
necesidad de más investigación.
En la siguiente sección, analizamos brevemente los riesgos relacionados
con la aplicación de modelos de lenguaje extenso en la educación y
brindamos las estrategias de mitigación correspondientes.
3. Desafíos y riesgos clave relacionados con
la aplicación de modelos de lenguajes
extensos en la educación
Los derechos de autor. Cuando entrenamos modelos de lenguaje grandes en una
tarea para producir contenido relacionado con la educación (programa de estudios,
cuestionarios, artículo científico), el modo debe entrenarse con ejemplos de dichos
textos. Durante la generación de un nuevo mensaje, la respuesta puede contener
una oración completa o incluso un párrafo visto en el conjunto de capacitación, lo
que genera problemas de derechos de autor y plagio.
Los pasos importantes para mitigar responsablemente tal problema
pueden ser los siguientes:
• Pedir permiso a los autores de los documentos originales de forma
transparente (es decir, propósito y política de uso de datos) para usar
su contenido para entrenar el modelo
• Cumplimiento de los términos de derechos de autor para estafas de código abierto
carpa
• Herencia y condiciones detalladas de uso del contenido
generado por el modelo
• Informar y sensibilizar a los usuarios sobre estas políticas
Sesgo y equidad. Los grandes modelos lingüísticos pueden perpetuar
y amplificar los sesgos y las injusticias existentes en la sociedad, lo
que puede tener un impacto negativo en los procesos y resultados
de la enseñanza y el aprendizaje. Por ejemplo, si un modelo se
entrena con datos sesgados hacia ciertos grupos de personas, puede
producir resultados injustos o discriminatorios hacia esos grupos (p.
ej., el conocimiento local sobre minorías, como pequeños grupos
étnicos o culturas, puede desvanecerse en un segundo plano). ). Por
lo tanto, es importante asegurarse de que los datos de entrenamiento
o los datos utilizados para el ajuste fino de las tareas posteriores del
modelo sean diversos y representativos de diferentes grupos de
personas. Monitoreo y prueba regular del desempeño del modelo en diferentes grupos
generado)
de personas puede ayudar a identificar y abordar cualquier sesgo desde el principio.
Por lo tanto, la supervisión humana en el proceso es indispensable y crítica para
mitigar el sesgo y la aplicación beneficiosa de modelos de lenguaje amplio en la
educación.
Más específicamente, una estrategia de mitigación responsable se
centraría en los siguientes aspectos clave:
• Un conjunto diverso de datos para entrenar o ajustar el modelo, para
garantizar que no esté sesgado hacia ningún grupo en particular
• Monitoreo y evaluación regulares del desempeño del modelo (en
diversos grupos de personas) para identificar y abordar cualquier
sesgo que pueda surgir
• Medidas de imparcialidad y técnicas de corrección de sesgos, como
métodos de preprocesamiento o posprocesamiento
• Mecanismos de transparencia que permitan a los usuarios comprender
el resultado del modelo y los datos y suposiciones que se utilizaron
para generarlo.
• Capacitación profesional y recursos para educadores sobre cómo
reconocer y abordar posibles sesgos y otras fallas en el resultado
del modelo.
• Actualizaciones continuas del modelo con datos diversos e imparciales
y supervisión de expertos humanos para revisar los resultados
Los alumnos pueden confiar demasiado en el modelo. La información generada
sin esfuerzo podría afectar negativamente su pensamiento crítico y sus habilidades
para resolver problemas. Esto se debe a que el modelo simplifica la adquisición de
respuestas o información , lo que puede amplificar la pereza y contrarrestar el
interés de los alumnos por realizar sus propias investigaciones y llegar a sus propias
conclusiones o soluciones.
Para enfrentar este riesgo, es importante ser consciente de las limitaciones de
los modelos de lenguaje extenso y usarlos solo como una herramienta para apoyar
y mejorar el aprendizaje [48], en lugar de reemplazar a las autoridades humanas y
otras fuentes autorizadas. Por lo tanto, una estrategia de mitigación responsable se
centraría en los siguientes aspectos clave:
• Crear conciencia sobre las limitaciones y la fragilidad inesperada de
los grandes modelos de lenguaje y los sistemas de IA en general (es
decir, experimentar con el modelo para desarrollar una comprensión
propia del funcionamiento y las limitaciones)
• Usar modelos de lenguaje para generar hipótesis y explorar diferentes
perspectivas, en lugar de solo generar
respuestas
• Estrategias para utilizar otros recursos educativos (p. ej., libros,
artículos) y otras fuentes autorizadas para evaluar y corroborar la
exactitud de los hechos de la información proporcionada por el
modelo (es decir, animar a los alumnos a cuestionar el contenido
Machine Translated by Google
¿ChatGPT para siempre? Sobre las oportunidades y los desafíos de los modelos de idiomas grandes para la educación — 7/12
• Incorporar actividades de pensamiento crítico y resolución de
problemas en el currículo, para ayudar a los estudiantes a desarrollar
estas habilidades.
• Incorporar experiencia humana y docentes para revisar, validar y
explicar la información proporcionada por el modelo
Es importante tener en cuenta que el uso de grandes modelos de lenguaje
debe integrarse en el plan de estudios de una manera que complemente y
mejore la experiencia de aprendizaje, en lugar de reemplazarla.
Los maestros pueden volverse demasiado dependientes de los modelos. El
uso de grandes modelos de lenguaje puede proporcionar información
precisa y relevante, pero no pueden reemplazar la creatividad, el pensamiento
crítico y las habilidades de resolución de problemas que se desarrollan a
través de la instrucción humana . Por lo tanto, es importante que los maestros
usen estos modelos como un complemento a su instrucción, en lugar de un
reemplazo. Por lo tanto, los aspectos cruciales para mitigar el riesgo de
volverse demasiado dependientes de los grandes modelos de lenguaje son:
• El uso de modelos de lenguaje únicamente como complemento
complementario a la generación de instrucciones
• Capacitación continua y desarrollo profesional para maestros,
permitiéndoles mantenerse actualizados sobre las mejores prácticas
en el uso de modelos de lenguaje en el aula para generar y promover
la creatividad y el pensamiento crítico.
• Actividades de pensamiento crítico y resolución de problemas a través
de la asistencia de tecnologías digitales como parte integral del plan
de estudios para garantizar que los estudiantes desarrollen estas
habilidades.
• Compromiso de los estudiantes en proyectos creativos e independientes
que les permitan desarrollar sus propias ideas y soluciones
• Supervisar y evaluar el uso de modelos lingüísticos en el aula para
garantizar que se utilicen de manera efectiva y que no afecten
negativamente el aprendizaje de los estudiantes.
• Incentivos para que los docentes y las escuelas desarrollen
estrategias de enseñanza (inclusivas, colaborativas y personalizadas)
basadas en grandes modelos lingüísticos e involucren a los
estudiantes en procesos de resolución de problemas, como la
recuperación y evaluación de información relevante para cursos/
tareas usando los modelos y otros fuentes
Falta de comprensión y experiencia. Es posible que muchos
educadores e instituciones educativas no tengan los conocimientos o
la experiencia necesarios para integrar de forma efectiva las nuevas
tecnologías en su enseñanza [49]. Esto se aplica particularmente al
uso y la integración de grandes modelos lingüísticos en la práctica
docente. Hace tiempo que la teoría educativa ha sugerido formas de
integrar herramientas novedosas en la práctica educativa (p. ej., [50]).
Al igual que con cualquier otra innovación tecnológica, la integración
de grandes modelos lingüísticos en la práctica docente efectiva requiere comprender
instrucciones
capacidades y limitaciones, así como cómo usarlas de manera efectiva para
complementar o mejorar procesos de aprendizaje específicos.
Hay varias formas de abordar estos desafíos y enfrentar este riesgo:
• Investigar sobre los desafíos de los grandes modelos lingüísticos en
la educación al investigar los modelos educativos existentes de
integración de tecnología, los procesos de aprendizaje de los
estudiantes y transferirlos al contexto de los grandes modelos
lingüísticos , así como el desarrollo de una nueva teoría educativa
específica para el contexto de los grandes modelos de lenguaje
• Evaluar las necesidades de los educadores y estudiantes y brindar
orientación basada en casos (p. ej., para el uso ético seguro de
modelos lingüísticos extensos en escenarios educativos)
• Oportunidades de capacitación y desarrollo profesional orientadas a
la demanda para que los educadores y las instituciones aprendan
sobre las capacidades y los usos potenciales de los grandes modelos
de lenguaje en la educación, además de proporcionar las mejores
prácticas para integrarlos en sus métodos de enseñanza.
• Recursos educativos abiertos (p. ej., tutoriales, estudios, casos de
uso , etc.) y Pautas para educadores e instituciones para acceder y
aprender sobre el uso de modelos de lenguaje en la educación
• Incentivos para la colaboración y la creación de comunidades (p. ej.,
comunidades de aprendizaje profesional) entre educadores e
instituciones que ya utilizan modelos lingüísticos en su práctica
docente, para que puedan compartir su conocimiento y experiencia
con otros.
• Análisis y retroalimentación regulares sobre el uso de modelos
lingüísticos para asegurar su uso efectivo y hacer los ajustes
necesarios
Dificultad para distinguir las respuestas generadas por el modelo de las
generadas por los estudiantes. Cada vez es más difícil distinguir si un texto
es generado por una máquina o por un humano, lo que presenta un gran
desafío adicional para los maestros y educadores [ 51, 52, 53, 54]. Como
resultado, el Departamento de Educación de la Ciudad de Nueva York
recientemente prohibió ChatGPT en los dispositivos y redes de las escuelas
[55].
Recientemente, Cotton et al. [53] propusieron varias estrategias
para detectar el trabajo generado por grandes modelos de lenguaje, y
específicamente ChatGPT. Además, se espera que herramientas,
como el GPTZero [56] recientemente lanzado, que utiliza la perplejidad,
como una medida que insinúa las capacidades de generalización (del
agente por el cual se escribió el texto), para detectar la participación
de la IA en la escritura del texto. proporcionar apoyo adicional.
Las técnicas más avanzadas apuntan a marcar con agua el contenido
generado por los modelos de lenguaje [57, 58], por ejemplo, sesgando
la generación de contenido hacia términos que es poco probable que
los humanos utilicen conjuntamente en un pasaje de texto. A largo
plazo, sin embargo, creemos que desarrollar planes de estudios e
susque fomenten el uso creativo y basado en evidencia de
Machine Translated by Google
¿ChatGPT para siempre? Sobre las oportunidades y los desafíos de los modelos de idiomas grandes para la educación — 8/12
Los grandes modelos de lenguaje serán la clave para resolver este problema.
Por lo tanto, una estrategia razonable de mitigación de este riesgo debe centrarse
en:
• Investigación sobre técnicas y medidas de transparencia, explicación y
análisis para distinguir el texto generado por máquinas del generado
por humanos
• Incentivos y apoyo para desarrollar currículos e instrucciones que
requieran el uso creativo y complementario de grandes modelos
lingüísticos
Coste de formación y mantenimiento. El mantenimiento de modelos lingüísticos
grandes podría ser una carga financiera para las escuelas e instituciones
educativas, especialmente aquellas con presupuestos limitados. Para abordar
este desafío, el uso de modelos preentrenados y tecnología en la nube en
combinación con esquemas cooperativos para su uso en asociación con
instituciones y empresas puede servir como punto de partida. En concreto, una
estrategia de mitigación de este riesgo debe centrarse en los siguientes aspectos:
• Uso de modelos de código abierto previamente entrenados, que se
pueden ajustar para tareas específicas
• Desarrollo y exploración de asociaciones con empresas privadas,
instituciones de investigación y organizaciones gubernamentales y sin
fines de lucro que puedan brindar apoyo financiero, recursos y
experiencia para respaldar el uso de grandes modelos lingüísticos en
la educación.
• Costos compartidos y uso cooperativo de servicios informáticos
escalables (p. ej., en la nube) que proporcionan acceso a potentes
recursos informáticos a bajo costo
• Uso del modelo principalmente para tareas educativas de alto valor,
como proporcionar experiencias de aprendizaje personalizadas y
específicas para los estudiantes (es decir, asignación de menor
prioridad a tareas de bajo valor)
• Investigación y desarrollo de técnicas de compresión, destilación y poda
para reducir el tamaño del modelo, los datos y los recursos
computacionales requeridos
Privacidad y seguridad de datos. El uso de grandes modelos de lenguaje en la
educación plantea preocupaciones sobre la privacidad y la seguridad de los
datos , ya que los datos de los estudiantes suelen ser confidenciales y personales.
Esto puede incluir inquietudes sobre violaciones de datos, acceso no autorizado
a los datos de los estudiantes y el uso de los datos de los estudiantes para fines
distintos a la educación.
Algunas áreas de enfoque específicas para mitigar los problemas de
privacidad y seguridad cuando se usan modelos de lenguaje grandes en la educación son:
• Desarrollo e implementación de políticas sólidas de seguridad y
privacidad de datos que describan claramente la recopilación, el
almacenamiento y el uso de los datos de los estudiantes de conformidad
con la regulación (p. ej., GDPR, HIPAA, FERPA) y los estándares éticos
• Transparencia hacia los estudiantes y sus familias sobre las prácticas
de recolección, almacenamiento y uso de datos, con consentimiento
obligatorio antes de la recolección y uso de datos
• Tecnologías y medidas modernas para proteger los datos recopilados del
acceso no autorizado, infracciones o uso no ético (p. ej., datos anónimos
e infraestructuras seguras con medios modernos de encriptación,
federación, análisis de preservación de la privacidad, etc.)
• Auditorías periódicas de las medidas de seguridad y privacidad de datos
implementadas para identificar y abordar cualquier vulnerabilidad
potencial o áreas de mejora.
• Plan de respuesta a incidentes para responder rápidamente y mitigar
cualquier violación de datos o acceso no autorizado a los datos
• Educación y concientización del personal, es decir, educadores y
estudiantes sobre las políticas de seguridad y privacidad de datos ,
regulaciones, preocupaciones éticas y mejores prácticas para manejar
e informar los riesgos relacionados.
Uso sostenible. Los modelos de lenguaje grande tienen demandas
computacionales altas, lo que puede resultar en un alto consumo de energía.
Por lo tanto, el hardware eficiente desde el punto de vista energético y la
infraestructura compartida (por ejemplo, en la nube) basada en energías
renovables son cruciales para su operación ambientalmente sostenible y la
escala necesaria en el contexto de la educación. Para la capacitación y las
actualizaciones del modelo, solo se deben considerar los datos que se hayan
recopilado y anotado de manera ética y que cumpla con las normas . Por lo
tanto, los marcos de gobierno que incluyen políticas, procedimientos y
controles para garantizar el uso apropiado de dichos modelos son clave para
su adopción exitosa. Asimismo, para el uso confiable y responsable a largo
plazo de los modelos, la transparencia, la mitigación de sesgos y el monitoreo
continuo son indispensables.
En resumen, la estrategia de mitigación de este riesgo incluiría :
• Hardware eficiente desde el punto de vista energético e infraestructura
compartida basada en energía renovable, así como investigación sobre
la reducción del costo de capacitación y mantenimiento (es decir,
algoritmos, representación y almacenamiento eficientes ).
• Recopilación, anotación, almacenamiento y procesamiento de datos de
manera ética y conforme a las normativas
• Transparencia y técnicas de explicación para identificar y mitigar sesgos
y prevenir injusticias
• Marcos de gobernanza que incluyen políticas, procedimientos y controles
para garantizar los puntos anteriores y el uso adecuado en la educación
Costo para verificar la información y mantener la integridad. Es importante
verificar la información proporcionada por el modelo consultando fuentes
autorizadas externas para garantizar la precisión y la integridad. Además, puede
haber costos financieros asociados con el mantenimiento y la actualización del
modelo para garantizar que proporcione información precisa y actualizada.
Machine Translated by Google
¿ChatGPT para siempre? Sobre las oportunidades y los desafíos de los modelos de idiomas grandes para la educación — 9/12
Una estrategia de mitigación responsable de este riesgo consideraría los
siguientes aspectos clave:
• Actualizaciones periódicas del modelo con información nueva y precisa
para garantizar que proporcione información actualizada y precisa
• Uso de múltiples fuentes autorizadas para verificar la información
proporcionada por el modelo para garantizar la corrección y la integridad
• Uso del modelo junto con la experiencia humana, por ejemplo, profesores
o expertos en la materia, que revisan y validan la información
proporcionada por el modelo
• Desarrollo de protocolo y estándares para la verificación y corroboración de
la información proporcionada por el modelo
• Proporcionar información clara y transparente sobre el funcionamiento del
modelo, de lo que es capaz o no y de las condiciones en las que opera.
• Capacitación y recursos para educadores y estudiantes sobre cómo usar
el modelo, interpretar sus resultados y evaluar la información proporcionada
• Revisión y evaluación regulares del modelo con informes transparentes
sobre el rendimiento del modelo, es decir, de lo que es o no es capaz y
la identificación de condiciones bajo las cuales pueden surgir
imprecisiones u otros problemas.
Dificultad para distinguir entre el conocimiento real y el resultado del modelo
escrito de manera convincente pero no verificado. La capacidad de los grandes
modelos de lenguaje para generar texto similar al humano puede dificultar que
los estudiantes distingan entre el conocimiento real y la información no verificada.
Esto puede llevar a que los estudiantes acepten información falsa o engañosa
como verdadera, sin cuestionar su validez.
Para mitigar este riesgo, además de la verificación anterior y la
estrategia de mitigación relacionada con la integridad, es importante
brindar educación sobre cómo la información puede evaluarse
críticamente y enseñar a los estudiantes estrategias de exploración,
investigación, verificación y corroboración.
Falta de adaptabilidad. Los modelos de idiomas grandes no pueden
adaptarse a las diversas necesidades de los estudiantes y los
profesores, y es posible que no puedan proporcionar el nivel de
personalización necesario para un aprendizaje eficaz. Esta es una
limitación de la tecnología actual , pero es concebible que con modelos
más avanzados, la adaptabilidad aumente.
Más específicamente, una estrategia de mitigación sensata estaría
compuesta por:
• Uso de tecnologías de aprendizaje adaptables para personalizar el
resultado del modelo según las necesidades de los estudiantes
individuales mediante el uso de datos de los estudiantes (p. ej., sobre el
estilo de aprendizaje, conocimientos previos y desempeño, etc.)
• Personalización de la salida del modelo de lenguaje para alinearlo con el
estilo de enseñanza y el plan de estudios (mediante el uso de datos
proporcionados por el maestro)
• Uso de enfoques de aprendizaje y enseñanza multimodales, que combinan
texto, audio, video y experimentación para brindar una experiencia más
atractiva y personalizada para estudiantes y maestros
• Uso de enfoques híbridos, que combinan las fortalezas de los docentes
humanos y los modelos lingüísticos para generar materiales de
aprendizaje específicos y personalizados (basados en la retroalimentación,
la orientación y el apoyo brindado por los docentes)
• Revisión periódica del modelo y mejora continua para casos de uso
relacionados con el plan de estudios para garantizar un funcionamiento
adecuado y preciso con fines educativos.
• Investigación y desarrollo para crear modelos más avanzados que puedan
adaptarse mejor a las diversas necesidades de estudiantes y profesores
Otras cuestiones relacionadas con las interfaces de usuario y el acceso a
tecnología.
Interfaces de usuario adecuadas. Para la integración de grandes
modelos de lenguaje en los flujos de trabajo educativos, se necesita
más investigación sobre la interacción humano­computadora. En este
trabajo, hemos discutido varios casos de uso potenciales para
estudiantes de diferentes edades, desde niños hasta adultos. Al crear
tales asistentes basados en IA, debemos tener en cuenta el grado de
madurez psicológica de los usuarios potenciales. Por lo tanto, la interfaz
de usuario debe ser apropiada para la tarea, pero también puede tener
diversos grados de imitación humana; por ejemplo, para los niños,
podría ser mejor ocultar los artefactos de maquinaria en el texto
generado tanto como sea posible para permitir una interacción fluida
con tales tecnologías, mientras que para los estudiantes mayores, el
contenido basado en máquinas podría explotarse para promover el
pensamiento crítico y las habilidades de verificación de hechos.
Finalmente, un tema considerado debería ser una estimación a partir
de qué edad es realmente seguro incluir asistencia basada en IA en el proceso educativo
Multilingüismo y acceso justo. Si bien la mayor parte de la
investigación en modelos de idiomas grandes se realiza para el idioma
inglés, todavía hay una brecha de investigación en este campo para
otros idiomas. Potencialmente, esto puede hacer que la educación para
los usuarios de habla inglesa sea más fácil y eficiente que para otros
usuarios, provocando un acceso injusto a dichas tecnologías educativas
para los usuarios que no hablan inglés. A pesar de los esfuerzos de
varias comunidades de investigación para abordar la equidad del
multilingüismo para las tecnologías de IA, aún queda mucho por mejorar.
Por último, es posible que las organizaciones gubernamentales
deban regular la injusticia relacionada con los medios financieros para
acceder, capacitar y mantener grandes modelos lingüísticos con el
objetivo de proporcionar medios orientados a la equidad a todas las
entidades educativas interesadas en utilizar estas tecnologías modernas. sin feria
Machine Translated by Google
¿ChatGPT para siempre? Sobre las oportunidades y los desafíos de los modelos de idiomas grandes para la educación — 10/12
acceso, esta tecnología de IA puede ampliar seriamente la brecha
educativa como ninguna otra tecnología anterior.
Por lo tanto, concluimos con el llamado de la UNESCO para
garantizar que la IA no amplíe las brechas tecnológicas y educativas
dentro y entre los países, y recomendamos estrategias importantes
para el uso de la IA de manera responsable y justa para reducir esta
brecha existente. De acuerdo con la Agenda 2030 de educación de
la UNESCO [59]: “El mandato de la UNESCO requiere un enfoque
[6] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah , Jared D
de la IA centrado en el ser humano. Su objetivo es cambiar la
conversación para incluir el papel de la IA en el tratamiento de las
desigualdades actuales en relación con el acceso al conocimiento,
la investigación y la diversidad de las expresiones culturales y
garantizar que la IA no amplíe las brechas tecnológicas dentro y entre los países.
La promesa de “IA para todos” debe ser que todos puedan aprovechar la
revolución tecnológica en curso y acceder a sus frutos, especialmente en
términos de innovación y conocimiento”.
4. Observaciones finales
El uso de grandes modelos de lenguaje en la educación es un área
de investigación prometedora que ofrece muchas oportunidades
para mejorar la experiencia de aprendizaje de los estudiantes y
apoyar el trabajo de los docentes. Sin embargo, para liberar todo
su potencial para la educación, es crucial abordar el uso de estos
modelos con cautela y evaluar críticamente sus limitaciones y
posibles sesgos. Por lo tanto, la integración de modelos lingüísticos
grandes en la educación debe cumplir estrictos requisitos de
privacidad, seguridad y, para una escala sostenible , ambientales,
regulatorios y éticos, y debe realizarse junto con el monitoreo
humano continuo, la orientación y el pensamiento crítico.
Si bien este documento de posición refleja el optimismo de los autores
sobre las oportunidades de los modelos de lenguajes extensos como una
tecnología transformadora en la educación, también subraya la necesidad
de realizar más investigaciones para explorar las mejores prácticas para
integrar los modelos de lenguajes extensos en la educación y mitigar los
riesgos. identificado. Creemos que, a pesar de las muchas dificultades y
desafíos, los riesgos discutidos son manejables y deben abordarse para
brindar un acceso confiable y justo a los grandes modelos lingüísticos para
la educación. Hacia este objetivo, las estrategias de mitigación propuestas
en este documento de posición podrían servir como punto de partida.
Referencias
[1] Luciano Floridi y Massimo Chiriatti. GPT­3: Su naturaleza, alcance,
límites y consecuencias. Mentes y máquinas, 30(4):681–694, 2020.
[2] Jacob Devlin, Ming­Wei Chang, Kenton Lee y Kristina Toutanova.
BERT: Pre­entrenamiento de Transformadores Bidireccionales
Profundos para la Comprensión del Lenguaje. preimpresión de arXiv
arXiv:1810.04805, 2018.
[3] Yi Tay, Mostafa Dehghani, Dara Bahri y Donald Metzler .
Transformadores eficientes: una encuesta. Encuestas
informáticas de ACM , 55(6):1–28, 2022.
[4] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob
Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser,
e Illia Polosukhin. La atención es todo lo que necesitas. Avances en
los sistemas de procesamiento de información neuronal, 30, 2017.
[5] Bonan Min, Hayley Ross, Elior Sulem, Amir Pouran Ben Veyseh, Thien
Huu Nguyen, Oscar Sainz, Eneko Agirre, Ilana Heinz y Dan Roth.
Avances recientes en el procesamiento del lenguaje natural a través
de grandes modelos de lenguaje pre­entrenados : una encuesta.
preimpresión de arXiv arXiv:2111.01243, 2021.
Kaplan, Prafulla Dhariwal, Arvind Nee lakantan, Pranav Shyam, Girish
Sastry, Amanda Askell, et al. Los modelos de lenguaje son aprendices
de pocas oportunidades. Avances en los sistemas de procesamiento
de información neuronal, 33:1877–1901, 2020.
[7] Vadim Borisov, Kathrin Seßler, Tobias Leemann, Martin Pawelczyk y
Gjergji Kasneci. Los modelos de lenguaje son generadores de datos
tabulares realistas. preimpresión de arXiv arXiv:2210.06280, 2022.
[8]
Equipo Open AI. ChatGPT: Optimización de modelos de lenguaje
para el diálogo. https://openai.com/blog/ chatgpt/, Noviembre de
2022. Consultado: 2023­01­19.
[9] Tasmia Ansari (Revista Analítica India).
Freaky ChatGPT falla que nos llamó la atención.
https://analyticsindiamag.com/freaky chatgpt­fails­
that­catch­our­eyes/, Dic 2022. Acceso: 2023­01­22.
[10] Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever, et al.
Mejorar la comprensión del lenguaje mediante el preentrenamiento
generativo. 2018.
[11] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Russlan
Salakhutdinov y Quoc V. Le. XLNet: Preentrenamiento
autorregresivo generalizado para la comprensión del lenguaje.
Avances en los sistemas de procesamiento de información
neuronal , 32, 2019.
[12] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee,
Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J.
Liu, et al. Explorando los límites del aprendizaje por transferencia
con un transformador unificado de texto a texto. Revista de
investigación sobre aprendizaje automático, 21(140):1–67, 2020.
[13] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Man dar Joshi,
Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer y
Veselin Stoyanov. Roberta: Un enfoque de preentrenamiento
de bert sólidamente optimizado. preimpresión de arXiv arXiv
:1907.11692, 2019.
[14] Elizabeth Clark, Tal August, Sofia Serrano, Nikita Haduong,
Suchin Gururangan y Noah A. Smith. Todo lo que es 'humano'
no es oro: Evaluación de la evaluación humana del texto
generado. En Actas de la 59.ª reunión anual de la Asociación
de Lingüística Computacional y la 11.ª Conferencia Internacional
Conjunta sobre Procesamiento del Lenguaje Natural (Volumen
1: Documentos extensos), páginas 7282–7296, en línea, agosto
de 2021. Asociación de Lingüística Computacional.
Machine Translated by Google
¿ChatGPT para siempre? Sobre las oportunidades y los desafíos de los modelos de idiomas grandes para la educación — 11/12
[15] Teven Le Scao, Angela Fan, Christopher Akiki, Ellie Pavlick, Suzana
´
Ilic, Daniel Hesslow, Roman Castagn e,´ Alexandra Sasha Luccioni,
Franc¸ois Yvon, Matthias Galle, et al. BLOOM: un modelo de idioma
´
multilingüe de acceso abierto con parámetros 176B. preimpresión
de arXiv arXiv :2211.05100, 2022.
[16] Ebrahim Gabajiwala, Priyav Mehta, Ritik Singh y Reeta Koshy. Creador de
cuestionarios: generación automática de cuestionarios a partir de texto
mediante PNL. En Futuristic Trends in Networks and Computing Technologies,
páginas 523–533, Singapur, 2022. Springer.
[17] Ramon Dijkstra, Zulk¨uf Gen¨c¸ , Subhradeep Kayal y
Jaap Kamps. Generación de cuestionarios de
comprensión lectora utilizando transformadores
generativos preentrenados. https://e.humanities.uva.nl/
publications/2022/dijk_read22.pdf , 2022.
[18] Rania Abdelghani, Yen­Hsiang Wang, Xingdi Yuan, Tong Wang,
`
Hel´ene Sauzeon ´
y Pierre­Yves Oudeyer. Agentes pedagógicos
impulsados por GPT­3 para entrenar las curiosas habilidades de
hacer preguntas de los niños. preimpresión de arXiv
arXiv:2211.14228, 2022.
[19]
Stephen MacNeil, Andrew Tran, Dan Mogil, Seth Bernstein , Erin
Ross y Ziheng Huang. Generación de diversas explicaciones de
código utilizando el modelo de lenguaje grande GPT­3 . En Actas
de la Conferencia ACM de 2022 sobre investigación en educación
informática internacional ­ Volumen 2, ICER '22, página 37–39,
Nueva York, NY, EE. UU., 2022.
[20] Asociación para Maquinaria de Computación.
Shravya Bhat, Huy A. Nguyen, Steven Moore, John Stam per, Majd
Sakr y Eric Nyberg. Hacia la Generación y Evaluación Automatizada
de Preguntas en Dominios Educativos. En Actas de la 15.ª
Conferencia Internacional sobre Minería de Datos Educativos,
páginas 701–704, Durham, Reino Unido, 2022. Sociedad
Internacional de Minería de Datos Educativos.
[21]
Qinjin Jia, Jialin Cui, Yunkai Xiao, Chengyuan Liu, Parvez Rashid y
Edward F. Gehringer. TODO EN UNO: modelos BERT de
aprendizaje multitarea para evaluar evaluaciones entre pares.
Sociedad Internacional de Minería de Datos Educativos , 2021.
[22]
Hyangeun Ji, Insook Han y Yujung Ko. Una revisión sistemática
de la inteligencia artificial conversacional en la educación de
idiomas: centrándose en la colaboración con profesores humanos.
Journal of Research on Technology in Education, páginas 1 a 16, 2022.
[35] Charles Fadel, Wayne Holmes y Maya Bialik. Inteligencia artificial
[23] Reham El Shazly. Efectos de la inteligencia artificial en la ansiedad y el
rendimiento del habla en inglés: un estudio de caso. Sistemas expertos,
38(3):e12667, 2021.
[24] Minhui Bao. ¿Puede el uso doméstico de la inteligencia artificial
habilitada para el habla mitigar la ansiedad del idioma
extranjero? Investigación de un concepto. Número especial de
Arab World English Journal (AWEJ) en CALL, (5), 2019.
[25] Tzu­Yu Tai y Howard Hao­Jan Chen. El impacto del asistente de Google en la
disposición de los estudiantes adolescentes de inglés como lengua extranjera
comunicar. Entornos de aprendizaje interactivo, páginas
1–18, 2020.
[26] Jaeho Jeon. Evaluación dinámica asistida por chatbot (ca da)
para el aprendizaje y diagnóstico de vocabulario l2. Aprendizaje
de idiomas asistido por computadora , páginas 1–27, 2021.
[27] Chi­Jen Lin y Husni Mubarok. Análisis de aprendizaje para investigar el enfoque
de IA chatbot guiado por mapas mentales en un aula de habla invertida de
efl. Tecnología educativa y sociedad, 24(4):16–35, 2021.
[28]
Tiffany H. Kung, Morgan Cheatham, Arielle Medenilla, Czarina
Silos, Lorie De Leon, Camille Elepano, Maria Madriaga, Rimel
Aggabao, Giezel Diaz­Candido, James Maningo y Victor Tseng.
Rendimiento de ChatGPT en USMLE: potencial para la educación
médica asistida por IA utilizando modelos de lenguaje grandes.
medRxiv, 2022.
[29] Sdenka Zobeida Salas­Pilco, Kejiang Xiao y Xinyun Hu. Inteligencia artificial y
análisis de aprendizaje en la formación docente: una revisión sistemática.
Ciencias de la Educación , 12(8), 2022.
[30] Gwo­Jen Hwang y Ching­Yi Chang. Una revisión de las oportunidades y
desafíos de los chatbots en la educación. Entornos de aprendizaje
interactivos, páginas 1–14, 2021.
[31] Sara Polak, Gianluca Schiavo y Massimo Zancanaro.
Perspectiva de los docentes sobre la educación en inteligencia
artificial: una investigación inicial. En Extended Abstracts of the
2022 CHI Conference on Human Factors in Computing Systems,
CHI EA '22, Nueva York, NY, EE. UU., 2022.
Asociación para Maquinaria de Computación.
[32] Musa Adekunle Ayanwale, Ismaila Temitayo Sanusi, Owolabi Paul Adelana,
Kehinde D. Aruleba y Solomon Sunday Oyelere. Disposición e intención de
los docentes para enseñar inteligencia artificial en las escuelas. Informática
y Educación: Inteligencia Artificial, 3:100099, 2022.
[33]
Seongyune Choi, Yeonju Jang y Hyeoncheol Kim. Influencia de
las Creencias Pedagógicas y la Confianza Percibida en la
Aceptación de Herramientas Educativas de Inteligencia Artificial
por parte de los Docentes. Revista internacional de interacción
humano­computadora, 39(4):910–922, 2023.
[34]
Raquel Chocarro, Monica ´ Cortinas, and
˜ Gustavo Marcos­ Matas.
Actitudes
´ de los docentes hacia los chatbots en la educación:
un enfoque de modelo de aceptación de tecnología que considera
el efecto del lenguaje social, la proactividad de los bots y las
características de los usuarios. Estudios educativos, páginas 1–19, 2021.
en la educación: promesas e implicaciones para la enseñanza y
el aprendizaje. El Centro para el Rediseño Curricular, 2019.
[36] Steven Moore, Huy A. Nguyen, Norman Bier, Tanvi Domadia y John
Stamper. Evaluación de la calidad de las preguntas de respuesta
corta generadas por los estudiantes mediante GPT 3. En Educar
para un nuevo futuro: dar sentido a
Machine Translated by Google

¿ChatGPT para siempre? Sobre las oportunidades y los desafíos de los modelos de idiomas grandes para la educación — 12/12

Adopción del aprendizaje mejorado con tecnología: 17.ª [47] Ana¨ıs Tack y Chris Piech. The AI Teacher Test: Midiendo
Conferencia europea sobre aprendizaje mejorado con la Habilidad Pedagógica de Blender y GPT­3 en Diálogos
tecnología, EC TEL 2022, Toulouse, Francia, del 12 al 16 de Educativos. En Actas de la 15.ª Conferencia Internacional
septiembre de 2022, actas, páginas 243 a 257. Primavera, 2022. sobre Minería de Datos Educativos, páginas 522–529,
[37] Hee­Sun Lee Mengxiao Zhu, Ou Lydia Liu. El efecto Durham, Reino Unido, 2022. Sociedad Internacional de
de retroalimentación automatizada sobre el comportamiento de revisión Minería de Datos Educativos.
y las ganancias de aprendizaje en la evaluación formativa de la redacción [48] Juan V. Pavlik. Colaborando con ChatGPT: considerando las
de argumentos científicos. Informática y Educación, 143:103668, 2020. implicaciones de la inteligencia artificial generativa para el
periodismo y la educación en medios. Educador en periodismo y
[38] Michael Sailer, Elisabeth Bauer, Riikka Hofmann, Jan
Kiesewetter, Julia Glas, Iryna Gurevych y Frank Fischer . La comunicación de masas, página 10776958221149577, 2023.

retroalimentación adaptativa de las redes neuronales artificiales

facilita el razonamiento diagnóstico de los profesores en
formación en el aprendizaje basado en simulación. Aprendizaje
e Instrucción, 83:101620, 2023.
[39] Jan Philip Bernius, Stephan Krusche y Bernd Bruegge.
Comentarios basados en el aprendizaje automático sobre las respuestas
textuales de los estudiantes en cursos extensos. Informática y Educación:
Inteligencia Artificial, 3, 2022.
[40] Sami Sarsa, Paul Denny, Arto Hellas y Juho Leinonen.
Generación automática de ejercicios de programación y
explicaciones de código utilizando grandes modelos de lenguaje.
En Actas de la Conferencia ACM de 2022 sobre investigación
internacional en educación en computación, volumen 1, páginas 27 a 43, 2022.
[41]
Fanyi Qu, Xin Jia y Yunfang Wu. Hacer preguntas como
expertos en educación: generación automática de pares de
preguntas y respuestas sobre datos de exámenes del mundo
real. En Actas de la Conferencia de 2021 sobre métodos
empíricos en el procesamiento del lenguaje natural, páginas
2583–2593, 2021.
[42] Ricardo Rodríguez­Torrealba, Eva García­López y Antonio García­
Cabot. Generación de principio a fin de preguntas de opción múltiple
usando modelos transformadores de transferencia de texto a texto .
Sistemas expertos con aplicaciones, 208:118258, 2022.
[43] Vatsal Raina y Mark Gales. Pregunta de opción múltiple
Generación: Hacia un Marco de Evaluación Automatizado .
preimpresión de arXiv arXiv:2209.11830, 2022.
[44] Jianhao Shen, Yichun Yin, Lin Li, Lifeng Shang, Xin Jiang,
Ming Zhang y Qun Liu. Generar y clasificar: un marco multitarea
para problemas matemáticos. En Findings of the Association
for Computational Linguistics: EMNLP 2021, páginas 2269–
2279, 2021.
[45]
Weijiang Yu, Yingpeng Wen, Fudan Zheng y Nong Xiao.
Mejorar los problemas matemáticos con palabras con
conocimientos preentrenados y razonamiento jerárquico. En
[49] Christine Redecker et al. Marco europeo para la competencia
digital de los educadores: DigCompEdu. Informe técnico ,
Centro Común de Investigación (sitio de Sevilla), 2017.
[50] Gabriel Salomón. Sobre la naturaleza de las herramientas informáticas
pedagógicas: El caso del socio escritor. Las computadoras como
herramientas cognitivas, 179:196, 1993.
[51] Katherine Elkins y Jon Chun. ¿Puede GPT­3 pasar la prueba de turing
de un escritor? Revista de análisis cultural, 5:17212, 2020.
[52] Catherine A. Gao, Frederick M. Howard, Nikolay S.
Markov, Emma C. Dyer, Siddhi Ramesh, Yuan Luo y Alexander
T. Pearson. Comparación de resúmenes científicos generados
por ChatGPT con resúmenes originales utilizando un detector
de salida de inteligencia artificial, un detector de plagio y
revisores humanos cegados. bioRxiv, 2022.
[53]
Debby RE Cotton, Peter A. Cotton y J. Reuben Ship way.
Chatear y hacer trampa. Garantizar la integridad académica
en la era de ChatGPT. EdArXiv, 2023.
[54] Dehouche Nassim. El plagio en la era de los Transformadores
Generativos Pre­entrenados masivos (GPT­3). Ética en la ciencia y
la política ambiental, 21: 17–23, 2021.
[55] Kalhan Rosenblatt (Noticias NBC). ChatGPT prohibido en los
dispositivos y redes de las escuelas públicas de la ciudad de
Nueva York. https://nbcnews.to/3iTE0t6, Enero de 2023.
Consultado: 22.01.2023.
[56] Eduardo Tian. GPTZero. https://gptzero.me/,
2023. Consultado: 22.01.2023.
[57] Chenxi Gu, Chengsong Huang, Xiaoqing Zheng, Kai­Wei Chang y
Cho­Jui Hsieh. Modelos de lenguaje preentrenados con marca de
agua con backdooring. preimpresión de arXiv arXiv :2210.07543,
2022.
[58] John Kirchenbauer, Jonas Geiping, Yuxin Wen, Jonathan Katz, Ian
Miers y Tom Goldstein. Una marca de agua para modelos de

Actas de la Conferencia de 2021 sobre métodos empíricos en lenguaje grande. preimpresión de arXiv arXiv:2301.10226v1, 2023.
el procesamiento del lenguaje natural, páginas 3384–3394, 2021.
[46] Zichao Wang, Andrew Lan y Richard Baraniuk. Generación de [59] UNESCO. Agenda Educación 2030. https://www.unesco.org/
problemas matemáticos verbales con consistencia matemática en/educación­digital/inteligencia­artificial , _ 2023.
y restricciones de contexto del problema. En Actas de la Consultado: 22.01.2023.
Conferencia de 2021 sobre métodos empíricos en el
procesamiento del lenguaje natural, páginas 5986–5999, 2021.