Documentos de Académico
Documentos de Profesional
Documentos de Cultura
TRABAJOS ACADÉMICOS?
¿ CASO DE
Le gustaría que una computadora ESTUDIO
calificara sus trabajos de la universidad?
Bueno, tal vez se encuentre con esta novedad en el próximo curso. En abril de 2013,
EdX, una empresa conjunta entre Harvard y MIT para desarrollar cursos abiertos
masivos en línea (MOOC, por sus siglas en inglés), lanzó un programa de calificación
de trabajos. Con el uso de la tecnología de inteligencia artificial, los trabajos y
respuestas cortas se califican de inmediato y se presenta una retroalimentación, lo cual
permite a los estudiantes revisar, reenviar y mejorar su calificación las veces que sea
necesario. La organización sin fines de lucro ofrece
el software sin costo a cualquier institución que desee usarlo. Desde un punto de vista
pedagógico (si la asesoría es sólida), la retroalimentación inmediata y la habilidad de
actuar directamente con base en ella es un entorno de aprendizaje óptimo. Pero mientras
los defensores alardean sobre la superioridad de calificar los trabajos de manera
automática en vez de que los estudiantes esperen días o semanas a que les devuelvan sus
trabajos (que tal vez tengan o no la oportunidad de revisar), además del beneficio de ahorro
en tiempo para los profesores, los críticos dudan que sea posible reemplazar a los humanos.
En 2012, Les Perelman, exdirector de escritura en MIT, se opuso a un artículo en el que
se pregonaba la destreza del software de calificación de trabajos automático (AES). El
decano del College of Education de la University of Akron, Mark Shermis, y el coautor
y científico de datos Ben Hammer, usaron programas AES de nueve empresas,
incluyendo Pearson y McGraw-Hill, para volver a calificar cerca de 16,000 trabajos de
secundaria y preparatoria a partir de seis pruebas estatales estandarizadas distintas. Su
estudio patrocinado por la Hewlett Foundation descubrió que la calificación de la
máquina obtuvo resultados muy cercanos a la calificación humana y, en algunos casos,
produjo una calificación más precisa. Sin embargo, Perelman descubrió que no se
realizó ninguna comparación estadística directa entre los calificadores humanos y los
programas. Aunque Shermis acepta que no se realizó el análisis de regresión (debido a
que las empresas de software impusieron esta condición para permitir que él y Hammer
evaluaran sus productos), no sorprende que acuse a Perelman de evaluar su trabajo sin
realizar una investigación sobre el suyo.
De hecho, Perelman realizó estudios sobre el califica- dor de trabajos electrónico (e-
rater) desarrollado por el Servicio de evaluación educativa (ETS): la única organización
que le permitiría acceso. El e-rater usa variedad sintáctica, estructura de discurso (como
PEG) y análisis de contenido (como IEA), y se basa en la tecnología de procesamiento
del lenguaje natural. Aplica el análisis estadístico a las funciones lingüísticas como
formación de argumentos y variedad sintáctica para determinar las calificaciones, pero
también pondera el vocabulario y el contenido tópico. En el mes que se le concedió,
Perelman analizó los algoritmos y jugó con el e-Rater, confirmando sus críticas
anteriores. El principal problema con los programas AES (hasta ahora) es que no
pueden diferenciar la realidad de la ficción. Por ejemplo, en respuesta a la solicitud de
un trabajo sobre las causas del pronunciado aumento en el costo de la educación
superior, Perelman escribió que el principal impulsor se debía a los avaros asistentes
educativos, cuyos salarios eran seis veces más altos que los de los presidentes
universitarios, con paquetes de beneficios exorbitantes como vacaciones en los mares
del Sur, jets privados y contratos de películas. Complementó el argumento con una línea
del poema “Howl” de Alex Ginsberg y recibió la puntuación máxima de 6. La métrica
que ameritó esta calificación incluyó la longitud total, la longitud de los párrafos, el
número de palabras por enunciado, la longitud de las palabras y el uso de adverbios
conjuntivos como “sin embargo” y “lo que es más”. Puesto que los programas de
computadora no pueden adivinar el significado, la longitud del trabajo es el indicador
de destreza en la escritura, el uso de adverbios conjuntivos indica un pensamiento
complejo, y las palabras grandes corresponden a la aptitud de vocabulario.
Los distribuidores de programas como Pearson y Vantage Learning defienden estos
parámetros, aseverando que están altamente correlacionados. Los buenos escrito- res
han adquirido habilidades que les permiten escribir más bajo limitaciones de tiempo;
usan un vocabulario más complejo y entienden cómo introducir, interrumpir, conec- tar
y concluir ideas complejas: la función de los adverbios conjuntivos. Los programas
AES también reconocen fragmentos de enunciados y castigan a los estudiantes por los
enunciados que comienzan con “y” u “o”. Sin embargo, los escritores profesionales
saben cómo emplear ambas conjunciones para generar un excelente efecto. Perelman y
un grupo recién formado de educadores, Profesionales contra la Calificación de
Trabajos de Estudiantes mediante Máquinas en Evaluación de Alto Riesgo
(Professionals Against Machine Scoring of Student Essays in High-Stakes Assessment),
advierten que la enseñanza de la escritura se rebajará para cumplir con la métrica
limitada y rígida que las máquinas son capaces de medir.
El software EdXtool gratuito parece ser más sofisticado que lo que ofrecen otros
distribuidores en cuanto a que puede “capacitarse” con al menos cierta habilidad de
desarrollar estándares de calificación y adaptarse a las preferencias de calificación.
Primero, los instructores califican 100 trabajos o preguntas, e introducen estos
resultados al programa. Mediante el uso de estos lineamientos la herramienta desarrolla
una métrica de calificación personalizada y sigue el método de calificación preferido
por el instructor, ya sea un sistema numérico o calificación de letra. Como señaló
Shermis, en muchas universidades de menor nivel que las de los críticos, las clases
ahora son tan grandes como para que la retroalimentación de escritura detallada no sea
viable. Más aún, en las mejores universidades el nivel académico es más alto y menos
estudiantes necesitan corrección. En las trincheras educativas, una herramienta que
puede simular la calificación humana, sin mayor variación que la distinguible entre un
profesor y otro, y que ofrece una asesoría inmediata, es una excelente contribución a la
caja de herramientas académicas. Pero a medida que disminuye la demanda de tiempo
para el profesor,
¿harán los administradores de las universidades recortes de personal para cumplir con
las restricciones de presupuesto?¿Habrá cada vez menos maestros y más estudiantes?
Conforme los sistemas MOOC y AES proliferan, la respuesta es: muy probablemente.
EdX se está volviendo rápidamente controversial en los círculos académicos. A la
fecha, los cursos que ofrece son gratuitos y los estudiantes obtienen un certificado de
finalización, pero ningún crédito para los cursos universitarios. Sin embargo, para vol-
verse auto-sostenible, las organizaciones sin fines de lucro planean ofrecer su
plataforma MOOC como un sistema de “autoservicio” que los miembros docentes
puedan usar para desarrollar cursos específicamente comercializados para sus
universidades. Entonces EdX recibirá los primeros $50,000 de ingresos generados por
el curso, o $10,000 por un curso recurrente. En lo sucesivo, los ingresos se dividirán al
50 % entre la universidad y EdX. Un segundo modelo de generación de ingresos ofrece
a las universidades “ayuda de producción” con el desarrollo de los cursos, en el que se
les cobran $250,000 por un curso nuevo y $50,000 cada vez que se vuelva a ofrecerse
curso. Si un curso tiene éxito, la universidad recibe el 70% de los ingresos, siempre y
cuando EdX haya recibido la compensación total por los cursos de autoservicio. Sin
embargo, para poder generar suficientes ingresos y compartirlos con sus 12 socios
universitarios, entre los cuales ahora se incluyen la University of California, Berkeley,
Wellesley, Georgetown y la University of Texas, es probable que se desarrolle un modelo
de licenciamiento. Un EdX MOOC que se probó sin costo en la San Jose State
University en 2012 sirvió como base para un curso de ingeniería en línea mezclado. El
plan de estudios enriquecido produjo un incremento en la tasa de aprobación de 60% a
91%. Si el licenciamiento de cursos se convierte en el flujo de ingresos clave, Anant
Agarwal, presidente de ingeniería eléctrica de EdX, pronostica que esto ocurrirá en
salones de clase cerrados con inscripción limitada.
Sin embargo, algunos miembros del cuerpo docente de San José Estate están alarmados.
Cuando se consideró un segundo EdX MOOC, JusticeX, el departamento de Filosofía
envió una carta con palabras enérgicas dirigida al desarrollador del curso de Harvard,
Michael Sandel, pero que realmente estaba enfocada en los administradores de la
universidad. Alegando que el departamento no tenía un problema académico que
necesitara solución y no carecía de miembros docentes para enseñar su curso
equivalente, no vacilaron en atacar los motivos económicos detrás de la adopción de los
MOOC por parte de las universidades públicas. Los autores alegaron además que los
MOOC representaban un declive en la calidad educativa y señala- ron la ironía
involucrada cuando un curso de justicia social era el vehículo para perpetrar una
injusticia social: un esfuerzo en el largo plazo por “desmantelar a los departamentos y
reemplazar a los profesores”. La respuesta conciliatoria de Sandel expresó su deseo de
compartir recursos educativos gratuitos, su aversión a subcotizar a sus colegas, y una
convocatoria para un debate serio en relación con EdX y con la comunidad de
educación superior.
Otras universidades están presionando de manera similar contra EdX y otras nuevas
empresas MOOC como Coursera y Udacity, fundadas por los miembros docentes de
Stanford. Los MOOC y AES están inexorablemente enlazados. Los cursos masivos en
línea requieren sistemas de evaluación automatizados. Y tanto Coursera como Udacity
han expresado su compromiso a usarlos debido al valor de la retroalimentación
inmediata. El cuerpo docente del Amherst College votó en contra de unirse al consorcio
EdX. Los miembros del cuerpo docente de la Duke University frustraron los intentos de
la administración de unir a otras nueve universidades y la compañía de tecnología
educativa 2U en una empresa por desarrollar un conjunto de cursos universitarios para
obtener créditos.
Pero EdX fue fundada por dos de las universidades más notables de Estados Unidos, ha
logrado reunir socios prestigiosos y ya está dando forma a los estándares educativos. De
hecho, Stanford decidió entrar al proyecto; adoptó la plataforma de código fuente
abierto OpenEdX y comenzó a ofrecer un programa de lectura de verano para estudian-
tes de primer año y dos cursos públicos en el verano de 2013. Stanford colaborará con
EdX en el futuro desarrollo de OpenEdX y ofrecerá clases públicas y universitarias al
respecto. Así que, mientras el profesor Perelman bromea diciendo que sus antiguos
estudiantes con especialidad en ciencias computacionales podrían desarrollar una app
de Android capaz de escupir trabajos formulistas que logren una calificación de 6 de e-
Rater, sacando por completo a los humanos de la ecuación, sabe que hay cuestiones
serias en juego. ¿Qué resultados académicos resultarán si se disminuyen la interacción
y la aportación humanas? ¿Se desarrollará la inteligencia artificial hasta el punto en
que la verdad, la precisión, la organización efectiva, persuasión, argumentación y
evidencia de apoyo puedan evaluarse? ¿Y cuántos empleos más en educación
desaparecerán como resultado?
MOOC: cursos abiertos masivos en línea, que usan inteligencia artificial para la
corrección de los trabajos y respuestas cortas, los cuales son evaluados de inmediato
OPENEDX: es una plataforma de código fuente abierto, esta plataforma ofrece cursos
del escritor, la verdad o falsedad de lo propuesto, así como distinguir entre realidad y la
ficción. Además, en uso generalizado de estas herramientas generaría una gran brecha en
la demanda de empleos de los evaluadores, así como también reduciría las interacciones
No. Porque los escritos son un arte, algo que sale del corazón humano, una maquina no
puede evaluar o explicar la belleza de un poema o el valor de un argumento, así como las
Las AES deben ser usadas como herramientas de puntuación por parte de los
maestros dado que su uso general por parte de la gerencia causaría un detrimento de
uso de sistemas AES de forma general por diferentes instituciones a favor de código
libre (OpenEdx) debería ser más promovido a un nivel de aprendizaje más abierto
por parte del sistema que este también aprenda de los estudiantes y no solo
viceversa.
Las AES no deberían ser un proceso tan automatizado y cerrado, sino que debería
2.5 ¿Sospecharía usted de una calificación baja que haya recibido en un trabajo
calificador humano?
Sí, porque siempre se dará el caso de que el sistema no esté de acuerdo con nuevas
ideas, sin importar lo ingeniosas o innovadora que sea dado que no está en su base
de datos por lo que nos es justo ser reprobados por nuestra creatividad e
imaginación. Así que si solicitaría una evaluación humana ante esta posible
situación.