383

Evaluacin del alumnado en la Educacin Superior

basada en herramientas de web semntica
Resumen
La enseanza en red forma parte hoy de las
posibilidades de docencia universitaria como
una posibilidad ms dentro de su oferta aca-
dmica. Son muchas las asignaturas que se
ofrecen va e-learning.
Desde los comienzos de esta modalidad de
enseanza se han sucedido investigaciones
y trabajos para tratar de comprender y me-
jorar los procesos de enseanza-aprendizaje
en red. A pesar de estos esfuerzos, la evalua-
cin de los alumnos que cursan una materia
virtual sigue siendo uno de los aspectos ms
olvidados en investigaciones y publicacio-
nes, seguramente debido al hecho de que la
tecnologa todava no nos ha proporcionado
soluciones para ello (Strother, 2002). Ante
este panorama, la conocida pero reinventa-
da Web semntica puede ofrecernos diver-
sas alternativas de evaluacin que podemos
tener en cuenta.
Este trabajo profundiza en el estado de la
evaluacin de los alumnos universitarios en
cursos de e-learning y propone alternativas
a partir de la investigacin realizada sobre
las posibilidades que la Web semntica est
ofreciendo en los ltimos aos.
Palabras clave: educacin, universidad,
web, semntica, evaluacin.
Abstract
Nowadays, e-learning is part of the poten-
tial of university teaching, being a different
approach within its academic offer. There are
many courses offered by e-learning.
From the inception of this teaching moda-
lity, different research projects and works
have been developed with a view to try
to understand and improve on-line learning
processes. Despite these efforts, student
assessment in on-line courses is one of the
most neglected aspects in research projects
and publications, probably due to the fact
that technology has not provided us yet with
solutions for that (Strother, 2002). In this sce-
nario, the known but revisited Semantic Web
can offer alternatives to assessment that
should be taken into account.
This paper studies the state of the art in
assessing university students in e-learning
courses and suggests alternatives based
on research into the possibilities that the
Semantic Web has been offering in recent
years.
Keywords: education, university, web, se-
mantics, assessment.
Roig Vila, R. & Laneve, C. (Eds.) (2011). La prctica educativa en la sociedad de la informacin. Innovacin a travs de
la investigacin. La pratica educativa nella societ dellinformazione. Linnovazione attraverso la ricerca (pp. 383-394).
Alcoy - Brescia: Marfil & La Scuola Editrice.
Mara del Mar Snchez Vera
Universidad de Murcia
mmarsanchez@um.es
Francisco Martnez Snchez
Universidad de Murcia
pacomar@um.es
384
MARA DEL MAR SNCHEZ VERA, FRANCISCO MARTNEZ SNCHEZ
1. LA EVALUACIN DE LOS ALUMNOS EN LA UNIVERSIDAD EN RED
Los centros educativos universitarios se encuentran cada vez ms equipados de una ma-
yor diversidad y cantidad de recursos tecnolgicos. La red nos ha proporcionado la posibilidad
de compartir informacin de manera cada vez ms sencilla y veloz. El ciberespacio ha sido el
lugar de desarrollo de experiencias de formacin totalmente virtual a travs de los denomina-
dos Entornos Virtuales de Enseanza-Aprendizaje (EVEA), conocidos tambin como LMS (Lear-
ning Management System) o campus virtuales. Todas estas denominaciones se reeren a en-
tornos en red que permiten la gestin del aprendizaje. Normalmente estn concebidos como
plataformas on-line que posibilitan un espacio para trabajar en red. Las universidades suelen
adoptar alguna de estas herramientas como portal institucional para el trabajo virtual con pro-
fesores, alumnado y personal de administracin y servicios de la comunidad universitaria. Ya
sea mediante una enseanza totalmente en red (e-learning) o una enseanza semi-presencial
(blended-learning) (gura 1), el hecho es que las instituciones de Educacin Superior han in-
corporado las TIC para realizar acciones formativas en red.
Figura 1. Blended-Learning
El desafo que presentan en la actualidad estos entornos virtuales es congurar modelos
educativos ms centrados en el alumno, que respondan a los nuevos planteamientos rela-
cionados con la enseanza exible (Salinas, 2004). Esto supone una nueva concepcin que,
independientemente de que la enseanza sea presencial o a distancia, proporcione al alumno
una amplia variedad de medios y la posibilidad de tomar decisiones sobre su aprendizaje (Tait,
1999; Moran 2001).
Tradicionalmente, las instituciones universitarias han sido las que han realizado los prime-
ros cursos de e-learning, y las que en la actualidad concentran la mayor parte de las experien-
cias de educacin en lnea. Los primeros centros educativos que se desarrollan totalmente a
travs de Internet son las denominadas por Hanna (2002) universidades virtuales. Adems,
en la actualidad nos encontramos con un panorama transformado a raz del software social
y las aplicaciones web 2.0. La web 2.0 se dirige hacia una perspectiva de la red en la que las
385
EVALUACIN DEL ALUMNADO EN LA EDUCACIN SUPERIOR BASADA EN HERRAMIENTAS DE WEB SEMNTICA
herramientas estn enfocadas al usuario. Se entiende el ciberespacio como un ente cambian-
te, en el cual las herramientas colaborativas han cobrado un papel importante, ya que nos
permiten la participacin en este ciberespacio. Este movimiento remodelador de la web ha
dado lugar a algunas herramientas que se sirven del mismo y en las que subyace la losofa
de colaboracin que puede ser similar a la que se desarrolla en el software libre: wikis, blogs,
podcast, slides, etc. Este tipo de aplicaciones ha dado lugar a la creacin de autnticas redes
conguradas como formas de interaccin social gracias al intercambio que se produce de
informacin y recursos.
Incorporando o no estas herramientas web 2.0, las experiencias en e-learning son una
realidad en el entorno universitario. Podemos observar como cada vez hay un mayor nmero
de cursos en red en el entorno universitario (Hanna, 2002). De hecho, como arma Cabrera
(2006), en estos cursos en red se han promovido modelos colaborativos y abiertos de ense-
anza exible, pero sin embargo hay un aspecto que no ha sufrido grandes cambios y es el de
la evaluacin educativa de los alumnos que realizan cursos en red.
Si como hemos dicho, hablar de la incorporacin de las TIC en procesos de enseanza-
aprendizaje supone hablar de nuevos roles de profesor y alumno y de una transformacin
en las estrategias de enseanza y aprendizaje, es cuando menos extraordinario que se suela
observar una tendencia en la evaluacin en red hacia modelos tradicionales (como exmenes
vigilados, tareas escritas), lo cual provoca una falta de variedad en las calicaciones y limita el
poder valorar algunas capacidades, como pueden ser las capacidades comunicativas, de solu-
cin de problemas o de trabajo en equipo (Dorrego, 2006; Salinas, Prez y De Benito, 2008).
A partir de las reexiones realizadas por los autores recogidos (Driscoll, 2001; Rubio, 2001;
Strother, 2002; Castillo, 2002; De Pablos, 2004; Prendes, 2007; Steban Gil et al, 2009) pode-
mos indicar alguna de las problemticas que encontramos con la evaluacin en red:
La evaluacin en e-learning es un aspecto que ha visto pocas modicaciones a pesar de
la gran variedad de cambios que ha visto la enseanza con TIC.
La evaluacin en e-learning se suele realizar a travs de un examen presencial o una
prueba estandarizada (normalmente tipo test) a travs del ordenador. Esto es as, segu-
ramente, porque la mayora de cursos virtuales se realizan en la enseanza reglada y es
inevitable la necesidad de adquirir una acreditacin, por lo cual los procedimientos de
evaluacin intentan certicar al alumnado indicando que han adquirido el conocimiento
del curso.
Ya que el e-learning nos permite centrarnos en los procesos de aprendizaje del alumno,
deberamos pensar en una evaluacin en red que no sea nicamente un acto que se
realiza al nal del curso.
La posibilidad de hacer pruebas on-line tiene un potencial que est sin explorarse lo
suciente.
Uno de los principales problemas de los sistemas de evaluacin on-line es cmo enrique-
cer el conocimiento, es decir, mediante qu mecanismos podemos realizar la evaluacin
de manera que suponga una experiencia enriquecedora para el aprendizaje. Esto conlle-
va pensar en cmo acercar al alumno los resultados de su evaluacin.
Falta de sistemas que faciliten el aprendizaje autnomo. En la mayora de las ocasiones,
los contenidos de un determinado curso no se corresponden con los que realmente in-
teresan al alumno, por lo que ste se ve obligado a completar su formacin en mbitos
diferentes (realizando otros cursos a distancia, buscando en Internet...)
386
MARA DEL MAR SNCHEZ VERA, FRANCISCO MARTNEZ SNCHEZ
Ante este panorama la Unin Europea trata de dar impulso a los pases participantes para
establecer una estrategia comn para la evaluacin on-line en la Educacin Superior. Esta
estrategia pasara por tener en cuenta diversos componentes como el soporte que pueden
dar las TIC a nuevos sistemas de evaluacin, y la completa implementacin de sistemas para
la evaluacin, por ejemplo, de las capacidades tecnolgicas.
La mayora de las investigaciones que se han realizado sobre la evaluacin en red se
centran precisamente en la Educacin Superior, pero se reeren sobre todo a estudios sobre
los Campus Virtuales o EVEA de las universidades y/o a investigaciones sobre la ecacia de
las acciones de e-learning (Salinas, 2004; Prendes, 2009). No encontramos, sin embargo,
muchas investigaciones centradas en la evaluacin en red.
Podemos encontrar datos de manera transversal en investigaciones centradas en otro m-
bito del e-learning; por ejemplo, al valorar una plataforma concreta se pueden contemplar las
posibilidades que sta ofrece para la evaluacin, pero que inevitablemente irn condicionadas
por las posibilidades que presenta la plataforma. Siguiendo con esta lnea encontramos el
estudio realizado en el Instituto Politcnico de Portugal que cont con alrededor de 7500 usua-
rios. El anlisis de los entornos de aprendizaje (en este caso Campus Virtuales) se bas en
dos estrategias denidas por el equipo de trabajo para la implementacin de e-learning. Las
plataformas analizadas coincidan en permitir la autoevaluacin del alumno y la evaluacin a
travs de test, pero no encontramos datos referidos a la evaluacin procesual.
Otro caso es el de las investigaciones que se centran en conocer cmo funciona un curso
de e-learning para valorar si los procesos de teleenseanza son ecaces o no. Por ejemplo, el
estudio realizado por Briceo y su equipo en 2004 acerca de los cursos on-line de postgrado
en una universidad venezolana indic que los cursos on-line requieren adecuarse an ms a
las caractersticas de los usuarios y profundizar en estrategias metodolgicas que propicien
la interactividad y el trabajo colaborativo. Tambin detectaron que se realizaban aportes sig-
nicativos como un planteamiento de la redimensin de la docencia y la actualizacin del
currculo. En lo respectivo a la evaluacin se indic que es necesario que ataa a los objetivos,
a las nalidades y al contexto del curso.
Otras investigaciones realizadas sobre evaluacin en entornos virtuales se han dedicado
a desarrollar programas para evaluar competencias especcas de manera virtual. Un caso
a destacar es SPARK (Self and Peer Assessment Resource Kit), que es proyecto acadmico
de software libre diseado para apoyar la evaluacin efectiva del trabajo en grupo, y ha sido
utilizado en una variedad de contextos en la Educacin Superior. Presta atencin a una espe-
cicacin clara de las tareas que debe realizar el grupo y de los criterios de evaluacin. Los
estudiantes reexionan sobre los procesos de trabajo del grupo durante la realizacin de la ta-
rea. El tutor supervisa el trabajo del grupo, el producto del trabajo en grupo y los procesos que
el grupo va llevando a cabo. Los investigadores indican que se estn encontrando resultados
positivos respecto al hecho de que SPARK permite conocer una calicacin grupal y convertir
la puntuacin de grupo en puntuaciones individuales, as como ofrecer informacin sumativa
y formativa individuales (por ejemplo, podemos encontrarnos con un estudiante que haya rea-
lizado ms tareas que el resto de los miembros del grupo) (Ridway, McCusker y Pead, 2004).
Otro ejemplo es el proyecto Eviva (http://www.qcda.gov.uk/5962.aspx), desarrollado por
la Agencia de Cualicacin y Currculum, que utiliza telfonos mviles como medio para un
examen oral junto con un portafolio digital. Los telfonos tambin se utilizan para dejar graba-
dos mensajes de voz de las etapas de aprendizaje del propio estudiante, y esto se publica en
387
EVALUACIN DEL ALUMNADO EN LA EDUCACIN SUPERIOR BASADA EN HERRAMIENTAS DE WEB SEMNTICA
un sitio web central. Los mensajes sirven como prueba al estudiante de que ha presentado la
tarea requerida.
Ridway, McCusker y Pead (2004) en un informe de FutureLab recogen las perspectivas
respecto a la evaluacin en red (que denominan e-assessment) que predominan en Gran Bre-
taa. En este pas existen dos grandes iniciativas que lideran los cambios en las prcticas de
evaluacin y en los cuales se puede comprobar un incremento del uso de la evaluacin en
lnea. Uno de ellos es el DfES (E-assessment Strategy) en el cual se planea, en un periodo corto
de tiempo, un cambio en los sistemas de evaluacin actual. Desde el programa se plantean
cambios, como que los sistemas de calicacin deberan incluir una evaluacin on-line, esta-
blecer rganos de adjudicacin para evaluar e-portafolios, disponer de exmenes en red, etc.
Se han realizado tambin estudios relacionados con programas desarrollados para hacer
evaluacin de preguntas abiertas o ensayos a travs de internet. La mayora de estos progra-
mas se desarrollan a partir de web semnticas o tcnicas de procesamiento del lenguaje natu-
ral. Pero antes de tratar este aspecto tenemos que introducirnos en qu es la web semntica
y qu puede ofrecernos en la evaluacin del e-learning.
2. WEB 3.0 Y ONTOLOGAS EN LA EDUCACIN
Web 3.0 o web semntica. Cualquiera de estos dos conceptos supone una visin distin-
ta de lo que tradicionalmente hemos conocido como web 1.0 y web 2.0. La web semntica
propone superar las limitaciones de la web actual mediante la introduccin de descripciones
explcitas del signicado, la estructura interna y la estructura global de los contenidos y servi-
cios disponibles en la Red. Como indican Fernndez Breis et al. (2007, p. 34) nos referimos
por semntica al hecho de que el signicado de los datos publicados en la web puede ser co-
nocido tanto por humanos como por aplicaciones. Es decir, indicar a la tecnologa el sentido
de lo que queremos expresar, indicar una estructura coherente a travs de la cual la mquina
pueda navegar para ofrecernos la informacin ms concreta. Si la web que conocemos es
sintctica, la semntica trata de dotar de signicado a la informacin presente en la red.
Las personas navegamos, compramos artculos, leemos hipervnculos y tomamos decisio-
nes sobre el siguiente enlace a explorar. Sera mucho ms eciente disponer de una aplicacin
autnoma que el humano nicamente tendra que supervisar peridicamente. ste sera el
objetivo de la web semntica.
Hay un amplio nmero de lenguajes que tenemos que utilizar cuando hablamos de web
semntica. Algunos de ellos han sido desarrollados a principios de los 90 y otros han ido apa-
reciendo gracias al desarrollo de los especialistas del W3C (gura 2).
Figura 2. Estructura de la web semntica (W3C)
388
MARA DEL MAR SNCHEZ VERA, FRANCISCO MARTNEZ SNCHEZ
Ya hemos visto cmo, para trabajar con web semntica, es requisito indispensable que el
conocimiento de la web est representado de forma que sea legible por los ordenadores, est
consensuado y sea reutilizable. Esto es lo que hacen las ontologas: proporcionar un vocabula-
rio especco usado para describir un concepto.
Figura 3. El uso de ontologas como metadatos (Abin, 2007, p. 2)
Los expertos en procesamiento del lenguaje natural trabajan en la creacin de ontologas
cada vez ms interoperables y que supongan un vehculo de comunicacin adecuado entre
el ordenador y el ser humano. Las ontologas se suelen codicar en un lenguaje denominado
OWL (Figura 3).
Desde el mbito de las Ciencias Sociales, la preocupacin es saber cmo procesar la in-
formacin para que quede especicada en una ontologa que sea coherente con materias di-
fciles de codicar. A este respecto, el proyecto SemTech (Semantic Technologies for Learning
and Teaching) trata de identicar los benecios de las tecnologas semnticas en la educacin.
En uno de los documentos que ha elaborado este grupo se diferencia entre hard semantic
technologies (tecnologas semnticas fuertes) y soft semantic technologies (tecnologas se-
mnticas blandas) para diferenciar entre las ontologas en funcin de su nivel de estructura-
cin. Profundizando en este tema, encontramos autores que hablan del trmino lightweight
(Corcho, Fernndez y Gmez, 2003), mientras que otros hablan de softontologies (Avils,
2003). De cualquier manera, parece que ambos trminos tratan de poder unir diferencias on-
tolgicas aparentemente irreconciliables por medio de anlisis contextuales. Esto quiere decir
que, cuando queremos representar el conocimiento de manera estructurada, muchas veces
nos encontramos con disciplinas o materias que no pueden ser estructuradas en una clara
taxonoma. Aqu es donde las ontologas blandas entran en juego.
Muchas de las tecnologas 2.0 para educacin parecen emplear tecnologas semnticas
blandas como wikis y tags. Algo parecido ocurre con el concepto de ontologa. Hemos denido
previamente la ontologa como una teora lgica constituida a partir de un vocabulario y un
lenguaje lgico (Maetdche, 2002: 15). En funcin de cmo elaboremos nuestra ontologa
389
EVALUACIN DEL ALUMNADO EN LA EDUCACIN SUPERIOR BASADA EN HERRAMIENTAS DE WEB SEMNTICA
podremos hablar del mismo modo de ontologas ms o menos ligeras.
Que una ontologa sea ligera no signica que sea menos ecaz. De hecho, realmente hay
reas en las que es difcil establecer relaciones claras. El desarrollo de aplicaciones que per-
mitan crear lo que los autores denominan soft-ontologies o lightweight ontologies tam-
bin ha aparecido en contraposicin al complicado desarrollo que requieren las ontologas.
Una de las aplicaciones ms importantes desarrolladas en este sentido es Exhibit. Exhibit es
una aplicacin del proyecto SIMILE (Semantic Interoperability of Metadata and Information in
unLike Environments, que viene a signicar la interoperabilidad semntica de metadatos y
de la informacin en diferentes entornos) (http://simile.mit.edu/wiki/SIMILE:About). SIMILE
pretende mejorar la interoperabilidad entre los activos digitales, los esquemas, el vocabulario,
las ontologas, los metadatos y los distintos servicios. El software que desarrollan es de cdigo
abierto, es decir, es software libre (bajo una licencia BSD).
3. EVALUACIN EN RED Y WEB SEMNTICA
Dicho lo anterior podemos deducir que la web semntica ofrece grandes oportunidades de
e-learning, entre otras cosas, puede proveerle de materiales de aprendizaje intercambiables,
lo que permite la personalizacin de los contenidos. Al mismo tiempo, la web semntica puede
ser tratada como una plataforma muy aconsejable para implementar un sistema de e-learning,
al proporcionar mecanismos para el desarrollo de ontologas para el aprendizaje, la anotacin
semntica de materiales, su combinacin para la denicin de cursos y su posterior evalua-
cin (Castellanos Nieves et al, 2010).
Podemos ver cmo la web semntica se puede ajustar a las necesidades del e-learning
(Stojanovic et al, 2001):
Entrega: los tems de conocimiento se distribuyen en la web y se enlazan con ontologas
consensuadas.
Acceso: el usuario describe la situacin de antemano y realiza bsquedas semnticas
del material deseado.
Simetra: ofrece el potencial para convertirse en una plataforma de integracin para
todos los procesos de negocio.
Modalidad: entrega activa de la informacin que crea un entorno dinmico de aprendi-
zaje.
Autoridad: la web semntica est totalmente descentralizada.
Personalizacin: un usuario busca el material que se ajusta a sus necesidades.
Adaptabilidad: permite el uso de conocimiento proporcionado de diversas formas me-
diante la anotacin semntica de los materiales.
Forma de respuesta: cada usuario tiene su agente personalizado que se comunica con
otros agentes para obtener materiales.
Adems, puede ofrecer tambin grandes oportunidades en la creacin de plataformas de
Campus Virtual ms ecientes, proveyendo de servicios con datos estructurados y organizados
que permitirn la gestin de entornos de aprendizaje ms personalizados y ecaces.
Centrndonos en el aspecto que nos interesa el de la evaluacin de los alumnos en red
a travs de las tecnologas, parece que se trata de un tema que ha suscitado el inters de la
comunidad cientca en los ltimos aos, sobre todo acerca de la posibilidad de realizar ex-
menes en red en los que los alumnos puedan escribir la respuesta, sin limitarnos a los exme-
nes tipo test un tema no exento de dicultades, pero prometedor de grandes posibilidades.
390
MARA DEL MAR SNCHEZ VERA, FRANCISCO MARTNEZ SNCHEZ
Ya en 2004 Ridgway, McCusker y Pead indicaban la dicultad de puntuar exmenes de
preguntas abiertas de manera automatizada, pero sin embargo, aportaban la idea de que
en aquel momento esa dicultad era el punto de partida de muchas investigaciones sobre la
temtica. Para entonces se estaba ya trabajando con sistemas automatizados que valoraban
la respuesta del alumno. Este procedimiento, explicado por Cohen, Ben-Simon y Hovav (2003),
se denomina Ensayo de puntuacin automtica (AES) y se realiza mediante tres tipos de m-
todos: los basados en el anlisis de las caractersticas de la supercie del texto, los basados
en el anlisis del espacio semntico, y los basados en el procesamiento del lenguaje natural
(NLP). El xito de estos mtodos es juzgado mediante la comparacin de la correccin del
ordenador, y la correlacin entre las puntuaciones dadas por el ordenador y las indicadas por
una persona. Sin embargo, como indican Ridgway, McCusker y Pead (2004), estos sistemas de
puntuacin no constituyen una panacea para la evaluacin en red y an queda mucho trabajo
por hacer.
Encontramos varios proyectos que recogen Cohen, Ben-Simon y Hovav (2003) como los
ms relevantes del rea.
El Proyecto Ensayo Grader fue el primer programa de ordenador desarrollado para el en-
sayo de puntuacin. La primera versin del programa fue desarrollada por Ellis Page en 1966
y utiliz un modelo de regresin en el que las variables independientes fueron en su mayora
caractersticas del texto. La primera versin del PEG utiliz caractersticas tales como ttulo,
duracin promedio de la frase, nmero de prrafos, y nmero de caracteres de texto diferen-
tes tales como los parntesis, las comas y los puntos. El programa ha ido amplindose con
el paso de los aos.
El Intelligent Essay Assessor fue desarrollado por la Universidad de Colorado en 1997, por
iniciativa de Thomas Landauer, Foltz y Peter Darrell Laham. Adopta un enfoque completamen-
te diferente al ensayo de puntuacin y se centra en el mtodo de anlisis semntico. Para
comprender cmo funciona la AIE es necesario comprender los principios de anlisis semn-
tico latente. El anlisis semntico latente (LSA) es un mtodo desarrollado originalmente para
nes de recuperacin de informacin y se ha utilizado para una variedad de objetivos, entre
los que guran el ensayo de la puntuacin, los ltros de informacin y el anlisis de textos.
Para validar todos estos programas la tcnica ms empleada es la comparacin entre la
puntuacin que realiza el programa y la realizada por un grupo de personas.
Una de las ltimas investigaciones sobre evaluacin en red y web semntica es la que
presentan Radenkovic, Krdzavac y Devedzic (2010). Estos autores, mediante un estudio de in-
geniera de software y una experimentacin prctica, proponen una metodologa para crear los
programas de evaluacin semntica en red. Destacan que el principal problema en la creacin
de los sistemas modernos de evaluacin sobre web semntica es la forma de intercambiar
y enriquecer la informacin, es decir, la interoperabilidad del sistema. Esta interoperabilidad
entre sistemas posibilita que todas las partes de las evaluaciones puedan ser intercambiadas
entre los expertos, de modo que todos ellos puedan editar, almacenar y reutilizar esa infor-
macin. La investigacin concluye indicando que el uso de metamodelos y ontologas en el
desarrollo del sistema de evaluacin inuye en el comportamiento del sistema y en la toma de
decisiones, y que es posible mejorar el almacenamiento y el intercambio de los elementos de
la evaluacin de preguntas abiertas.
391
EVALUACIN DEL ALUMNADO EN LA EDUCACIN SUPERIOR BASADA EN HERRAMIENTAS DE WEB SEMNTICA
3.1. OeLE: un programa para la evaluacin en red de preguntas abiertas
La plataforma OeLE supone un avance signicativo en lo referido a herramientas de web
semntica que se aplican al mbito educativo. Desarrollada por el Grupo de Tecnologas del
Conocimiento y Modelado Cognitivo de la Facultad de Informtica de la Universidad de Murcia
y experimentada en colaboracin con el Grupo de Investigacin de Tecnologa Educativa de
esta misma universidad, este programa permite la evaluacin de preguntas abiertas en cursos
de e-learning.
Adems de posibilitar la realizacin de exmenes en red, OeLE (Ontology e-Learning Envi-
ronment) ofrece otra gran potencialidad, que es la de que el alumno reciba feedback de sus
respuestas, es decir, el programa indica al alumno los conceptos en los que ha fallado.
OeLE trabaja con ontologas, por ello lo primero que se ha de establecer es la ontologa
sobre la respuesta correcta del examen. Se establece en ella la estructura de la respuesta
correcta a la pregunta que ha de responder el alumno. Construida la ontologa, se exporta al
programa OeLE. En l se da de alta a profesor y a alumnos, permitindoseles a cada uno de
ellos distintos tipos de acceso. El profesor puede indicar qu elementos de la ontologa se co-
rresponden con cada una de las preguntas planteadas en el examen. OeLE compara semnti-
camente los conjuntos de anotaciones, lo que signica que asocia a la respuesta un metadato
semntico a partir del cual le damos signicado.
Figura 4. Edicin de cursos en OeLE

El programa ha sido probado con 22 alumnos durante el curso 2008-2009 en la asignatura
Diseo y evaluacin de materiales didcticos, que se cursa en red en la Universidad de Murcia.
Al nalizar la asignatura, los alumnos realizaron un examen de cinco preguntas a travs de la
herramienta OeLE. Para conocer la validez de la herramienta, se compar la calicacin que
ofreca el programa con la calicacin indicada por la docente de la asignatura.
Para profundizar si existen diferencias signicativas o no entre ambas correcciones, se
realiz un anlisis de medidas repetidas de modelo lineal general, en concreto, un anlisis
de medidas repetidas, que analiza grupos de variables dependientes relacionadas que repre-
sentan diferentes medidas del mismo atributo. El factor utilizado es el mtodo de correccin
empleado.
392
MARA DEL MAR SNCHEZ VERA, FRANCISCO MARTNEZ SNCHEZ
Uno de los objetivos fue, por tanto el conocer si existan diferencias o no entre ambos tipos
de calicaciones. Los resultados indicaron que no existen diferencias signicativas entre la co-
rreccin que realiza el programa OeLE y la correccin manual que realiza el docente, lo que per-
mite armar que la metodologa empleada por OeLE en la evaluacin de los exmenes es tan
vlida como las calicaciones realizadas por el profesor de forma tradicional. Adems, es des-
tacable que el nivel de satisfaccin de los alumnos participantes fue bastante elevado (86,4%).
El programa sigue en pleno desarrollo para incorporar cada vez ms herramientas tiles a
la educacin, como sistemas de feedback electrnico que permitan a los alumnos consultar
los conceptos que han fallado y acceder a ellos mediante objetos de aprendizaje. Sin embargo,
esta experiencia es destacable como ejemplo de las grandes posibilidades que nos esperan
gracias a las tecnologas semnticas.
4. RETOS DE LA WEB SEMNTICA
Los sistemas de evaluacin en red se encuentran en pleno desarrollo y son numerosos
los investigadores que tratan de realizar programas de evaluacin cada vez ms adecuados
a la visin integradora del aprendizaje y que permitan evaluaciones ms abiertas que los
exmenes tipo test. Para conseguir esto, en los prximos aos debemos de tener en cuenta
algunos aspectos de la evaluacin en red del aprendizaje de los alumnos (Ridway, McCusker
y Pead, 2004):
Restablecer la credibilidad en la evaluacin en lnea, ya que hay reas en las que puede
considerarse que la evaluacin en red no es able.
Construir un sistema capacitado: es necesario desarrollar programas y sistemas que
supongan una evaluacin ms amplia que el diseo de test.
Diseo adecuado de tareas: se encuentra poca gente experta realmente en cmo crear
pruebas adecuadas de evaluacin en entornos en red. Esto es debido seguramente a
que para realizar pruebas virtuales son necesarios tanto unos conocimientos tcnicos
especcos como una actualizacin de la formacin pedaggica a una ms acorde a
desarrollarse en entornos virtuales.
Establecer estndares tcnicos: se necesita un consenso documental para incluir las
necesidades de los estudiantes y los procedimientos a seguir.
Mejorar la infraestructura TIC: este hecho es evidente en entornos en red, ya que tanto el
alumno como los docentes deben tener la equipacin electrnica necesaria para acce-
der al entorno virtual. Desde los centros ociales esto se puede mejorar perfeccionando
las aulas de recursos informticos.
Prestar ms atencin a los procesos en la evaluacin: si las TIC nos permiten acceder al
proceso formativo del estudiante, la evaluacin debera contemplarlo.
Profesionalizacin del sector: una serie de profesionales expertos en evaluacin en en-
tornos virtuales de alta calidad puede asesorar al resto de la comunidad educativa y
trabajar en proyectos comunes para la mejora.
Participacin de las escuelas: la mayora de experiencias se desarrollan en la Enseanza
Superior y se podran buscar mecanismos para incorporar a estos centros a experiencias
adaptadas a cada caso concreto.
El problema del plagio: ste es un hecho evidente en la evaluacin en red y es la posi-
bilidad de que el alumno busque la informacin y haga un corta-pega sin reexionar
sobre su respuesta.
393
EVALUACIN DEL ALUMNADO EN LA EDUCACIN SUPERIOR BASADA EN HERRAMIENTAS DE WEB SEMNTICA
El papel de la equidad: este aspecto se reere al hecho de que es importante que la
evaluacin en red sea una solucin, no un problema que suponga una discriminacin
digital entre las personas que pueden acceder a la evaluacin y las que no, debido a
que la plataforma no sea adecuada o a otras cuestiones.
Atendiendo a las reexiones de Castells (2005, p. 211), la web semntica tiene mucho
trabajo por hacer. Se necesita crear ms y mejor tecnologa e infraestructura y desarrollar
aplicaciones reales que pongan en prctica todas las posibilidades que pueden hacer prctica
la web semntica.
REFERENCIAS
# Avils, K, Daz-Kommonen, L. Lapaien, M. & Pietarila, J. (2003). Soft Ontologies and Similarity Cluster Tools to facili-
tate Exploration and Discovery of Cultural Heritage Resources. IEEE Computer Society Digital Libraty. Repblica Checa:
DEXA 2003.
# Briceo, M. (2004). Evaluacin de los cursos en lnea en la Universidad Simn Rodrguez-Venezuela. FERMENTUM,
Revista Venezolana de Sociologa y Antropologa, 4(39), 53-66.
# Castillo, S. (2002). Compromisos de la Evaluacin Educativa. Madrid: Prentice Hall.
# Castellanos Nieves, D., Gonzlez Martnez, G., Soler Segovia, C., Robles, M.C., Hernndez Franco, J., Prendes Espi-
nosa, M.P. & Fernndez Breis, J.T. (2010). Semantic Web-based system for managing the educative curriculum. World
Conference on Educational Sciences 2010.
# Castells, P. (2005). La Web semntica. En Bravo, C. & Redondo, M.A. (2005), Sistemas interactivos y colaborativos en
la Web. Castilla La Mancha: Ediciones de la Universidad de Castilla La Mancha.
# Cohen, Y., Ben Simon, A. & Hovav, M. (2003). The effect of specic language features on the complexity of systems
for automated essay scoring. 29th Annual Conference of the International Association for Educational Assessment.
Recuperado de http://www.nite.org.il/les/reports/e310.pdf
# Corcho, O., Fernndez Lpez, M. & Gmez Prez, A. (2003). Methodologies, tools and languages for building ontolo-
gies. Where is their meeting point?. Data and Knowledge Engineering, 46(1), 41-64.
# De Pablos, J. (2004). La formacin superior y el reto de las Nuevas Tecnologas de la informacin. En Martnez, F. &
Prendes, M.P. (2004), Nuevas Tecnologas y educacin. Pearson: Madrid.
# Dorrego, E. (2006). Educacin a distancia y evaluacin del aprendizaje. Red, Revista de Educacin a Distancia, 6.
# Driscoll, M. (2001). Building better e-assessment, en Learning circuits, ASTD. Recuperado de http://www.astd.org/
LC/2001/0601_driscoll.htm
# Esteban Gil, A., Fernndez Breis, J.T., Castellanos-Nieves, D., Valencia-Garca, R. & Garca Snchez, F. (2009). Seman-
tic enrichment of SCORM metadata for efcient management of educative contents. Procedia - Social and Behavioral
Sciences, 1(1), 927-932.
# Fernndez Breis, J.T., Prendes Espinosa, M.P., Castellanos Nieves, D., Martnez Snchez, F., Valencia Garca, R. & Ruz
Martnez, J. (2007). Evaluacin en e-learning basada en tecnologas de la Web semntica y procesamiento del lenguaje
natural. Murcia: Diego Marn.
# Hanna, D. (2002). Las universidades de educacin a distancia basadas en las tecnologas. En Hanna, D. (Ed.), La
enseanza universitaria en la era digital. Barcelona: Octaedro.
# Maedche, A.D. (2002). Ontology learning for the Semantic Web. The Netherlands: Kluwer Academic Publishers Group.
# Moran, L. (2001). Review of exible learning management at James Cook University. Australia: Universidad James
Cook.
# Prendes, M.P. (2009). Herramientas de software libre: anlisis comparativo de la situacin actual en las universidades
espaolas. Proyecto EA-2008-0257. Recuperado de http://www.um.es/campusvirtuales/informe_nal_CVSL_SF.pdf
# Radenkovic, S, Krzavac, N. & Devedzic, V. (2010). An assessment system on the Semantic Web. En Devedzic, V. &
394
MARA DEL MAR SNCHEZ VERA, FRANCISCO MARTNEZ SNCHEZ
Gasevic, D. (Ed.), Web 2.0 and Semantic Web, annals of information systems. USA: Springer.
# Ridway, J., Mccusker, S. & Pead, D. (2004). Literature review of E-assessment. En Futurelab. Recuperado de http://
hal.archives-ouvertes.fr/docs/00/19/04/40/PDF/ridgway-j-2004-r10.pdf
# Salinas, J. (2004). Educacin Superior y tecnologa digital. Consideraciones y reexiones. En Martnez, F. & Prendes,
M.P (Ed.), Nuevas Tecnologas y Educacin. Madrid: Pearson.
# Salinas, J., Prez, A. & de Benito, B. (2008). Metodologas centradas en el alumno para el aprendizaje en red. Madrid:
Sntesis.
# Stojanovic, L. Staab, S. & Struder, R. (2001). E-learning based on the Semantic Web. WebNET 2001. Recuperado de
http://www.aifb.uni-karlsruhe.de/WBS/Publ/2001/WebNet_lstsstrst_2001.pdf
# Strother, J.B. (2002). An assessment of the effectiveness of e-learning in corporate training programs. The interna-
tional review of Research in Open and Distance Learning, 3(1). Recuperado de http://www.irrodl.org/index.php/irrodl/
article/viewArticle/83/160
# Tait, A. (1999). The convergence of distance and conventional education. Some implications for policy. En Tait, A. &
Mills, R. (Eds.), The Convergence of Distance and Conventional Education. Patterns of exibility for the individual learner
(pp. 141-149). Nueva York: Routledge.