135

Vol. 12 (1), Abril 2014, 135-157

ISSN: 1887-4592
Fecha de recepcin: 31-01-2014
Fecha de aceptacin: 15-04-2014

El rol de las e-rbricas en la

evaluacin de materiales digitales para la enseanza de lenguas en entornos virtuales de
aprendizaje.
Esteban Vzquez Cano
Elena Martn Monje
Miguel Fernndez lvarez
UNED, Espaa y Universidad de Chicago, EE.UU

Resumen
Presentamos en este artculo una investigacin en la que analizamos la funcionalidad de las e-rbricas en procesos de
coevaluacin, en la evaluacin de materiales digitales enfocados a la enseanza de lenguas y en la evaluacin de destrezas lingsticas desde el principio del
trabajo colaborativo y cooperativo de 40
estudiantes que cursan el Mster universitario en tecnologas de la informacin y la comunicacin en la enseanza
y tratamiento de lenguas de la Universidad Nacional de Educacin a Distancia
(UNED). A travs de una concepcin metodolgica basada en la investigacinaccin colaborativa virtual, aplicamos

The role of e-rubrics in the

evaluation of digital materials
for language teaching in virtual
learning environments.

Esteban Vzquez Cano

Elena Martn Monje
Miguel Fernndez lvarez
UNED, Spain and Chicago State University, U.S.A

Abstract
This paper shows a research project
which analyses the usefulness of e-rubrics in terms of peer assessment, evaluation of digital materials for languages
and also assessment of language skills
from the perspective of collaborative
and cooperative work, undertaken by 40
students from the Masters in Information and Communication Technology for
the teaching and processing of languages at the Spanish National University
for Distance Learning (UNED). Following
a methodological framework based on
virtual, collaborative action-research, a
qualitative analysis is applied with a twofold approach: firstly through the use of

El rol de las e-rbricas en la evaluacin de materiales digitales 136

un procedimiento de anlisis con una

doble vertiente cualitativa mediante el
empleo del programa Atlas-Ti y del enfoque reticular-categorial del anlisis de
redes sociales con la aplicacin de UCINET y el visor yED Graph Editor. Este procedimiento metodolgico nos permite
entender la forma y estructura de esas
relaciones como un todo, lo que favorece el entendimiento de los mecanismos
causales que subyacen en las consideraciones de los estudiantes a travs de las
opiniones no controladas ni moderadas
en foros educativos, permitindonos
descubrir pautas de interaccin ocultas.
Los resultados muestran que el empleo
de e-rbricas optimiza la autoevaluacin,
la pertinencia de los criterios de evaluacin, la observacin de la funcionalidad y
utilidad del formato y conectividad de los
elementos audiovisuales de los materiales digitales en red. Asimismo, resultan
bastante eficaces en la observacin de
indicadores de la productividad y destrezas lingsticas; especialmente, en aspectos como la produccin oral y escrita
de la lengua y en procesos gramaticales
y lxicos.

Atlas-Ti and secondly through a reticular,

category based social network analysis
thanks to UCINET and yED Graph Editor.
This methodological procedure allows
understanding the shape and structure
of relationships as a whole, enabling us
to uncover hidden interaction patterns.
Results show that the use of e-rubrics
optimizes self-assessment, the adequacy of assessment criteria as well as the
study of functionality and usefulness in
terms of format and connectivity in the
audio-visual elements included in digital
online resources. Furthermore, e-rubrics
are deemed as significantly effective for
discerning indicators of productivity and
language skills, especially in aspects such
as oral and written production and lexico-grammatical processes.

Palabras clave: e-rbricas, coevaluacin,

lenguas extranjeras, materiales digitales,
entornos virtuales de aprendizaje.

Key words: e-rubrics, peer assessment,

foreign languages, digital resources, virtual learning environments.

Introduccin
La evaluacin es probablemente la tarea ms compleja y decisiva que realizamos los
docentes. Resulta complicada porque en los procesos de enseanza-aprendizaje confluyen muchos factores, la mayora difciles de observar y valorar (Trujillo, 2012): actitudes,
motivacin, estilos cognitivos y de aprendizaje, capacidad comunicativa, relacin entre
pares y con el docente, etc. Pero es tambin decisiva por ser precisamente el motor
del aprendizaje y una condicin necesaria para mejorar la enseanza (Boud y Falchikov,
2007). Dentro de las tres modalidades en que se suele dividir la evaluacin (inicial, formativa y sumativa) resulta de gran inters la segunda, puesto que es la que se centra en
el seguimiento del alumno y permite realizar cambios ad hoc para optimizar el proceso
de enseanza-aprendizaje.

REDU. Revista de Docencia Universitaria, abril 2014, 12 (1), 135-157

E.VZQUEZ, M.MARTN y M. FERNNDEZ 137

En las ltimas dcadas la evaluacin ha dejado de ser tarea exclusiva del docente
y se han implantado modelos innovadores de evaluacin formativa en los que se fomenta la evaluacin entre pares o coevaluacin (Fernndez March, 2010). Ante dicha novedad tanto docentes como discentes se han mostrado en ocasiones desorientados, faltos
de herramientas que doten de consistencia y fiabilidad al proceso evaluador. En tal tesitura resulta de enorme utilidad la aplicacin de matrices de evaluacin o rbricas, que
ofrecen criterios especficos para la evaluacin del trabajo del alumno y les ayudan tanto
en la preparacin al conocer de antemano los objetivos del trabajo a realizar- como en
la correccin del mismo, que se realiza de forma ms objetiva, completa y eficaz.

En el presente artculo se reflexiona sobre el papel que cumplen las rbricas electrnicas o e-rbricas en el contexto de la enseanza a distancia, y ms en concreto en
la evaluacin de materiales digitales para la enseanza de lenguas. Tras la revisin de la
literatura existente se establece la hiptesis de investigacin (el uso de e-rbricas potencia la coevaluacin y mejora la evaluacin del material digital en red destinado a la enseanza de lenguas) y se procede a un diseo metodolgico en cuatro fases, atendiendo
a los objetivos y dimensiones de la investigacin. Despus se detalla el anlisis de datos
realizado, as como la interpretacin de los resultados ms significativos, conducentes a
la confirmacin de la hiptesis inicial.

Marco terico
Desde finales del siglo pasado se aprecia en el contexto de la Enseanza Superior una
tendencia hacia procesos evaluativos ms orientados al proceso de enseanza-aprendizaje, con el alumno como protagonista, con un esfuerzo continuado por lograr una
reatroalimentacin eficaz que suponga para stos posibilidad de cambio o mejora (Boud
y Falchikov, 2007; Fernndez March, 2010). Esta evolucin supone una visin diferente
a la de la enseanza tradicional, disociando claramente evaluacin y calificacin (Fernndez March, 2010; Ibarra y Rodrguez Gmez, 2010). Es en este contexto en el cual
han surgido nuevos instrumentos de evaluacin, tales como las matrices de evaluacin
o rbricas, que resultan especialmente tiles en la evaluacin formativa de los trabajos
del discente (Cebrin, 2009; 2011).

Gottlieb (2006) usa el trmino de rbrica para referirse a cualquier gua de puntuacin con criterios especificados que se utiliza para interpretar el trabajo del alumno
y precisamente una de las funciones de las rbricas es hacer que la correccin sea ms
objetiva, facilitando la labor del corrector y ayudando al alumno a identificar los objetivos de la tarea que tiene que realizar (Farr y Trumbell, 1997; Genesee y Upshur, 1996;
Navarrete y Guske, 1996; OMalley y Pierce, 1996).

Son varias las ventajas asociadas al uso de las rbricas. Aparte de promover expectativas de aprendizaje y ayudar a enfocar al corrector para determinar de manera
especfica los criterios con los cuales va a medir el progreso del estudiante, permiten
tambin describir cualitativamente los distintos niveles de logro que el estudiante debe
alcanzar (Griffin, 2009). Asimismo, facilitan que el alumno pueda evaluar y hacer revisiones finales de sus trabajos, y establecen un proceso uniforme de anlisis e interpretacin
de datos. Por su parte, Andrade, Du y Wang (2008) reconocen que el hecho de que los
estudiantes estn familiarizados con la rbrica hace que su rendimiento sea mayor, obtenindose as mejores resultados gracias a su mayor implicacin en el aprendizaje.
REDU. Revista de Docencia Universitaria, abril 2014, 12 (1), 135-157

El rol de las e-rbricas en la evaluacin de materiales digitales 138

Una de las mayores ventajas en el uso de rbricas es que stas garantizan una mayor
fiabilidad en la correccin tanto entre diversos correctores (fiabilidad inter-corrector)
como entre el mismo corrector en distintas ocasiones (fiabilidad intra-corrector), en particular dicha circunstancia es debida a que se incluyen criterios explcitos (Mansilla y
Duraisingh, 2009; Reddy, 2007). En esta lnea, Jonsson y Svinbgy (2007: 141) nos recuerdan que the reliable scoring of performance assessments can be enhanced by the use of
rubrics, especially if they are analytic, topic-specific, and complemented with exemplars
and/or rater training. Esta ltima variable, la formacin del corrector, es tan importante
como la necesidad de una rbrica bien diseada, y puede tener un impacto importante
en los resultados obtenidos.
Rbricas electrnicas o e-rbricas
El uso de las tecnologas de la informacin y la comunicacin (TIC) se ha generalizado en
los ltimos aos en la educacin a varios niveles y docentes y alumnos usan un mayor
nmero de recursos tecnolgicos en las aulas, tanto para la preparacin de materiales
como en la instruccin y en la produccin de tareas y actividades. El ordenador se ha
convertido en una herramienta primordial en la enseanza, y la evaluacin es cada vez
ms partcipe de esta nueva corriente.

En lo que a rbricas se refiere, las TIC han contribuido enormemente al desarrollo de las rbricas electrnicas o e-rbricas. Hoy en da disponemos de muchos recursos
online que nos ayudan sobre todo al diseo de estas matrices de evaluacin (ms adelante se ofrece un listado de algunas pginas web que pueden ser tiles).

Por otro lado, las e-rbricas ayudan a agilizar el proceso de correccin y sirven
para registrar de forma sistematizada los resultados obtenidos, pudindose hacer as un
seguimiento del progreso del estudiante. En muchas de las agencias de exmenes internacionales de lenguas extranjeras, como Educational Testing Service (ETS), Cambridge
International Examinations o Pearson Language Assessments se usan rbricas electrnicas para corregir los componentes de produccin del lenguaje. Wolfe, Matthews y Vickers (2010) insisten en que la formacin del corrector es ms rpida y eficaz cuando se
hace online con este tipo de herramientas. Dornisch y Sabatini McLoughlin (2006: 6)
valoran el uso de herramientas online para el diseo de e-rbricas, pero aconsejan que
se haga de manera meticulosa para evitar problemas futuros:
Online rubric resources can help busy educators to find or craft powerful rubrics, but they
must be used thoughtfully so that inherent limitations in the examples and frameworks
provided by the site are reduced or removed before they prove problematic to the users.1

Finalmente, hay estudios que demuestran que las e-rbricas ayudan a mejorar la
fiabilidad de la correccin holstica de redacciones (Attali, Lewis y Steier, 2012), al mismo
tiempo que complementan las valoraciones del corrector humano (Enright y Quinlan,
2010).

La tabla 1 muestra los recursos gratuitos ms usados para la creacin de e-rbricas:

1Las rbricas online pueden ayudar a los atareados profesores a encontrar o elaborar rbricas potentes,
pero deben ser utilizadas con atencin, de modo que se reduzcan o eliminen las limitaciones tpicas de
los ejemplos y estructuras que se ofrecen en las pginas webs, antes de que se conviertan en un problema para los usuarios.
REDU. Revista de Docencia Universitaria, abril 2014, 12 (1), 135-157

E.VZQUEZ, M.MARTN y M. FERNNDEZ 139

Nombre
Rubrician

URL
http://www.rubrician.com/general.htm

My Teacher http://www.rubrics4teachers.com/
Tools
Discovery
School

http://school.discovery.com/schrockguide/assess.html

Teach-nology http://www.teach-nology.com/web_tools/rubrics/

Rubistar:
Rubric Builder:

http://www.rubistar.4teachers.org/index.php

http://www.landmark-project.com/classweb/tools/rubric_builder.php3

Tech4Learning http://www.myt4l.com/index.php?v=pl&page_ac=view&type=tools&tool=rubricmaker

Tabla n.1. Recursos gratuitos para la creacin de e-rbricas

Co-evaluacin y e-rbricas
Uno de los aspectos que se fomenta en la evaluacin formativa es la evaluacin entre
pares o co-evaluacin, un modelo innovador que permite alcanzar competencias profesionales tanto por parte del alumnado como del profesorado implicado, puesto que se
trata de una actividad docente hecha conjuntamente con los estudiantes, la cual logra
que stos adquieran una mayor implicacin en el proceso de evaluacin (Cebrin, 2011;
Hanrahan e Isaacs, 2010; Orsmond, Merrys y Reiling, 1996; Vickerman, 2009).

En cuanto a la implementacin prctica, uno de los ejemplos ms interesantes de
utilizacin de e-rbricas para la coevaluacin es el entorno gora Virtual, caracterizado
por su flexibilidad (por ejemplo es utilizable en enseanza a distancia y semi-presencial)
y por la prctica de evaluacin formativa mediante e-portafolios y e-rbricas, favoreciendo la coevaluacin en los estudiantes (Cebrin y Accino, 2009). En el contexto especfico
de las lenguas extranjeras, es de destacar la investigacin de Hung (2012), la cual tambin incluye la utilizacin de e-portafolios como tcnica alternativa para la evaluacin
por pares y el aprendizaje colaborativo, dentro de un programa de formacin de nuevos
profesores. Toda la literatura consultada apunta en la misma direccin: tanto las rbricas como las e-rbricas favorecen la coevaluacin y generan una mayor implicacin del
alumnado tanto en el proceso de enseanza-aprendizaje como en la evaluacin del progreso realizado (Falchikov y Goldfinch, 2000; Fernndez March, 2010; Reddy y Andrade,
2010).
Evaluacin de materiales digitales en lenguas extranjeras y e-rbricas
Resulta llamativa la escasa literatura especfica sobre la utilizacin de e-rbricas en lenguas extranjeras. Adems de Hung (2012), anteriormente mencionado, los dos ejemplos ms notables se encuentran en Erben, Ban y Castaeda (2009) as como en Moya
y OMalley (1994), referidos al ingls. Ambos cubren tanto la evaluacin de destrezas
lingsticas como la de materiales digitales, estos ltimos centrados principalmente en
los e-portfolios.

En cuanto a la evaluacin de materiales digitales, tiende a centrarse en el desaREDU. Revista de Docencia Universitaria, abril 2014, 12 (1), 135-157

El rol de las e-rbricas en la evaluacin de materiales digitales 140

rrollo de materiales para el alumnado, no materiales generados por el propio alumnado,

tal y como se plantea en el presente estudio. Sin embargo, muchos de los criterios y
pautas aportados son fcilmente transferibles. Factores importantes a tener en cuenta
son (Downie, 2011; Ur, 1996; Varela 2003):
Criterios pedaggicos: adecuacin del contenido y las actividades al nivel de lengua
y edad a quien estn dirigidos; adecuacin de la metodologa empleada; variedad,
grado de dificultad y nivel de participacin, tanto de docentes como de discentes.
Criterios tcnicos: funcionalidad general de los materiales digitales; integracin de
los diferentes medios y materiales (auditivos, visuales, etc.)
Criterios funcionales: posibilidad de integracin de todas las destrezas intervinientes en el aprendizaje de una lengua extranjera, incluidas la comprensin y expresin orales.
Evaluacin de destrezas lingsticas con e-rbricas
Dentro de las cuatro destrezas lingsticas tradicionalmente consideradas comprensin
y expresin oral, comprensin y expresin escrita- es esta ltima la que mayor inters
ha suscitado en la utilizacin de rbricas y e-rbricas para su evaluacin (Al-Jarf, 2011;
Spence, 2010; Wilson, 2006). Tal y como se ha explicado con anterioridad, se tienden a
utilizar rbricas holsticas (con una escala unidimensional) para la evaluacin de la produccin escrita (Attali, Lewis y Steier, 2012), y en los ltimos aos se han desarrollado
diversos modelos de e-rbricas que no solamente asisten al docente en el proceso evaluativo, sino que incluso llegan a sustituirlo, como en el caso del software Criterion (Lim
y Kahng, 2012), E-Rater (Enright y Quinlan, 2010) o BETSY (Coniam, 2009) que proporcionan una retroalimentacin al alumno sobre la redaccin o el ensayo enviado basndose
en una rbrica holstica con criterios pre-establecidos. Aunque esta automatizacin ha
sido criticada por diversos investigadores (Han, Chodorow y Leacok, 2006), lo cierto es
que supone un avance significativo en la aplicacin de e-rbricas para evaluacin de destrezas en lenguas extranjeras, aportando un sistema ms transparente y objetivo para el
alumnado y una mayor fiabilidad en el trabajo realizado por el corrector.

Hiptesis, objetivos y dimensiones de la investigacin

La presente investigacin parte de la siguiente hiptesis: El uso de e-rbricas potencia
la coevaluacin y mejora la evaluacin del material digital en red destinado a la enseanza de lenguas. Esta hiptesis se materializa en el desarrollo de los siguientes objetivos:
Evaluar la potencialidad de la creacin y utilizacin de e-rbricas en los procesos de
coevaluacin en la educacin superior.
Analizar la utilidad de las e-rbricas para la evaluacin del material digital en red
para la enseanza de lenguas.
Analizar la funcionalidad de la e-rbricas para la evaluacin de destrezas lingsticas.

REDU. Revista de Docencia Universitaria, abril 2014, 12 (1), 135-157

E.VZQUEZ, M.MARTN y M. FERNNDEZ 141

A partir de estos objetivos, planteamos tres dimensiones especficas que servirn de

referencia en el desarrollo de la metodologa de investigacin:
Dimensin 1: E-rbricas y coevaluacin en el proceso de enseanza-aprendizaje

Dimensin 2: E-rbricas y evaluacin de material digital para la enseanza de lenguas

Dimensin 3: E-rbricas y evaluacin de destrezas lingsticas

Metodologa
Partimos de una concepcin metodolgica basada en la investigacin-accin colaborativa virtual por parte del estudiante universitario como una manera de fomentar sus propias competencias genricas y especficas en el Espacio Europeo de Educacin Superior
(Pool-Cibrian y Martnez-Guerrero,2013; Zimmerman y Schunk, 2011). Esta concepcin
metodolgica se fundamenta en la interdependencia positiva que fomenta la responsabilidad grupal del trabajo colaborativo (Kitsantas y Dabbagh, 2010; Linnenbrink y Pintrich, 2003). Las experiencias aportadas por Gmez-Lucas y lvarez-Teruel (2011) y Millis
y Rhem (2010), evidencian que al emplear el trabajo colaborativo como una estrategia
en el aula universitaria, se contribuye a potenciar el aprendizaje, al permitir la confrontacin de puntos de vista y opiniones, ayuda a revalorizar la perspectiva propia y facilita
el intercambio con el otro, pues activa y conduce al aprendizaje para abordar con xito
situaciones comunicativas entre iguales.

Las actividades de investigacin-accin se organizaron completamente de forma
virtual en el Entorno Virtual de Aprendizaje de la UNED (aLF) y form parte de los procesos de enseanza-aprendizaje programados en la asignatura Elaboracin y Edicin de
materiales impresos y audiovisuales correspondiente al Mster universitario en tecnologas de la informacin y la comunicacin en la enseanza y tratamiento de lenguas de
la mencionada universidad.

La muestra total de alumnos participantes fue de 40 estudiantes de los cuales
22 eran mujeres y 18 hombres con edades comprendidas entre 25 y 43 aos. La muestra pertenece a la totalidad de alumnos matriculados en la asignatura Elaboracin y
edicin de materiales impresos y audiovisuales del Mster universitario oficial en tecnologas de la informacin y la comunicacin en la enseanza y tratamiento de lenguas
durante el curso acadmico 2012/13. Por lo tanto, su significativdad viene determinada
por su similitud en nmero de participantes con otros msteres oficiales de diferentes
universidades nacionales e internacionales. La actividad se desarroll en cuatro fases
atendiendo a los objetivos y dimensiones de la investigacin.
Fase 1. Creacin de un poster digital para la enseanza de lenguas por parte de
cada estudiante con la herramienta Glogster.Edu (http://edu.glogster.com/). La
actividad concreta consista en la creacin de un pster digital con diferente material audiovisual enlazado para presentar las principales cacractersticas interactivas del espacio virtual de formacin y aprendizaje. Se pretenda que el estudiante
reflexionara sobre la posibilidad de compartir conocimiento en red con material
digital de creacin propia y lo complementara con material auxiliar localizado en
repositorios en lnea de acceso gratuito y libres de derechos de autor.
REDU. Revista de Docencia Universitaria, abril 2014, 12 (1), 135-157

El rol de las e-rbricas en la evaluacin de materiales digitales 142

Figura n.1: Glogster creado por estudiante http://www.glogster.com/role/espacios-virtuales-de-aprendizaje-l-garcia-pardo/g-6l44u04dhrh60ju48jdcua0

Fase 2. Creacin en parejas de una e-rbrica para la evaluacin de la calidad y funcionalidad del pster digital desde una doble perspectiva (formato y contenido)
con la herramienta Rubistar (http://rubistar.4teachers.org/). Esta fase tena por
objeto adentrar al estudiante en el proceso de diseo y creacin de e-rbricas aplicadas a la co-evaluacin de material digital en red mediante el empleo de software
y pginas web gratuitas para su creacin. La orientacin sobre el contenido de la erbrica, en aras de favorecer un estndar mnimo de homogeneidad en su diseo,
se realiz conforme a uno de los bloques de contenido del temario de la asignatura
que estableca qu parmetros de diseo fundametal se deban tener en cuenta
para el desarrollo de e-rubricas en la evaluacin de material digital destinado a
la enseanza de lenguas. Por lo tanto, todos los estudiantes partan de un bloque
comn terico orientativo para su diseo y posterior evaluacin.

Figura n.2: E-rbrica creada en pareja por los estudiantes http://rubistar.4teachers.org/

index.php?&screen=ShowRubric&rubric_id=2273863
REDU. Revista de Docencia Universitaria, abril 2014, 12 (1), 135-157

E.VZQUEZ, M.MARTN y M. FERNNDEZ 143

Fase 3. Anlisis y evaluacin de la calidad y funcionalidad del material digital para

la enseanza de lenguas (poster digital) con la rbrica creada. Con esta actividad se
pretenda que, una vez creada la e-rbrica de forma conjunta por dos estudiantes,
se evaluara con ella el trabajo de creacin del pster digital de un tercer estudiante
y se le informara de los aspectos positivos, negativos y a mejorar de forma justificada y argumentada conforme a los criterios de evaluacin de la rbrica creada.
De esta forma, aunbamos dos objetivos de la investigacin; por un lado, fomentar
la coevaluacin como competencia especfica de la asignatura del mster y competencia genrica del Espacio Europeo de Educacin Superior (Dublin Descriptors,
2005); y por otro, valorar la funcionalidad de las e-rbricas para la evaluacin del
material digital en red destinado a la enseanza de lenguas.

Figura n.3: Resultados del anlisis y evaluacin en parejas mediante e-rbrica

Fase 4. Una vez finalizadas las tres fases correspondientes a la actividad colaborativa virtual de creacin y evaluacin mediante e-rbricas, se procedi a la fase
cuarta de investigacin y valoracin de las e-rbricas por parte de los estudiantes
en las tres dimensiones de la investigacin: funcionalidad en la coevaluacin, en
la evaluacin de material digital en red y en el desarrollo de destrezas lingsticas.
Esta fase se realiz de forma virtual recurriendo a los foros temticos creados por
el equipo docente y disponibles en la plataforma virtual aLF de la UNED. Se propuso un foro temtico sobre e-rbricas en el que se realizaron tres preguntas para su
debate conforme a las tres dimensiones de la investigacin (Figura 4).
REDU. Revista de Docencia Universitaria, abril 2014, 12 (1), 135-157

El rol de las e-rbricas en la evaluacin de materiales digitales 144

Figura n.4: Titulo de la figura

Procedimiento de anlisis de datos

Los enfoques cuantitativos no son capaces de describir capacidades cognitivas en entornos de aprendizaje virtuales. Las tcnicas estadsticas usuales conllevan una concepcin categorial y distributiva de las estructuras, lo que ocasiona que sus resultados sean
siempre distribuciones (uni o multivariadas) de atributos individuales. Por lo tanto, optamos por una metodologa con una doble vertiente cualitativa y del enfoque reticularcategorial del anlisis de redes. En primer lugar recurrimos a un anlisis cualitativo mediante identificacin de frecuencias textuales ms recurrentes en el foro de e-rbricas.
Para ello, hemos empleado la herramienta de citas de texto, memos y word-cruncher
del programa Atlas-Ti 7.0. En segundo lugar, se analizaron los mensajes en foros y chats
desde la perspectiva del Anlisis de Redes Sociales (ARS) cuya metodologa nos permite
adentrarnos en la interaccin digital de las conversaciones desde la seleccin de bloques
temticos y sus relaciones conceptuales y semnticas. Este procedimiento de anlisis de
las intervenciones digitales en foros nos facilita entender la forma y estructura que esas
relaciones como un todo y esto es considerado clave para lograr entender los mecanismos causales que subyacen en las consideraciones de los estudiantes a travs de las
opiniones no controladas ni moderadas de los estudiantes en foros educativos; permitindonos descubrir pautas de interaccin ocultas (Barabsi, 2002; Knoke y Yang, 2008).
El ARS se fundamenta en la idea de que las estructuras de relaciones entre elementos
explican mejor el conjunto, el entorno social y tambin a cada uno de los elementos, que
los atributos de estos tomados unitariamente (Borgatti et al., 2002; Castells y Monge,
2011; Caverlee, Liu y Webb, 2010). Por lo tanto, el procedimiento de anlisis conjunto;
cualitativo mediante el uso del programa Atlas-Ti y reticular por medio del anlisis de
redes sociales nos genera unos resultados ms completos para entender las relaciones
y opiniones en entornos virtuales de aprendizaje. Para ello, hemos aplicado la metodologa anlisis de redes sociales a la identificacin de unidades textuales que sirvan para
explicar las razones y motivos presentados en los estudiantes a la hora de valorar los
posibles beneficios de las e-rbricas en la co-evaluacin, evaluacin de material digital y
REDU. Revista de Docencia Universitaria, abril 2014, 12 (1), 135-157

E.VZQUEZ, M.MARTN y M. FERNNDEZ 145

las destrezas lingsticas.

Por consiguiente, nuestra metodologa se inscribe en el marco de las corrientes epistemolgicas interpretativas y dialgicas, concretamente, la etnogrfica virtual,
fenomenolgica, socio-histrica y crtica, utilizando tcnicas procedentes del enfoque
cualitativo y la aproximacin estructural y de redes con representaciones matriciales y
con grafos. Los mtodos empleados, todos ellos adaptados a la virtualidad y al campo de
la educacin, fueron: anlisis de discurso (Ricoeur, 1988); anlisis de contenido (Miles y
Huberman, 1994); observacin participante (Fetterman, 1984); y, anlisis de redes (Wasserman y Faust, 1994).

El anlisis cualitativo se ha fundamentado en un proceso de codificacin y categorizacin estructurado en dos etapas: la etapa descriptiva y la etapa interpretativa. El
procedimiento se organiz en tres fases:
Fase 1: Segmentacin e identificacin de unidades de significado y agrupacin en
categoras descriptivas.
Fase 2: Construccin de un sistema de ncleos temticos emergentes o metacate goras.
Fase 3: Identificacin de dominios cualitativos (anlisis secuencial y transversal de
las metacategoras).

Para el anlisis descriptivo de los datos, se ha realizado el recuento de frecuencias de las fuentes de informacin prioritarias en la investigacin: hilos de los foros en
lnea en la plataforma aLF. El proceso de reduccin de datos a macrocategoras, categoras y unidades de significado fue un proceso complejo en el que se codificaron mediante
el programa Atlas-Ti (versin 7.0), 987 unidades de significado textuales agrupadas en 3
dominios-dimensiones y 28 categoras deductivo-inductivas. Despus de un proceso de
comparacin intercategoras hemos identificado y definido las siguientes unidades correspondientes a las tres dimensiones de la investigacin: co-evaluacin (6 categoras),
formato audiovisual (7 categoras) y funcionalidad didctica en destrezas lingsticas (8
categoras) en torno a los cuales se han agrupado todas las unidades de significado.

Este enfoque cualitativo de frecuencias se ha complementado con el anlisis de
foros y chats en la plataforma aLF desde la perspectiva del anlisis de redes sociales.
Para ello, empleamos los programas UCINET 6 y el visor yED Graph Editor 3.11.1 para
editar el grafo y hacerlo ms comprensible. El esquema matricial que se ha empleado
para la generacin del grafo ha sido el siguiente:

!" ! = !! +

!!!

!"#
!"#
!! cos
+ !! sin

!
!

REDU. Revista de Docencia Universitaria, abril 2014, 12 (1), 135-157

El rol de las e-rbricas en la evaluacin de materiales digitales 146

Resultados y discusin
La descripcin de los resultados cualitativos, matriciales y relacionales se muestran atendiendo a las dimensiones planteadas en la investigacin y se representan con las herramientas de anlisis prioritarias en el tratamiento de datos obtenido en Atlas-Ti y UCINET
y el editor grfico yED Graph.
Dimensin 1: e-Rbricas y coevaluacin en el proceso de enseanza-aprendizaje.
Uno de los aspectos ms interesantes de la creacin y uso de e-rbricas relacionadas
con la mejora de los procesos de coevaluacin en el proceso de enseanza-aprendizaje
es su aplicabilidad al desarrollo de las competencias genricas del Espacio Europeo de
Educacin Superior (EEES) principalmente aquellas relacionadas con el aprendizaje autorregulado y las competencias interpersonales (Dublin Descriptors, 2005) y tambin competencias especficas de los grados y mster universitarios de la UNED; especialmente
aquellas relacionadas con las reas competenciales: gestin autnoma y autorregulada
del trabajo, gestin de los procesos de comunicacin e informacin y trabajo en equipo
desarrollando distinto tipo de funciones o roles, donde la coevaluacin es un aspecto
esencial en la conformacin de los estudiantes y futuros profesionales. En la Tabla 2 se
presentan las frecuencias de significado de las categoras ms significativas en la incidencia de las e-rbricas en la coevaluacin del proceso formativo.
Dimensin 1: E-rubricas y co-evaluacin

Casos/
% Casos Nb Words % Words
Citas

Autoevaluacin

58

22,0%

148

20,0%

Economa de tiempo

46

17,4%

128

17,3%

Criterios de evaluacin

51

19,3%

143

19,3%

Pertinencia

31

11,7%

101

13,6%

Interaccin

39

14,8%

111

15,0%

Habilidades y destrezas

38

14,4%

108

14,6%

Total 263

100%

739

100%

Tabla n.2. Frecuencias de la influencia de la e-rbrica en la coevaluacin

Las unidades de significado con mayor peso porcentual han sido la autoevaluacin (N= 148/22%), los criterios de evaluacin (N= 143/19,3%) y la economa de tiempo
(N= 128/17,3%), respectivamente. Muestra de ellos son algunos comentarios en foros
como los siguientes: En primer lugar quisiera comunicar la satisfaccin de vivir la experiencia del trabajo colaborativo (en este caso por parejas) dentro de la misma asignatura en la que, a lo largo de los diferentes captulos que hemos ledo se ha explicado
justificadamente su importancia: ha sido muy productivo y enriquecedor el proceso de
coevaluacin de nuestro propio trabajo, adems de favorecer la propia autoevaluacin y
reducir tiempo en su desarrollo (MT-Alumni23).

Las e-rbricas ayudan al estudiante a desarrollar una mayor autonoma en el proceso de evaluacin, mejorando el propio proceso y favoreciendo que el estudiante sea
REDU. Revista de Docencia Universitaria, abril 2014, 12 (1), 135-157

E.VZQUEZ, M.MARTN y M. FERNNDEZ 147

ms consciente de los requerimientos expresados en los criterios de evaluacin y economizando el tiempo en todos los mbitos de la evaluacin. Asimismo, son un instrumento
ideal para el trabajo colaborativo ya que tanto su diseo y aplicacin se pueden desarrollar en parejas o en grupos reducidos de estudiantes, mejorando as los resultados
obtenidos. Esto supone una mayor implicacin en el proceso de enseanza-aprendizaje;
lo que corresponde con resultados similares en investigaciones recientes (Andrade, Du
y Wang, 2008; Hanrahan e Isaacs, 2010; Cebrin, 2011). Los resultados en la categora
de criterios de evaluacin implican que el estudiante comprende mejor los criterios de
evaluacin que le son de aplicacin y que, a su vez, aplica a terceras personas que realizan una actividad similiar a la suya en un proceso interno de reflexin conceptual. Este
proceso facilita la consecucin de los objetivos de las actividades propuestas y ayuda
al estudiante a focalizar las tareas de aprendizaje (Genesee y Upshur, 1996; Navarrete
y Guske, 1996; Reddy y Andrade, 2010). Asimismo, la mejora de la autovealuacin por
medio del uso de e-rbricas en la enseanza a distancia permite que el estudiante obtenga un mayor feedback de sus tareas virtuales; lo que supone un elemento clave en
entornos digitales (Cebrin y Accino, 2009; Griffin, 2009) y con una mayor incidencia, si
cabe, en el contexto de desarrollo de destrezas en lenguas extranjeras (Hung, 2012).
Dimensin 2: e-Rbricas y evaluacin de material digital para la enseanza
de lenguas
La evaluacin del material digital en red es un aspecto esencial en el que las e-rbricas
pueden suponer un elemento de gran ayuda y apoyo. El nmero de aplicaciones para
el diseo de materiales digitales crece exponencialmente y muchas veces no existen
criterios bien delimitados para evaluar su calidad y aplicabilidad en el mundo educativo
y en la enseanza de lenguas. La creacin de e-rbricas puede permitir la evaluacin
de diferentes aspectos de formato e interfaz del material digital en red, entre otras: su
diseo, interactividad, calidad formativa, competencias, etc. Asimismo, su empleo puede derivar en proyectos o documentos que orienten a profesorado y estudiantes sobre
la viabilidad y discriminacin del material digital en red; como los desarrollados por el
programa americano QM Quality Matters (www.qmprogram.org), dedicado mediante
e-rbricas (http://www.qmprogram.org/rubric) a la evaluacin de la calidad de la educacin virtual.

En la Tabla 3 se presentan las frecuencias de significado de las categoras ms significativas en la incidencia de las e-rbricas en la evaluacin del material digital en red.
Dimensin 2: E-rubricas y evaluacin de material digital Casos/
% Casos Nb Words % Words
para la enseanza de lenguas
Citas
Contenido completo

45

10,7%

146

12,0%

Grafismo

41

9,8%

141

11,6%

Imgenes

64

15,3%

175

14,4%

Enlaces

71

16,9%

191

15,8%

Ortotipografa

52

12,4%

156

12,9%

Tamao, color y posicin

67

16,0%

187

15,4%

Audio/vdeo

78

18,6%

211

17,4%

Total 418

100%

1207

100%

Tabla n.3. Frecuencias de la influencia de la e-rbrica en la evaluacin de material digital

REDU. Revista de Docencia Universitaria, abril 2014, 12 (1), 135-157

El rol de las e-rbricas en la evaluacin de materiales digitales 148

En esta segunda dimensin las cuatro categoras que han resultado ms significativas han sido la utilidad de la e-rbrica para la evaluacin de la calidad del audio y vdeo
(N= 211/18,6%), el tamao color y posicin de los recursos o elementos en el diseo
web (N= 187/16%) y la pertinencia de las imgenes empleadas (N= 175/15,3%). Como
muestra de la funcionalidad en la evaluacin del material digital, algunos alumnos/as
reflexionaban con valoraciones como las siguientes: Creo que esta experiencia ha sido
especialmente positiva precisamente porque todos hemos sido alumnos y evaluadores
a la vez. Personalmente, trabajando en la e-rbrica y evaluando un glog, me daba cuenta
de lo que me gustara cambiar en el mo y de los aspectos de diseo digital que resultaban menos claros o entorpecan la funcionalidad del material digital (MT-Alumni 3). En
muchas ocasiones, el diseo del material en red no es evaluado conforme a los objetivos
con los que se ha diseado (didcticos, empresariales, etc.). La enseanza de idiomas
con materiales digitales se debe afrontar desde un diseo interactivo simple pero eficiente, en el que los artificios o elementos ms efectistas se invisibilicen y no dificulten
el desarrollo de destrezas lingsticas.

La e-rbrica facilita una evaluacin del material digital desde parmetros ms objetivos de evaluacin, orientando su mejora desde postulados ms prcticos y operativos
(Mansilla y Duraisingh, 2009; Reddy, 2007). Las e-rbricas posibilitan que el estudiante
sepa identificar con mayor objetividad aquellos aspectos del material digital que deben
ser mejorados para el desarrollo de competencias y habilidades en el aprendizaje y enseanza de lenguas; especialmente aquellos relacionados con el desarrollo de indicadores
orales y escritos de las competencia lingstica (Jonsson y Svinbgy, 2007). Por lo tanto,
la e-rbrica ha resultado especialmente relevante en la evaluacin de la pertinencia de
los tres elemntos audiovisuales (audio, imagen y vdeo) necesarios para el desarrollo de
materiales digitales en la enseanza de lenguas (Wolfe, Matthews y Vickers, 2010).
Dimensin 3: e-Rbricas y evaluacin de destrezas lingsticas
Uno de los elementos clave en la evaluacin de competencias lingsticas es la objetividad en la evaluacin de las destrezas adquiridas segn los niveles de competencia
establecidos en los currculos oficiales y el Marco de referencia europeo de las lenguas.
Los aspectos cualitativos relacionados con la competencia lingstica siempre han resultados difciles de medir y evaluar. En esta labor la e-rbrica puede resultar de gran
utilidad a la hora de tipificar y valorar grados de consecucin competencial en destrezas
auditivas, orales, gramaticales y discursivas proporcionando mayor objetividad a la evaluacin y una retroalimentacin al estudiante para mejorar su desarrollo.

En la Tabla 4 se presentan las frecuencias de significado de las categoras ms
significativas en la incidencia de las e-rbricas en la evaluacin de destrezas lingsticas.

REDU. Revista de Docencia Universitaria, abril 2014, 12 (1), 135-157

E.VZQUEZ, M.MARTN y M. FERNNDEZ 149

Dimensin 3: E-rubricas y evaluacin de destrezas

lingsticas

Casos/
% Casos Nb Words % Words
Citas

Produccin oral

89

16,0%

202

15,1%

Coherencia y cohesin

56

10,0%

141

17,3%

Produccin del alumno

61

10,9%

167

10,5%

Adecuacin al registro

52

9,3%

129

9,6%

Sintaxis, lxico y gramtica

88

15,8%

201

15,0%

Prosodia

37

6,6%

87

6,5%

Expresin escrita

97

17,4%

211

15,7%

Capacidad de respuesta

75

13,5%

199

14,8%

Total 555

100%

1337

100%

Tabla n.4. Frecuencias de la influencia de la e-rbrica en la evaluacin de destrezas lingsticas

En esta tercera dimensin los estudiantes opinaban y debatan sobre cmo pueden las e-rubricas apoyar al profesorado y a los mismos estudiantes a evaluar la consecucin de destrezas lingsticas. Su evaluacin se suele afrontar en indicadores de desarrollo y su consecucin suele mejorarse con la observacin de tems relacionados con
la produccin y comprensin lingstica. Las e-rbricas han sido valoradas por los estudiantes como tiles en la mejora de la objetividad en la evaluacin de los indicadores:
expresin escrita (N= 211/17,4%), produccin oral (N= 202/16%) y sintaxis, lxico y gramtica (N= 201/15,8%). Las aportaciones de los estudiantes en esta dimensin fueron
muy diversas, detacamos una que sintetiza, en buena parte, las reflexiones realizadas
por muchos de ellos: Aunque podemos usarlas para la evaluacin de cualquier destreza,
creo que es ms til en la evaluacin de las destrezas expresivas (expresin e interaccin oral, expresin escrita), puesto que para la evaluacin de la comprensin lectora y
auditiva podemos elaborar otros instrumentos de evaluacin bastante objetivos. En el
caso de la evaluacin de estas destrezas, la rbrica nos ayuda a definir y delimitar, con
criterios objetivos, los niveles de concrecin, nos da herramientas para unificar criterios
y evaluar conforme a unas tablas generales de uso comn (MT-Alumni 31).

Los indicadores de las destrezas sirven para proporcionar retroalimentacin a
los estudiantes sobre su proceso de aprendizaje (Han, Chodorow y Leacok, 2006). Los
resultados de la percepcin de mejora en la competencia oral y escrita por medio del
empleo de e-rbricas es un aspecto que se acrecienta en los procesos educativos fundamentados en los principios de e-learning y blended learning y que han sido tambien
descritos como positivos en investigaciones aplicadas tanto en la enseanza presencial
como virtual (Al-Jarf, 2011; Spence, 2010; Wilson, 2006).

Este estudio de frecuencias realizado con el programa Atlas-Ti se complement con el anlisis de las percepciones, comentarios y opiniones de los estudiantes en
los tres hilos de los foros desde anlisis de redes sociales (ARS). Analizamos la red de
interacciones obtenida en aLF con las cargas y conexiones ms significativas. Para ello,
hemos editado la red resultante de UCINET con el editor yED Graph Editor 3.11.1 (Figura
5) para hacerla ms visual y comprensible.

REDU. Revista de Docencia Universitaria, abril 2014, 12 (1), 135-157

El rol de las e-rbricas en la evaluacin de materiales digitales 150

Figura n.5. Red

Podemos observar tres nodos principales en formato paralelogramo correspondientes a los tres hilos centrales del foro. La densidad media de los tres hilos del foro
con la matriz dicotomizada fue .56 con .23 de desviacin estndar; lo que representa un
valor alto para una muestra con 38 estudiantes y un rango promedio de la red de 3.813;
lo cual indica que cada palabra clave est interrelacionada con una media de casi 4. Este
valor se considera alto para un total de 28 nodos. Adems, este resultado muestra que
ms de dos tercios de todos los vnculos posibles estuvieron presentes y que se obtuvo
una alta participacin. Hemos analizado la centralidad de la red para identificar aquellos
aspectos ms prominentes. Para ello, hemos recurrido al anlisis del grado nodal, de
intermediacin y de cercana (Tabla 5).

Autoevaluacin
Economa de tiempo
Criterios de evaluacin
Pertinencia
Interaccin
Habilidades y destrezas
Contenido completo

Grado
Nodal
Deg. NrmD.
19.0 54.550
17.0 52.275
18.0 51.250
11.0 28.750
12.0 30.225
12.0 30.750
10.5 28.750

Grafismo
Imgenes
Enlaces
Ortotipografa
Tamao, color y posicin
Audio/vdeo
Produccin oral
Coherencia y cohesin
Produccin del alumno
Adecuacin al registro

9.0
15.0
17.0
11.0
16.0
18.0
16.0
11.0
11.0
11.0

e destrezas

Evaluacin material

Coevaluacin

Items

Grado
Intermediacin
Bet.
nBet.
65.5
32.5
63.0
30.5
61.5
25.5
35.0
19.3
33.0
20.0
32.5
20.5
32.5
19.0

Grado
Cercana
Far.
Clos.
77.0 41.10
71.2 38.96
70.3 34.60
56.0 35.51
55.0 31.00
56.0 31.00
51.0 29.81

27.750
31.5
18.2
48.0 27.43
35.500
55.0
29.4
74.0 38.45
51.500
60.0
31.3
74.0 39.61
28.500
32.0
18.0
55.0 31.37
50.500
59.0
30.2
72.0 39.12
52.500
61.5
32.0
76.0 41.10
50.500
59.0
30.2
72.0 39.12
28.500
32.0
18.0
55.0 31.37
REDU. Revista de Docencia Universitaria, abril 2014, 12 (1), 135-157
28.500
32.0
18.0
55.0 31.37
28.500
32.0
18.0
55.0 31.37

Evaluacin mater
Evaluacin de destrezas
Nodos centrales

Grafismo
Imgenes
Enlaces
Ortotipografa
Tamao, color y posicin
Audio/vdeo
Produccin oral
Coherencia y cohesin
Produccin del alumno
Adecuacin al registro
Sintaxis, lxico y gramtica
Prosodia
Expresin escrita
Capacidad de respuesta
Facilitador

9.0
15.0
17.0
11.0
16.0
18.0
16.0
11.0
11.0
11.0
15.0
7.0
18.0
12.0
21.0

Motivacin
Metodologa
Reflexin
Gua
Interaccin
Economa de tiempo

22.0
24.0
20.0
21.0
21.0
23.0

27.750
31.5
18.2
48.0 27.43
35.500
55.0
29.4
74.0 38.45
E.VZQUEZ,
M.MARTN
51.500
60.0
31.3 y M. FERNNDEZ
74.0 39.61 151
28.500
32.0
18.0
55.0 31.37
50.500
59.0
30.2
72.0 39.12
52.500
61.5
32.0
76.0 41.10
50.500
59.0
30.2
72.0 39.12
28.500
32.0
18.0
55.0 31.37
28.500
32.0
18.0
55.0 31.37
28.500
32.0
18.0
55.0 31.37
35.500
55.0
29.4
74.0 38.45
18.500
12.0
8.0
15.0 11.37
52.500
61.5
32.0
76.0 41.10
30.750
32.5
20.5
56.0 31.00
16.0
50.500
59.0
30.2
72.0
18.0
19.0
15.0
16.0
16.0
18.0

52.500
54.550
35.500
50.500
50.500
52.500

61.5
65.5
55.0
59.0
59.0
61.5

32.0
32.5
29.4
30.2
30.2
32.0

76.0
77.0
74.0
72.0
72.0
76.0

Tabla n.5. Grado nodal, de intermediacin y cercana en la red social Rbricas

La centralidad muestra la posicin de los conceptos en la red (Spencer, 2003) y
arroja un resultado bastante alto del 67% con un nmero total de nodos de 28. El grado
mximo (nmero mximo de relaciones de un nodo en la red) es de 24 (Metodologa)
formando los nodos del 22 al 28 (facilitador, motivacin, metodologa, reflexin, gua, interaccin y economa de tiempo) los ncleos de centralidad del grafo, segn el concepto
de k-cores (Seidman, 1983). Los resultados muestran que los aspectos con mayor rango normalizado (Nrmdegree: porcentaje de conexiones que tiene un nodo sobre el total
de la red) y mayor grado nodal se concentran en los tems sombreados en la Tabla 5. Los
resultados del grado de intermediacin 58,131 nos proporcionan informacin relevante
con respecto a la frecuencia con que aparece un nodo en el tramo ms corto (o geodsico) que conecta a otros dos; es decir, muestra cuando un tema puede ser intermediario
entre otros. Hemos reseado en el grupo facilitadores aquellos nodos que tienen un grado de intermediacin mayor (20) y son recurrentes en las tres dimensiones analizadas.
Los resultados del grado de cercana indican que estos nodos mayores se concentran en
aquellos aspectos que sirven para interrelacionar las tres dimensiones: coevaluacin,
funcionalidad didctica y formato audiovisual.

Como resumen del grafo podemos concluir apuntando que todos los nodos secundarios son accesibles a travs de las conexiones del grafo en sus tres nodos principales: coevaluacin, funcionalidad didctica y formato audiovisual; por lo que la funcionalidad y utilidad de las e-rbricas suponen un gran poder de intermediacin en la red;
es decir presentan para los estudiantes participantes elementos positivos en las tres
dimensiones analizadas.

Conclusiones
El uso de las e-rbricas est bastante extendido en los procesos de evaluacin institucional y en el enfoque orientado a la obtencin de calificaciones ms objetivas en la enseanza. La investigacin realizada parte de una orientacin terica colaborativa y cooperativa para el fomento de la propia autoevaluacin y coevaluacin del material digital
REDU. Revista de Docencia Universitaria, abril 2014, 12 (1), 135-157

El rol de las e-rbricas en la evaluacin de materiales digitales 152

enfocado a la enseanza de destrezas lingsticas (Cebrin, 2011; Orsmond, Merrys y

Reiling, 1996; Hanrahan e Isaacs, 2010; Vickerman, 2009). Para ello, se ha analizado una
actividad fundamentada en la creacin de e-rbricas con aplicabilidad a la evaluacin de
materiales digitales enfocados a la enseanza de lenguas de forma colaborativa y trabajo
en grupo de estudiantes que cursan el Mster Mster universitario en tecnologas de la
informacin y la comunicacin en la enseanza y tratamiento de lenguas de la UNED.

Los resultados han demostrado que la hiptesis de partida, que estableca como
premisa fundamental que el uso de e-rbricas poda suponer una mejora sustancial en
los procesos de coevaluacin y en la evaluacin del material digital en red destinado a
la enseanza de lenguas, se ha confirmado. Entre los resultados ms destacados en este
estudio se puede concluir que los estudiantes participantes han valorado positivamente la funcionalidad y beneficios del proceso cooperativo de creacin de e-rbricas en
tres dimensiones fundamentales: coevaluacin, evaluacin de material digital para la
enseanza de lenguas y evaluacin de destrezas lingsticas. Con respecto a la coevaluacin, los aspectos ms reseables por los estudiantes han sido su funcionalidad en la
optimizacin de la autoevaluacin, la mejora de los criterios de evaluacin propuestos
y la economa de tiempo que supone su aplicabilidad en la evaluacin por pares. En la
dimensin orientada a la aplicabilidad de las e-rbricas en la evaluacin del material
digital para la enseanza de lenguas se ha valorado la mejora de la observacin de la
funcionalidad y pertinencia de los elementos audiovisuales, su formato y su conectividad. Finalmente, se ha valorado que las e-rbricas resultan bastante eficaces en la
observacin de indicadores de la productividad y destrezas lingsticas; especialmente,
en aspectos como la produccin oral y escrita de la lengua y en procesos gramaticales y
lxicos.

A travs de la metodologa de anlisis de redes sociales se han identificado siete
aspectos que son recurrentes en las tres dimensiones analizadas y que proporcionan un
panorama de la funcionalidad operativa de las e-rbricas: son facilitadoras, fomentan
la motivacin del estudiante con respecto al autoevaluacin, mejoran con su aplicacin
los procesos metodolgicos posteriores, ayudan a reflexionar, sirven de gua tanto en el
proceso de aprendizaje como en la evaluacin, facilitan la interaccin y colaboracin del
estudiante y permiten ahorrar tiempo en los procesos de evaluacin.

Asimismo, la creacin y aplicacin de las e-rbricas por parte del estudiante ayuda al desarrollo de las competencias genricas del Espacio Europeo de Educacin Superior (EEES) principalmente aquellas relacionadas con el aprendizaje autorregulado y
las competencias interpersonales (Dublin Descriptors, 2005) y tambin competencias
especficas de los grados y mster universitarios de la UNED; especialmente aquellas relacionadas con las reas competenciales: gestin autnoma y autorregulada del trabajo,
gestin de los procesos de comunicacin e informacin y trabajo en equipo desarrollando distinto tipo de funciones o roles, donde la coevaluacin es un aspecto esencial en la
conformacin de los estudiantes y futuros profesionales.

Agradecimientos
Este trabajo se enmarca dentro de la VII Convocatoria de Redes de Investigacin para la
Innovacin Docente convocadas por la Universidad Nacional de Educacin a Distancia
(UNED) con el ttulo: Desarrollo de e-rbricas para el fomento de la evaluacin continua
de actividades 2.0 en enseanza de lenguas extranjeras.
REDU. Revista de Docencia Universitaria, abril 2014, 12 (1), 135-157

E.VZQUEZ, M.MARTN y M. FERNNDEZ 153

Referencias bibliogrficas
Al-Jarf, R. (2011). Creating and Sharing Writing iRubrics. Asian EFL Journal. Professional

Teaching Articles, 51, 41-62.
Andrade, H. G., Du, Y., y Wang, X. (2008). Putting rubrics to the test: The effect of a mo
del, criteria, generation, and rubric referenced self assessment on elementary

school students writing. Educational Measurement: Issues and Practice, 27(2),

3-13.
Attali, Y., Lewis, W., y Steier, M. (2012). Scoring with the computer: Alternative procedu
res for improving the reliability of holistic essay scoring. Language Testing, 30(1),

125-141.
Barabsi, A.L. (2002). Linked-The new science of networks. Cambridge, MA.: Perseus

Publishing.
Borgatti, S., Everett, M., and Freeman, L. (2002). Ucinet for Windows: Software for Social

Network Analysis. Harvard, MA.: Analytic Technologies.
Boud, D. y Falchikov,N. (Eds.) (2007). Rethinking Assessment in Higher Education: Lear
ning for the Longer Term. Londres: Routledge.
Castells, M. y Monge, P. (2011). Network Multidimensionality in the Digital Age. Prolo
gue to the Special Section. International Journal of Communication, 5, 788-793.
Caverlee, J., Liu, L. y Webb, S. (2010). The SocialTrust framework for trusted social infor
mation management: Architecture and algorithms. Information Sciences, Scien
ceDirect, 180, 95-112.
Cebrin,M. (2009) Formative and peer-to-peer evaluation using a rubric tool. En A. Mn
dez-Vilas, A. Solano Martn, y J.A. Mesa Gonzlez. Research, Reflections and In
novations in Integrating ICT in Education, pgs.60-64. Badajoz: Formatex. Dispo
nible en http://www.formatex.org/micte2009/book/Index.pdf
Cebrin, M. (2011). La evaluacin formativa a travs de las e-rbricas y los e-portafolios.

V Ciclo de conferencias: Enseanza y aprendizaje en la Universidad. Universidad

de Vigo. Disponible en http://vicadc.uvigo.es/opencms/export/sites/vicadc/vica

dc_gl/documentos/ciclos_conferencias/Material.ePor_eRubric.pdf
Cebrin, M. y Accino, J. (2009). Del ePortafolio a las tecnologas de la federacin: La

experiencia de gora Virtual. Jornadas Internacionales sobre docencia, investi
gacin e innovacin en la universidad. Santiago de Compostela.
Coniam, D. (2009). Experimenting with a computer essay-scoring program based on ESL

student writing scripts. ReCALL: The Journal of EUROCALL, 21(2), 259-279.
Dornisch, M. M., y Sabatini McLoughlin, A. (2006). Limitations of web-based rubric re
sources: Addressing the challenges. Practical Assessment, Research & Evalua
tion, 11(3).
Downie, M. (2011). Choosing and Developing Classroom Material. En S. House (coord.)

Didctica del Ingls. Classroom Practice. Barcelona: Gra.
Dublin Descriptors (2005). Shared Dublin descriptors for the Bachelors, Masters and

Doctoral awards. (Draft 1.31 working document on JQI meeting in Dublin.

2004PC).
REDU. Revista de Docencia Universitaria, abril 2014, 12 (1), 135-157

El rol de las e-rbricas en la evaluacin de materiales digitales 154

Enright, M., y Quinlan, T. (2010). Complementing human judgment of essays written by

English language learners with e-rater scoring . Language Testing, 27(3), 317
334.
Erben, T., Ban, R., & Castaeda, M. (2009). Teaching English Language Learners.

Through Technology. New York: Routledge.
Falchikov, N. y Goldfinch, J. (2000). Student Peer Assessment in Higher Education: A

Meta-Analysis Comparing Peer and Teacher Marks. Review of Educational Re
search, 70(3), 287-322.
Farr, B. P., y Trumbull, E. (1997). Alternative assessments for diverse classrooms. Norwood:

Christopher-Gordon.
Fernndez March, A. (2010). La evaluacin orientada al aprendizaje en un modelo de

formacin por competencias en la educacin universitaria. Revista de Docencia

Universitaria, 8(1), 11-34.
Fetterman, D. (1984). Ethnography in educational evaluation. Beverly Hills: Sage.
Genesee, F., y Upshur, J. A. (1996). Classroom-based evaluation in second language

education. Cambridge: Cambridge University Press.
Gmez Lucas, M. C. y lvarez Teruel, J. D. (coords.) (2011). El trabajo colaborativo como

indicador de calidad del Espacio Europeo de Educacin Superior. Alcoy: Marfil.
Gottlieb, M. (2006). Assessing English language learners: Bridges from language profi
ciency to academic achievement. Thousand Oaks: Corwin Press.
Griffin, M. (2009). What is a rubric? Assessment Update, 21(6), 4-13.
Han, N. R., Chodorow, M., & Leacock, C. (2006). Detecting errors in English article usage

by non-native speakers. Natural Language Engineering, 12(2), 115129.
Hanrahan, S. e Isaacs, G. (2010). Assessing Self- and Peer-assessment: The students

views. Higher Education Research & Development, 20(1), 53-70.
Hung, S.A. (2012). A Washback Study on E-Portfolio Assessment in an English as a

Foreign Langauge Teacher Preparation Program. Computer Assisted Language

Learning, 25(1), 21-36.
Ibarra, M S. y Rodrguez Gmez, G. (2010). Aproximacin al discurso dominante sobre

la evaluacin del aprendizaje en la universidad. Revista de Educacin, 351, 385-407.
Jonsson, A., y Svingby, G. (2007). The use of scoring rubrics: Reliability, validity and

educational consequences. Educational Research Review, 2(2), 130-144.
Kitsantas, A. y Dabbagh, N. (2010). Learning to learn with integrative learning tech
nologies (ILT): A practical guide for academic success. Estados Unidos: Informa
tion Age Publishing.
Knoke, D. y Yang S (2008). Social Network Analysis. United States of America: SAGE.
Lim, H. y Kahng, (2012). Review of Criterion. Language Learning & Technology, 16 (2),

38-45.
Linnenbrink, E. y Pintrich, P. (2003). The role of self-efficacy beliefs in student engagement

and learning in the classroom. Reading & Writing Quarterly, 19, 119-137.
Mansilla, V. B., y Duraisingh, E. D. (2009). Targeted assessment rubric: An empirically
REDU. Revista de Docencia Universitaria, abril 2014, 12 (1), 135-157

E.VZQUEZ, M.MARTN y M. FERNNDEZ 155

grounded rubric for interdisciplinary writing. The Journal of Higher Education,

80(3), 334-353.

Miles, M. y Huberman, M. (1994). Qualitative data analysis: an expanded sourcebook.

Thousand Oaks: Sage.
Millis, B. J. y Rhem, J. (2010). Cooperative Learning in Higher Education. Across the Disciplines,

across the Academy. Virginia: Stylus Publishing.
Moya, S. y OMalley, M. (1994). A Portfolio Assessment Model for ESL. The Journal of

Educational Issues of Language Minority Students, 13, 1-16.
Navarrete, C., y Gustke, C. (1996). A guide to performance assessment for linguistically

diverse students. Albuquerque: New Mexico Highlands University.
OMalley, J. M., y Pierce, L. V. (1996). Authentic assessment for English language learners:

Practical approaches for teachers. Nueva York: Addison-Wesley.
Orsmond, P., Merry, S. y Reiling, K. (1996). The Importance of Marking Criteria in the

Use of Peer Assessment. Assessment & Evaluation in Higher Education, 21(3),

239-250.
Pool-Cibrian, W. J. y Martnez-Guerrero J. I. (2013). Autoeficacia y uso de estrategias

para el aprendizaje autorregulado en estudiantes universitarios. Revista Electrnica

de Investigacin Educativa, 15(3), 21-37. Recuperado de http://redie.uabc.mx/

vol15no3/contenido-pool-mtnez.html
Reddy, Y. M. (2007). Effect of rubrics on enhancement of student learning. Educate, 7(1), 3-17.
Reddy, Y.M. y Andrade, H. (2010). A review of rubric use in higher education. Assessment

& Evaluation in Higher Education, 35(4), 435-448.
Ricoeur, P. (1988). Discurso de la accin. Madrid: Ctedra.
Seidman, S.B. (1983). Network structure and minimum degree. Social Network, 5, 269-287.
Spence, L. K. (2010). Discerning writing assessment: Insights into an analytical rubric.

Language Arts, 87(5), 337-352.

Spencer, J. W. (2003). Global gatekeeping, representation and network structure: a

longitudinal analysis of regional and global knowledge-diffusion networks. Jour

nal of international business studies, 34, 428-442.
Trujillo, F. (2012). Evaluar para aprender. Disponible en http://www.educacontic.es/

blog/evaluar-para-aprender
Ur, P. (1996). A Course in Language Teaching. Practice and Theory. Cambridge: Cambrid
ridge University Press.
Varela, R. (2003). All about Teaching English. A Course for Teachers of English. Madrid:

Centro de Estudios Ramn Areces.
Vickerman, P. (2009). Student perspectives on formative peer assessment: an attempt

to deepen learning? Assessment & Evaluation in Higher Education, 34(2), 221-230.
Wasserman, S. y Faust, K. (1994). Social network analysis: methods and applications.

Nueva York: Cambridge University Press.
Wilson, M. (2006). Rethinking Rubrics in Writing Assessment. Portsmouth, NH: Heinemann.

REDU. Revista de Docencia Universitaria, abril 2014, 12 (1), 135-157

El rol de las e-rbricas en la evaluacin de materiales digitales 156

Wolfe, E. W., Matthews, S., y Vickers, D. (2010). The effectiveness and efficiency of distri
buted online, regional online, and regional face-to-face training for writing as

sessment raters. The Journal of Technology, Learning, and Assessment, 10(1), 1-21.
Zimmerman, B. J. y Schunk, D. (2011). Self-regulated learning and performance: an in

troduction and an overview. En B. J. Zimmerman y D. Schunk (Eds.), Handbook of

Self-Regulation of Learning and Performance. Routledge.

Artculo concluido el 17 de enero de 2014

Vzquez-Cano, E., Martn-Monje, E. y Fernndez lvarez, M. (2014). El rol de las e-rbricas en la evaluacin de materiales digitales para la enseanza de lenguas en entornos
virtuales de aprendizaje. REDU: Revista de Docencia Universitaria, Nmero monogrfico
dedicado a la Evaluacin formativa mediante Erbricas, 12(1), pp. 135-157.
Publicado en http://www.red-u.net

Esteban Vzquez Cano

Universidad Nacional de Educacin a Distancia

Departamento de Didctica, Organizacin escolar y

Didcticas especiales. Facultad de Educacin

Mail: evazquez@edu.uned.es
Doctor en Ciencias de la Educacin con premio extraordinario por la UNED. Actualmente es profesor de la Facultad de Educacin de la UNED y desempea su labor investigadora en organizacin escolar, aprendizaje mvil y ubicuo y los cursos masivos en
abierto (MOOC). Es miembro de diferentes equipos de investigacin en Italia, Espaa
y Colombia. Ha publicado ms de 40 artculos en revistas nacionales e internacionales;
ha presentado ms de 40 ponencias en congresos y es autor de ms de 15 libros. Editor
adjunto de cinco revistas internacionales, tambin colabora como revisor en revistas
indexadas en Scopus y JCR.

REDU. Revista de Docencia Universitaria, abril 2014, 12 (1), 135-157

E.VZQUEZ, M.MARTN y M. FERNNDEZ 157

Elena Martn Monje

Universidad Nacional de Educacin a Distancia

Departamento de Filologas Extranjeras y sus Lingsticas

Mail: emartin@flog.uned.es
Profesora en la Facultad de Filologa de la UNED, imparte cursos de Ingls para Fines
Especficos y sobre enseanza de lenguas con apoyo tecnolgico. Miembro del grupo de
investigacin ATLAS, su investigacin se centra en la integracin de las TIC en el aprendizaje de lenguas extranjeras, con especial atencin al aprendizaje mvil y los cursos
masivos (MOOC). Ha sido profesora de lenguas extranjeras y formadora de profesores
durante ms de 10 aos y publicado tanto a nivel nacional como internacional. Adems, ha recibido diferentes reconocimientos: Premio Extraordinario a su tesis doctoral,
Primer Premio de Experiencias Educativas en el V Congreso Educared por su trabajo en
Aprendizaje de Lenguas Asistido por Ordenador y Premio del Consejo Social de la UNED
a las Mejores Prcticas Docentes.

Miguel Fernndez lvarez

Chicago State University
Department of Early Childhood-Primary and Bilingual Education

Mail: mferna20@csu.edu
Miguel Fernndez es Profesor Titular en el Programa de Educacin Bilinge en Chicago
State University (Estados Unidos). Es licenciado y doctor en Filologa Inglesa por la Universidad de Granada y tiene un Mster en Evaluacin por la Universidad de Lancaster
(Reino Unido). Sus reas de especializacin incluyen la educacin bilinge, la adquisicin
y el aprendizaje de una segunda lengua, y la evaluacin de idiomas. Ha publicado ms
de veinte artculos en estas reas. Es el autor del libro A Test Impact Study under the No
Child Left Behind Act: The case of the ACCESS for ELLs. Actualmente es el Presidente de
la Asociacin de Profesores de Ingls del estado de Illinois (Illinois TESOL).

REDU. Revista de Docencia Universitaria, abril 2014, 12 (1), 135-157