M. E. Martnez Figueira y M.

Raposo Rivas

LA EVALUACIN DEL ESTUDIANTE A TRAVS DE LA RBRICA

M Esther Martnez Figueira, Manuela Raposo Rivas
Departamento de Didctica, Organizacin Escolar e Mtodos de Investigacin - Facultade de Ciencias da Educacin.Universidade de Vigo

Abstract En este trabajo presentamos la oportunidad de utilizar la rbrica como recurso para la evaluacin del aprendizaje de los estudiantes y nuestra experiencia al respecto. Al mismo tiempo, ofrecemos la valoracin que dicho recurso le merece a 81 estudiantes de Magisterio siendo algo novedoso para ellos. Destacar que, segn muestran los datos, se manifiestan partidarios y en total acuerdo con utilizar este instrumento como apoyo a la evaluacin.

1. Introducin: La rbrica como instrumento de evaluacin

La utilizacin de rbricas est comenzando a ser una prctica extendida en las aulas universitarias. Habitualmente este recurso aparece asociado como complemento de otros, como la webquest, el portafolio (Cebrin, Raposo y Accino, 2007 [5], Barber y De Martn, 2009 [2]) o las memorias de prcticas (Raposo y Sarceda, 2008 [11]) y con una finalidad al servicio de la evaluacin, sea sta formativa (Cebrin, 2008 [5]) o sumativa (Cebrian, 2007 [4]). Ya en el propio concepto de rbrica aparece esta idea de evaluacin. Por ejemplo, Barber y De Martn (2009) [2] la entienden como una herramienta de valoracin usada para reflejar el grado de cumplimiento de una actividad o trabajo. Se presenta como una pauta o tabla de doble entrada que permite unir y relacionar criterios de evaluacin, niveles de logro y descriptores () La columna indica dimensiones de la calidad y enumera una serie de tems o reas que se deben evaluar () La fila indica los niveles de dominio (). En la interseccin se incluye una descripcin textual de las cualidades de los resultados y productos en esa dimensin y a ese nivel (p. 99). Siguiendo a Blanco (2008) [3] las rbricas empleadas en un proceso de evaluacin continua pueden tener varias utilidades: clarificar los objetivos de aprendizaje y de la evaluacin y mantenerlos vinculados con los contenidos y las actividades de la asignatura; comunicar a los estudiantes los resultados de aprendizaje esperados y clarificar las expectativas; proporcionarles informacin clara y especfica sobre el trabajo realizado, identificando los logros y aspectos a mejorar; y, cuando son utilizadas por los mismos alumnos y alumnas, fomentar el desarrollo de competencias meta-cognitivas como la autorregulacin del aprendizaje de los estudiantes. Por su parte, Stevens y Levi (2005) [13] afirman que una de las vas para lograr una evaluacin de mayor calidad, de carcter ms cualitativo y procesual, es el empleo de protocolos de evaluacin, o rbricas. Estos protocolos, no slo favorecen una evaluacin ms sistematizada por parte del docente, sino que son una herramienta de extraordinario valor para el desarrollo de competencias de monitorizacin, autoevaluacin y evaluacin entre pares, contribuyendo a un mayor entendimiento del propio proceso de aprendizaje y, en definitiva, a una mayor autonoma y autorregulacin del estudiante.

La evaluacin del estudiante a travs de la rbrica

Precisamente en este aspecto relacionado con las posibilidades de la rbrica para la autoevaluacin del estudiante centramos nuestro inters, basndonos en la experiencia desarrollada en el contexto de la materia Nuevas Tecnologas aplicadas a la Educacin perteneciente a las titulaciones de Magisterio y Educacin Social.

2. Nuestra estrategia de innovacin con la rbrica

El uso de la rbrica se concibi como una estrategia de innovacin didctica en el proceso de Convergencia Europea (Martnez y Raposo, 2009 [8], 2010 a [9] y b [10]; Raposo y Martnez, 2010 [12]), de forma que con ella pudisemos responder tanto a una serie de objetivos vinculados con la formacin del alumnado, como a otros ms directamente relacionados con nuestra prctica profesional en un momento de investigacin-accin. En cuanto a los primeros, planteamos como primordial: Fomentar la implicacin de los estudiantes en sus procesos de formacin y evaluacin. Facilitar a los estudiantes criterios que permitan identificar las cosas bien hechas junto con los logros alcanzados. Disear un recurso que permita realizar una autoevaluacin y una evaluacin entre pares. Orientar el trabajo en equipo y dotar de sentido las tutoras grupales.

Los objetivos de investigacin perseguidos con esta experiencia son los siguientes: Conocer la respuesta de los estudiantes a la introduccin en el aula de la rbrica como recurso didctico. Averiguar la percepcin que los estudiantes tienen sobre la utilidad de la rbrica. Identificar las dificultades encontradas en el proceso de aplicacin de la rbrica. Recopilar sugerencias para la mejora en el uso de la rbrica como recurso para la docencia, el aprendizaje, la evaluacin y la tutora.

Aqu nos centramos en ver en qu medida se da respuesta a los objetivos fomentar la implicacin de los estudiantes en sus procesos de formacin y evaluacin y disear un recurso que permita realizar una autoevaluacin y una evaluacin entre pares. Para ello utilizamos la informacin obtenida a travs de un instrumento diseado a tal efecto. 2.1 La valoracin de la propia rbrica Teniendo en cuenta que era la primera vez que los estudiantes eran los usuarios de la rbrica y que su punto de vista sobre la validez de este recurso ha sido considerada en distintos trabajos de investigacin educativa (Andrade y Du, 2005 [1]; Conde y Pozuelo, 2007 [7]), aplicamos un cuestionario para conocer su opinin y percepcin del proceso. Dicho instrumento est compuesto por siete preguntas, tanto cerradas (con escalas de graduacin) como abiertas o mixtas para justificar la respuesta. A continuacin mostramos el cuestionario utilizado.

M. E. Martnez Figueira y M. Raposo Rivas

1.- De las siguientes afirmaciones, indica tu opinin marcando con una X: Totalmente En De Totalmente en Desacuerdo Acuerdo de Desacuerdo Acuerdo a. La rbrica permite una evaluacin ms objetiva. b. La rbrica le obliga a la profesora a clarificar sus criterios de evaluacin. c. La rbrica permite dar a conocer lo que se espera. d. La rbrica nos proporciona retroalimentacin del desarrollo del trabajo. e. La rbrica nos ayuda a comprender las cualidades que el trabajo debe poseer. f. La rbrica nos muestra cmo seremos evaluados. g. La rbrica permite autoevaluarnos. h. La rbrica nos informa de la ponderacin de los componentes en relacin a la nota total. i. La rbrica permite constatar el nivel de competencia adquirida. j. La rbrica permite evaluar a todos los grupos por igual. k. La rbrica evidencia el trabajo realizado. l. Otra (indicar)_______________________________________ 2.- Qu te parece el hecho de estar evaluado mediante rbrica? Seala una opcin y justifica tu respuesta. Por qu? BIEN Por qu? MAL Por qu? INDIFERENTE

3.- Escribe al menos 3 aspectos que para ti supongan virtudes y 3 defectos de las rbricas que estamos utilizando: Virtudes, ventajas y posibilidades 1. 2. 3. 1. 2. 3. 4. El formato de rbrica que utilizamos (una tabla con celdas, sistema de puntuaciones), te resulta cmodo? Por qu? (Seala una opcin y justifica tu respuesta) SI NO INDIFERENTE Por qu? Por qu? Por qu? Defectos, inconvenientes y dificultades

La evaluacin del estudiante a travs de la rbrica

5. Me recomendaras seguir utilizando las rbricas? (Seala una opcin y justifica tu respuesta) SI NO INDIFERENTE Por qu? Por qu? Por qu?

6. En qu otro contenido de la asignatura quisieras que fueras evaluado con rbricas? Selalo con una X y justifica tu eleccin: Por qu? Temas tericos Actividades de aula Prctica 1 Prctica 2 Prctica 3 Prctica 4 Asistencia y actitud Uso Plataforma TEMA Otro (indicar)____________________ 7. Deseas aadir algo ms? ____________________________________________________________________ ____________________________________________________________________ ____________________________________________________________________

En relacin a los criterios de calidad del cuestionario, se ha considerado dos tipos de validez eminentemente tericas: la validez de contenido y la de constructo. Debido a que se ha pasado una slo vez el instrumento, se ha descartado la fiabilidad por estabilidad y equivalencia contemplando la fiabilidad como consistencia interna. Veamos a continuacin los datos que nos interesan.

3. La evaluacin a travs de la rbrica

Como vimos, la primera pregunta formulada en el cuestionario est formada por una serie de afirmaciones que caracterizan la evaluacin realizada con la rbrica empleada. Sobre ellas, los estudiantes (81 en el momento de la aplicacin) manifestaron su grado de acuerdo o desacuerdo utilizando una escala de valoracin de cuatro grados (totalmente en desacuerdo TD-, en desacuerdo ED-, de acuerdo DA- y totalmente de acuerdo TA-), tal y como puede apreciarse en la tabla1, sus respuestas fueron las siguientes:
TD a. La rbrica permite una evaluacin ms objetiva. b. La rbrica le obliga a la profesora a clarificar sus criterios de evaluacin. c. La rbrica permite dar a conocer lo que se espera. d. La rbrica nos proporciona retroalimentacin del desarrollo del trabajo. e. La rbrica nos ayuda a comprender las cualidades que el trabajo debe poseer. f. La rbrica nos muestra cmo seremos evaluados. g. La rbrica permite autoevaluarnos. h. La rbrica nos informa de la ponderacin de los componentes en relacin a la nota total. i. La rbrica permite constatar el nivel de competencia adquirida. j. La rbrica permite evaluar a todos los grupos por igual. k. La rbrica evidencia el trabajo realizado. l. Otra (indicar) Tabla 1: La rbrica para la evaluacin 0 1 0 0 0 0 0 0 3 1 1 0 ED 8 1 3 3 2 0 2 7 18 5 14 0 DA 50 51 49 61 37 32 44 50 54 40 49 0 TA 23 28 29 17 42 49 35 24 6 35 17 3

M. E. Martnez Figueira y M. Raposo Rivas

A la vista de los datos podemos afirmar que los 81 participantes se muestran favorables a la caracterizacin hecha del instrumento, pues la presencia de respuestas en el lado negativo de la tabla es prcticamente anecdtica. La mayora de ellos se muestra totalmente de acuerdo con que la rbrica nos muestra cmo seremos evaluados (49) y la rbrica nos ayuda a comprender las cualidades que el trabajo debe poseer (42), aunque precisamente estos dos tems, junto con la rbrica permite autoevaluarnos y la rbrica permite evaluar a todos los grupos por igual son los que presentan las puntuaciones ms dispersas repartidas en el nivel de acuerdo. Ms del 75% (61 personas) est de acuerdo con que la rbrica nos proporciona retroalimentacin del desarrollo del trabajo y poco ms del 60% (54) con que la rbrica permite constatar el nivel de competencia adquirida. El resto de afirmaciones muestran tambin su acuerdo con porcentajes prximos al 50%. Si hemos de sealar algn desacuerdo, ste se produce con que la rbrica permite constatar el nivel de competencia adquirida, sealado por 18 personas, o la rbrica evidencia el trabajo realizado, por 14. No tenemos hiptesis que permitan justificar estos resultados, ser necesario analizar con ms profundidad este aspecto en futuras ocasiones. Finalmente, los otros comentarios apuntados por los participantes son: facilita el arranque del trabajo, cuando no sabes por donde tirar te indica lo ms importante dndote pistas para empezar, permite ser precisos en cuanto a los objetivos que se piden, y centrarse en el tema que se quiere trabajar y la rbrica nos permite seguir unas pautas ordenadas en el desarrollo del trabajo. Por otro lado, si nos fijamos en los resultados acadmicos alcanzados en la actividad que fue evaluada a travs de la rbrica (grfico 1), tenemos los datos que mostramos a continuacin.

5 6

3 33

24 1 0,85 0,7 0,5 < 0,5

Figura 1: Resultados en la evaluacin de la tarea

En primer lugar, debemos matizar que los estudiantes disponan de la rbrica desde el comienzo de curso y que la puntuacin mxima que podan alcanzar en la actividad era de 1 punto. Ms del 70% de los participantes obtienen una buena calificacin, casi la mitad de ellos (33) obtienen la mxima nota (1 punto) y ms de la cuarta parte (24) un 0,85. No llega al 10% la cantidad de estudiantes que sacan 0,5 puntos o menos. Con ello podemos afirmar que la rbrica no solo orienta la realizacin de las tareas sino que ayuda en la mejora las calificaciones por explicitar los criterios de evaluacin.

La evaluacin del estudiante a travs de la rbrica

4. Conclusin
El haber utilizado la rbrica como recurso para evaluacin de una determinada actividad nos permite seguir afirmando que este instrumento no slo favorece el proceso de enseanzaaprendizaje porque acta de gua, sino tambin el de evaluacin pues permite objetivizar cualquier trabajo del alumnado y restarle el componente de subjetividad que pudiera tener el evaluador/a. El disponer de una rbrica especfica nos permite a las docentes ser ms coherentes a la hora de emitir un juicio de valor sobre una determinada calificacin, as como asegurar que los alumnos van ser siempre evaluados con los mismos criterios (Raposo y Sarceda, 2008 [11]). Adems, se ha facilitado no slo el proceso de diseo y desarrollo de la propia actividad sino tambin la fase de seguimiento, revisin y evaluacin de la misma debido al establecimiento de una serie de tems que muestran los niveles de logro deseables. Al mismo tiempo, este recurso no slo es usado por parte de las docentes sino que el alumnado y grupo han podido usarlos como evaluacin individual y/o grupal (Martnez y Raposo, 2009 [8]), a modo de autoevaluacin, evaluacin entre pares o heteroevaluacin. Uno de los aspectos negativos que hay que sealar (Martnez y Raposo, 2009 [8]) es que los inicios de trabajo con esta herramienta han sido lentos y arduos, con una dedicacin importante al alumnado para explicarles el sentido y finalidad de la rbrica, el papel que esta herramienta puede desempear en su proceso de aprendizaje. As, fue necesario romper barreras estables, actitudes reacias a introducir herramientas novedosas en la evaluacin, lo que ha exigido explicaciones, demostraciones, charlas, ..., pues el alumnado no estaba familiarizado con la rbrica y deba convencerse de su utilidad. Por ltimo, insistir que el alumnado se manifiesta partidario y en total acuerdo con utilizar este recurso para la evaluacin, al mismo tiempo que se constata buenos resultados acadmicos en la resolucin de las tareas.

Referencias
[1] H. Andrade, Y. Du, Student perspectives on rubric-referenced assessment, in Practical Assesment, Research & Evaluation, Baltimore, 10/3/2005, 1-11. [2] E. Barber, E. De Martn, Portfolio electrnico: aprender a evaluar el aprendizaje, editorial UOC, 2009. [3] A. Blanco Blanco, Las rbricas: un instrumento til para la evaluacin de competencias, en: L. Prieto, (coord.), La enseanza universitaria centrada en el aprendizaje: estrategias tiles para el profesorado, Octaedro-ICE de la Universidad de Barcelona, 2008. [4] M. Cebrin de la Serna, Buenas prcticas en el uso del e-portafolio y e-rbrica, en: A. Cid, M. Raposo, M. A. Prez (coords.), El practicum: buenas prcticas en el Espacio Europeo de Educacin Superior, Trculo, 2007. [5] M. Cebrin de la Serna, La evaluacin formativa mediante e-rbricas, en: INDIVISA Boletn de Estudios e Investigacin, Madrid, Monografa X/2008, 197-208. [6] M. Cebrin de la Serna, M. Raposo Rivas, J. Accino Domnguez, E-portfolio en el practicum: un modelo de rbrica, en: Comunicacin y Pedagoga, Barcelona, 218/2007, 8-13. [7] A. Conde, F. Pozuelo, Las plantillas de evaluacin (rbrica) como instrumento para la evaluacin. Un estudio de caso en el marco de la reforma de la enseanza universitaria en el EEES, en: Investigacin en la Escuela, Sevilla, 63/2007, 77-90. [8] M. E. Martnez, M. Raposo, La rbrica en la tutorizacin de trabajos en grupo: opiniones y valoraciones, en: Vicerrectora de Formacin e Innovacin Educativa, IV Jornadas de Innovacin Didctica, Universidad de Vigo, 2009.

M. E. Martnez Figueira y M. Raposo Rivas

[9] M. E. Martnez, M. Raposo, Seguimiento de trabajos tutelados en grupo mediante rbricas, en Vicerrectora de Formacin e Innovacin Educativa, La docencia en el nuevo escenario del EEES, Universidad de Vigo, 2010a. [10] M. E. Martnez, M. Raposo, La rbrica como recurso en la tutora: percepciones del alumnado, en: K. Bujan (coord.), Seminario internacional Las rbricas de evaluacin en el desempeo de competencias: mbitos de investigacin y docencia, Universidad del Pas Vasco, 2010b. [11] M. Raposo, M. C. Sarceda, Como avaliar unha memoria de prcticas? Un exemplo de rbrica no mbito das novas tecnoloxas, en: AA.VV, Prcticas educativas innovadoras na universidade, Universidad de Vigo, 2008. [12] M. Raposo, M. E. Martnez, Un ejemplo de rbrica en la plataforma Tema, en Vicerrectora de Formacin e Innovacin Educativa, La innovacin educativa en el contexto actual de la educacin superior, Universidad de Vigo, 2010. [13] D. D. Stevens, A. J. Levi, Introduction to Rubrics, Canad, 2005. [14] J. R. Stiggins, J. A. Arter, J. Chappuis, S. Chappuis, Classroom Assessment for Student Learning. Doing it right-using it well (3rd Printing), Oregn, 2005.